AZFT-计算机视觉与视频分析实验室宋明黎教授团队论文“Safe Distillation Box”被国际顶级人工智能会议AAAI录用。该论文作者为叶静雯，茅一宁，宋杰，王鑫超，金城，宋明黎。

    知识蒸馏作为一种高效的网络重利用技术，将教师网络中的知识作为额外的监督信息，用于提升当前的学生网络的性能。随着预训练模型资源的爆炸式增长，考虑到部分模型资源所有者排斥其模型被二次加工，深度学习社区亟需一项新的技术对模型资源和神经网络知识进行有效管理。因此在该篇论文中，VIPA实验室提出了一种新的基于密钥的神经网络知识加密方法（知识保险箱），这意味着我们可以控制神经网络的知识能否被下游网络所蒸馏。装备了知识保险箱的网络具备以下性能：1）对普通用户和授权用户都保持正常的网络预测能力；2）对于普通用户，利用其软标签作为额外的监督信息，训练其他下游网络会导致下游网络预测性能下降；3）对有密钥的授权用户，利用其软标签作为额外的监督信息，会提升下游网络的预测性能。



    具体来说，知识保险箱的实现分为三步。第一步，将随机生成的密钥植入网络中，并维持网络接受密钥后的预测性能。第二步，扰乱无密钥的数据流输入网络后所提取的知识，加大其与初始的知识分布的差异性。第三步，维持嵌入密钥的数据流输入网络后所提取的知识特性，并利用知识增强策略使得该分路的知识包含更多网络的信息。在该方式下建立的知识保险箱在确保预测结果的保真度的情况下，具有知识保护有效性，面对多种攻击时的鲁棒性，以及对授权用户的用户友好性。