AZFT计算机视觉与视频分析实验室宋明黎教授团队论文“Collaboration by Competition: Self-coordinated Knowledge Amalgamation for Multi-talent Student Learning” 被2020年8月23日召开的计算机视觉国际顶级会议ECCV录用。
近年来，随着深度学习方法的迅猛发展，大量预先训练好的深度模型被上传至网络以供复用，从而减少重新训练所带来的运算开销。这些预训练模型通常只针对单一任务和某个特定数据集，且出于隐私和安全等诸多原因，数据集往往不对外公开。针对模型重用问题，本文提出了在没有人工标注数据的情况下自适应地集成多个已有预训练模型，得到一个小而精的客制化多任务模型的方法。
具体来说，这篇论文的研究目标是给定一组预训练好的模型，称之为教师模型集合（例如Taskonomy），允许用户从同类架构（诸如encoder-decoder）的模型家族中选择任意一组模型来定制一个新模型，称之为学生模型，使其可以同时解决所有教师模型能处理的任务，并且该学生模型训练的过程中无需人工标注。一旦训练完毕，学生模型的参数规模不仅比教师模型的参数总和小得多，而且可以保持甚至有时超过教师模型的效果。
总结，针对模型重用问题，这篇文章提出一种竞争-合作式的知识重组方法，在学生网络的训练过程中自适应地平衡不同目标任务的资源分配和协作，从而集成得到一个小而精的多任务客制化模型，大大节省了模型训练的代价（如标注成本），且客制化模型的性能可以保持甚至有时超过教师模型。
