阿里巴巴-浙江大学前沿技术联合研究中心

计算机视觉与视频分析实验室

计算机视觉与视频分析实验室成立于2017年3月，主要成员包括阿里巴巴集团达摩院机器智能方向负责人金榕教授、高级算法专家刘扬博士、浙江大学宋明黎教授、朱建科副教授等。主要目标为致力于研究计算机视觉前沿理论技术研究与开发，实现计算机视觉和视频分析实用技术与软硬件结合的系统，并为提高能源使用率和大规模实用场景优化，攻关图像/视频大数据分析的关键技术。将从理论和技术创新两方面提升实验室的学术影响力，为学术界培养研究人才储备，并为企业培训技术开发人才。主要研究方向包括：计算机视觉基础理论、视频分析方法、可扩展视觉计算和多传感器融合技术。目前的研究成果发表在顶级国际期刊和国际会议中，包括：IEEE TIP、IJCAI2017、NIPS2018和CVPR2018，并且已成功应用到阿里巴巴集团包括手机淘宝和智能客服的实际业务中，也成功在2017/2018杭州和北京云栖大会、阿里巴巴2018商家大会、计算机视觉顶级会议CVPR2018上展示。

人物介绍

阿里巴巴

金榕

阿里巴巴达摩院机器智能研究领域负责人，卡耐基梅隆大学计算机博士。曾任密歇根州立大学终身教授，NIPS、SIGIR会议领域主席及KDD等委员会委员，美国国家科学基金会Career Award。长期致力于统计机器学习，重点关注大数据分析及其在信息检索、电子商务等领域中的应用。

胡尧

阿里巴巴集团优酷资深算法专家

浙江大学

朱建科

浙江大学计算机科学与技术学院副教授，IEEE高级会员。2005年3月于澳门大学电机电子工程系毕业获硕士学位。同年作为研究助理进入香港中文大学从事三维目标跟踪方面的研究，于2009年获计算机科学与工程博士学位，并是同年度香港中文大学工程学院最优博士论文奖以及香港中文大学青年学者论文奖获得者。攻读博士期间，曾于2007年中作为访问学者于UIUC ECE系 Image Foundation and Processing Group交流。2009年1月进入瑞士联邦工业大学苏黎世计算机视觉实验室BIWI Computer Vision Lab进行博士后阶段研究。研究方向为：计算机视觉与视频分析。长期担任国际期刊Neurocomputing和Big Data Analytics的编委，并是多个国际重要刊物和顶级国际会议审稿人，其中包括 IEEE TPAMI/TIP/TCSVT/TKDE/TMM/TSMCB, ACM Computing Survey/TOIS等。已在国际重要学术会议和国际学术刊物上发表论文70余篇，Google Scholar Citation累积引用3900余次，H指数26。此外，还曾担任浙江大学信息学部学术委员会青年委员以及全国信息检索专委会通讯委员。

宋明黎

工学博士，教授， 2006年毕业于浙江大学计算机学院并留校工作至今。主要研究方向为多模态融合、图模型、视觉大数据智能分析等，近年来在在IEEE Trans. Pattern Analysis and Machine Intelligence （TPAMI）、IEEE Trans. Image Processing (TIP)、IEEE Trans. Multimedia (TMM)、IEEE Trans. Neural Network and Learning Systems (TNNLS)、IEEE Trans. System, Man and Cybernetics, Part B (T-SMCB)、 IEEE Trans. Circuits and Systems for Video Technology (T-CSVT)、Pattern Recognition (PR)、CVPR、ACM Multimedia、ECCV、BMVC、ICPR、ICME等国际期刊和会议上发表论文90多篇，相关论文为国际学术界广泛引用（Google Scholar引用2700余次）。申请和授权国家发明专利10余项。在多模态数据融合以及视频大数据智能分析领域的科研成果先后获得2011及2014年度浙江省科学技术一等奖。长期担任国际期刊Information Sciences（影响因子3.893）、Neurocomputing（影响因子2.005）、Journal of Visual Communication and Image Representation（影响因子1.361）编委。担任了TPAMI、TIP、TMM、TKDE、TCSVT、TSMCB、IJCV等国际期刊审稿专家。多次担任ICME、PSIVT等会议领域主席以及ACM MM、ICIP、ICASSP等会议程序委员。

冯尊磊

Zunlei Feng is currently an assistant research fellow in College of Software Technology, Zhejiang University and a member of VIPA Group, led by professor Mingli Song. He received his Ph. D degree in Computer Science and Technology from College of Computer Science, Zhejiang University, and B. Eng. Degree from Soochow University.

研究课题

云栖大会-虚拟可视机器人

与达摩院机器智能实验室以及阿里小蜜合作的虚拟客服项目已部署于达摩院北京与杭州展馆，可以模拟真实人物，实现进行交互式问答的虚拟机器人。通过整合自动语音识别、文本到语音转化技术、面部重建、跟踪和渲染等模块，从视觉、听觉、交互上全方位模拟真实的人物形象。在2017杭州云栖大会期间共被提问2328次，相当于每隔50秒，就会和现场观众互动一次。在北京云栖大会展示期间得到多家媒体报道，也成功在2018杭州云栖大会、阿里巴巴2018商家大会、计算机视觉顶级会议CVPR2018上展示。

2018年8月，“俪知”仿真虚拟人系统部署于达摩院北京与杭州展馆

虚拟试衣

对服饰服饰是淘宝最重要的商品类目，为了帮助用户更快、更好、更直观地挑选服饰，基于淘宝/天猫上海量服饰图片，本项目通过一系列检测、分割、形变算法，将服饰真实地`穿’到模特身上。用户可以直观地看到不同服饰的搭配以及真实的穿衣效果，为用户提供更好的试穿体验。

AR试鞋

虚拟试衣

视频AI分析平台

本视频AI分析平台面向广大视频行业用户，为用户提供智能视频处理方案诸如视频素材提取、语义视频查询、视频OCR辅助。本平台以创新求实为准则，提高视频处理的精度和实用性，以最新的技术提供最高质量的服务。

优酷自制剧横转竖

视频封面生成

给定一个商品视频，基于视频帧的代表性、多样性、语义和美学reward，采用强化学习方法选出综合评分最好的单张封面，和5秒动态封面，给予用户更好的观看体验，同时吸引用户点击视频查看商品，从而给商家提供更多展示商品吸引客户的机会。

小样本学习方法

在实际生产中，为了获得高精度的分类模型，通常需通过标注大量的数据来支撑模型优化的目标。而通过小样本学习算法，可以极大缓解深度模型对数据的依赖，从而大大提高识别模型的生产效率。

物体检测与跟踪

物体检测与跟踪是场景理解的基础，为视频分析提供了有力的技术支撑。