时间:2023-10-24 来源: 中国图象图形学学会
图 1 开班仪式
2023年10月21日,由中国图象图形学学会(CSIG)主办、北京航空航天大学承办的第26期CSIG图像图形学科前沿讲习班(IGAL26)在北京圆满闭幕。本期讲习班主题为“深度学习模型压缩与加速”,由北京航空航天大学刘祥龙教授担任学术主任,来自全国各地的教师、学生以及企业工程师参加,讲习班现场气氛热烈。
图 2 北京航空航天大学刘祥龙教授致辞
10月21日上午举行的开班仪式上,北京航空航天大学刘祥龙教授致辞。刘祥龙教授感谢来自全国各地的参会者对活动的支持,对本期讲习班的组织形式“1天培训+1天前沿进展分享”做了说明,并对深度学习模型压缩与加速的必要性与迫切性做了充分的介绍,希望参会者在为期两天的学习和交流中有所收获。
图 3 北京航空航天大学助理教授郭晋阳授课
图 4 中国科学院自动化研究所副研究员王培松授课
开班仪式后的第一天,北京航空航天大学助理教授郭晋阳老师与中国科学院自动化研究所副研究员王培松老师为大家详细讲解了模型压缩与加速基础知识。郭晋阳老师首先带着大家回顾了深度学习的基础知识,包括CNN以及Transformer模型;随后,对模型压缩与加速方法进行简单分类,并介绍了其中高效网络结构设计、剪枝、蒸馏的基础方法;最后,郭老师介绍了近些年在模型压缩与加速中的前沿工作与成果。王培松老师重点从模型低秩分解、模型量化、网络架构搜索、模型训练加速等角度出发,详细介绍了目前深度学习模型压缩与加速领域的基本研究内容与方法,最后通过简单的示例和代表性工作展示了不同算法的效果。
图 5 南京大学的吴建鑫教授作报告
讲习班第二天,南京大学的吴建鑫教授作了题为“知识蒸馏与网络压缩:简单化与实用化”的报告。吴老师针对知识蒸馏在研究领域内呈现出复杂化的技术倾向,以及在实际应用中受到较大的限制的问题,分享了将知识蒸馏与模型压缩简单化与实用化方面的一些思考,包括feature mimicking、MiR、Practise等三个一脉相承的技术。
图 6 北京航空航天大学张宝昌教授作报告
紧接着,北京航空航天大学张宝昌教授作了题为“深度网络低比特量化技术”的报告。深度学习模型参数量大、功耗大,存在端侧设备上的部署应用难等瓶颈问题,张老师分别讲解了团队在卷积神经网络量化、Transformer量化上一系列量化方案。
图 7 商汤科技研究副总监龚睿昊作报告
第二天下午,商汤科技研究副总监龚睿昊老师从“算法、工具链和案例”3个维度分享了团队在工业级模型压缩系统的经验。龚老师站在企业应用的视角分享了企业生产中模型压缩重点考虑的因素、企业中模型压缩系统的pipeline,以及Training-aware与Post-training两类压缩方法。
图 8 厦门大学纪荣嵘教授作报告
厦门大学纪荣嵘教授作了最后一场报告,纪老师以“深度神经网络的压缩与加速”为题,分享了已有的加速和压缩方法,并重点介绍了研究组近几年来在神经网络压缩与加速中所做的一些工作与成果。
图 9 纪荣嵘教授作结营仪式总结
中国图象图形学学会(CSIG)学术会议与交流工委会副主任纪荣嵘教授在结营仪式上作总结讲话,阐明了本次讲习班的目标,一是展示相关领域的新进展和突出成果,二是希望广大研究者们能够充分交流讨论、拓宽视野和思维。同时向所有参会人员的支持表示感谢,期待和大家在学会活动中再次相聚。
本次讲习班专家授课及报告精彩且丰富,参会者积极互动、收获颇丰,不仅加深了对专业领域知识的基础积累,还了解了学术界与工业界的前沿进展。