证明差“老师”能教出好“学生”？江苏博士最新研究成果，引发国际关注！

　　知识蒸馏自2014年由Hinton提出以来一直广受关注，在图像、自然语言处理、语音、博弈等多个AI领域有所应用。所谓蒸馏，就是让“学生”模型（小模型）模仿“老师”模型（大模型）输出的软标记。

　　日前，东南大学计算机科学与工程学院博士生袁华在知识蒸馏领域的工作被神经信息处理系统大会（Neural Information Processing Systems, NeurIPS）接收。

　　袁华，2017至2021年就读于东南大学吴健雄学院（计算机科学与技术方向），现于学校计算机科学与工程学院攻读博士学位，研究方向为软标记的理论及应用。本科期间，除本专业课程外，他还辅修多门数学课程，曾荣获国家数学竞赛一等奖、美国数模竞赛一等奖等，负责1个省级SRTP项目。

　　NeurIPS是机器学习和计算神经科学领域的顶级国际会议，涵盖了深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等众多细分领域。NeurIPS年度会议是每年 AI 科学界的盛事。

　　虽然已有知识蒸馏大部分“老师”模型学习得到的软标记与真实标记非常接近，但现有的知识蒸馏工作仍不能解释效果差的“老师”模型也能教出好的“学生”模型这一现象。

　　针对这一问题，袁华提出了2个指标不可靠度和模糊度来衡量软标记包含的监督信息，基于此，他给出了差“老师”能教出好“学生”的充分条件。该理论可以用来解释多个弱监督学习范式，基于该理论袁华设计了一种算法产生“可以教出好学生的坏老师”。

　　东大学子在科研实验的舞台上攻坚克难、锐意进取，挺膺“青春之姿”，让“青春星火”燃燃不息。而这背后，不仅是学子们在理论知识的学习中砥砺深耕、深稽博考，不断强化自身专业能力的体现，也离不开学校为莘莘学子搭建起的先进实践平台的支撑与保障，助力学子们在实践中内化对专业知识的认知。

　　近年来，东南大学不断加强科研平台建设，致力于为学生搭建起沟通理论与创新实践的桥梁。目前，学校共牵头建设2个全国重点实验室，依托共建1个全国重点实验室，另拥有国家重点实验室、国家技术创新中心、国家工程研究中心、国家地方联合工程研究中心等数十个国家级和省部级科研实验平台。

　　创新是一个国家、一个民族发展进步的不竭动力，是推动人类社会进步的重要力量；而青年作为科技创新的生力军，是社会上最富活力、最具创造性的群体。为了激发青年学子的创新热情，培养和提升其科研创新能力，东南大学各类重点实验室均免费向本科生开放，鼓励学生在实验中探索突破，取得的科研成果均属于学生个人。这一良好的科研氛围，激发着学子们的科研热情，鼓舞着他们向着科研高峰不懈攀登。

　　秉承“以科学名世，以人才报国”的办学理念，学校还主动变革育人范式，全面实施“理论导研、实践强研、课外拓研、网络助研”四位一体研究型教学模式改革，倡导教师根据各学科专业特点，针对某一专题方向的核心知识和最新发展动态，将学科前沿、科研课题、科技开发、工程实践、社会服务中的课题引入课堂教学，在日常的教学活动中一步步加深学生对科研的理解。

　　未来，东南大学将充分发挥学校办学育人特色，聚力打造拔尖创新人才培养高地，为科技强国、教育强国的建设贡献东大力量！

　　关注“东南大学本科招生”，获取更多精彩资讯！

　　本文素材来源：东南大学官网、东南大学吴健雄学院官微、东南大学信息公开网东南大学2023年报考指南等

　　举报/反馈