CVPR 2020 Oral:一行代码提升迁移性能,中科院计算所研究生一作
关注前沿科技 量子位
贾浩楠 发自 凹非寺
量子位 报道 | 公众号 QbitAI
在迁移学习任务中,一直存在这样的问题:
目标域由于没有标签,常常导致分界面附近混淆较多的数据。
中科院计算所的在读研究生崔书豪等,提出了一种新的解决方法:批量核范数最大化 (Batch Nuclear-norm Maximization,BNM)。
在典型的标签不足场景下(如半监督学习等),BNM可以有效地提升学习效果。
并且,大量实验表明,BNM的性能要优于目前主流的一些方法,并且搭配起来使用,效果也很不错。
这篇论文已被接收为CVPR 2020 Oral。
主要思路
类别预测的判别性与多样性同时指向批量响应矩阵的核范数,这样就可以最大化批量核范数来提高迁移问题中目标域的性能。
可以通过分析批量类别响应组成的批量矩阵A,尝试从判别性和迁移性进行优化。
判别性
所谓判别性,指的是预测类别的过程是否坚定。比如对于二类问题的响应:
1、[0.9,0.1]判别性较高
2、[0.6,0.4]判别性较低。
常见的方法采用最小化熵来得到较高的判别性。我们发现矩阵A的F范数与熵有着相反的单调性,从而可以通过最大化A的F范数来提升判别性。
多样性
多样性可以近似表达为批量矩阵中预测的类别数量,即预测的类别数量多则响应多样性大。
考虑不同类别响应的线性相关性,如果两个响应属于不同类别,那么响应会差别较大线性无关,如果属于相同类别则近似线性相关:
1、[0.9,0.1]与[0.1,0.9]线性无关
2、[0.9,0.1]与[0.8,0.2]近似线性相关。
那么预测类别数也就是矩阵中最大的线性无关向量数,即矩阵的秩。
BNM
核范数是矩阵奇异值的和,在数学上有两点结论:
1、核范数与F范数相互限制界限
2、核范数是矩阵秩的凸近似
所以类别预测的判别性与多样性同时指向矩阵的核范数,我们可以最大化矩阵核范数(BNM)来提升预测的性能。
比如上图中,如果使用熵最小化(EntMin)和BNM来优化,当熵相同的时候,使用BNM优化更容易使得核范数更大,从而预测对拥有较少数量的类别(绵羊)。
实现
在常用的框架Pytorch与Tensorflow中,均可通过一行代码实现BNM。
Pytorch:
TensorFlow:
应用
我们将BNM应用到三个标签不足的场景中:半监督学习、领域适应和开放域物体识别。
实验表明,在半监督学习中可以提升现有方法;在领域适应中BNM约束明显优于EntMin,并且单一的BNM约束可以达到与现有方法相近的性能,如下图:
在开放域物体识别中单一的BNM约束超过有着冗杂损失函数的UODTN,达到SOTA性能,如下图:
同时在开放域物体识别中,我们统计了随机采样的批量响应中未知类所占比例,如图:
我们发现BNM确实可以保持未知类所占比例,从而保障整体预测的类别数量与准确性,从而保持多样性。
此方法主要针对的是缺少标签场景下分界面附近数据密度较大的问题,对于迁移相关的任务有着较为普遍的改善价值。
作者介绍
论文作者包括中科院计算所学生崔书豪,卓君宝;计算所副研究员王树徽,李亮;国科大讲席教授黄庆明和华为诺亚方舟实验室田奇博士。
本文第一作者崔书豪,2018年本科毕业于清华大学自动化系,现在是中科院计算所VIPL实验室二年级硕士生,研究方向为深度领域适应学习与开放域学习技术。指导老师王树徽,长期从事跨模态、跨域分析推理技术研究
值得一提的是,崔书豪以第一作者向CVPR 2020提交了两篇论文,另一篇是Gradually Vanishing Bridge for Adversarial Domain Adaptation,目前也被接收。
传送门
论文原址:
https://arxiv.org/pdf/2003.12237.pdf
第二篇CVPR:
https://arxiv.org/abs/2003.13183
BNM项目Github主页:
https://github.com/cuishuhao/BNM
崔书豪知乎:
https://zhuanlan.zhihu.com/p/121507249
作者系网易新闻·网易号“各有态度”签约作者
— 完 —
「地平线核心技术系列公开课」第三期报名中。4月3日20:00,地平线应用平台架构师穆黎森,将在线介绍地平线AI Express如何助力算法工程化落地,并剖析其应用案例。
戳下图二维码,即可报名、加入交流群~
直播推荐 | 地平线核心技术解析系列课
学习计划 | 关注AI发展新动态
量子位 QbitAI · 头条号签约作者
?'?' ? 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
原标题:《CVPR 2020 Oral:一行代码提升迁移性能,中科院计算所研究生一作》
上一篇:2022年丽水市第一批“绿谷精英·创新引领行动”计划开始申报
下一篇:2024年北京师范大学粒子物理与原子核物理专业考研参考书目、历年真题及报录数据统
最近更新教育教学
- 济南将碎片化经验总结提升,创新推出五项地方标准 让学前教育高质量发展有“标准”可
- 拓斯达:三季度实现扣非归母净利润同比增长27.39%,盈利能力持续提升
- “亚运薪火”与“宸星星火”同频共振 中学运动会迎来亚运冠军
- 多地清退编外人员,他们的“编外困局”:有人没资格报考所在岗位,有人因编外经历失去
- 民航局发布《活体动物航空运输工作指南》
- 合肥市淮河路第三小学教育集团映月校区:借数字应用于课堂 创智慧引领于教学
- 促进家校共育 巴蜀蓝湖郡小学开展家校共话成长系列活动
- 云南电网公司充分发挥公司律师四个作用助推企业高质量发展
- 汇聚邻里 共筑幸福丨合肥万科物业2023“朴里节”圆满落幕!
- 中拉跨越大洋高质量共建“一带一路”
- 广东报名自考有什么条件?
- 山东东营:文明宣讲进乡村 勤俭节约树新风
- 初中女生体测时突然心脏骤停……心肺复苏+AED“救了命”!
- 李刚,进京任职
- 1-9月海口港海关共受理“加工增值”试点扩区企业内销报关单404票 合计货值1.
- 重逢雁栖湖畔,国科大校友回家啦!
- 好水才能养好蟹
- 这种“鱼骨线”能变道吗?答案是……
- 今年上半年全球手机CIS传感器出货量20亿:同比下降14%
- 撑一支长蒿,向青草更青处漫溯
- 自考相对容易专业都有哪些?
- 远程“扶智”让优质教育资源“动”起来
- 黄喜灿:能被瓜迪奥拉称赞非常荣幸,新绰号可以向大家多宣传韩国
- AI赋能教育智变
- 同题观点