高瓴人工智能学院师生论文被CCF A类会议 CVPR2023录用
2月27日,中国计算机学会(CCF)推荐的A类国际学术会议CVPR 2023论文接收结果公布。中国人民大学高瓴人工智能学院师生有6篇论文被录用。国际计算机视觉与模式识别会议(Conference on Computer Vision and Pattern Recognition,简称CVPR)是由IEEE举办的计算机视觉和模式识别领域的顶级会议,在世界范围内每年召开一次,本届会议录用率为25.78%。
论文介绍
论文题目:HOTNAS:Hierarchical Optimal Transport for Neural Architecture Search
作者:杨杰超,刘勇,许洪腾
通讯作者:刘勇
论文概述:现有神经网络搜索方法(Neural 灾难片 Architecture Search, NAS)方法逐渐从搜索整个网络过渡到搜索相对较小的单元子网络来减少搜索成本,其中主要面临的挑战是同时测量不同网络中单元子网络的微观结构相似度和整体宏观结构的差异。最近最优传输方法(optimal transport,OT)由于能够同时学习不同网络的操作和结构相似性成功应用于NAS中。然而现有基于最优传输的NAS方法忽略了网络中不同子网络的相似性或者局限于单一网络单元结构搜索。为了解决这些问题,我们提出一种基于分层最优传输的方法称为HOTNN 测量网络的相似性。其中在单元子网络层面,同时考虑了单元中每个节点的相似性和单元内信息流动成本的差异;在宏观网络层面,同时考虑不同网络中单元子网络之间的相似性和网络中每个单元子网络在全局位置上的差异。为了证明HOTNN的有效性,本文进一步探讨了HOTNN距离在基于贝叶斯优化的NAS框架下的应用。实验结果表明我们所提出方法在多个任务中均表现出更好的性能。
论文题目:Fair Scratch Tickets: Finding Fair Sparse Networks without Weight Training
作者:唐鹏威,姚巍,李智聪,刘勇
通讯作者:刘勇
论文概述:最近的研究表明,计算机视觉模型存在着损害公平性的风险。大量的工作使用预处理、处理中和后处理这三类方法来缓解计算机视觉中的不公平性。本文从彩票假说的视角提出了一种新的公平性处理中学习范式。对于一个随机初始化的稠密神经网络,我们无需训练模型权重,而是仅仅通过找到合适的二进制掩码来获取公平的稀疏子网络。有趣的是,据我们所知,我们首次发现在随机初始化的稠密网络中,存在具有先天公平性的稀疏子网络,而且其准确性-公平性的权衡性能与现有的处理中方法训练的稠密神经网络相当。我们将这些公平的子网络称为公平初始彩票(FSTs)。我们还从理论上为它们提供了公平性和准确性的保证。在实验中,我们研究了FSTs在多种数据集、标签属性、随机初始化方法、稀疏模式和公平性代理函数上的存在性。我们还发现FSTs可以跨数据集迁移,并且还研究了FSTs的其他属性。
论文题目:Modeling Video as Stochastic Processes for Fine-Grained Video Representation Learning
作者:张恒,刘大庆,郑琪,苏冰
通讯作者:苏冰
论文概述:目前视频表征学习方法大多通过同一类视频的对齐或探索多个视角之间的相关性来学习细粒度的时空特征,却忽略了每个视频内的动态过程。在本文中,我们提出通过一种新的基于过程的对比学习方法来学习帧级别的细粒度视频表征,旨在区分细粒度的动作阶段并同时捕获动作中的动态变化。具体而言,我们将视频建模为有目标导向的随机过程,一种服从时变高斯分布的布朗桥过程,并通过基于该过程的对比损失,将视频表征映射到布朗桥的隐空间中,使正确的视频帧嵌入到目标布朗桥的相应位置。我们为不同的标注场景设计了专门的布朗桥构建策略,可以用于自监督或弱监督学习。在基准数据集上的多种视频理解任务实验,证明了方法的有效性和泛化性。
论文题目:Transfer Knowledge from Head to Tail: Uncertainty Calibration under Long-tailed Distribution
作者:陈嘉浩,苏冰
通讯作者:苏冰
论文概述:如何估计给定模型的不确定性是一个至关重要的问题。当前的校准技术平等对待不同的类别,因此隐含地假设训练数据的分布是平衡的,但忽略了现实世界的数据通常遵循长尾分布的事实。在本文中,我们探讨了校准从长尾分布训练的模型的问题。由于不平衡训练分布和平衡测试分布之间的差异,现有的温度缩放等校准方法不能很好地推广到这个问题。用于域适应的特定校准方法也不适用,因为它们依赖于不可用的未标记目标域实例。从长尾分布训练的模型往往对头类过于自信。为此,我们提出了一种新的基于知识转移的校准方法,通过估计尾类样本的重要性权重来实现长尾校准。我们的方法将每个类的分布建模为高斯分布,并将头类的源统计数据视为先验,以校准尾类的目标分布。我们自适应地从头部类转移知识以获得尾部类的目标概率密度。重要性权重由目标概率密度与源概率密度的比率来估计。在 CIFAR-10-LT、MNIST-LT、CIFAR-100-LT 和 ImageNet-LT 数据集上进行的大量实验证明了我们方法的有效性。
论文题目:All are Worth Words: A ViT Backbone for Diffusion Models
作者:鲍凡,聂燊,薛凯文,曹越,苏航,李崇轩,朱军
通讯作者:李崇轩,朱军
论文概述:我们为扩散概率模型设计了一个基于transformer的架构U-ViT。类似U-Net,U-ViT也引入了跨层链接,大大提升了图像建模性能。U-ViT无论是在像素空间或是在隐空间上都能取得和SoTA可比甚至更好的效果。代码已经放出:https://github.com/baofff/U-ViT,对于代码我们也做了不少优化,能够在两张a100上以1024的batch size高效训练我们最大的imagenet 512×512模型。
论文题目:Compacting Binary Neural Networks by Sparse Kernel Selection
作者:王一凯,黄文炳,董胤蓬,孙富春,姚安邦
论文概述: 二值神经网络(BNN)采用用1比特卷积权重来提高存储和计算的效率。本文的出发点是基于先前揭示的一个现象,即在训练完成后的BNN中,二值卷积核几乎是满足幂律分布的。这一现象鼓励我们压缩典型的BNNs,并学习选择非重复的二值卷积核来获得性能的提升。具体来说,我们将神经网络二值化过程视为从二值卷积核空间中选择一个较小的子集,我们提出“排列梯度直通估计”(PSTE)对选择过程进行端到端的优化,并保持所二值卷积核的非重复占用。通过图像识别和目标检测等实验的验证,我们的方法相比BNNs能够进一步减少模型大小和计算开销,且在与BNNs给定同样模型大小和计算开销时可以获得更高的识别效果。
(责任编辑:汪浩然)
最近更新高等教育
- 常州春江街道:凝聚银发力量 为高质量发展添彩助力
- 【重阳警营】长大后,我成为了您
- “上海奶奶”沈翠英离世 曾捐450万元建小学 家人称将传承其爱心
- 没有高中毕业证能参加成人高考吗
- 北京城建集团高质量共建“一带一路”
- 17场活动走进高校,“大学生戏剧周”助学子看见世界
- 澳大利亚硕士留学一年制的大学
- 9月豪华SUV销量盘点!销冠是奥迪Q5L,销量前五中有三台理想
- 安信信托原董事长王少钦被终身取消金融机构高管任职资格 公司已更名为建元信托
- 邵东市周官桥乡:深化“一月一课一片一实践”,让组织生活走实走心
- 浙江师范大学附属小学积极倡导清廉文化,引导学生树立廉洁意识
- 重磅!2024年度泰晤士世界大学学科排名公布
- 云南2018年自学考试报考须知
- 期货供需形势分析,多品种短期震荡有望回落,唯尿素仍坚挺
- 高淳建发集团国邦公司圆满完成省住建厅考核
- 自考学习形式有哪几种?
- 提升凝聚力 助力新发展
- 从“印象”到“画像”
- 国考报名截止!这些岗位为何“零报考”?
- 播出预告丨上海市奉贤区教育学院附属实验小学:劳动教育也需要创新
- 正在阅读:崩坏星穹铁道金人旧巷市廛喧活动攻略 崩坏星穹铁道金人旧巷市廛喧活动怎么
- 【“双争”进行时】社团活动乐趣多 百花齐放展风采
- 「网络防诈」警方解读:各类诈骗的特点汇总!电信网络诈骗的四大误区!
- 2023年下半年中小学教师资格考试面试报名将于11月8日开始
- 鹭卓玩游戏助跑成绩无效,赵一博与兄弟汇合上演套路与反套路!