如何高效验证深度神经网络的学习行为?看看 Facebook 是怎么做的
雷锋网 AI 科技评论按:Facebook AI 昨日推荐了一款能够比当前 state-of-the-art 程序更快识别应用安全水平的最新技术。过去我们从计算机视觉、强化学习以及语音识别等领域发掘了深度学习的巨大潜力,然而对于一些安全性要求较高的应用(如自动驾驶)来说,在模型得到有效验证以前,并无法真正受惠。Facebook提供的新方法适用于深度学习,能够对无法确定输出结果的输入内容进行有效验证,从而杜绝不当决策的产生。雷锋网 AI 科技评论将该开源文章编译如下。
在具体操作上,我们先利用分段线性(这里使用的是 ReLU )激活的结构来构建一组可能输出的 convex overapproximation 。该 overapproximation 可通过线性编程(LP)求解器获得,且能让我们迅速判断输出是否所需。为了避免操作趋于保守,我们会将输入集重复划分为更小的子集以及对应较小的 convex overapproximations ,从而细化 overapproximation。
对于这种“划分-处理”类型的操作程序,输入集分区的生成方式选择将对验证问题的时间长短产生重大的影响。现有的技术主要通过递归的方式将输入集划分为较小的子集,以确认一组输入的安全性。而我们的技术则使用 LP 的最优原和双变量(在 convex overapproximation 过程中生成)来计算灵敏度的度量(所谓的影子价格),因此得以估计新的分区将如何影响随后的overapproximations,从而减少分裂的数量。最后的结果是,我们拥有一个能以快速且资源有效方式来验证深度神经网络的算法,有效减少了计算所需的时间。
通过更有效的算法将输入集划分为更小的子集。 在这种情况下,来自初始集的输入不会产生归属危险集的输出(由感叹号表示)。
总的来说,该结果为我们当下各种机器学习应用(包括视觉与控制)的验证方法改进提供了一条全新思路。如何高效、可靠地对深度神经网络的学习行为进行验证,是将这些技术集成到对安全要求较高的领域的重要一步。我们的未来工作将集中在如何将验证能力扩展至更常见的神经网络以及具备任意拓扑的输入集。
论文链接:
via
雷锋网 AI 科技评论
上一篇:什么是首套房?如何认定首套房
下一篇:三星专利揭示又一种可折叠手机方案:屏幕外翻
最近更新行业动态
- 全国211大学排名榜单公布,划分2个行政级别!
- 小学语文阅读专项十五——说明文阅读的简单方法
- 线上学校为“数字化教师”赋能
- 广钢3所“大公办”幼儿园集中开园
- 安徽师范大学附属巢湖实验中学今秋正式招新生
- 反驳俞敏洪,中小学教师绝对有资格,也绝对能胜任教学岗位
- 高考275人上清华北大,衡水中学却被质疑,看到这张图大家沉默了
- 大学生入党和不入党有什么差别?看完这篇文章你就知道了
- 三年级数学期末考试,学生考了60分,全班第3名,妈妈听后却哭了
- “鬼才”历史老师:重大“标志性”事件绘成表,初中3年不再愁
- 如果学霸当中小学老师,会不会提升档次?网友:学霸不适合当老师
- 中学校服收2300元:家委会别没“存在感”
- 三年级语文修改病句练习题汇总,很全面(可打印),期中考试要考
- 江苏最憋屈的大学,曾是全国重点大学,如今却连211都没混上!
- 高中数学:函数和导数题型你会做吗?
- 2020部编版三年级语文下册,第二单元测试卷,附答案
- 幼儿园开学时间终于敲定了,家长态度不一,对此,你怎么看待?
- 重要提醒:国务院将体育纳入高中学业水平测试是否影响你?
- 重磅!四川公办民办高中取消自主招生考试,录取以中考成绩为依据!
- 西湖大学28位创始捐赠人中9位河南老乡 施一公:我很感谢他们
- 初中数学教学的几点思考
- 揭秘全美顶尖公立高中新泽西High Tech High
- 幼儿园小女生每天闯关1小时,妈妈解脱了,她却驶上“快车道”!
- 初中生“早恋”时,多半会偷偷做“3件事”,尤其第1件太真实!
- 网传贵阳一幼儿园20名幼儿食物中毒 教育部门辟谣