小模型的大用处

　　

　　智道

　　聚焦前沿科技与法律伦理的交汇碰撞

　　栏目主持人：於兴中

　　投稿邮箱：zhidao0101@163.com

　　?  未经授权 不得转载

　　文丨朱悦

　　责任编辑丨尹丽

　　算法模型可以很庞大，也可以很微小。从大到小和从小到大，都是今日的趋势。

　　不断地用更大的模型实现更加多样、更加困难的任务，正是火热的“大模型”方向。不断地将庞大的模型缩小，使其可以满足现实场景中各异的需求，也是近年来热门的“模型压缩”方向。大模型对隐私和个人信息保护（以下简称隐私保护）和绿色环保的合规问题有意义，小模型也是如此。经过压缩的小模型，在隐私和绿色方面发挥着大用处。

　　缩小模型的两种思路

　　当前广泛应用的算法模型多是采取神经网络的结构。神经网络可以视为许多相互连接的网络节点。大模型所采用的大规模的深层神经网络，则是以亿计数的、相互连接的节点。从这一点出发，可以通过至少两种思路将大模型压缩得足够小，小得足以装进手机、手表等个人日常的设备。两种思路对合规而言都有意义。

　　模型压缩的第一种思路是“去粗取精”。神经网络中有许多节点，节点之间有程度不同的连接。这些连接不都是同等重要。程度更强的连接对完成任务更加关键，程度更弱的连接对完成任务不那么关键。通过“剪”去没有那么关键的连接和节点，网络就得到了简化。实现这一点有许多更具体的方法，既可以将所有弱于一定程度的连接进行“剪枝”，也可以降低连接的精确程度。

　　模型压缩的第二种思路是“以小博大”。通过规模上更加精简的网络，实现本来是通过更大规模的网络才能实现的功能。实现这一点有许多更具体的方法，既可以通过“蒸馏”，让已经学会任务的大模型教会一个更小的模型；也可以是“抽彩”，在已有的大规模网络中设法找到同样能够实现任务的小型网络。总之，规模庞大的网络可以通过这些思路和方法，压缩成更加精简的网络。

　　两种思路都有缩小模型的效果。彼此之间既有重叠和交叉，在合规层面也有不同的意义。以隐私合规为例，“去粗取精”的思路和个人信息保护的最小化原则有相当的共通之处。“以小博大”则主要是通过增强模型的安全性能来保护隐私和个人信息的。

　　隐私保护方面的三类效果

　　压缩得到的小模型在隐私保护方面主要有三类效果。前两类正是上文提及的最小化原则和增强模型安全性。第三类近年来也愈发重要。主体的个人设备可以部署功能越发复杂的小模型，或者说，模型的端侧部署（又称算法嵌入式部署，主要分为硬件/芯片部署与离线App两种形式）正在日益发展。世界各地的新近实例一定程度认可了端侧部署的隐私保护效果。

　　首先，去粗取精和最小化原则有着密切的联系。去粗取精剪去了许多对于任务没有那么重要的连接。剪去这些连接，意味着后续不再处理与其有关的信息。

　　既然这些连接对于完成任务并不重要，与其有关的信息便很可能不属于必要的信息。由此，小模型不仅精简了模型规模，同时也最小化了模型任务所需的信息。或者说，进一步确保了所处理信息的必要性。由于不那么重要的、可以剪去的连接常常占据了网络的相当一部分，小模型得以显著提升最小化的合规水平。

　　其次，小模型能够更加稳健地应对针对模型的安全攻击。规模较大的原始模型受到攻击时可能泄露训练数据中的隐私。小模型一方面变换了原始模型，另一方面剪去了原始模型中不那么必要、同时反而可能成为漏洞的信息。这些都会削弱安全攻击的成功几率和效果，从而增强模型的安全性。从隐私保护法律角度而言，有两点具体的意义。一是构成法律上要求采取的保护隐私的安全措施。二是在针对处理开展隐私评估时，小模型是评估中的正面考量之一。

　　最后，小模型有助于端侧部署。端侧部署有两类合规效果，第一类的代表是美国伊利诺伊州上诉法院新近判决的巴雷特诉苹果公司案。按判决，由于端侧部署的人脸和指纹识别模型没有“收集”个人信息，相关法律规定的繁多隐私义务不适用于被告。苹果应用商店等重要的隐私保护“守门人”也对何谓“收集”采取了相近的立场。第二类是在欧洲的数据保护法律下，有学理观点认为端侧部署模型属于个人开展的处理活动，故其同样无需适用数据保护法律的诸多规定。

　　以上只是小模型在隐私保护方面一些主要的效果。小模型方面还存在其他许多蓬勃发展的方向。典例之一是以小博大的压缩方法。“剪去枝叶”在特定场景中可以很好地消除信息的隐私风险和可识别性，从而可能构成匿名化。

　　碳排放的核算与压减

　　小模型在规模上的缩小，意味着模型应用需要计算的数据量减少。需要计算的数据量减少，计算所调用的算力也相应减少。算力调用的减少对应于能源消耗的降低，进而导致碳排放量相应降低。小模型因此有助于压减碳排放量，促进绿色环保合规。基于越发精细的碳核算研究，这一合规效果可以分两个步骤展开。

　　首先，模型的碳排放量可以分解为训练推理和网络通信两部分。通过核算训练推理的耗时（通常就是显卡运转的时长），再乘以相应排放系数，即可估计模型训练推理的碳排放量。将模型规模的大小乘以网络通信速率，再乘以通信设备的排放系数，即可估计网络通信的碳排放量。两个量相加，就得到了总的模型碳排放量。一个规模较大的模型压缩成为小模型，碳排放量的变化也要按照核算的思路考察。也就是分别考察对于训练推理和网络通信的碳排放量的影响。

　　然后，小模型对于训练推理和网络通信造成的碳排放量都有压减作用。通常来说，模型的规模越大，需要计算的连接越多，训练和推理的耗时也就越长。小模型不仅意味着网络的规模小，推理中需要计算的连接比例也相对较低。小模型在训练推理方面的碳排放量因此相应地更低。与此同时，网络通信中的碳排放量与模型规模直接相关。小模型显然可以压减其碳排放。如果端侧部署模型，更是可以完全消除网络通信的碳排放。小模型的绿色环保效能因而颇为显著。

　　模型从小到大和从大到小都是当今的趋势。将规模较大的模型压缩为小模型有着不同的思路和方法。压缩所得的小模型对于隐私保护和绿色环保都有积极的意义。结合对于小模型和大模型的观察，可以更加深刻地理解技术与法律如何在工程层面紧密“啮合”，也可以更加深刻地理解技术如何嵌入特定的向善价值。

　　总体而言，对法律人而言，力求成为算法模型的“法律工程师”，自如地在技术的工程细节和法律与价值要求间“转译”，是顺应趋势的探索。

　　END

　　视觉编辑 | 马蓉蓉 王硕