我们在驯服ai时ai是否也在驯服我们？

　　基于人工智能的操作

　　我们还能重获自由吗？

　　照片由 Allison Saeng 拍摄

　　在第 49 版的隐私窃窃私语者中，我讨论了基于 AI 的操纵、它如何影响我们以及监管机构如何对此做出反应。在主要文章之后，您会找到与隐私相关的资源。

　　—

　　公告

　　会员专享内容：付费订阅者每周访问额外内容并加入 The Privacy Whisperer Slack 社区。选择订阅计划。

　　提升你的职业生涯： 加入我关于隐私与人工智能和隐私用户体验的新课程的候补名单，并在它们推出时获得 20% 的折扣。

　　传播隐私意识：有 65,000 多人在各种平台上关注我们。将此时事通讯转发给您的朋友，帮助我们达到 100,000。

　　在我们的存档、播客、Twitter、LinkedIn和YouTube上查看我们的免费隐私内容。

　　—

　　基于 AI 的操作：我们还能重获自由吗？

　　操纵的做法并不新鲜。它可能和人类一样古老。操纵人类的工具和技术也在不断发展，近年来，尤其是随着人工智能的进步，它们达到了令人担忧的新高度。

　　Susser、Roessler 和 Nissenbaum写道，操纵某人意味着“通过瞄准和利用他们的决策弱点，有意和隐蔽地影响他们的决策”。

　　这是一个很好的定义，我在研究隐私中的黑暗模式时采用了它。我将隐私中的黑暗模式定义为：

　　“以损害数据主体隐私但对服务提供商有利的方式操纵数据主体决策过程的用户界面设计实践”

　　暗模式是研究操纵的一个很好的领域，因为它们是通过用户体验 (UX) 设计应用的操纵技术。

　　然而，操纵可以发生在任何地方。例如，在咖啡馆里的两个人之间，当一个人正在使用语言、面部表情、声音、姿势等，使另一个人按照操纵者的意愿以某种方式行动时。

　　当我们谈论 UX 黑暗模式时，我们看到还有一层复杂性使得操作更难以检测：UX 界面。

　　在应用程序或网站的用户体验界面背后，尤其是当我们谈论大公司时，有专门的数据科学、用户体验、产品和营销专业人员测量用户的行为、情绪和典型行为，以决定什么是最佳颜色、字体、格式、大小、流等，从用户那里获取某种行为。因此，UX 层充当了实施暗模式的一种方式。

　　无论发生在哪一层/何种手段，操纵的本质都是利用认知偏见。

　　为了说明我们可以被操纵的各种方式，请参阅此认知偏见法典：

　　Kahneman 和 Tversky 等认知心理学家对认知偏差进行了深入讨论，他们指出：“人们依赖于数量有限的启发式原则，这些原则将评估概率和预测值的复杂任务简化为更简单的判断操作。总的来说，这些启发式方法非常有用，但有时它们会导致严重的系统性错误。”

　　认知偏见本质上是人类的。它们可以帮助我们应对日常生活中的选择和复杂性，但是，它们也使我们容易出错和受到操纵。

　　从 UX 转向 AI 操作，几周前，在这篇时事通讯中，我将AI 中的黑暗模式定义为 AI 应用程序或试图让人们：

　　相信人工智能生成的特定声音、文本、图片、视频或任何类型的媒体是真实的（假象）

　　相信当它是一个基于人工智能的系统时，人类正在与他们互动（模仿）

　　这些类型的操纵行为突然淹没了互联网。继续复杂性层的想法，基于 AI 的操作更难检测。通过算法层应用的技术，例如我上面引用的两种技术，以更具侵入性的方式影响人脑，并且比在 UX 层应用的技术更难检测。

　　AI中第一类暗纹（虚假外观）的典型例子是deepfakes。

　　Deepfakes 使用技术很好地模仿现实，以至于很难区分假货和真货。

　　Deepfakes 可以很容易地操纵我们，在过去的几个月里，随着 Midjourney 和 DALL-E 等基于 AI 的服务的爆炸式增长，我们都经历过这种情况。现在互联网上充斥着人们无法分辨真假的图片和视频（还记得穿着蓬松大衣的教皇吗？）。

　　现在，当我打开 Twitter 时，我经常会问自己看到的内容是真实的还是基于 AI 的虚假内容。Deepfakes 无处不在。

　　诈骗者使用基于 AI 的语音技巧来勒索人们，假装他们是遇险的家庭成员。一份报告显示，83% 的印度人在此类骗局中损失了金钱。

　　尽管 deepfake 技术可以有合法用途，例如学习工具、照片编辑、图像修复和 3D 转换，但如今，它们的主要应用似乎是网络开发。

　　正如我几个月前在本期时事通讯中就“令人毛骨悚然的技术”所讨论的那样，根据一份Deeptrace 报告，在线提供的所有 deepfake 视频中有 96% 是未经同意的色情内容。非自愿色情是一种 AI 暗模式，除了具有欺骗性之外，还会在各个方面对受害者造成严重伤害，包括他或她的私密隐私，这是 Danielle Citron 教授所倡导的概念。

　　AI 中第二种暗模式（模仿）的典型例子是基于 AI 的伙伴。

　　如今，各种在线服务都提供基于聊天机器人的客户服务。这些工具必须向客户清楚、透明和明显地表明他们正在与人工智能系统打交道，而不是与人类打交道——类似于《人工智能法案》第 70 条的规定。

　　在 AI 聊天机器人的背景下，我之前曾争论过，提供基于 AI 的伙伴的应用程序，例如 Replika，应该受到更多的监管。他们的营销语言针对的是情绪脆弱的人，他们很容易变得有控制欲。

　　AI 伴侣聊天机器人可以让用户相信他们处于真实的关系中，涉及真实的感受、信任和相互联系。即使这些应用程序的目标不是欺骗用户，如果有如此令人信服的拟人化，用户也不会将这些 AI 伴侣视为基于大型语言模型的程序——他们会像其他人一样与它们互动。

　　作为基于人工智能的伙伴的隐私影响的一个例子，意大利的数据保护监管机构，即个人数据保护担保人 (GPDP)，已下令对来自 Replika 意大利用户的数据进行临时限制，立即生效。他们特别提到，对于未成年人和情绪脆弱的人来说，风险太高了。本办公室认为（意译）：

　　“Replika 违反了欧洲隐私法规，不尊重透明度原则，对个人数据进行非法处理，因为它不能基于，即使只是隐含地，未成年人无法订立的合同。”

　　FTC 还强烈建议不要进行基于 AI 的操作。在5 月 1 日的FTC 博客文章中，FTC 广告业务部门的律师 Michael Atleson 写道：

　　“信任这些工具的输出的倾向也部分来自‘自动化偏见’，人们可能过分相信机器的答案，这些答案可能看起来是中立或公正的。它还来自拟人化的影响，这可能会导致人们在设计时更加信任聊天机器人，比如使用人称代词和表情符号。人们很容易误以为他们正在与理解他们并站在他们一边的人交谈。”

　　这是一篇出色的博客文章，其中 FTC 明确表示他们正在观察公司如何使用基于 AI 的技术，并且这些使用不应以任何方式进行操纵、不公平或有害。

　　基于人工智能的操纵让我非常担心，因为它可能对隐私、自治和民主有害。它会伤害社会结构和人的意义。能否有效应对？我们还能重获自由吗？