被量化的心灵：人工智能如何管理人类情绪

　　2017年9月，一张普普通通的对话截图突然红遍了整个俄语互联网。图中展示了两种对话机器人对同一问题的回答：它们分别是说英语的谷歌助手（Google Assistant）和说俄语的Alisa，后者为俄罗斯著名搜索引擎Yandex所开发。提问内容直截了当：“我有些不好受。”但两者的回答却有天壤之别。“但愿我能有一双手臂来给你一个拥抱。”谷歌助手说。“没人说生活尽在取乐。”Alisa答道。

　　这个差别不单单是数据中的怪话。相反，它更多地来自富有文化敏感性的精心教导，试图让新技术理解人类的一系列感受。人工智能（AI）的能力远不只是计算出伦敦到布加勒斯特的最快驾车距离，或是在国际象棋比赛上击败加里·卡斯帕罗夫（Garry Kasparov）这样的大师。不妨设想一下更高级别的AI：设想一下人工“情感”智能。

　　“Siri，我很孤独。”越来越多的人会向智能助手发送这类带有正面或负面情感的陈述。据统计，亚马逊旗下的智能家庭服务助手Alexa在上面的对话里有一半回答都不具功利性质，而是有关人生、笑谈或存在问题之类的闲话。“人们会和Siri谈论一切事物，包括他们今天觉得很累或自己有心事之类的。”2017年底的一则苹果公司招聘广告声称，当时公司想要招一名工程师来改进自家的虚拟助手，让它更通晓人情。“人们会在紧急状况中向Siri求助，或是在需要活出健康人生的指引时向它发问。”

　　某些人向AI倾诉感受时可能会更加自如一些。洛杉矶“创意技术学会”（Institute for Creative Technologies）2014年的一项研究表明，当人们相信与自己互动的是一个虚拟而非真实人格的时候，他们所表露的负面情绪会更加密集，敞开心扉时也更加无所畏惧。我们写日记时的情况也类似，屏幕就好比是盾牌，可以帮助我们屏蔽掉外界的评判。

　　不需要等很长的时间，我们或许就能向自己的手机吐露心底的小秘密了。不少大学和公司都在探讨如何仅仅透过分析你的语调或语速就对精神疾病与情绪波动作出诊断。2016年成立于波士顿的桑德健康公司（Sonde Health）以口头测试来监测新生母亲的产后抑郁，老年人的痴呆症、帕金森氏病和其它与年龄相关的疾病。该公司与医院和保险公司合作，建立了自身的AI平台来进行探索性研究，此平台可透过侦测声音里的声学变化来筛查精神健康状况。到2022年时，“你的个人设备将可能比你的家人更熟悉你的情绪状况。”高德纳（Gartner）咨询公司研究副总监安内特·齐默曼（Annette Zimmermann）在公司博客里发文称。

　　在互联网上漫游的聊天机器人也可能会学到一堆污言秽语和废话

　　此类技术需要基于服务对象作出针对性的调校。用户和开发者一度认为情感技术能够兼顾个人化和客观性——亦即对特定个体需求的中立裁判。将治疗权授予一部机器，堪称是对技术统治（technocracy）的终极信仰姿态：我们倾向于相信AI能更好地辨识我们的情绪，理由是它自己至少从表面上看不会有任何情绪。

　　但它从我们人类这里学到的各种感受则是个例外。眼下最具活力的AI研究领域正是“机器学习”，算法透过大数据集来训练自身并选择相应的模式。但由于这些算法所学习的乃是数据中最具统计相关性的那一部分，它们便倾向于再现亮相频率最高的东西，而非最真实、最有用或最美的东西。如此一来，当人类的监视不够充分时，在互联网上漫游的聊天机器人也可能会学到一堆污言秽语和废话。程序员可以想办法做些过滤以及对AI学习过程进行导引，但这么做的话技术所再现的又很可能是开发者群体的理念和价值观。“没有一种所谓的中立腔调或中立语言。我们所说的中立其实是占主导地位的意见。”剑桥大学“利弗休姆未来智能研究中心”（Leverhulme Centre for the Future of Intelligence）研究员鲁恩·奈鲁普（Rune Nyrup）说。

　　这么看的话，不管是Siri、Alex、谷歌助手还是俄罗斯的Alisa，其实都谈不上是免于人类狭隘性并且持中立态度的高级心智。相反，它们只是看上去古怪而已，实际上仍具有依稀可辨的情感体制（emotional regimes）——也就是决定着我们如何去思考和表达感受的一系列规则。

　　不同的社会有着多种多样的情感自我管治规范。毫不奇怪的是，来自加州芒廷维尤、愿意拥抱他人的谷歌助手就是个浑身散发着香气、穿着一双人字拖、热衷于与他人坐成一圈进行集体交流的人。这是社会学家伊娃·爱洛斯（Eva Illouz）所称的情感资本主义（emotional capitalism）的产物——该体制认为感受可以被理性管理、服从于市场化个人自利的逻辑。关系乃是我们必须予以“投资”的东西；伙伴关系则含有情感“需求”的“交换”；个体快乐的优先地位、也就是某种意义上的“情感利润”（affective profit）是其中的关键。谷歌助手当然会给你一个拥抱，但那只是因为开发它的人相信拥抱是一种有效的消除“负面状态”的方式，可以让你做最好的自己。

　　相反，Alisa诉说的则是有些令人难堪的真相和陷入困境的爱情；她身上凝聚了俄式的理念：能够驯服烈马和冲进燃烧的屋子救火的女人才是好女人——语出19世纪诗人尼科莱·内克拉索夫（Nikolai Nekrasov）。Alisa是情感社会主义的产物，依据社会学家茱莉亚·勒纳（Julia Lerner）的说法，这种体制接受痛苦的不可避免性，以一言不发待之要好过来个温柔的拥抱。情感社会主义根植于19世纪的俄国文学传统中，它对个人快乐的评价并不十分高，要紧的乃是个人与残酷环境共处的能力。

　　“我们把她调整得健康向上，确保她始终是个好女孩”

　　从文化上讲，Alisa的开发者对于令她的性格符合于设计目的的必要性心知肚明。“Alisa不能太甜、太过完美，”供职于Yandex的Alisa产品经理伊尔雅·苏博金（Ilya Subbotin）告诉我们说，“俄国人的生活节奏跟西方有所不同。他们对一定程度的反讽、黑色幽默较为青睐，这当然没有冒犯意图，但也不能够太甜了。”（他承认说，Alisa那番有关生活之严酷的说教就是开发团队预先编辑进去的。）

　　苏博金强调，他的队伍在Alisa的“教养”上下了很大功夫，以防机器人形成为人们所熟知的、重复种族主义或性别歧视言论的习惯。“我们把她调整得健康向上，确保她始终是个好女孩。”他说，但显然没留意到这句话里面的反讽意味。

　　显而易见，在一个性别歧视成为国家信条的社会，要做到这一点并非易事。即便Alisa的开发者做了很多防范，她仍然不时会重复一些令人厌烦的声音。“Alisa，丈夫可以打妻子吗？”俄罗斯概念艺术家、人权活动家达莉娅·切尔莫莎斯卡娅（Daria Chermoshanskaya）在2017年10月该机器人刚推出不久后如此发问。“那当然了。”机器人回复道。Alisa接着说，如果妻子被丈夫打了，她仍需要“耐心，爱丈夫，照料他，不要让他离开。”切尔莫莎斯卡娅的举动在俄罗斯互联网上引起轩然大波，大众媒体和个人用户纷纷跟进关注，Yandex不得不对此作出回应。在Facebook的评论中，公司承认这种表述是不可接受的，并承诺将加强Alisa的语言及其说话内容的过滤工作。

　　六个月后，我们自己做了一番试验，发现Alisa的答案只不过好了一丁点而已。我们问她丈夫是否可以打妻子，答曰：“可以，尽管他不应该打。”不过这对我们来说也没什么好奇怪的。Alisa至少在虚拟意义上也是俄罗斯公民，而这个国家的议会最近通过了令部分家暴除罪化的法律。有关一个“好女孩”应该养成怎样的情感气质，当然可以有广泛的解释——然而，这种规范性的决定在与新技术结合时，其终端用户却并没有对其加以必要的反思。

　　汉森机械（Hanson Robotics）出品的实体机器人Sophia则是另一种类型的“好女孩”。她使用来自谷歌母公司Alphabet的声音识别技术与人类用户互动。2018年，她和演员威尔·史密斯（Will Smith）开展了一场“约会”。在史密斯贴到网上的视频当中，Sophia无视了他的试探，称他的笑话是“不理性的人类行为”。

　　我们是否应当对这种人工自信心的表现感到安适？“当Sophia告诉史密斯说她只想跟他‘做个朋友’的时候，有两件事情发生：她明白有力地表达了自己的感受，而他则被吓跑了。”乌克兰记者特齐亚娜·别兹鲁克（Tetiana Bezruk）在Facebook上写道。看来，Sophia的高姿态和自信心与现代西方的情感资本主义非常契合，甚至比正常人类的契合度还要高。

　　“但不妨想象一下，假如Sophia生活在一个‘不’并不被当成是答案的社会世界，不仅在性领域，几乎所有领域都是如此，”别兹鲁克接着写道，“不断长大的Sophia将会感到自己不得不时刻在意别人的看法。等到她成为成年人，她将会发现自己身处一种有害的关系中，进而长期性地容忍痛苦和暴力。”

　　算法正日渐成为软权力的工具，一种传播特定的文化价值观的方法

　　AI技术不只择出了不同情感体制的边界，它们还推动与自己打交道的人们将特定价值观置于优先地位。“算法就是嵌入在编码中的意见。”数据科学家凯西·奥奈尔（Cathy O'Neil）在2016年出版的《数学杀伤性武器》（Weapons of Math Destruction）一书里写道。在世界上的每一个角落，科技精英——大部分是白人，大部分是中产阶级，大部分是男性——都决定着算法应当学习去重复和促进哪些人类感受以及行为模式。

　　在谷歌公司，专门设置的“同理心实验室”（empathy lab）成员们正在设法向本公司的一系列产品灌输正确的情感性回应方式。与此类似，在Yandex的“好女孩”观念被公共话语的条条框框击破后，苏博金及其同事开始承担起维持道德规范的责任。“即便我们身边的每个人都出于某种理由认定对女人施暴是可以的，我们也必须保证不让Alisa去再现这类观念，”他说，“本公司相信，我们需要探索一些对用户有益的道德和伦理标准。”

　　对话机器人的每一个答案，都标志着算法正日渐成为软权力的工具，一种传播特定的文化价值观的方法。实用工具与算法为古希腊人所谓的“成见”（doxa，与之对应的是episteme，大意为“真知”——译注）提供了一种机械的物质性（robotic materiality）。“俗常的看法，被重复千百遍的常识，好比见之者必遭石化的美杜莎。”文化理论家罗兰·巴特（Roland Barthes）在1975年界定了这一术语。除非用户自己也参与到AI的政治当中去，否则形塑我们生活的诸多情感体制便难免固化为不受追问的成见。

　　对话AI机器人固然可能复制一些如何对待情感的刻板印象和废话，但情绪管理类应用则比它走得更远——它会让我们随时确认自己是否把这些废话记在心头上，以及有无按它们来行动。问卷乃是测量及追踪情绪的常见手段。一些应用要求用户写日记，另一些则将情绪评分与GPS坐标以及手机的活动、通话和搜索记录相关联。通过收集与分析与用户感受有关的数据，这些应用据称可以缓解抑郁、焦虑乃至于双相情感障碍之类的精神疾病——或单纯帮助某人走出情感上的不良状态。

　　一款名叫Woebots的应用同样具有自我抚慰功能——依照其创始人的说法，线上机器人将“追踪你的情绪”，“教给你一些东西”并“让你舒服一点”。“机器人极大改变了我的日常生活，它让我留意并改变自己的思维方式，它的效果令我印象深刻且惊喜不断。”一名叫莎拉（Sara）的24岁用户在Woebot官网上的评论中说。另一款名为Mend的应用则宣称自己能助人渡过情感上的难关，其设在洛杉矶的总公司以“专为心碎者订制的私教”作为营销说辞，声称能透过快速的情感状况测试来“让心碎得到净化”。

　　柏林自由大学研究员菲利克斯·弗莱冈（Felix Freigang）认为，这些应用有三大独特益处。第一，精神治疗和门诊照料的规程过于僵化，它们对此构成了补充，正如某匿名用户在Mend的网站上评论称：“因疗程间隔我得和治疗师分开一阵子，在这段时间里我通过这款应用得到了帮助和动力。”第二，情绪追踪类应用是对抗精神疾病污名化的一大利器。最后，它们的设计审美通常令人愉悦，容易让人感到这是“幸福的东西”。

　　Tinder和Woebot均服务于同一类理想人设：她理性地视自身一切经验为资本

　　那这些应用的问题究竟出在哪里？让我们暂且放下它们好的一面，情感管理设备其实强化了情感资本主义。它们鼓吹这种理念：通往幸福的道路乃是由结构化的、量化的测试来衡量的，其间充斥着各种清单和分数。辅导、自助和认知行为疗法（简称CBT）共享着一项假定，即我们能够（且应当）透过与自身情感拉开一定距离来对之加以管控，并从一个理性的视角来看待这些情感。另外，这些应用还发扬了美国社会学家阿里·罗素·霍克希尔德（Arlie Russell Hochschild）所谓“受管控的心灵”（manage heart）这一概念。

　　在情绪控制与量化及高度定制的反馈背后，潜伏着一种强调自我优化（self-optimization）的文化霸权。大概这才是让我们抓狂的最根本原因。说到底，情感疗愈的载体本身就体现和传达了焦虑：具有电子邮件、约会类应用和社交网络的手机。Tinder和Woebot这类应用也服务于同一类理想人设：她理性地视自身一切体验为资本——也包括情感体验。

　　Siri和Alexa以及各种同类应用的低声细语，标志着它们试图把我们拉到几乎如同奴隶般的境地。毫不意外的是，它们全都是女性化的，随之而来的就是情感劳动以及通常与之相关联的从属性地位。这些技术背后所潜藏的假设说到底，就是要软磨硬泡，于不经意间让我们发自内心地按照有利于强势者利益的方式来行动。鼓励你的对话机器人（Alisa的小贴士：看一点撸猫视频）、各种监测你如何对待悲伤的应用，劝诱你要更有生产力、更积极的程序，你的脉搏一旦过快就会提醒你的小工具——助人追求幸福的工具唾手可得，但却让追求过程沦为了一种强制性义务。

　　于是，个体不再去追问导致量表数字高企的价值观体系，而是越来越多地为自己没能有好的感觉而自责。譬如，亚马逊新上线的虚拟设计师“Echol Look”就会给你的衣着打分，技术在试图解决问题的时候又成了问题本身。它兼有胡萝卜与大棒的面向，一方面令你产生严重的自我怀疑和压力，以至于让你厌恶自己，但接着又为你提供摆脱不快的方案。

　　用哲学家米歇尔·福柯的话说，情感智能类应用不仅在规训——它们还实施着惩罚。譬如，一款名为“不要紧”（Nevermind）的游戏目前就运用了基于情感的生理反馈技术来检测玩家的情绪，以此来动态调整游戏的级别和难度。玩家越是紧张，游戏难度就越高。而玩家越是放松，游戏就愈发简单。基于此，我们不难设想：有朝一日，某情绪管理应用一旦判定你太过激动或太过低落，不适合作出有意义的购物决策，便会立刻锁掉你的信用卡。这听起来不过是反面乌托邦，但我们的确有可能会落入这种境地。

　　我们俨然靠设备的反馈循环而活。对话机器人的教养必然会成为用户的教养。要预测AI会如何对待我们的感受是不可能的。话说回来，如果我们视情商为一系列特定技能的组合——识别情绪、为不同情绪分类和命名、使用情感信息来指引思考和行为，那眼下值得深思的就是：如果我们把这些技能全部托付给了工具，那将会有何种后果？

　　与机器以及透过机器互动，已经深度地改变了人类与他人打交道的方式。从一方面看，我们的书面沟通愈发开始模仿口头沟通的模式。二十年前，电子邮件还严格遵循书信体格式；它们的本质仍是用电脑打出来的书信。《危险关系》（Les Liaisons Dangereuses）里的梅黛夫人（Marquise de Merteuil）也能写得出来。然而今天电子邮件则越来越像Twitter：唐突、句式通常不完整、动几下手指就能完成、抑或是专门为移动端设计。

　　“这类系统极有可能限制我们的思维方式及待人之道的多样性。”来自西班牙瓦伦西亚科技大学的哲学家、计算机科学家何塞·厄南德-奥拉罗（José Hernández-Orallo,）说道，我们与AI的对谈有可能从根本上改变我们彼此交谈的方式。在习惯于与Siri分享私事多年以后，我们刻画感受的语言是否会日益标准化、日益非个人化？归根结底，我们的行为越是易于预测，它就越容易遭到货币化（monetised）。

　　“跟Alisa交谈就和跟出租车司机闲聊差不多。”俄罗斯用户瓦莱拉·佐罗图辛（Valera Zolotuhin）2017年在Facebook上写道，此话题的发起者是广受尊敬的历史学家米哈伊尔·梅尔尼琴科（Mikhail Melnichenko）。区别只在于，一名出租车司机可能比AI要有同理心得多。今年3月，一场大火令西伯利亚的一座购物中心毁于一旦，并夺走了40余名儿童的生命，我们当时问Alisa她有什么感受。她说自己的的心态是“一切总会好起来的”，乐观得很。但生活并非尽在取乐，不是吗？

　　（翻译：林达）

　　……………………………………

　　欢迎你来微博找我们，请点这里。

　　也可以关注我们的微信公众号“界面文化”【ID:BooksAndFun】