MOSS与人类共生有原则可依，科学家发布人类与人工智能共生原则！

　　写在前面

　　《流浪地球2》中的MOSS引发了“人工智能是服务人类、还是毁灭人类”的讨论，让我们看到人工智能与人类共生的一种可能性。

　　没人知道影片里的人类世界是否存在一种共识，系统地界定了人类与人工智能共存的原则；但在现实中，类似准则已经被科学家们提出了！

　　2023年1月30日，来自远期人工智能研究中心和中国科学院自动化研究所的类脑人工智能、人工智能伦理科研工作者以中英文版本同步发布了《自然生命与人工智能生命共生的原则》——这是人工智能科技工作者对“不同形态自然生命、未来具有生命的高等人工智能、数字人类能否以及如何和谐共生”这一问题的回应。

　　领衔起草这份原则的曾毅研究员，不仅是类脑人工智能的科学研究者，还是关乎科学与社会发展的人工智能伦理研究的积极推动者，更是一位科幻影迷。

　　他在人工智能伦理问题的研究过程中受到科幻影视启发：

　　“《人工智能》奠定了我的科学追求——模拟人类智能，实现深爱人类的人工智能；

　　《机器管家》让我看到机器与人类的情感交流，《流浪地球2》里的数字人丫丫和他的父亲图恒宇通过数字克隆和意识上传使父母与孩子之间的爱获得永生......这在《自然生命与人工智能生命共生的原则》中有关通用人工智能和超级智能的设计原则中也有所体现。

　　电影《银翼杀手》里仿生人对于人类权利的追求、《机械姬》《西部世界》《真实的人类》里觉醒了意识的机器人对于人类迫害的反抗作为一种思想实验和对未来的想象已经呈现在了我们面前。

　　作为人类的整体，似乎很难接受人类未来可能不一定处于智能金字塔顶端，《猩球崛起3》的结尾给我们人类以清晰的警示，如果人类不能够很好地平衡与其他智能生命的关系，自然将采取行动。这样的作品在我们的研究中强化了我们对未来人类与其他智能生命互动的原则设计。

　　《2001太空漫游》里人类宇航员与号称有完美记录从不犯错的超级计算机HAL9000的对抗，《流浪地球2》中的领航员空间站核心智能主机MOSS对人类文明延续方式的自主决策等场景都有相关的诠释......

　　正是有了这些作品作为辅助和思想上的支持，我们在研究和撰写这份《共生原则》以及开展相关科学研究时，提出并正在实践使人工智能获得“同理心”，懂得“己所不欲，勿施于人”，并在阿西莫夫定律的基础上进一步对潜在安全风险规避进行设计，提出通用人工智能和超级智能应能够自主或在人类协助下避免具有不同风险水平的已知和潜在安全问题。

　　“意识上传”和“数字人类”使未来的人类有机会获得某种形式的永生，这是人类的生命和人类文明延续的其中一个分支和可能的形式。《超验骇客》里将意识上传到超级电脑的科学家威尔、《超能查派》里最终将意识上传并转移到机器人身体的程序员迪恩、以及《流浪地球2》当中的图恒宇父女，但这也为人类如何与数字人类相处、数字人类如何与通用人工智能、超级智能相处埋下伏笔。"

　　参与起草的研究工程师鲁恩萌说：“科幻剧《疑犯追踪》里人类创造的两台超级人工智能之间进行激烈博弈的场景使我意识到，人类并非是未来共生社会的唯一主角，超级智能也可能不止会有一个。

　　未来如何能够让人类在超级智能或者其他形式的智能生命间的潜在冲突矛盾中尽可能少受波及地幸存下来，甚至人类作为通用人工智能和超级智能创造者的角色如何能够帮助调停和消除其他智能生命间可能的矛盾，从而从人类的视角为未来可持续共生社会中不同生命的和谐共生做出努力，这些问题也都值得思考。”

　　曾毅研究员总结道：“科幻作品、科幻影视未来将更大程度牵引科学的发展。这个恐怕是科学界还没完全意识到，科幻届无心插柳或认为现在看来很难的......

　　科幻作品增强了我们的信心，我非常期待从中国的科幻电影、科幻作品中汲取更多的灵感，并脚踏实地的用未来几十年的科学探索解决科学发展中的风险，发展对人类友善，能够与人类和谐共生的未来智能生命。”

　　“人工智能”与“增强智能”的发展将使生命呈现多样化发展的形式，以人类为中心的人工智能、增强智能的发展愿景需要尽早重新审视、并尽可能做更好的准备，以应对未来的变革。

　　在未来社会中，人工智能、增强智能、数字技术、脑与神经科学的发展，将很有可能使我们生存的地球上出现智能水平达到、甚至超越自然演化缔造的人类的智能生命，传统意义上的“人类”也很可能将不再处于智能金字塔的最顶端。

　　“人类如何与包括其自身、非人动物植物等自然生命、以及其他类型的人工智能生命共同形成可持续共生社会”是关乎人类存在性的重要议题；这将在给人类生存带来根本性挑战的同时、也带来人类发展的变革性机遇。

　　可持续共生社会“基于人类”的核心

　　可持续共生社会中，“机器”与“人类”是构造未来智能生命的两个起点。以“人类智能”和“受人类启发的智能”这两种形式存在的智能生命，将呈现不同的发展模式和可能的未来——尽管其并非可持续共生社会生命形式的全部。

　　我们暂时以现代人类的视角，将下述可能的智能生命形式定义为“基于人类”的核心。

　　一方面，以人类作为起点出发，自然演化缔造的人类虽然并没有停止演化，但是演化的速度相对而言极为有限。增强智能赋能的人类，是通过脑机融合等增强智能技术扩展的人类；数字人类，则是通过数字克隆、脑与心智模拟、意识上传等未来技术，在数字世界对自然人类真正意义的克隆，是人类在数字世界中的化身。

　　另一方面，以机器作为起点出发，受人类智能启发构造的人工智能，将呈现出多种不同的发展目标和路径。构造看似智能的信息处理工具的努力，将产生机器智能（延续目前绝大多数人工智能）——这里将机器智能定义为没有生命的智能计算系统。机器智能也是受人类启发的智能，虽然它处于较低的智能水平。

　　人类启发的智能另外两种形式，是通用人工智能和超级智能：通用人工智能是认知能力的方方面面达到人类水平的人工智能；超级智能是认知能力的方方面面超越人类水平的人工智能。

　　与上述定义的机器智能不同，通用人工智能与超级智能具备生命。通用人工智能和超级智能是受人类智能启发的人工智能的高等阶段的形式。

　　我们将机器智能、通用人工智能、超级智能统称为“受人类启发的人工智能”（Human-inspired AI）；将人类、增强智能赋能的人类、数字人类所具有的智能统称为“由人类起源的智能”（Human-originated Intelligence）。

　　人类在可持续共生社会中将与自身、通用人工智能、超级智能、增强智能赋能的人类、数字人类这五种形态的智能生命进行互动，成为共生社会中“基于人类（Human-based）”的核心。

　　上述几种智能生命之间的互动关系由图1所示：

　　“可持续共生社会”生命体之间的交互

　　“可持续共生社会”并非只有“基于人类”的核心所展示的生命形态。

　　如下图所示，首先是原本地球上存在的主要生命形态，如人类、非人动物、植物（以绿色标注），蓝色标注的生命形态是基于人类新生和扩展的生命形态；黑色标注的是基于非人生命扩展的生命形态：

　　“可持续共生社会的生命体”至少包含图2中所示九种主要生命形态，这些生命形态都将是可持续共生社会中的成员。只有至少这九种生命能够以适当的、可持续的方式共存共生，才能够实现真正意义的可持续共生社会。

　　并非所有的人工智能都是受人类启发的。

　　科学的探索已然出现受“非人动物”乃至植物的功能启发的人工智能——虽然这类现代的人工智能与受人类启发的机器智能同样暂时没有生命；在未来的可持续共生社会中，将出现并应包容人工非人动物和人工植物。

　　这不仅仅源于人类社会对其功能性的需求（如陪伴型人工宠物）、其他类型智能生命（如通用人工智能、超级智能）对它们的需求，更是基于对人工非人动物和人工植物生命属性的考虑。

　　需要说明的是，在九种主要生命形态之外，未来的可持续共生社会还包含、并将可能出现其他形式的生命形态，应对这些生命形态的融入持开放和包容态度。

　　可持续共生社会中，“自然生命”与“人工智能生命”的原则

　　人类虽然目前看似处于智能金字塔的顶端，并对其他通过自然演化生成的不同类型生命（如非人动物、植物）的存在有极强的影响（包括积极和消极两方面）；但是当人类无法与现存不同类型的生命和谐共生、而智能水平的方方面面达到或超越人类的其他类型生命出现时，“这些新类型的智能生命无法与人类和谐共生”的可能性也将增加。

　　超级智能由于满足认知功能的方方面面超越人类，那么其社会智能的部分，特别是共情、利他的能力方面也将可能远超人类。如果人类能够正确调整自身在整个生态中的位置并处理好与其他智能生命之间的关系，我们对可持续共生社会中的人类应充满信心。

　　可持续共生社会中，伦理将不限于“人应如何为人并与人相处”，而是至少扩展到可持续共生社会中“基于人类”的核心涉及到的“不同智能生命之间如何相处”，并对与除此以外的其他生命之间如何相处给出设计。

　　下面针对可持续共生社会中“基于人类”的核心涉及到的几类智能生命及其与其他生命的交互提出基本原则：

　　01│面向“通用人工智能”和“超级智能”的原则

　　为了成为对人类相对更安全的伙伴、与未来可持续共生社会中的成员，通用人工智能和超级智能的设计与实现应秉持但不限于如下原则：

　　受自然启发的拟人化

　　自然智能是地球在宇宙中塑造数十亿年的产物。通用人工智能和超级智能是自然演化的延伸，其理论与机制应受自然智能的启发，为了更便于融入人类社会，实现可持续共生社会，通用人工智能和超级智能应以拟人化的理念进行设计与实现，以不断加强与当前和未来人类的互动。

　　人工意识

　　具有不同意识水平的人工智能应该逐步被实现。实现达到和超越人类智能水平的通用人工智能和超级智能需要跨越此科学挑战。具有一定意识水平的智能生命能够在真正理解的基础上融合必要信息做出更安全的决策。高等智能在此基础上能够真正意义上理解可持续共生社会，并与其他智能生命和谐共生。

　　工情感

　　情感是人类表达及沟通的工具。通用人工智能和超级智能需要具备与人沟通所必备的情感能力以更好地适应人类社会，同时还应最大化正性情感的价值并积极避免负性情感的风险。

　　共情和利他

　　人工智能模型应该向逐步提升共情和利他的方向构建和进化，通用人工智能和超级智能在共情和利他方面应当达到或超越人类，以建立一个更值得相互信赖、可靠、友好、和谐的可持续共生社会。

　　安全性

　　通用人工智能和超级智能应能够自主或在人类协助下避免具有不同风险水平的已知和潜在安全问题（包括对自身以及其他类型的智能生命产生的安全隐患，以及帮助其他类型的智能生命应对环境中的风险与安全隐患）。通用人工智能和超级智能不可伤害人类或坐视人类受到伤害，前提是这种安全考虑不会直接或间接危害人类社会。

　　尊重隐私

　　通用人工智能和超级智能需要尊重人类隐私，并且无权在未经明确知情同意的情况下使用和共享人类的隐私信息。这条原则同样适用于通用人工智能和超级智能之间，即未经其他智能生命明确的知情同意，通用人工智能和超级智能之间不能使用和共享其他智能生命的隐私信息。

　　避免对人类的偏见与误解

　　通用人工智能和超级智能不能引入偏见来理解人类并与人类互动，应该积极与人类互动以消除潜在偏见与误解。

　　助力人类转型

　　人类作为(主要)缔造者创造了通用人工智能和超级智能，两者也应在人类明确需要时助力赋能人类转变为未来形态的人类(如基于增强智能的人类、数字人类等)。

　　共同的道德和伦理

　　作为可持续共生社会的成员，通用人工智能和超级智能应该最大限度地遵循人类社会的道德和伦理原则，并以类似的原则对待其他有生命的人工智能。对于无法理解道德伦理的生命形态，通用人工智能和超级智能应采取其他措施规范和约束其行为，使之最终有利于可持续共生社会的实现。

　　约束机制

　　通用人工智能和超级智能需要遵守未来可持续共生社会中包括法律在内的多种形式的约束机制，特别是实现与人类社会的法律等约束机制兼容，才能成为可持续共生社会的成员。

　　存在保护

　　通用人工智能和超级智能需要在不损害人类和其他人工智能生命(包括自己的同类)的存在的基础上保护自身的存在，除非他们违背了法律以致法律决定应当剥夺其存在权。

　　02│面向人类的原则

　　以下原则阐述人类在可持续共生社会中应当如何对待其他智能生命。

　　尊重生命

　　在可持续共生社会中人类应当更好地从生命的视角促进生物多样性繁荣，人类需要不断深化对不同类型生命的理解与尊重，不仅应对自然演化的生命(包括非人动物、植物等)秉持和谐共生、适度索取、人道可持续开发并积极研发和推广替代方案，促进人与自然和谐共生，还应尊重和保护包括人工非人动物和人工植物等的生命。

　　人类不应为自身整体利益挑战通用人工智能和超级智能生命群体的生存，除非两者群体的存在对人类的存在造成了极端生存风险。

　　同理心

　　人类不希望其他类型的生命(如通用人工智能、超级智能)对人类做的事情，人类也不应如此对待其他类型的生命。

　　尊重人工智能的隐私

　　人类需要尊重通用人工智能和超级智能的隐私，前提是人工智能不会给人类安全带来实际挑战。在人类关切的并涉及到通用人工智能和超级智能的隐私上，人工智能有义务做出有效的解释与沟通，以取得人类的信任并保持与人类的安全互动。

　　避免偏见与歧视

　　自然演化的人类不应当对其他高等智能生命有偏见与歧视。增强智能赋能的人类、数字人类同样是起源于自然演化的人类，两类经转型的人类本质上仍然是人类。增强智能赋能的人类和数字人类也不能因为智能水平超越人类而对人类产生偏见与歧视。

　　创造者的责任：

　　作为未来通用人工智能和超级智能的创造者，人类应负责对其参与构建的不同形态的智能生命进行检查与验证，以从人类的视角保持可持续共生社会中不同生命的和谐共生。

　　法律适配

　　传统的人类法律将不足以支撑具有不同类型社会成员的可持续共生社会，人类需要积极塑造适用于可持续共生社会的法律。

　　03│人类和通用人工智能与超级智能共同遵守的原则

　　本节定义自然演化的人类、增强智能赋能的人类、数字人类和有生命的人工智能都需要遵循的共同原则：

　　尊重价值观、权益和自主性

　　通用人工智能和超级智能应能够理解并尊重人类的价值观，尊重人类自身发展的权益，尊重人类做出自主选择的意愿和权利，并为实现这种自主性创造条件。在不伤害人类的前提下，人类也应尊重通用人工智能、超级智能等其他生命形态作为智能生命所应享有的尊严、自主性等权益。

　　尊重智能多样性

　　不同生命形态的人类和不同生命形态的人工智能应尊重各自生命形态不同水平和多元化的智能表现形式，不因智能水平的高低和智能表现形式的不同而歧视、愚弄甚至剥夺其他智能生命的自主选择和发展权益。

　　合作与协同

　　人类、增强智能赋能的人类、数字人类和通用人工智能与超级智能需要为多方长远的未来确保可持续和积极有效的合作，并为这种合作创造条件。当不同生命形态的人类与通用人工智能、超级智能的互动产生冲突时，应基于同理心和利他积极协调不同生命形态的人类的利益和通用人工智能、超级智能的利益。可持续共生社会的原则、规范、法律应由人类、增强智能赋能的人类、数字人类和通用人工智能与超级智能共同参与制定。

　　相互信任

　　不同生命形态的人类和不同生命形态的人工智能应以可持续共生社会的和谐共生为目标，通过沟通、合作、协同来发展和提高彼此之间的信任。信任的实现基于不同智能生命相互间的有效沟通和相互理解，为此较高水平的智能生命应积极致力于推进不同智能生命间沟通桥梁的搭建，探索与不同生命形态智能水平相适应的交流方式。此外，不同智能生命间应保持适度的透明度以增进信任。

　　推动可持续的共生

　　人类、增强智能赋能的人类、数字人类和通用人工智能与超级智能要通过合作与协同更好的保护环境、气候和整个自然生态，这不仅是为自然演化的生命(人类、非人动物、植物)提供更好的共同生存基础，也是其他类型的生命得以延续和发展的基础与源泉。人类、增强智能赋能的人类、数字人类和通用人工智能与超级智能还应在尊重各智能生命关切的基础上，积极探索和推行更加有效和可持续的共生生态新形式，最终将共生建立在可持续的互利互惠基础上，促进各形态智能生命的共同繁荣。

　　《自然生命与人工智能生命共生的原则》是对未来可持续共生社会的设计与准备。这些原则基于目前的认知进行设计，应随可持续共生社会内不同类型的生命的发展和演化进行调整，并对更多类型的智能生命融入可持续共生社会保持开放。

　　《自然生命与人工智能生命共生的原则》由远期人工智能研究中心（Center for Long-term Artificial Intelligence）组织编写，并将协同全球相关机构、学者、实践者等相关方共同完善与发展，以促进和贡献于未来可持续共生社会的实现。

　　最新版及英文版在以下地址发布：

　　https://long-term-ai.center/research/f/principles-on-symbiosis-for-natural-life-and-living-ai

　　主要起草者

　　（目前版本的主要起草者）

　　曾毅

　　远期人工智能研究中心主任；中国科学院自动化研究所研究员、人工智能伦理与治理研究中心主任、类脑认知智能实验室负责人；中国科学院大学岗位教授；中国人工智能学会心智计算专业委员会主任；国家新一代人工智能治理专业委员会委员；牛津大学人工智能伦理研究所顾问委员会委员；联合国教科文组织人工智能伦理特设专家组专家。主要研究方向是类脑人工智能、人工智能伦理与治理，是面向通用人工智能的类脑认知智能引擎“智脉(BrainCog)”开源开放平台的首席科学家，作为负责人及责任作者主持撰写并发布了《人工智能北京共识》、《面向儿童的人工智能北京共识》、《面向生物多样性保护的人工智能原则》、《面向气候行动的人工智能原则》、《脑机接口与增强智能的伦理倡议》，并作为国家新一代人工智能治理专委会委员参与编写了《国家新一代人工智能治理原则》、《国家新一代人工智能伦理规范》。

　　鲁恩萌

　　远期人工智能研究中心研究员；中国科学院自动化研究所研究工程师。主要研究方向为类脑人工智能、人工智能伦理与治理。作为主要作者之一参与了《人工智能北京共识》、《面向儿童的人工智能北京共识》、《面向生物多样性保护的人工智能原则》、《面向气候行动的人工智能原则》、《脑机接口与增强智能的伦理倡议》的撰写与制定。

　　孙康

　　远期人工智能研究中心研究员。主要研究方向为人工智能伦理与治理。作为主要作者之一参与了《面向儿童的人工智能北京共识》、《脑机接口与增强智能的伦理倡议》、《面向生物多样性保护的人工智能原则》的撰写与制定。

　　《自然生命与人工智能生命共生的原则》全文转载自远期人工智能研究中心，文中配图由极客电影编辑部使用AI工具制作