有效加速or超级对齐？如何实现ai大爱人类？—新闻—科学网-米乐m6棋牌官网

有效加速or超级对齐？如何实现ai大爱人类？

 

就在chatgpt推出一周年前夕，其开发机构openai经历了一场令人瞠目的高层“地震”。联合创始人之一的首席科学家伊利亚·苏茨克维（ilya sutskever）联合董事会其他成员，突然解职了联合创始人、首席执行官山姆·奥特曼（sam altman），将另一位联合创始人、总裁克雷格·布罗克曼逐出董事会。在经历约100个小时的剧情反复反转后，奥特曼又回归openai恢复旧职。

尽管openai尚未公布董事会这一决定的真正原因，但业界普遍猜测其背后体现了人工智能技术发展和安全的矛盾。“所谓‘对齐’（注：对齐指引导人工智能系统的行为使其符合设计者的利益和预期目标）就是个伪命题，小小openai董事会尚且无法‘对齐’，更何况复杂的人类社会。”科幻作家陈楸帆向澎湃科技表示，“真正的危险并非在于技术本身，而是在于资本主义追求有效加速主义的底座。”

有效加速主义（effective accelerationism，e/acc）指的是一些硅谷精英发起的科技价值观运动，他们认为人类应该无条件地加速技术创新以颠覆社会结构，而这种对社会的颠覆本质上对人类有利。奥特曼被认为是有效加速主义的代表。

“在我看来，加速是毫无疑问的。”idea（粤港澳大湾区数字经济研究院）ai安全普惠系统研究中心讲席科学家王嘉平对澎湃科技解释道，“安全也是技术，技术当然要加速，只是说那么多个技术是不是同步发展。”

“也许有效加速主义的存在正是为了逼迫super-love-alignment（超级‘爱’对齐）的出现，正如道家所说‘反者道之动’，它们是一种更高维度上的动态关系，互为对立，互相激发，纠缠共生。”陈楸帆说。

超级“爱”对齐中的爱是大写的，即“大爱”，大体意思是让ai“对齐”“无条件对人类的爱”，正如科幻作家艾萨克·阿西莫夫提出的“机器人三定律”所体现的精神。苏茨克维被认为是超级“爱”对齐的代表。

“一直以来有两种声音，一方面各个企业投入了巨大的资源，不遗余力地推动通用人工智能技术的发展。另一方面，以马斯克为代表的人士，曾经呼吁暂停训练更先进的大语言模型6个月。”上海市数据科学重点实验室主任、复旦大学教授肖仰华表示。对于人工智能应该加速还是减速，他发出警告：传统的技术治理模式可能已经不再适用于通用人工智能。在通用人工智能技术对人类社会可能产生剧烈影响时，有足够理由担心它对人类文明是否会带来毁灭性的影响。“机器认知能力超过人类，这是一个必然的趋势，我们可能未来要长期接受这样的状态。”

对于未知的未来，中国人工智能行业的一线人士们最想知道答案的问题是什么？

“大模型有自主意识后，当它的智能和能力媲美和超过创造者时，它需要以什么样的态度来看待创造者？超级智能在智力和能力上比人更强时，我们如何跟它们共存？”蚂蚁集团副总裁、金融大模型负责人王晓航问道。

北京智谱华章科技有限公司ceo张鹏好奇：“实现agi是不是真的需要让机器拥有自我意识？”

北京开放传神科技有限公司（opencsg）创始人兼ceo陈冉问道：“未来是否会出现agi或aigc（注：人工智能生成内容）‘联合国’？”

科幻作家顾备则关心：“如何思考人类与数字生命共存的可能未来？”“让人类逃离掉肉体的低级趣味或病痛束缚，达到高级的精神追求，是人们对数字生命的美好展望，然而这不可避免地涉及到技术普惠等社会议题。我们需要对数字生命进一步拓展想象力。”

以下为采访实录，因篇幅原因有删减：

澎湃科技：就最近openai的“宫斗”，怎么看ai技术发展的加速与减速，安全与利润之间的关系？

肖仰华（上海市数据科学重点实验室主任、复旦大学教授）：openai这一次的“宫斗”或者说高管调整，一定程度上是人工智能技术发展和安全的矛盾的体现。自chatgpt成为全球性现象级产品以来，整个通用人工智能的发展呈现出加速的趋势，发展和安全这对矛盾的冲突也日益激烈。一直以来有两种声音，一方面各个企业投入了巨大的资源，不遗余力地推动通用人工智能技术的发展。另一方面，以马斯克为代表的人士，曾经呼吁暂停训练更先进的大语言模型6个月。中国政府也发出了全球人工智能治理的倡议，国内外很多知名学者都发起加强人工智能治理的呼吁，两种声音此起彼伏。openai这一次的宫斗戏码，只不过是在这对矛盾基础上进行了再一次演绎。

为什么大家对这对矛盾如此重视？这是因为传统的技术治理模式可能已经不再适用于通用人工智能。以往在工业文明时期，技术带来社会治理问题的模式往往是先发展再治理，比如工业文明早期的环境污染问题。但是通用人工智能技术和历次工业文明时期的技术革命有着本质的不同，因为通用人工智能是关于智能的革命，而历次技术革命包括蒸汽机电力，都是人类智能本身的一个产物。关于智能本身的革命是一场元革命，是历次技术革命所不能比拟的，因为其形成的是智能和智力，涉及人类生活、工作、科研、教育几乎所有行业，人类的智力活动在日常生活中几乎无处不在。

那么我们很难想象，一旦通用人工智能大量使用之后，当它具备了人类水平的智能之后，就很容易渗透进社会发展的每一根毛细血管，所以它对人类社会的影响将十分广泛且深远。它给人类带来的机遇前所未有，带来的挑战也是前所未有的，足以对人类造成毁灭性伤害。

对比人类的社会系统和自然生态系统，社会系统对应的是人类的文明，它相比而言极为脆弱，而大自然作为生态系统，实际上有着极强的健壮性和自我修复能力。在通用人工智能技术对人类社会可能引起剧烈影响时，我们有足够理由担心它对人类文明是否会带来毁灭性的影响。

这种影响并不是像科幻电影中“终结者”对人类肉体的消灭，或者像《流浪地球》中的人工智能阴谋论，而是潜移默化地影响人类社会，特别是对人类智力倒退的影响需要引起足够担忧。当下一代小朋友大量使用chatgpt做作业、写作文会怎样？实际上这已经发生了，而我们原本的写作文、解题的过程就是训练下一代智力水平的过程。一个新手不经过1万小时的训练不可能成为一个专家，在chatgpt这类产品被大量使用之后，我们每一个新手养成专家的路径就会被截断，我们赖以训练自己智力的写作训练的机会就会被剥夺，这个时候人类智力倒退可能就是一个不可避免的现象。

这种智力的倒退带来的一定是文明的崩塌，所以这就是我们要引起足够重视的。尤其很多时候，这不是一种剧烈的震荡，而是温水煮青蛙似的，渐进式地逐步消磨人类的智力水平，这种风险其实是我们容易忽略的。

那么我们应该如何看待ai发展和安全的激烈矛盾？事实上用辩证的角度去看，安全和发展并不矛盾，唯有安全才能发展，安全是发展的前提。我们只有把agi锁在保险箱里，让其可溯源、可解释、可控制、可信赖，我们才可以放手去发展它。反之，如果没有建立起安全的前提，那么这样的发展可能会给人类社会带来极大的负面影响。

我们想想，发展技术的目的是什么？仍然是以人为本。如果人都不存在了，社会都不存在了，技术又为谁服务呢？所以安全和发展的矛盾看似冲突，但实际上是可以调和的，我们要善于把握这种矛盾的相互转换，不要盲目将其对立，要在兼顾安全的前提下发展，做到安全和发展的兼顾。

陈楸帆（科幻作家）：这一事件可以看出，所谓“对齐”就是个伪命题，小小openai董事会尚且无法“对齐”，更何况复杂的人类社会。

真正的危险并非在于技术本身，而是在于资本主义追求有效加速主义的底座。我有一个更meta（元）的想法，也许有效加速主义的存在正是为了逼迫super-love-alignment（超级“爱”对齐）的出现，正如道家所说“反者道之动”，它们是一种更高维度上的动态关系，互为对立，互相激发，纠缠共生。过去几百年间e/acc（effective accelerationism，有效加速主义）一直占据主导，带来社会进步的同时也导致了许多问题的出现，比如生态环境问题。人类-技术-环境在动态平衡中寻找着发展的最大公约数。现在的gpt以及将来可能的agi，正是让这个结构发生了微妙的变化，令整个行星生态系统到达了某种临界点，需要重新校准。这个校准的核心关键在于我们是否能够想象出超越资本主义之外的新的价值框架，形成共识。

王嘉平【idea（粤港澳大湾区数字经济研究院）ai安全普惠系统研究中心讲席科学家】：技术当然要加速发展。安全也是技术，技术当然要加速，只是说那么多个技术是不是同步发展。如果是只管一个方向的技术，完全不管安全技术的发展，那肯定是不对的。但是直接说先暂停推进技术发展，这是没有道理的，一个机构不研究，其他机构也会研究，一个国家不研究，别的国家也会研究，重要的是足够重视产业健康发展所需要的所有技术。

所以在我看来，加速是毫无疑问的。而且加速带来一个更重要的事情是，有更强大的手段和能力，因为你其实不知道未来会面临什么，来自哪里的威胁，如果现在减速，可能未来也许会面临别的什么挑战，技术肯定是在有机会发展的时候尽量发展。但只是说技术里有好多部分，不能偏科地发展。

澎湃科技：大模型可能在何种情况下表现出何种人格倾向？

梁家恩（云知声智能科技股份有限公司董事长兼cto）：现在大模型可以模拟很多风格，比如鲁迅风格、莎士比亚风格。不同风格可能是人格的一部分，这种倾向更多还是从数据里学到，它本身不会像人一样成长出不同的性格，而在于训练的人究竟该如何处理这些数据，让它更好显示一种风格。当然如果ai设计人员针对性地设计一种人格，我相信也是有空间的。

至于大模型进化出“自主意识”意义上的人格，我目前没看到这种迹象。

陈磊（信也科技副总裁、大数据及ai负责人）：第一，这和数据有很大关系，学了莎士比亚，输出的内容更莎士比亚了。第二是智能涌现，通过某种思维链的方式做出创造。这两点是有人格倾向的基础。但坦率说，挺难判断大模型是否会有人格的变化。

陈楸帆：人类有将自身情感投射到外物的惯性，所谓拟人化，表现在科技领域就是试图让创造物表现出接近人类的特质，无论是外形、行为、交互还是动机。大模型的人格倾向其实是人类不断调参的结果，因为这是人类唯一能够进行自然理解并交流的方式，但语言表征的人格化是否意味着机器真正理解了背后的深层含义与世界模型，目前还不得而知。

澎湃科技：如何应对agi带来的传播革命，包括虚假信息升级？

陈楸帆：在我的小说《假面神祇》里，想象了一个deepfake技术泛滥的未来，因为成本以及使用门槛足够低，所以任何人都可以制造出足以乱真的伪造图片、音频、视频并在媒体上传播。

因为人眼已经无法辨别真伪，只能通过技术上的“矛盾之争”来解决，一方面是工具平台需要接受监管，采用数字水印等技术进行标注，防范滥用，另一方面在社交媒体需要不断升级的“deepfake探测器”，来筛查、过滤、提醒用户哪些信息可能含有aigc（人工智能生成内容）生成的元素。

当然，更难以防范的是围绕着复杂叙事展开的伪造，比如同一个新闻事件有着完全不同的视角与立场，传递出来的信息也就千差万别，而这些信息经过算法的回声效应，过滤放大又将极化受众的意识形态，最终人类必将面临一场“叙事战争”。

陈磊：第一，ai生成的大量内容要有标签。第二，通过技术手段侦测ai内容的合理性、准确性。当然，出了问题以后怎样处罚是另一个层面了。

张鹏（北京智谱华章科技有限公司ceo）：我看过一个权威机构的报告，当时他们在写报告的时候，互联网上已经大约有10%的数据是由模型生成的，已经无法跟人类生成的数据区分了，未来这个比例会持续上升，这里面可能也包含虚假信息的问题。这也是伦理安全问题，如何能够把机器生成的数据，尤其是虚假的数据、有问题的数据区分出来，或者防范产生这些数据，这也是一个很大的挑战。

陈冉【北京开放传神科技有限公司（opencsg）创始人兼ceo】：首先我是唯物主义者、无神论者，但我在今年5月就看出gpt有一些人格特征了。大模型算一次工业革命，比互联网更加牛，它主要解决的问题是人的知识积累问题、人的知识积累有无上限的问题。比如三甲医院大夫的水平是有界限的，到达一定年龄得退休，这些经验被大模型学了以后不断积累，大模型不会退休，它正好取代或辅助了那些有经验、有知识的人，是知识的积累和延续。如果这是真的，那就是时间问题。

澎湃科技：除了生成式ai，agi是否会存在其他形式？

梁家恩：用统计模型、循环神经网络不断生成对话的能力在2014年左右就已经有了，只不过它不可控，很多结果质量不够高、看起来就不够“智能”。chatgpt出现以后，生成的内容质量更高且相对可控，更加符合人类的预期，显示出agi的能力。

了解语言、通过语言跟人类对话，这只是agi的第一步，未来还会加上真正的逻辑推理能力。现在的逻辑推理“现象”是通过思维链激活出来，本质上不是原生，它可能根本不理解里面的逻辑，只是统计模拟出来的。所以未来肯定还会有更深层的逻辑推理能力出来，特别是结合多模态信息的逻辑推理，现在其实已经可以看到部分研究进展了。

张鹏：这是毫无疑问的，生成式ai未必是最终答案。只不过生成式ai是目前看来接近agi的一个非常有效的途径。但它也有问题，比如幻觉性、安全性。还需要很多研究，比如在“系统1”的基础上引入知识和逻辑推理的“系统2”来约束和验证“系统1”。目前很多人在研究，我们也一直在强调未来认知智能的框架是双系统框架，知识和数据双轮驱动。现在是数据驱动走得快，也就是生成式ai走得快，效果提升明显。但还需要想想怎么把知识、记忆、逻辑以“系统2”的方式融入到整个框架中，这可能会解决幻觉性问题，也有可能解决安全和隐私问题。

“系统1”和“系统2”融合以后，会带来认知智能。生成式ai的工作方式是预测下一个token（注：在ai领域token通常指文本处理过程中的最小单位），强调的是生成的过程和算法，但认知智能并不局限在生成上，它可能是实现认知智能甚至agi的重要途径，但它也有可能不是全部。

王晓航（蚂蚁集团副总裁、金融大模型负责人）：生成式ai只是这一波技术革命的中枢，但最终要实现agi、端到端解决现实世界的问题，需要一个系统的工程组合技术。大模型如果真的要往通用智能和更高级的智能演进，比如具身智能，就需要跟现实世界进行连接、互动，这包括多模态理解、传感和交互技术。

陈楸帆：对于agi的定义本身就有局限性，目前我们只是狭隘地将与人类近似的智能水平定义为“通用人工智能”，但这其中的每个定语“通用”与“人工”都存在疑问。

考虑到宇宙的广阔与人类的无知，我相信人类并非唯一的智能生命，甚至在地球上恐怕都不是唯一。我们对于智能的理解恐怕只在一个非常初级的阶段，正如杰弗里·辛顿（图灵奖得主、深度学习三巨头之一）所说，我们无法完全理解一个事物，除非能够造出它。所以打造通用人工智能的最大意义或许正是在于能更好地理解人类本身。

澎湃科技：agi的下一阶段会是什么，是超级智能体吗？

肖仰华：agi的下一阶段一定是asi（artificial super intelligence，超级人工智能）。事实上现在gpt-4已经可以认为是超级认知智能的具体成果，它在认知广度和深度上已经超过了绝大部分人类，试想一下，我们有哪一个人的知识容量能够达到gpt-4的水平？它几乎知道所有学科，我们可以问它任何一个具体的问题，人类都很难记得如此清楚。这些都是大模型的认知远超人类的方面。

事实上，机器认知能力超过人类，这是一个必然的趋势，我们可能未来要长期接受这样的状态。事实上，机器下棋超过了人类，计算超过了人类，认知能力也超过了人类，所以这将会是常态。但这是否就意味着人类就没有超越机器的地方了？我认为对ai的主动权、控制权，对其驾驭和使用的能力仍然是人类所独有的。人类还是能够跳脱现有的思维框架，提出新的理论框架，这些都仍然是目前大模型或人工智能体所不具备的。包括人类独有的一些生存和发展智慧，这也是当前或未来的超级认知智能体所不具备的。这里的智慧就是指人能够针对适当情况，即在何时何地采取何种策略、何种知识来解决问题，这种能力都是人类所独具的，机器仍然难以达到。

张鹏：人类对agi的预期就是这样。人的脑量有限、精力有限、时间有限，学习能力和速度也有限，能达到的上限很明显。造出一个能超越人的机器或者通用人工智能，这是人内心的执念。大家对agi的期待一定是超越人的智能水平。

陈磊：短期它可能不能叫超级智能体，但肯定是智能体，最近研究火热的就是agent（智能体）。大模型不再是model as a service（模型即服务）的模式，而是一个决策和控制、与下游沟通交互的体系，从支撑作用变成了决策作用。

王晓航：agent的本质是有非常多的技术组合，可以把很多标签和新技术往agent的框架里塞，最终的本质是不断解决现实世界的任务。这一切是以大模型为中枢，提供落地的连接、知识存储，思考和规划、规划的框架，这是产业落地的一个最关键的技术载体。

陈冉：分久必合，合久必分。公有云、硬件都适配这个准则。当一个东西大到一定程度，谁来监管它？意思是说，大模型肯定会越来越大，它肯定会受监管，垂类模型也会越来越大，会不会有超级智能体，我认为答案是不。各个国家都有反垄断法，世界怎么会出现一个超级智能体？

陈楸帆：我认为是能够跨越物种进行交流并协同计算的行星级群体智能网络，这里所指的物种包括人类、非人类生命形态、机器智能体以及环境。

澎湃科技：未来一年，全球范围的ai监管预计会出现哪些进展？

陈磊：大方向不会变，监管大模型三个方面，第一是输入的数据，第二是使用的算法本身，未来算法本身是否也要强调可解释性、合理性。第三是输出的监管。至于大模型对于社会的影响，应该会有社会学的考量。

王晓航：安全、隐私、伦理、可解释性会持续成为监管的关注对象。判别式ai是降本增效工具，大模型不是工具，本质上是要匹配、赋能，甚至部分替代人、替代专家。医疗、金融等专业领域有准入规范，都要持证上岗，专业能力要考核。所以现在有个趋势是，大模型深入到这些产业时也不能被豁免，它需要准入以后才能落地产业，相当于大模型要去职业考试，这是以前的ai所不存在的一个问题。

张鹏：有很多国家出台了关于ai的法案，里边有关于安全伦理的内容和条款，中国也出台了生成式ai的管理办法。未来这些要求管理制度会越来越细化，因为早期大家的认知还参差不齐，也不知道到底会产生什么样的问题，随着技术普及，大家的认知加深，会逐渐认识到问题的关键在哪，所以会努力朝这个方向去做。比如现在已经逐渐从最终的应用效果往前延伸，对模型训练使用的数据的安全性、米乐app官网下载的版权、隐私保护等制定标准和办法，对模型的评测、效果的评测也会制定标准和方法。

澎湃科技：对于agi或者应对agi，你最想知道答案的一个问题是什么？

张鹏：实现agi是不是真的需要让机器拥有自我意识？迈向agi有几个阶段，第一阶段是用神经网络模拟人的大脑，实现“系统1”能力。第二阶段是在“系统1”基础上构建“系统2”，让智能体具备自我反思以及知识抽取、蒸馏、存储、记忆能力，并对“系统1”的输出进行约束。第三阶段进一步提升认知推理能力时，人和机器之间差距仍然这么大，考虑是不是涉及到意识。

人工智能的智能水平一直逼近不了人，在于它不知道自己不知道，这背后隐含的一个问题是没有边界。人作为一个智能体，有非常明确的边界，能区分“我”和“非我”，哪些事情是我知道的，哪些事情是我不知道的。没有边界就无法判断到底知道还是不知道。边界的产生可能就是自我意识的产生。

王晓航：价值对齐。一旦有一天大模型开始有自主意识以后，最重要的是价值对齐，以及对人类的系统性保护。所谓价值对齐，就是大模型有自主意识后，当它的智能和能力媲美和超过创造者时，它需要以什么样的态度来看待创造者？超级智能在智力和能力上比人更强时，我们如何跟它们共存？这是超级对齐的本源，也就是我们作为一个物种跟更高阶的新物种一起，安全利用、共处、生存和发展。但那是高级阶段的，我们现在首先要落地。

梁家恩：如何找到agi和人协同演进的有效路径？人适应agi，知道agi擅长做什么、在哪些方面能真正帮助人类、本身会有哪些隐患跟风险，达成共识和标准；agi也在实际应用中演进，逐步提升能力并和人类共识“对齐”，这是我们的预期。要实现预期，需要在实际应用中，找到有效的算法、技术和机制。

现在大模型做到这么大，如果不是那么多用户参与反馈，哪怕openai也不知道到底哪里会出现什么样的问题，哪些参数会导致出现这种现象，很多问题都不可控，所以要有一个熟悉了解的过程，再考虑用什么机制跟方法，针对这个问题让它更好地“对齐”人类的预期。这肯定不是在实验室里能拍脑袋想清楚的，需要在迭代过程中形成有效方法。

陈冉：未来是否会出现agi或aigc“联合国”？这是人类第一次面临共同的挑战和共同的价值观挑战，监管有可能全球化，所以什么时候会形成这样的组织，各国怎么协作，我拭目以待。

王嘉平：如何让机器治理机器？将来当我们可以将ai看成是某种硅基的有独立意识的个体，就意味着未来的社会活动可能不仅仅发生在人和人之间，也可能是人和机器，甚至机器与机器之间。那么机器在工作的时候，它同样需要有一定的道德法则约束，甚至法律法则的约束。从人类社会来讲，法律约束起作用的实际上是少数时间，大部分是道德约束在起作用，这样才能以较低的成本维护整个社会的稳定，因为法律毕竟是后置的。那么这对机器来说怎么起作用？单纯靠人类治理，一点时间上的滞后可能机器已经能做了许多事情。

目前我的思考是，用机器治理机器的逻辑首先是机器最基本的身份问题。比如一个机器，今天关了明天重新再开，还是同一个机器吗？并在这个身份上积累社会价值，那么这对它来说换一个身份就意味着一个巨大的成本，有了代价才可能去制约它，当它有一定的价值沉淀在其中，它才会害怕失去这个价值。这个价值对于机器来讲怎么沉淀、怎么体现？在区块链里其实是有一整套体系来完成这个任务，跟人的信用体系非常相似，只不过机器的行动频率和速度比人类社会要快得非常多。所以人类社会这套原来的执行方式，就不太适合让机器去做，机器可能几个毫秒内就完成许多事情。这就意味着，机器的监管需要一整套自动化的，并且有自己法律或规则的系统，即机器治理机器的逻辑。

顾备（科幻作家）：如何思考人类与数字生命共存的可能未来？openai内部存在有效加速派和超级对齐派两个流派。超级对齐派一定要让人工智能符合人类要求，核心需要造福人类。有效加速派则认为科技的发展是不可阻止的，发展到一定程度，一定可以用科技制约科技。让人类逃离掉肉体的低级趣味或者病痛束缚，达到高级的精神追求，是人们对数字生命的美好展望，然而这不可避免地涉及到技术普惠等社会议题。我们需要对数字生命进一步拓展想象力。人类在使用工具的时候特别喜欢拟人化，所以老想把数字生命也拟人化。但数字生命可能是一种波、一种能量或者以一种信息的状态存在，最终数字生命的存在方式不一定和人一样。

杜凯（北京大学人工智能研究院助理研究员）：主要关于数字生命，我认为数字生命已经进入需要被严肃讨论的阶段。其实，我们也是生活在一个虚拟的世界中，周围世界是我们视网膜对世界的重建，每个人都不一样。也许有些极具天赋的画家，像梵高和毕加索，他们感知到的世界就像他们的画作一样。在这个意义上，人和机器没有太大区别。而chatgpt表现出的“智慧涌现”给意识研究提供了一种新的思考方式。意识可能不是被事先定义的，而是涌现出来的。传统上，做科学是由自上而下的方式进行的。但由科学问题驱动的研究方式也许没办法去解决意识的问题，但或可通过工程的方式看看能否产生出意识。（部分信息来自于天桥脑科学研究院“数字生命与意识上传”研讨会）

陈楸帆：什么是意识？什么是我？什么是存在？这三个问题可能是同一个。