（来源：MIT TR）
本文为《麻省理工科技评论》“纠偏热潮”（Hype Correction）专题系列的一部分，该系列旨在重置人们对 AI 的预期：AI 是什么、它能带来什么、以及我们接下来该走向何处。
在当下唱衰 AI，似乎有些不合时宜。
AI 末日论者（尽管他们中的许多人更愿意把自己称作“AI 安全倡导者”）——这个规模不大，却颇具影响力的群体由研究人员、科学家和政策专家组成。用最简单的话说，他们相信：AI 可能会强大到对反而对人类不利，而且会非常、非常不利。
他们认为，如果缺乏更严格的监管，行业可能会一路狂奔，冲向人类自身也无法控制的系统——这类系统会在通用人工智能（AGI）出现之后接踵而至。AGI 是个边界模糊的概念，一般被理解为一种能做到人类能做的一切，而且做得更好的技术。
这种看法在 AI 领域远谈不上普遍共识，但过去几年里，“末日派”阵营确实取得了一些显著成果：他们参与塑造了拜登政府推出的 AI 政策，推动并组织了有关设置国际“红线”以防范 AI 风险的高调呼吁；随着其中一些拥护者获得科学界最负盛名的奖项，他们也拥有了更大的“扩音器”，而且影响力更强。
但过去六个月里发生的一系列变化，让他们陷入被动。随着科技公司继续以相当于多个“曼哈顿计划”的规模投资数据中心，却无法确定未来需求是否能匹配这种建设体量，关于“AI 泡沫”的讨论几乎淹没了其他声音。
还有 8 月 OpenAI 发布最新基础模型 GPT-5 一事——它多少让人感到失望。但也许这几乎是不可避免的，因为它是史上被炒作得最厉害的一次 AI 发布。OpenAI CEO 山姆·奥特曼曾夸口说，GPT-5 在每个主题上都“像一个博士水平的专家”，还对播客主持人西奥·冯（Theo Von）表示，这个模型好到让他觉得自己“相对于 AI 简直毫无用处”。
许多人原本期待 GPT-5 会是迈向 AGI 的一大步，但不管它实际取得了什么进展，都被一连串技术故障掩盖了。与此同时，OpenAI 还做出一个令人费解、随后又迅速撤回的决定：在没有预警的情况下关闭所有旧版模型的访问权限。新模型在基准测试上拿下了最先进水平的分数，但许多人在日常使用中仍觉得 GPT-5 反而退步了，哪怕这种感受可能并不完全公平。
这一切看起来似乎动摇了“末日派”论证的某些根基。与此同时，另一个对立阵营“AI 加速主义”则看到了新机会。他们担心 AI 其实发展得不够快，行业随时可能被过度监管扼杀，因此希望改变我们对 AI 安全的处理方式，或者更准确地说，改变我们不怎么处理 AI 安全的方式。
对那些“转战”华盛顿的产业人士而言，这一点尤为明显。长期风投人士、后来出任特朗普政府 AI 事务主管的大卫·萨克斯（David Sacks）宣称：“末日派叙事是错的。”
白宫 AI 高级政策顾问、科技投资人斯里拉姆·克里希南（Sriram Krishnan）也附和道：“‘AGI 迫在眉睫’这种观念一直是干扰项，而且有害，如今也基本被证明是错的。”（萨克斯和克里希南均未回应置评请求。）
（当然，在 AI 安全的争论中还有第三个阵营：通常与“AI 伦理”标签关联的一批研究者与倡导者。他们也支持监管，但往往认为 AI 进展速度被夸大，并常把 AGI 视为科幻故事或骗局，认为它会分散我们对技术当下威胁的注意力。不过，即便“末日派”真的式微，也未必会像加速主义者那样，为他们带来同样的政策窗口。）
那么，“末日派”如今处在什么位置？作为“纠偏热潮”（Hype Correction）专题的一部分，我们决定去问问这一运动中最知名的一些人物，看看最近的挫折与整体氛围变化是否改变了他们的看法。政策制定者似乎不再认真对待他们提出的威胁，他们会因此愤怒吗？他们是否在悄悄调整“末日时间表”？
我们最近采访了 20 位研究或倡导 AI 安全与治理的人士，其中包括诺贝尔奖得主杰弗里·辛顿（Geoffrey Hinton）、图灵奖得主约书亚·本吉奥（Yoshua Bengio），以及前 OpenAI 董事会成员海伦·托纳（Helen Toner）等知名专家。采访显示，他们并未感到灰头土脸或迷失方向，而是依旧坚定投入，认为 AGI 不仅可能出现，而且极其危险。
与此同时，他们似乎也在面对一种近乎矛盾的处境。一方面，近期发展暗示 AGI 可能比他们此前认为的更遥远一些，他们为此多少感到松了一口气。“感谢上帝，我们有更多时间了。”AI 研究者杰弗里·拉迪什（Jeffrey Ladish）说。另一方面，他们也对一些掌权者推动与自己主张相反的政策感到沮丧。《AI 2027》这份警示性预测的主笔丹尼尔·科科塔伊洛（Daniel Kokotajlo）说，“AI 政策似乎在变得更糟”，并称萨克斯与克里希南的推文“精神失常”且“不诚实”。
总体而言，这些专家把“AI 泡沫”的讨论视为不过是一个小小的减速带，把对 GPT-5 的失望视为更具干扰性而非启发性。他们整体上仍支持更强有力的监管，并担心政策层面的进展正在变得脆弱。这里的进展包括《欧盟人工智能法案》（EU AI Act）的落实、美国首部重要 AI 安全法案加州 SB 53 的通过，以及部分国会议员对 AGI 风险的新关注。在他们看来，华盛顿可能会对那些“短期内未能兑现炒作”的表现反应过度，从而让这些进展受到冲击。
有些人也急于纠正外界对“末日派”最根深蒂固的误解。尽管批评者常嘲笑他们“总说 AGI 就在眼前”，他们却表示这从来不是论证的关键部分。加州大学伯克利分校教授斯图尔特·拉塞尔（Stuart Russell）说，这件事“并不在于是否迫在眉睫”。拉塞尔著有《Human Compatible: Artificial Intelligence and the Problem of Control》。我采访的大多数人都说，在过去一年里，他们对“出现危险系统”的时间预估其实略微延后了。这是一个重要变化，因为政策与技术格局可能在很短时间内发生剧烈转向。
事实上，他们中的许多人强调，更新时间表本身非常重要。托纳告诉我，即便现在的时间表只是稍微拉长，ChatGPT 时代的一条宏观主线仍然是，全行业对 AGI 的到来预期出现了显著“压缩”。她说，很长一段时间里，人们预计 AGI 还要几十年才会出现。如今，大多数预测把它的到来放在未来几年到 20 年之间。因此，即便我们多了一点时间，她和许多同行仍然认为 AI 安全极其紧迫，而且事关重大。她对我说，如果 AGI 在未来 30 年内的任何时候都有可能出现，“这就是一件天大的事。我们应该让很多人投入到这件事上。”
所以，尽管“末日派”正处在一个颇为尴尬的节点，他们的底线判断依旧是：无论 AGI 何时到来（他们再次强调，它很可能会到来），世界都远没有准备好
无论你怎么看待“末日派”的心态，都无法回避一个事实：在这个世界上，有些人确实拥有很大的影响力。下面就是这一领域中一些最具代表性的人物，用他们自己的话回望此刻。为了篇幅与表达清晰，采访内容经过编辑与删节。
杰弗里·辛顿：不确定未来会发生什么的诺奖得主
杰弗里·辛顿（Geoffrey Hinton）：图灵奖得主，因开创深度学习获诺贝尔物理学奖。
过去几年里最大的变化是，有一些很难被轻易忽视的人也在说，这些东西很危险。比如前谷歌 CEO 埃里克·施密特（Eric Schmidt）就真正意识到这可能非常危险。我和他最近去过中国，和一位政治局相关人士交流，也和上海市委书记谈过，想确认他是否真正理解这件事，他确实理解。我认为中国的领导层对 AI 及其危险理解得更到位，因为他们很多人是工程师出身。
我一直关注的是更长期的威胁：当 AI 变得比我们更聪明时，我们还能指望人类继续保持控制权，甚至继续与它相关吗？但我不认为任何事情是注定的。几乎每一件事都存在巨大的不确定性，我们从未走到过这里。那些很自信地说自己知道会发生什么的人，在我看来反而显得可笑。我觉得这种情况很不可能，但也许最终会证明，那些说 AI 被严重高估的人是对的。也许我们无法在当前的聊天机器人之上再走多远，因为数据有限而撞上墙。我不相信会这样，我认为不太可能，但并非不可能。
我也不相信像埃利泽·尤德科夫斯基（Eliezer Yudkowsky）那样的人所说的，只要有人把它造出来，我们就都会完蛋。我们并不知道会这样。
但综合现有证据来看，我认为可以合理地说，大多数非常了解 AI 的专家都相信，在未来 20 年内出现超级智能的概率很高。谷歌 DeepMind CEO 戴密斯·哈萨比斯（Demis Hassabis）说可能只要 10 年。甚至连知名 AI 怀疑论者加里·马库斯（Gary Marcus）大概也会说：“如果你们做出一个混合系统，把传统的符号逻辑加进去，也许就能达到超级智能。”（编者注：马库斯在 9 月预测 AGI 将在 2033 年到 2040 年之间到来。）
而且我不认为有人相信进展会停在 AGI。几乎所有人都相信，AGI 出现几年后就会有超级智能，因为 AGI 会比我们更擅长制造 AI。
所以，虽然我觉得很明显，形势正在变得更艰难，但与此同时，人们也在投入更多资源去开发更先进的 AI。我认为进展会继续下去，仅仅因为投入的资源正在变多。
约书亚·本吉奥：希望自己更早看见风险的深度学习先驱
约书亚·本吉奥（Yoshua Bengio）：图灵奖得主，《国际 AI 安全报告》主席，LawZero 创始人。
有些人认为 GPT-5 的发布意味着我们撞上了墙，但从科学数据与趋势来看，情况并不完全是这样。
有人过度兜售“AGI 明天早上就会降临”的说法——从商业角度也许说得通。但如果你看各类基准测试，GPT-5 的表现基本符合你对那个时间点模型水平的预期。顺带说一句，不只是 GPT-5，Claude 和谷歌的模型也是如此。在一些 AI 系统此前并不擅长的领域，比如 Humanity’s Last Exam 或 FrontierMath，它们现在的得分比年初高了很多。
与此同时，AI 治理与安全的整体局面并不乐观。有一股强大的力量在反对监管。这就像气候变化一样。我们可以把头埋进沙子里，祈祷一切会没事，但这并不能解决问题。
与政策制定者之间最大的错位，是他们误解了一个事实：如果 AI 进步的趋势持续下去，变化的尺度可能会非常巨大。商界和政府里的很多人只是把 AI 当作又一种经济上很强大的技术。他们并不理解，如果趋势继续、我们逼近人类水平的 AI，它会在多大程度上改变世界。
和许多人一样，我也在某种程度上对潜在风险视而不见。我本该更早意识到它会到来。但这很人性。你对自己的工作感到兴奋，更愿意看到它好的一面，这会让我们产生一点偏差，不太愿意真正关注可能发生的坏事。
即便只有很小的概率，比如 1% 或 0.1%，会造成一场让数十亿人丧命的事故，这也是不可接受的。
斯图尔特·拉塞尔：认为 AI 在进步，但进步得不够快、无法阻止泡沫破裂的资深学者
斯图尔特·拉塞尔（Stuart Russell）：加州大学伯克利分校计算机科学杰出教授，《Human Compatible》作者。
我希望把“讨论生存风险”当作“末日派”或“科幻”的观点，最终会被视为边缘看法。毕竟，大多数顶尖 AI 研究者和顶尖 AI 公司 CEO 都很认真对待这个问题。
过去有人断言 AI 永远不可能通过图灵测试，或者永远不可能有系统能流利使用自然语言，或者永远不可能有系统能把车倒进平行车位。所有这些断言最终都被进步推翻了。
人们正在花费数万亿美元来推动超人类 AI 的出现。我认为他们需要一些新想法，但他们很有可能会想出来，因为过去几年已经出现了许多重要的新想法。
在过去 12 个月里，我比较一致的判断是：有 75% 的概率，这些突破不会及时出现，从而无法把行业从泡沫破裂中救出来。因为目前的投资规模隐含着一种预测：我们将拥有更好的 AI，并为真实客户创造更大的价值。但如果这些预测没有实现，股市里就会出现一地鸡毛。
不过，安全论证并不在于是否迫近，而在于我们仍然没有解决“控制问题”。如果有人说，一颗直径 4 英里的小行星会在 2067 年撞上地球，我们不会说“2066 年再提醒我一下，到时候再想”。我们并不知道开发出控制超级智能 AI 所需的技术要花多久。
从先例来看，核电站发生堆芯熔毁的可接受风险水平大约是每年百万分之一。人类灭绝的后果远比这严重，所以也许可接受风险应当设为十亿分之一。但企业给出的风险水平却像是五分之一。他们不知道如何把它降到可接受的程度，而这就是问题所在。
大卫·克鲁格：试图把 AI 安全叙事讲清楚的教授
大卫·克鲁格（David Krueger）：蒙特利尔大学与本吉奥的 Mila 研究所机器学习助理教授，Evitable 创始人。
我认为人们对 GPT-5 的反应确实有点过度反向纠偏。但之前确实存在热炒。我的印象是，有好几位 CEO 以不同程度的明确表述，基本都在说到 2025 年底，我们就会拥有可以随时替换的人类远程员工的自动化系统。但现在看起来有点平淡，智能体还并没有真正到位。
我很惊讶，“预测 2027 年出现 AGI”的叙事竟然能吸引如此多的公众注意力。等到 2027 年如果世界看起来依旧很正常，我认为很多人会觉得整套世界观被证伪了。更让我恼火的是，我在和人谈 AI 安全时，对方常会默认我相信危险系统的时间表很短，或者默认我认为 LLM 或深度学习会带来 AGI。他们给我加了很多并非论证所必需的额外前提。
我预计国际协调这个问题需要几十年才能解决。所以即便危险的 AI 还要几十年才出现，它也已经是紧迫问题了。很多人似乎没抓住这一点。还有一种想法是：“等我们真的有一个非常危险的系统再开始治理。”那就太晚了。
我仍然认为安全圈的人更倾向于在幕后与掌权者合作，而不是面向公民社会。这给了那些说“这不过是骗局或圈内游说”的人弹药。这并不是说这些叙事完全没有事实依据，但底层风险仍然真实存在。我们需要更高的公众认知，以及更广泛的社会支持，才能形成有效应对。
如果你真的相信未来 10 年内有 10% 的概率走向毁灭，我认为任何理性的人只要认真看一看都应该得出这个判断，那么你第一个念头就会是：“我们为什么还要这么做？这太疯狂了。”一旦你接受这个前提，这就是很合理的反应。
海伦·托纳：担心 AI 安全失去公信力的治理专家
海伦·托纳（Helen Toner）：乔治城大学安全与新兴技术中心代理执行主任，前 OpenAI 董事会成员。
我刚进入这个领域时，AI 安全更多是一套哲学性的想法。如今，它已经发展成机器学习中一组活跃的子领域，正在填补某些更“天马行空”的担忧与现实可测试系统之间的鸿沟。这些担忧包括 AI 的算计、欺骗或逐利倾向，而我们现在已经有更具体的系统可以去测试和验证。
AI 治理在缓慢改进。如果我们有足够时间去适应，治理也能继续缓慢推进，我并不悲观。但如果我们没有太多时间，那我们很可能推进得太慢了。
我认为在华盛顿，GPT-5 普遍被视为一次令人失望的发布。围绕 AI 的讨论相当两极化：我们会在未来几年里迎来 AGI 和超级智能吗？还是说 AI 完全就是炒作、没用、只是泡沫？摆钟此前可能过度摆向“我们很快就会有极其强大的系统”，现在又开始摆回“这都是炒作”。
我担心，一些 AI 安全人士给出的激进 AGI 时间表估计，正在把自己推向一种“狼来了”的处境。当“2027 年出现 AGI”的预测没有成真时，人们会说：“看看这些人，把自己搞成了笑话，你们以后再也不该听他们的。”如果他们后来改变了想法，或者他们的立场其实是“我只认为有 20% 的可能性，但这仍值得关注”，这种反应并不诚实。我认为这不该成为人们未来不再倾听的理由，但我确实担心这会造成严重的信誉打击，而且会波及那些非常担忧 AI 安全、却从未宣称过极短时间表的人。
杰弗里·拉迪什：现在认为 AGI 更遥远，并为此感到庆幸的 AI 安全研究者
杰弗里·拉迪什（Jeffrey Ladish）：Palisade Research 执行主任。
过去一年里，有两件大事更新了我对 AGI 时间表的判断。
第一，高质量数据的短缺，比我预想的更严重。第二，2024 年 9 月出现的第一个“推理”模型，也就是 OpenAI 的 o1，显示强化学习的规模化比我原先以为的更有效。几个月后，你又看到从 o1 到 o3 的扩展，在数学、编程和科学等更容易验证结果的领域里，表现强得离谱。但即便我们仍在看到持续进步，进展本可以更快。
这些因素把我对“完全自动化的 AI 研发开始出现”的中位数时间预估，从三年推迟到了大概五到六年。但这些数字某种程度上也是我自己估出来的，很难。我得强调一句：在这里做预测真的非常难。
感谢上帝，我们有更多时间了。在这些系统强大到足够有能力、有策略，从而对我们的控制能力构成真实威胁之前，我们可能拥有一个很短的机会窗口，去尽可能真正理解它们。
但看到人们以为我们已经不再进步，这件事也很吓人，因为这显然不是真的。我知道它不是真的，因为我在用这些模型。AI 这种进步方式的一个副作用是，它到底进步得有多快，对普通人来说变得越来越不直观。
当然，在一些领域不是这样。比如看看 Sora 2，任何看过的人都能很明显地感受到它比以前强太多。但如果你问 GPT-4 和 GPT-5 为什么天空是蓝色的，它们给出的答案基本一样，而且是正确答案。对于解释天空为什么是蓝色，这项能力已经“饱和”了。所以我认为，最能理解 AI 进展的人，是那些真正用 AI 做开发，或者在非常困难的科学问题上使用 AI 的人。
丹尼尔·科科塔伊洛：早就预见批评将至的 AGI 预测者
丹尼尔·科科塔伊洛（Daniel Kokotajlo）：AI Futures Project 执行主任，OpenAI 吹哨人，《AI 2027》主要作者。《AI 2027》描绘了一个生动情景：从 2027 年开始，AI 在短短数月内从“超人程序员”发展为“极度超级智能”的系统。
AI 政策似乎在变得更糟，比如“Pro-AI”超级政治行动委员会（super PAC），它由 OpenAI 和安德森·霍洛维茨（Andreessen Horowitz）的高管在今年早些时候发起，旨在游说推动去监管议程；还有斯里拉姆·克里希南和大卫·萨克斯那些精神失常和/或不诚实的推文。AI 安全研究仍以常规速度推进，相比大多数领域这已经快得令人兴奋，但相比它所需要的速度仍然太慢。
我们在《AI 2027》第一页就写明，我们的时间表其实略长于 2027 年。所以即便在发布《AI 2027》时，我们也预期 2028 年会出现一批批评者，得意洋洋地说我们已经被证伪，就像萨克斯和克里希南那些推文一样。但我们当时认为，现在也仍然认为，智能爆炸很可能会在未来五到十年内的某个时点发生。等它发生时，人们会想起我们的情景，并意识到它比 2025 年能看到的任何其他叙事都更接近真实。
预测未来很难，但尝试预测很有价值。人们应该努力用一种具体、可证伪的方式表达自己对未来的不确定性。我们就是这么做的，而这么做的人并不多。我们的批评者大多并没有提出自己的预测，反而经常夸大并歪曲我们的观点。他们说我们的时间表比实际更短，或者说我们比实际更自信。
我对 AGI 时间表变得更长这件事感觉挺好，就像刚从医生那里拿到更好的预后。但整体局面其实还是差不多。
https://www.technologyreview.com/2025/12/15/1129171/the-ai-doomers-feel-undeterred/