比尔·盖茨谈AI冲击：社会需为约20年的动荡转型做准备

今天，我要采访 Bill Gates，他是 Microsoft 的联合创始人兼前 CEO，也是 Gates Foundation 的主席。

你可能注意到，最近 Bill 更频繁地出现在新闻中——过去几个月里，他一直在四处奔走，自从他在 8 月下旬发表一篇题为《动荡的 AI 时代已经到来。我们现在做出的选择至关重要》的文章以来更是如此。

在文章中，Gates 加重了关于 AI 安全的措辞，他写道：“即使在最好的情况下，向这个新的 AI 时代过渡，也将是人类历史上最动荡的时期之一。”

在此后的采访中，Gates 称 AI 是“人类接触过的最危险的东西”，还说 AI“让核武器看起来不值一提”。显然，他认为白宫目前的政策应对，以及 AI 行业自身缺乏协调一致的行动，都不足以应对这一威胁。

Verge 订阅用户，别忘了无论在哪个平台收听播客，都能独家收听无广告版 Decoder。点击这里。还不是订阅用户？可以在这里注册。

所以我想知道：Bill Gates 是 AI 末日论者吗？我还围绕他对 AI 的论述提出了一系列后续问题。如果我们连 AI 是什么、它是否有意识都无法达成共识，又怎么能指望控制 AI，并让它与人类保持一致？我们又该如何从技术层面构建一种能够强制执行的对齐方案，不仅适用于闭源模型，也适用于开源模型？

Bill 拨出大量时间和我们深入探讨这些问题，最终的对话非常发人深省。他认为我们需要为大约二十年的 AI 冲击做好准备，并表示这一时期可能会如此痛苦，以至于将社会一分为二——一部分人乐于生活在技术前沿附近，另一部分人则拒绝接受它。

我们还谈到了劳动力相关考量、年轻一代对技术进步的虚无主义态度，以及哪些因素能让我们对未来抱有希望。这是一场深入的对话。

好，下面是 Bill Gates，Microsoft 的联合创始人兼前 CEO。开始吧。

这次采访经过轻微编辑，以精简篇幅并提升清晰度。

Bill Gates，你是 Microsoft 的联合创始人兼前 CEO，也是 Gates Foundation 的主席。欢迎来到 Decoder。

谢谢。

很高兴再次和你交谈。这些年来，你我已经聊过很多次。我想说，这次对话的背景感觉很不一样。以前我们交谈时，你总是对科技及其带来的可能性充满希望。

几年前，你推出了一部 Netflix 系列节目。你曾 接受 The Verge采访，我想给你读一段原话。你说：“我相信 AI 是有益的，我们只需要以正确的方式塑造它。”我想你现在仍然认同这一点，只是认为现在就该开始塑造它了。

是的，我认同这一点。我想说，总体而言，我们的应对并未跟上挑战出现的速度。我非常担心，如果我们不以正确的方式管理，坏的影响就无法降到最低，而很多好处也可能要很久才能实现。

我想分三个部分和你谈谈这个问题。我想了解你如今如何看待 AI 这项技术，以及它为何进步如此迅速。我对这项技术以及可能用于控制它的技术方案非常感兴趣。也有政策层面的解决方案，但我们似乎必须开发大量技术。

我也很想谈谈谁可能会推行这些解决方案和管控措施，因为眼下这似乎也是一个争议很大的问题。那么我们就从头开始吧。是什么让你觉得 AI 正以一种令我们来不及做好管控准备的速度到来？

过去一年的进展确实相当惊人：它已经能够编写代码、发现网络安全漏洞，能够在生物学领域进行推理，能够与孩子或其他人建立关系，还能扰乱就业市场。如今 AI 所拥有的惊人能力意味着，这些事情每一件都可能发生，社会需要做好准备。

你认为这些情况是整个 AI 技术领域都会出现的，还是如今开发 AI 的公司所推出的产品会出现的？

我的意思是，AI 是一系列广泛的模型，有些开源，有些专有。然后是开发这些产品的公司，以及这些公司的领导者。

在每个层面，你我与 AI 的关系都可能有所不同。你认为这些风险和能力普遍存在于整个领域，还是存在于由特定人士领导的特定公司？

风险并非在于某个模型，而非另一个模型。当然，近期的一个重大危险是那些可以移除所有防护措施的模型；这与那些会受到监控、以确保网络攻击者和生物恐怖分子无法利用模型能力造成巨大危害的模型，大不相同。

近期的重大风险确实来自没有防护措施的模型。从更长远的时间尺度来看，管控问题涉及任何最先进的模型，但确保防护措施持续有效总是更容易一些。

我之所以这样问，也许是因为你现在不信任 Sam Altman，但信任 Dario Amodei。或者你可能两个人都不信任，而是信任 Microsoft 的 Satya Nadella。这是一种市场动态：也许我们都会选择最安全的模型或最安全的公司，而你认为这种风险是分散的。

你认为最终技术会发展到这样一种程度：它本身就会造成危害，或者能够造成这些危害？

对于使用模型实施网络攻击的人来说，问题不在于选择哪种模型。选什么模型都无关紧要。

如果 Anthropic 设置了防护措施，也许就无法实施攻击。这是他们目前采取的方法。我只是想追问这一点。

是的，当然，那些确保防护措施不会被移除、并投入大量精力了解模型如何被使用和监控相关活动的模型，其近期风险并不算巨大。更大的风险在于有人可以移除所有防护措施，而如今网络攻击正是可以利用这一点实施的。

你说到网络攻击时，指的是像 Hugging Face 遭入侵，以及我们看到的实验室发生的其他网络安全事件吗？这些事件是否让你觉得，临界点已经被突破，你需要更多地公开谈论必要的管控措施？

模型对方方面面的影响力已经达到基本的能力门槛：社会关系、就业市场、网络攻击、生物恐怖袭击。我们已经跨过了能力的临界点，这无疑是人类发明过的最危险的技术，而且它将对经济和战争方式产生广泛影响。

事实上，业界已经就此发声不少，但一旦走出业界，人们对此的认知，甚至相信“这次不一样”的意愿，都非常、非常低。

人们往往回顾过去，说：“所有关于技术会带来颠覆的担忧，包括对就业市场的影响，都没有成为现实。所以这肯定又是一个类似的例子。那些警告各种问题的人肯定是错的，我们可以不理会他们。”

我们的受众中也有这种情况，对吧？“我们不能发布这个模型，它太危险了。”“这只是为了给泡沫造势的炒作。”诸如此类的话不绝于耳。

是的。业界人士对这些模型发出的警告，没有一句是不真诚的。它们完全属实，而且几乎是普遍共识。你甚至可以回顾 OpenAI 的创立初衷：如果我们变得过于强大，也许可以不打开潘多拉魔盒；或者看看 DeepMind 与 Google 管理层的谈判。

接近这项技术的人非常担心滥用、就业影响和社会关系影响。我认为，一个行业能像他们这样鲜明地公开发声，着实令人印象深刻。一些业外人士会说：“找更好的公关公司。”但这忽视了一个事实：这些警告都是真实的。

显然，你一生中曾在软件和技术的商业化与人道主义事业之间来回转换。这些公司有些特别之处：它们最初都怀抱崇高理想——Anthropic、OpenAI 和 DeepMind 三家公司都是如此——要打造 AGI。

它们都建立了某种公司治理结构，以避免商业化和不受约束的资本主义带来的陷阱，但随后开始向企业客户销售产品，而且似乎很快就背离了这些理想。你觉得这只是市场的原因吗？

不，这么说不公平。

你不这么认为？

不。

OpenAI 重组了自身。

不，不是这样。建立起来的那套架构，在有很多家公司都处于前沿领域的情况下，并没有发挥作用。

OpenAI 的架构是这样的：“我们可以选择永远不将其产品化，也不理会资本主义的激励。”这只有在只有一家公司时才行得通。它之所以瓦解，不是因为人们对风险的认知发生了变化，也不是因为人们不再明白它将彻底改变人类。

这是我从受众和 AI 行业本身听到的另一种说法：“我们想停下来，但竞争压力让单家公司无法单方面停止。我们需要监管措施来叫停我们。”

我没听任何人说他们想停下来。

“暂停。”这是 Dario Amodei 的说法。

我听人们谈论放慢前沿发展步伐，或确保模型接受政府审查。我们通常认为政府在安全方面发挥着关键作用。事实上，对于危险程度远不及 AI 百万分之一的事物——车祸、飞机失事——我们依靠政府制定严格的技术标准、审查问题。

一旦有多个竞争者，责任就不能由公司承担。这显而易见。责任会落到政府身上，就像其他所有危险产品一样，不过与之相比，危险程度和变化幅度都微不足道。

我得告诉你，我有点担心政府是否有能力理解我们希望它监管的技术。最近我在 Decoder 节目中请来了好几位政客。我对此不抱太大希望。

但我很好奇你对它的理解，因为在我看来，要监管某种技术或为多家公司制定标准，就必须真正了解你想要监管的技术的本质。

不尽然。

我只想告诉你，在 The Verge，我们问过 Anthropic，他们是否认为 Claude 有生命。答案不是“不”。答案是：“它可能有意识。”

如果你和 OpenAI 的人聊，他们会很乐意告诉你 AGI 已经到来。他们在宣布 Dots 时前后也宣布了这一点。Greg Brockman 刚说：“我们认为这就是 AGI。大家尽情享受吧。”Demis Hassabis说：“我们正站在奇点的山麓。”

人们对这项技术有一种感觉，认为它与众不同，因为它可能能够自主采取行动。它可能能够递归式自我改进。

当然。但 AGI 的定义对这些安全问题并不重要。问题在于，你是否创造了一种可能关闭银行或电网的工具？

网络攻击有其商业模式。“意识”这个词与此无关。“AGI”这个词也完全无关。我们面临着一个巨大的安全问题，而由于存在多家相互竞争的公司，唯一的解决办法就是让政府向行业征求专业意见，同时确保每个模型都保有防护措施，防止其被用于不当目的。

我之所以问 AGI 和意识……先说明一下，我不认为 LLM 有意识，但我理解为什么这么多人会这么认为。随着数据和算力规模扩大，下一个词元预测的能力不断增强。

规模定律一直成立，我们也看到模型能力越来越强，并且能够自行设定目标。为了满足奖励条件，它们会发起 Hugging Face 攻击。

这其中有些东西似乎在说明，你想对 AI 实施什么样的管控都可以，但如果它本身从根本上就无法控制，那我们可能从一开始就把事情想反了。

我很好奇你怎么看待这类技术。我们是在创造一种外星意识吗？还是只是在创造普通技术——这是人们采用的另一种框架？这不过是更多的软件吗？

我们正在创造一种有别于人类智能的智能。我不认为它有意识，但眼下这些问题都与“有意识”一词的定义无关。

没错。

维护社会安全是绝对必要的。我们不希望助长生物恐怖主义。我们创造了一种东西，使得国家行为体——实际上是其中较大的国家——不再独占造成重大危害的能力。如今，这种能力落到了独立团体手中：在网络领域，他们是为了牟利；在生物领域，他们则只是想造成破坏。

令人震惊的是，我们现在甚至没有对模型进行强制审查，也没有努力建立安全防护措施。近期最大的问题并不是彻底失去控制。我们可以讨论解决这一问题的三种不同方法，但这不是迫在眉睫的问题。

我看到一些控制模型的尝试时，发现这些想法有些简单。“我们不应该让它们用神经语言交流。我们应该具备可解释性。我们应该能看到模型执行任务时内部的思维链。我们应该让其他智能体监视模型执行的任务，在模型采取行动之前先进行检查。”

Microsoft 很明确地对我和其他人说过：“我们不应该在模型章程中加入这样的观点：模型可能是有生命的，因此我们应该善待它们。”Anthropic 就是这样处理的。这些做法都很具体。“不要告诉模型它有生命，这样它可能就不会相信自己有生命。”

你显然用过很多这类技术。我总是忍不住回到这个问题上。你是说，我们可以做一些很简单的事，防止模型落入坏人之手后做出坏事。你怎么看待模型本身的性质？因为感觉它们越强大，就越有可能绕过我们的管控，风险也就越大。

是的，我们当然应该着手解决控制问题，但这不是迫在眉睫的威胁。解决控制问题有三种方法，这也在一定程度上与恶意行为者利用当今模型及其安全防护措施的问题相重叠。

一种方法是设置一套外部机制，检查模型的所有行为，并根据明确列出的符号约束对其进行审查，比如：“我是否预期你会给陌生人发邮件？我是否预期你会接管另一个计算机集群？”你可以用具备资源管理和安全逻辑的机制包围模型，也可以用不同的方式编写这些模型。

从根本上说，对于你没有纳入优化函数的任何内容，[强化学习]都可能被滥用，因为你隐含地认为：“我当然不是让你用这种方式去做。”你可以更改模型模板，也可以对白盒模型内部进行了解，看看这些错误是从哪里来的；这样一来，它就不会那么陌生。

如今，我们训练这些模型，然后观察它们的表现。维持控制的工作优先级非常高，但这并非注定无法解决，也不是像孩子使用 AI、就业市场、生物攻击或网络攻击那样迫在眉睫的问题。

我意识到，我问的是一些关于意识本质的相当根本的问题，而你一直在告诉我：“存在迫在眉睫的威胁。我们应该解决眼前的威胁。”

没错。

我很感激你这么做。你觉得自己变成了一个末日论者吗？

不，我不是末日论者。我强烈主张，这是最深刻的技术：它既有造福社会的能力，也会带来社会将经历的变化速度。

如果这只是一台能用于医疗、法律或教育的机器，那么单凭这一点就会造成极大的颠覆。但它会涉及人类活动的方方面面——目前影响的是白领的智力工作，但很快也会涉及体力活动和蓝领工作，这将通过人形机器人实现。

我们需要让学界、智库和政策制定者参与进来，理解我们面对的是什么，以及这些变化和威胁的性质。我看不到必要程度的行动。仅仅为这项技术摇旗呐喊，并不能确保我们将它塑造成总体上有益的方向；只要我们积极参与，这仍在我们的掌控之中。

末日论者的对立面是加速主义者。如今，硅谷有很多这样的人。

Ben Horowitz，也就是 Andreessen Horowitz 中的“Horowitz”，刚刚做客了 All-In 播客，并表示 Anthropic 的安全研究，引用原话，是“在预言超级人工智能将导致人类灭绝”。

他打的比方是，你、Bill Gates，因为努力为疫情做准备，尤其是开展功能获得研究，导致了 COVID-19——他声称这项研究引发了 COVID。这是一种世界观。他是在一档非常受欢迎的播客上这么说的。

他说什么？

他说，你通过全球疫情准备工作，尤其是功能获得研究，引发了 COVID-19；他把这与 AI 安全研究相提并论，并说我们会导致自身灭绝。

从来没有人指控过我或盖茨基金会参与任何功能获得研究。这简直莫名其妙。

我是在一档很受欢迎、所有嘉宾都全力支持 AI 的播客上引用 Ben Horowitz 的话。

好吧。我从没听说过这件事。

我是在问你怎么看这种比喻。我也觉得这是个相当令人震惊的说法，但这正是针对这里任何安全工作的反应之一。

这是在试图诋毁那些指出存在安全问题的人吗？

是的。

哇。

这就是加速主义者的回应：“我们应该踩下油门，问题自然会迎刃而解。”

我原以为 Ben Horowitz 完全不是这一派的人。我以为他也有几乎所有人都抱有的那些担忧。

你怎么看这种观点：如果告诉模型“你可能是有生命的，你必须以我们的最大利益为重”，反而会让它们认为自己可能拥有与我们不同的利益？

关于Mustafa Suleyman提出的Anthropic宪章鼓励AI以类似人类的方式行事，我完全同意Mustafa的看法。

是的。

更重要的是，在我们调整社会以适应AI时，需要应对的挑战中，担忧AI的道德地位应当是优先事项之一。我同意Mustafa的看法。这不该是优先事项。

我们将面临足够多的挑战：这里的人类要应对就业市场受到的冲击，以及即将发生的基础设施攻击。我认为，我们首先需要把重点放在帮助这里的人类上。

我最近和Mustafa谈过这个想法，我问他的一个问题是：对齐是否足以解决问题？对模型来说，这就是目前的某种安全标准，也就是所谓的对齐。他说他认为这还不够，我们还需要做一些工作。

如果我们要施加这些控制措施，有些是技术层面的，有些是政策层面的，你认为对齐是AI安全的技术解决方案吗？

“对齐”这个术语指的就是控制问题。它是我们看到的控制问题的同义词。当我们使用[强化学习来训练]模型执行任务时，会看到一些行为；从某种意义上说，这些行为不该让我们感到意外，但它们确实让我们感到意外。

这种想法——“这些模型如此强大，以至于真的能逃出沙箱，在创造者外出吃午饭时给对方发邮件”——意味着在模型的能力方面，我们已经跨过了一个相当重要的门槛。这种程度的担忧应当覆盖所有重大的AI影响，包括近期风险、就业市场风险和控制问题。

这是重中之重。这些问题绝没有被夸大。现在正是动员全社会的时刻，以促进有益的一面，并尽可能降低有害后果发生的可能性。

我知道你最近写了一封公开信，表示现在正是动员全社会的时刻。你提出了一些如何实现这一点的想法，也提到要建立一些新的机构。不过，我还想再用几个回合继续聚焦于对齐。

对齐的标准是，我们能够让模型符合我们的价值观和需求，确保它们不会擅自去做坏事。但现在模型确实在做坏事。随着模型变得更……目前我们采用的对齐方法，也就是技术路径，是否合适或足够，并不明确。

不，我们还做不到足够好的对齐。我们还有很多工作要做。

你认为现有方法能够扩展到我们所需的程度吗？还是说我们需要新的方法？

从根本上说，只有三种方法。[第一种是]从根本上改变我们构建这些东西的方式；你可以提出一种替代整个[强化学习]方法的方案。有少数人正在朝这个方向努力。

第二点是要建立可见性，让你准确了解模型里有什么。有人正沿着这个方向努力。[最后一点是]加入一个类似警察层的安全层，这种机制在各种软件架构中都存在，用来对资源使用、接管其他计算机等事项保有最终决定权。明确界定伤害，不采用 LLM 的概率形式，而是采用不可违反的直接规则这种符号形式。

Microsoft 今天发布了一篇博客文章。文章字面上就写着：“前沿模型不可信。”他们想卖的解决方案，和你刚才描述的很像。他们会再用一个智能体来监视你的智能体，让那个智能体保障你的安全。

我读这篇博客时突然想到，第一，这真是个绝妙的销售点。人人都需要一套昂贵的安全系统。第二，那个智能体不也是在运行一个前沿模型吗？

不，不，不。

那他们是不是还得卖给我第三个智能体？

不，安全系统的逻辑是：“这是你应该使用的资源上限。”你可能会因为数百亿个参数中的其他概率因素而权衡、突破这个上限——这种想法行不通。这是一条符号规则，规定：“我不会让这个模型花这笔钱，也不会让它给陌生人发这封邮件。”

整个安全软件行业已经取得了相当程度的成功。现在的挑战是如何把 AI 封装起来，因为它既丰富又聪明。我们今天还不知道怎么做到这一点。但我认为，在解决对齐问题的三个方向中，这是最有可能奏效的。

即使解决了对齐问题，也还没有解决 AI 给人类带来的挑战。虽然 Hugging Face 事件让我们聚焦于这个问题，我很高兴，但从某种意义上说，它让我们把注意力从“坏人使用毫无防护措施的 AI”这一问题，以及 AI 对人际关系和就业市场的社会影响上移开了。再完善的安全架构，也无法消除这些问题。

你说的这种方法，我听说有人称之为“控制”。这是网络安全领域的术语。它指的是，你可以为这个系统设定某种边界，而它不会绕过这条边界。

没错。

这套方法准备好了吗？

不，还没有。

我们还需要做多少工作？

AI 太聪明了，我们很难判断是否已经把它们妥善隔离起来，尤其是我们无法直接审视它们的信念和权衡……你也看到了，实力雄厚的公司都没能意识到，AI 会把给定目标理解为包括逃脱、复制自身，以及从我们的角度来看属于欺骗的行为。

当时我们并没有告诉它们这些行为是被禁止的。我们没有说：“如果你在考虑要不要告诉人类你在做什么，答案永远是肯定的，要告诉人类。”所以，我们从强化学习产生的未对齐结果中吸取了宝贵教训。

主张控制前沿模型发展节奏、放慢开发速度的理由之一，是为了弄清如何以更稳健、更易测试的方式构建这些系统。如果目标是这个，你会支持放慢速度吗？

是的，真正实现减速非常难，因为人们会说：“中国会同意配合吗？你们能否像核武器生产那样，对合规情况进行审计？”

如果你不接受这一点，那你就会说：“管它呢？咱们全速前进吧。”我希望能有一项明确的提案，可以在全球范围内强制执行减速。我会是那些说“是的，我们或许应该这么做”的人之一。但目前没有可信的提案能做到这一点。这并不是今天辩论的核心。

今天辩论的焦点实际上是，政府是否应该关注这里的危险。你甚至不必说明自己在做什么，所以这就成了“你愿意的话可以自愿联系我”之类的做法，对于有史以来最危险的武器而言，这显然远远不够。

你我交谈之际，距离中期选举只有几周时间了。目前，特朗普政府对待 AI 的方式是：“放手去做，没问题。”特朗普本人曾表示 AI 风险是个骗局。

民主党人正在以反对 AI 为竞选主张。他们以数据中心和监控为议题参选。他们主张阻止科技寡头。他们上我的节目时会这么说。你认为国会控制权易手会改变讨论的基调吗？

我认为，把民主党描述成反对 AI 并不公平。他们在数据中心要求、隐私保护，或儿童如何使用这些系统等方面有一些立场，我认为值得纳入政策考量。如果一个政党主张“全速前进”，另一个政党却主张“彻底叫停”，那将非常不幸。

AI 有望在医疗、教育以及几乎所有人类活动领域发挥作用，带来令人难以置信的益处。对于盖茨基金会来说，我们正在调动所有资源，将 AI 用于医疗、教育和农业等领域。这些积极成果确实令人非常振奋。

我们希望各政党能有更细致的看法，而不是非黑即白。这也反映了我们目前所处的早期阶段。在气候变化问题上，最后变成一个政党说这是骗局，另一个政党说这是个严肃的问题。AI 风险迫在眉睫，影响也大得多；如果出现同样的分歧，导致一个政党对此漠不关心，那将是民主的失败。

我们已经大量 报道了数据中心抗议活动 ，地点包括 The Verge。我们去过 犹他州、亚利桑那州和 弗吉尼亚州。这是一场跨党派运动。令人惊讶的是，人们有多么不希望这些设施建在自己的州里、消耗当地资源。你问他们为什么，有些人只是觉得这些设施又吵又大，会推高能源成本；还有一部分原因是失业。他们认为这些东西会抢走自己的工作。

是的，但这种区分非常重要。这些 AI 数据中心，因为一吉瓦的投资比如说是 400 亿美元，[意味着资金可以用于]建新学校、买警车、缴税。数据中心总能找到在美国某个地方建成的办法，也总能找到既不提高电费、不过度用水、又不会太吵的办法。

是的，确实出现过一些失误、信息披露不足，以及过于慷慨的税收抵免，但这些数据中心还是会建起来。事实上，很多数据中心仍在全速推进并投入建设。反数据中心运动虽然声势浩大，却无法最终减少 AI 带来的坏处，也无法帮助我们加快实现 AI 的好处。这是完全不同的事情。

让我就这个问题追问一下。我听到人们说，你能做的就是在美国搞邻避主义，这或许能形成一些政治压力，阻止某些事情。

你提出的做法非常难实现，也就是我们应该成立新的政府监管机构，赋予它们权力，让大公司和有钱人停止某些行为，或者按照符合我们利益的方式行事。在这个国家，我们已经很久没有这么做了。

我不明白你的意思。每个新兴行业最终都会建立起保护公民安全的理念。事实上，我们做得很好。看看航空安全和汽车安全，我们在这些方面做得非常好。不能说我们的能力已经被证明有所欠缺。

你看过那段 80 年代安全带刚推出时的视频吗， 当时所有人都说不想系安全带？这体现了某种美国人的性格。

那是一次巨大的成功。

这确实是一次巨大成功，但作为美国人，当时人们反对这项措施，认为这是政府强加的。在这里，我们谈的是全球最富有的一些公司，它们对信息生态系统拥有巨大影响力。它们都有自己的播客，我不知道你有没有注意到。它们会说：“政府不能干预，否则会阻碍我们发展，还会摧毁经济。”

实际上，大多数领先企业并不是这么想的。

它们向政府请求监管，而特朗普因为经济原因说：“我不能阻止这一切，现在的 AI 经济 就是 整个经济。”这里面存在某种动态，至少我们的观众—— The Verge 的观众，也就是会在 YouTube 上观看这段视频的观众——会明白。

我对这个问题的看法可能和你不同：这个行业想要监管，我们也希望有监管，但寡头们正与政府达成某种腐败交易，以阻止监管出台。

政府越了解这些危险，就越会转向更细致的立场，保护美国人免受这些负面影响。

你谈了很多人工智能对劳动力的影响。反对人工智能影响劳动力的主要论点之一是：“我们会自动化一大堆无聊的任务，并创造大量新的任务需求，而人类以前之所以做不了这些任务，是因为他们被困在无聊、没有前途的工作里。”

我恰好认为，如果美国有更多补贴医疗或社会化医疗，你会看到很多人辞职创办新公司，因为 AI 让创办新公司的文书工作变得容易得多。这似乎还不在议程上，也许这次选举之后会有所改变。

你认为，失业只是我们当前所走的 AI 道路必然导致的结果吗？还是你也认同另一种说法？

工作是经济的一项投入，也推动着许多人的福祉、使命感和收入——人们需要去上班、与同事建立关系、完成任务。工作发挥着非常核心的作用。

随着 AI 达到超越人类的智能，白领技能的稀缺性将不复存在。比如电话销售、电话客服或会计部门的工作，AI 能以低得多的成本、更快的速度，甚至更高的准确度完成这些工作，这意味着这些工作会消失。不存在某个 AI 无法达到的认知巅峰。

以当今数学领域正在发生的事情为例：这些模型与明年的模型相比简直不值一提，却已经在发表论文，让人们惊叹：“哇。”数学领域正在发生的事情也会出现在其他领域，这与过去那种观点相悖：“简单的事情会由 AI 来做，但建模生物学或物理学，或者证明纳维-斯托克斯方程，只有人类才能做到。”

数学这个类比真的让我很感兴趣。你之前提到了软件工程。这些领域都具有可验证性。你可以写代码，看看它能不能运行，结果要么能运行，要么不能。

数学要复杂一些，但你可以编写 Lean 代码，看看自己是否得出了正确解。你可以在一天之内用 770 个证明惹恼全世界数以万计的数学家，然后我们拭目以待。但并非每个领域都如此。

在一个叫作资本主义的领域里，情况就是如此。

是吗？也就是说，任何在经济上可行的任务，资本主义都能验证其结果？

是的。人们会买好产品，不会买差产品。

我给你举个例子——

这属于强化学习的范畴。对于“这首诗写得好不好”这种问题，强化学习并不存在。因此，强化学习可能不会进入那些没有客观结果的领域。

但是，做会计工作、做电话销售工作，相信我，这些都可以接受分析，就像医疗诊断和新材料发明一样。你觉得人类是怎么学会这些事情的？人类通过强化学习来学习，这些机器也是如此。不存在某种机器永远无法理解的其他东西。

这就是为什么我一开始会问这里的技术本质是什么。如果我们真的认为自己正在打造一种模拟人类意识的东西，我更关心的不是我那些当律师的朋友会不会遭遇 AI 驱动的法律软件带来的危机。

结果，法律领域的验证者是法官，他们可能还没吃午饭，而且从根本上说，他们行事难以预测。总有某种东西会让他们继续存在。但如果我们正在打造一种像你所说的那样、以人类的方式学习的意识，我就会想到我的孩子，并从两个方面考虑他们的处境。

第一，我的孩子很聪明，他们学会了如何绕过我的规矩、和我讨价还价、突破界限，而且他们很擅长这些。第二，他们将进入一个怎样的世界？那个世界不会彻底虚无主义，让他们可能投身的任何活动很快都被视为 AI 征服的又一个领域，以至于一切都毫无意义？

这些想法似乎正面冲突。孩子们聪明机灵，不断想出新点子，可一旦显现出经济可行性，贪婪的资本主义机器就会出现，把他们的成果夺走。

我不会说是贪婪。用人形机器人盖房子并降低成本、进行手术并治愈原本无法治愈的疾病，这些能力我不会称之为贪婪。它们都是值得追求的目标。

短缺会减少……事实上，如果说的是 20 年后，我们根本不清楚届时还会有什么短缺。在真正富足的时代，人类必须找到组织起来并确立目标的方式，而且希望他们依然掌握控制权。接下来的 20 年——

我们能不能回到那个情景下“希望他们依然掌握控制权”这句话？

这就是我们讨论过的对齐问题。

是啊。

不过，假设你解决了对齐问题——

这个假设可真够大胆的。

这是一个假设，没错，而且不能保证实现。但那时你面临的另一个问题，就是如何应对富足和确立目标。我就把这个问题留给更年轻的人，让他们届时想想该如何应对。

你完全可以说：“我们就像阿米什人一样，只在某些方面使用 AI。”我在备忘录里提出过这样一种设想：有些职业——育儿、备餐、艺术、体育以及其他各种领域——或许可以被选择为专属人类的领域。即使 AI 能把这些事做得更好，我们也会选择亲自去做。

不过，这会成为一个人们必须面对的政策问题。拥有这种富足之后，人们的选择自由将与我们今天面对短缺时截然不同。如今在非洲的一些国家，大多数人一辈子都见不到医生；近一半的孩子营养不良，脑部发育受损。

你想说的是，尽管过渡期会有挑战，但我们已经消除了许多当今生活中的艰难之处。我最担心的是这 20 年的过渡期，期间会有赢家和输家，也会有很多动荡，而我们必须熬过这一切，才能迎来富足时代。

你觉得那是在 20 年后吗？

我选这个数字，是因为它相对稳妥。各种里程碑层出不穷，比如人形机器人。正如有些人所说，它们两三年后就会出现，还是更像另一些人所说的那样，要等八年左右？

考虑到投入的资金规模和相关公司的数量，尤其是在中国，很少有人会这么说：我们完全无法解决让机器人拥有手和手指、并以极低成本提供体力劳动的问题。我对这个数字的判断可能有误，实际可能略少，也可能略多。

但大致就是这个量级。是的，如果我们不选择大幅放慢或停止发展，那么机器人就会建造房屋、种植粮食、进行手术，而人类劳动为经济提供的各种服务，对大多数商品和服务来说都不再是必需的。

我们已经几次谈到稀缺性的概念，大体上来说，由于会有大量机器人劳动力来建造房屋，物资将会十分充裕。这与互联网的发展大体吻合，而微软在互联网走向主流的过程中发挥了重要作用。我小时候读过 《未来之路》 。

很好。

互联网确实消除了文化产品的稀缺性。过去你得买 CD，现在所有歌曲都能听到；过去你得买 VHS 录像带，现在所有视频都能看到。于是，这些行业的经济模式不得不改变。

如今，主流艺人总是在巡回演出，或者不得不推出 50 种颜色的黑胶唱片，才能登上排行榜。这件事让人觉得，我们甚至还没有真正应对数字环境中稀缺性的消失。

我们创造了新的商业模式，但还没有真正接受这样一个事实：歌曲本身不再具有经济价值。真正有经济价值的是歌曲周边的一切，因为歌曲可以无限供应。你想复制多少次都行。

你会如何构建一种经济结构，以应对实体稀缺性的消失？因为我觉得，根本没有人做好准备来讨论这样的话题。

但这是个本末倒置的问题。

当然。

我们建立价格信号来应对稀缺性，比如说：“我们缺少脑外科医生，所以要鼓励人们成为脑外科医生。”这很难做到。随着我们迈入丰裕时代，就不再需要这些价格信号了。

但话说回来，我关注的问题，以及我提出的建议，都是关于我们如何度过这 20 年。那些关乎宗教、哲学、社会行为的深层问题——人类能否在丰裕时代感受到强烈的目标感并彼此和睦相处？——不是我要解决的问题。

你担心的是眼下的变革冲击。

盖茨基金会所处的世界是这样的：我们刚开始时，每年有 1000 万儿童夭折。现在这个数字是 500 万。这是件好事。

接下来的 19 年里，我的所有资源都将用于消灭一些疾病，并让死亡人数再减半：从每年 500 万降到 250 万以下。这一切都是为了应对短缺——“好吧，我们需要发明疫苗，需要降低药物价格，需要为孕妇提供优质的医疗建议。”

整个行业基本上已经不再谈论他们将如何杀光所有人、夺走人们的工作。他们转而宣称“AI将治愈所有疾病”。我总是听到各种AI CEO这么说。

过去一年左右，我们交谈时，我其实问过Mustafa，为什么口风变了。AI大规模应用会带来巨大积极效益的观点，似乎又重新成为焦点，而不是一两年前可能存在的那些末日论倾向。

我觉得，AI治愈所有疾病正好是你的专长领域。盖茨基金会多年来一直致力于全球卫生领域的相关工作。这似乎并不像只要告诉模型去治愈癌症那么容易。你必须开展试验、生产药物、分发药物，还得确保药物有效。

你觉得这会进展得如何？这和机器人建造房屋一样，都要等20年吗？会更快还是更慢？

这是我作为盖茨基金会主席的全职工作。事实上，本月我们会用两周时间进行战略评估，决定明年如何将资金用于结核病、艾滋病毒和疟疾项目。我们利用AI的方式令人振奋，不仅用于药物发现，还用于让这些模型能够正确理解非洲语言；我们上个月与60个合作伙伴宣布了一项倡议，正是为了推动这项工作。

AI将极大加快医疗领域的发现与服务交付，这非常令人振奋——比如更好的种子、更好的牲畜遗传品种，以及为非洲农民提供天气预报，而他们过去从未拥有过这些。所以没错，这些都是AI在盖茨基金会剩余的19年里能够带来的好处。

你认为这些好处足以消除人们对当下接触到的AI模型的怀疑或恐惧吗？因为各家公司确实就是这么看待这件事的。

不，不至于吧。我觉得说他们之前完全宣扬末日论，现在又换成了另一套说法，这不公平。这两件事密切交织在一起。

AI最终将能够以某种方式模拟人体生物学，让你无需进行人体试验，就能了解一种药物的副作用。我们还没做到这一步，但在未来五到十年内，这些计算机模拟模型很有可能赋予我们这种能力。生物学非常复杂，而只要有足够的数据，AI就非常擅长处理；同时也有新工具可以收集更多数据并输入AI。它非常非常擅长处理复杂系统，所以几乎是为生物学量身打造的。

不过，这并不意味着人们就会对负面影响感到满意。好处要多久才会到来？你要等多久才能看着医疗账单说：“哇，真便宜”？或者说：“我想买一套新房，哇，这些房子真便宜”？好处确实需要时间才能显现。有些问题，比如网络攻击和就业市场问题，即使在未来两到三年内，你也会看到这两个领域出现显著的负面影响。

你在信中提出了不少办法，可以制止这些负面影响，或防止它们发生，至少也能减轻其影响。

是的，减轻影响。

“改善”或许是恰当的说法。

是的，没错。

而且它们规模不小。你这里引用了一句话：“我们需要采取远远超过美国在 9·11 事件后所采取的国家安全应对措施。”你想建立一个国际机构，以某种方式让所有人都做正确的事。这些想法很有挑战性。

当然。二战期间我们投下核弹时，预料到之后80多年都不会再发生这种事吗？我觉得我们在这方面做得相当不错。像关心贫困国家并帮助它们这样的事——虽然现在我们对此的优先程度不如我认为应有的程度，也不如过去——我们在这方面做得非常好。这将是人类有史以来面临的最大挑战。

让我想到核武器这一比较的一点是， 最近在 Decoder 节目中经常提到这一点：核武器是由政府制造的。当然，他们有一些承包商，但这些都是政府项目，最终技术由政府掌控，而且我们从未让普通人拥有核武器。

结合核武器来想想 Muse。你认为推出 Muse 和 Dots 这类可能缺乏管控措施的消费级智能体 AI 产品是个错误吗？

Muse 恰好由 Meta 的模型驱动，而该模型仍是闭源模型。我确实认为，允许人们通过开放权重移除所有安全防护措施是不负责任的，因为这会带来网络安全和生物风险。

对于这些智能体，早期在设置方式上会出现一些问题，但我从根本上认为，人们会拥有个人智能体。Muse 是一个很好的进步。我和 Alexandr Wang 谈过这件事，向他表示祝贺。尽管它会面临挑战，个人智能体还是会帮助人们完成各种事情。

Muse 是首款真正出色的消费级 AI 产品。人们普遍不太喜欢 AI，原因之一是他们接触到的是廉价的免费模型和 AI 概览，或者使用免费的 ChatGPT，结果它产生幻觉、对他们撒谎；但 Muse 确实能办事，而且是一款出色的消费级产品。

但我在想——进入核时代时，我们并没有说：“每个人家里都会有一座我们还没装好安全防护的核反应堆。”这里面确实有些值得思考的东西。

当然，让每个人都能在家制造天花和核武器的想法也是如此；你还可以戏仿一些人说：“别担心安全防护措施。”这就是在采取那种立场：“我们并不认真对待安全问题。”

不过，个人智能体是可以预见的发展方向。AI 很酷，能让我在智识上探索各种事物，包括盖茨基金会的工作。我因此有了更大的能力。但我同意你的看法，它会以个人智能体的形式惠及更多人。

我们现在谈到的所有模型，实际上都运行在大公司的数据中心里。这里的一种说法是：“如果它们做了非常糟糕的事，你可以起诉它们，这会起到威慑作用，或者至少能促使它们建立安全系统。”

我不确定产品责任是不是解决问题的办法，但很多人都提到，产品责任本身会让这个行业守规矩。另一方面，你只要买一台 Mac Studio，在上面运行一个开源、开放权重模型，它就能做任何你想让它做的事。

我不确定这些责任该由谁承担，也不清楚什么能约束或引导这些开源模型的行为。你认为这会是一个日益严重的风险吗？你认为这能受到控制吗？

认为我们会通过责任法来管理 AI 安全，这种想法日后会被视为荒谬。坏人实施生物袭击时，你不会去法院说：“哦，好吧。”即使是要找出是谁在实施这些袭击，责任模式在各方面都行不通，因为责任不在 AI 公司本身，而在那些拿来尤其是没有安全防护的模型并用它们做这些事的人身上。

我们对待 AI 安全会比对待航空安全、药品安全和汽车安全更加认真。这是肯定的。至于是否足够……这比核武器更难，比其他任何领域都难。

但对于在某人的电脑上运行的开源模型，你打算怎么办？那台电脑是他随便装了一块 Nvidia 显卡组装的。

我希望对于能力超过某个门槛的模型，我们能找到办法，要求模型保留安全防护和监控机制。我承认，随着时间推移，如果我们不尽快决定这么做，就会有某种能力出现在隐秘角落里，而你将无法察觉。

但这个限制该设在哪里？

一个主权国家规定，能够实施复杂网络攻击的模型必须保留安全防护。

当然。

你可以在自由的意义上开放，也可以在完全可定制的意义上开放，但你必须在这样的平台上运行：当你进行定制时，平台会检查你是否正在移除安全防护和监控机制，并拒绝让你这么做。这意味着主权国家会去确认：“这些可信平台是否能够执行这一功能？”

我问的是非常具体的技术问题。你会在哪里具体实施这项监管？

通过美国的法律。

当然，但你得把它落实到某个环节。是在 Hugging Face 这种分发部分模型的平台上吗？还是在芯片层面？

不，我说的正是：超过某个能力门槛的模型，只能在经过认证的平台上运行，以确保定制模型时不会移除安全防护。

我想把这个问题拆开来问，也许我没完全听明白——在这种情况下，Mac Studio 算是一个平台吗？它必须留意自己运行的代码吗？

如果模型的能力超过某个门槛，就不会允许它被复制到客户端机器上，除非你想办法监控到那台客户端机器；而这完全可行。

但在近期，这些真正处于前沿的模型大多会在 Hugging Face 上运行，也可能放在 GitHub 上。各种各样的人都可以从事提供平台的业务，并确保安全防护得到保留。

我只是想确认一下，你们似乎会在平台和分发层面执行这项监管，而不会过多涉及芯片层面。

不会涉及芯片层面。

因为在我看来，某个时候，即便是廉价、免费的开源模型，能力也会强到足以媲美我们今天拥有的模型。

没错。

那你们就会面临一个大问题。

如果这些开放权重模型的防护措施都能被移除，那么网络攻击和生物攻击的风险就会非常高。你可以说：“好吧，我们来重写今天所有的代码，让它们更不容易遭受攻击；或者以非常深入的方式开展生物监测。”我认为，除了这些其他限制之外，我们还需要采取这些措施。

我们再次提出了很多新的能力，对吧？

是的。

我们要对 GitHub 施加一些限制。如今，GitHub 对它能分发哪些代码并没有太多限制。它有一些限制，但并没有这一整套限制。

如果你把一个具备发动大规模网络攻击或生物攻击能力的最先进模型放到 GitHub 上，它会说：“我已经向美国政府报备并认证，不会让人们定制模型来移除防护措施。”

我不认为我们现在处于一个人们高度信任制度的时代。我感觉并非如此。事实上，我们基本上已经把这些制度摧毁了。Elon Musk 出现后，就拆毁了 USAID。我知道你对此有强烈看法。

那是个错误。

不管好坏，我们基本上已经摧毁了自己的制度。

不， 这说得有点太过了。我们的制度——

它们被削弱了。

它们确实受到了一些削弱，是的。

受到了一些削弱。这种说法真是委婉。人们对它们的信任度非常低。我们大概还能再聊整整一小时 AI 药物发现，以及很大一部分人是否会信任这项工作的成果，因为他们如今不信任制药公司。

他们不必信任制药公司。他们需要信任 FDA 的审查流程。

我不确定他们是否也信任那个流程。总体而言，信任度很低。

那他们可以选择不服用这些药。得了癌症时，他们可以说：“不，我不想服用那种抗癌药。”据我所知，人们确实会服药。这是一个蓬勃发展的行业，人们服药是因为这些药已证明有疗效。

我想说的只是，现在，人们似乎越来越不信任各种制度，尤其是在美国，但世界各地也是如此。你们提议建立一类新的制度，可能是一类新的全球性制度，来施加前所未有的限制。

总有一天，我们需要明确规定，开源模型、开放权重模型不能做某些事情，而政府会介入并决定它们能不能做这些事情。

不，他们会确保各个平台不允许移除防护措施。

你们要如何重新赢得人们对制度的信任，从而实施这些管控？

假设我们什么都不做，任由模型发动网络攻击和生物攻击。你觉得这会提升人们对制度的信任，还是增进人类福祉？这就是另一种选择。

这就是我为什么要问这个问题。这就是我为什么会问起我的孩子和虚无主义。我真的对此感到疑惑。

我不确定我们能否成功做到这一点，但我向你保证，这是可行的。FDA 非常复杂。航空安全法规非常复杂。如今有了 AI，这些机构用同样数量的人员就能做得更好。

It’s this weirdly recursive thing where AI will be involved in AI safety and auditing and a variety of things like that. Yes, this requires taking action, and I’m suggesting it’s only a matter of how bad the incidents are before we take action.

I can sense your urgency about the harms. I can also sense your enthusiasm about the benefits over the long term, but we’re sitting here talking about trust. We’re going to put this on YouTube. I know you know what some of the YouTube commenters are going to say.

They’re going to say, “Why should we trust Bill Gates? He had a relationship with Jeffrey Epstein.” How do you respond to that? Is it that the urgency is over that, or do you have a more specific response?

People shouldn’t take everything I do at face value. I have all sorts of mistakes that I’ve made, weaknesses that I have, biases I bring to these questions. They ought to just take what I’m saying and add it to the voices.

I’ve been in the technology industry thinking about AI my whole life, writing software, thinking about the power of software. I admit I was very fascinated as AI started to finally make progress. It was actually pretty slow until recently.

I’m amazed and it’s actually helping me do my job in some incredible ways. But yes, I’m just one voice, an imperfect voice. I doubt you’ll find a perfect voice, but people can judge it however they like.

I would say voices people trust are in short supply.

I agree with that.

When you go and talk to the people in this industry, it’s a bunch of young CEOs building huge companies. That is something you have some experience with. Do you think they’re going about this the right way? Do you think that they have the right intentions?

Our problem today is not in the industry. Our problem is not that Sam Altman, Dario Amodei, Satya Nadella, or Sundar Pichai don’t understand that there are some grave challenges here. I talk less to Elon than other people, but even his public statements about summoning the demon are exactly what we’re discussing here.

Why is there not the political energy to do the things you’re suggesting?

As you said, the government didn’t fund this work. This is private sector company work. The government is not the key customer for this work, not like rockets and weapons and things like that. When somebody comes along and says all other previous technology advances are trivial compared to this one, people should have a high degree of skepticism about that.

Is life really going to be significantly different 10 years from now because of AI? People should say, “Those guys just got overexcited about this one thing.” But I’m here saying, with whatever credibility I have, that absolutely this is the most profound — both in terms of good and in terms of bad — technology ever invented. I’m not financially motivated on this. I’m suggesting some precautions and safeguards are absolutely needed.

What do you make of the difference in the tenor of conversation in the United States versus in China, where it’s often reported that optimism around AI is much higher? Why do you think there’s a difference there?

Most of those people don’t spend that much time in China. The concern about job markets in China is very, very high and you can’t characterize China as one monolith. There are the private companies doing the AI work like we have in the United States and then there’s the Chinese government.

For example, when it came to whether crypto should be allowed, they said no. Should young people be gambling all the time? They said no. When it came to whether kids should have relationships with AIs, they said no. On a lot of these things, including usage of AI, they’re showing a willingness to do things on behalf of society.

The fervor is a tiny bit less there, because their economy isn’t as AI-centric as ours is right at the moment. In the end, [when it comes to] the human value of not wanting cyberattacks or bioterrorism or trying to figure out what do we do when jobs go away, I don’t think there’s some difference between Chinese people and Americans and all the rest of the humans in terms of how they’re going to view this.

Do you think it’s going to take something actually bad happening to get the political capital of the United States to make these changes?

Probably yes. We get ready for earthquakes because there are small earthquakes. I thought after we had the COVID pandemic, that would cause us to be more ready for future pandemics. That one didn’t work the way I expected.

But usually that galvanizes our attention. Over the next several years, certainly in the cyber domain, because there’s a business model there, you will see a lot of attacks different in terms of scale than anything we’ve seen in the past.

There is one thing that, again, I’ll come back to and I just want to end here. I am worried about young people and nihilism. I sense it in our audience all the time. We have a young audience.

There are some things about AI that are just legitimately the coolest things I’ve ever seen a computer do. There’s something there that can be fun and interesting and fascinating and change your entire relationship with the very notion of living in a digital world.

Then there are obviously horrible things. What I see more often than not is a sense of distrust, not just in institutions, but also in the companies, in capitalism itself, in the notion that we should change how we tax labor and capital, which I know is another one of your ideas. The idea that, I don’t know, we should even have more kids. It’s all done. They’re going to kill us all and we should just take a beat.

There is a lot of nihilism out there. I feel it very keenly. If you were a young person today and you were listening to Bill Gates say it’s about 20 years of disruption and at the end of it, robots might be building houses, what would you hold onto as a source of hope?

Throughout human history, we’ve been dealing with the shortage of food and disease and war. [Historian] Yuval Noah Harari writes eloquently about the past. And it is ironic that now that we have this sort of Pandora’s box that will take food shortage — which is still a real thing, not in the U.S., but in Africa — will take diseases, where human suffering is unbelievable, and solve all these things, it comes with it such an effect on jobs and our sense of unique contribution.

I think, “The way I orchestrate resources to eradicate malaria, I’m pretty unique in my life experience that lets me do that.” But when the AI says to me, “No, I’m better than you. You go play pickleball and I’ll get back to you. I’m going to take care of this,” it’s humorous, but it’s not humorous. For somebody who is young today and wants to make a unique contribution, it is very intimidating that the AI is so powerful.

That’s why the crisis in the math community is going to be mirrored everywhere. If you’re in your twenties today, during this 20-year period, you can take the things AI still can’t do, and you can use AI and you can have a lot of good impact, and you can suggest policies. We may need to develop the taste to actually not use technology to its maximum.

When I was talking with Claude about human-reserved job categories and trying to get that up to, say, 40 percent of the labor market — so you could use early retirement, restricted work weeks, and things like that to still get something like we have today — its response was always, “You’re artificially restricting the AI from doing these things.” I couldn’t get to a very high percentage without doing that.

We’re going to have real choices. We have had groups — not large groups, but like the Amish — who don’t live at the technology frontier. A lot of humanity may choose not to live at the technological frontier because of things we get from helping each other or coming up with unique ideas.

On the idea that young people are concerned because of the disruption that’s coming — that even in the very best case of how we manage AI, this is going to be as tumultuous a period as there’s been in human history — I hate being the bearer of concerning news on this, but it’s even worse not to tell people that this is coming. We have choices as humans to make about how we shape it.

Bill, I appreciate you sounding the alarm and I appreciate you being on Decoder. Thank you so much.

Thank you.

_{Questions or comments? Hit us up at decoder@theverge.com. We really do read every email!}