跳到正文
Import AI· Jack Clark·· 20 小时前精选AI 评分47

Import AI 477:我在 IMF 演讲中称奇点已经开始

Import AI 477: In which I tell the IMF the Singularity has begun

AI 导读

Import AI 作者在 IMF 会议发表演讲,称 AI 奇点已经开始,并认为未来数年 AI 与整体科学进步的速度将加快。演讲指出,AI 正改变国家安全与全球经济,并参与自身发展;Anthropic 研究人员如今产出的代码接近公司成立头四年平均水平的 10 倍。

正文 · AI 翻译

欢迎阅读 Import AI,这是一份关于 AI 研究的时事通讯。Import AI 的运转离不开 arXiv、卡布奇诺和读者的反馈。如果你愿意支持我们,请订阅。

立即订阅

以下是我于10月17日(星期六)在曼谷举行的 IMF 会议上发表的演讲。这场演讲的灵感来自今年读者们看到我报道的一项重大趋势:AI 开始涉足人类科学的前沿,有时甚至能够自主开展研究。尽管我们或许会对细节有所争论,但我认为显而易见的是,我们正处于奇点的早期阶段。我想借着荣幸受邀发表Per Jacobsson演讲的机会,向在场的经济学家、银行家和政策制定者说明,他们应当预期未来将发生重大而迅速的变化。在这场演讲中,我主要关注的是:只要我们具备适当的远见并保持克制,人类就能共享 AI 带来的益处。接下来几期,我还将进一步探讨奇点的重要性,以及我们所有人将面临的风险。

正如我在演讲中几次提到的——其中有些内容是即兴发挥的,因此没有记录在这里——我极其认真地看待自己在这件事上的责任。我既是 AI 领域正在发生之事的讲述者,也是推动这些变化的主要参与者,同时还是连接多个社群的沟通者。在这一切之中,我力求如实陈述,并坦诚面对自己应负的责任。这项工作永远都在进行中。

感谢大家阅读。这样的演讲很大程度上取材于我的时事通讯,而这份时事通讯是我每周向大家提供信息的一种方式。感谢各位读者的支持。

***
事件视界之内:为什么每个人都应该认真看待 AI 进展

大家好,感谢邀请我来这里。我深感荣幸。

首先,我应该列出与主题相关的资历:我是一名人类。我只有一个。这场演讲的经验积累,我花了将近 40 年。我稍后会再谈到这些资历。

我的整个职业生涯都围绕着一件事展开:寻找那些似乎对世界未来至关重要的信息,然后把这些信息告诉全世界。二十年前,我以记者身份开启职业生涯,专注报道数据中心。通过这份工作,我对 AI 着了迷,以至于在 2016 年离开新闻行业,加入 OpenAI;几年后又共同创立了 Anthropic。从那以后,我一直试图说服世人:有朝一日,AI 系统或许会变得如此强大,以至于能够改变国家安全、扭转全球经济的发展轨迹,甚至最终获得自我构建的能力。

好了,这一刻已经到来。AI 正在改变国家安全,正在扭转世界经济的发展轨迹——正如我们在这里许多场次中听到的那样——并且正在推动自身的发展。

当然,你们中的许多人已经了解这一点,而且不得不把 AI 视为塑造你们生活和工作的众多不稳定因素之一加以追踪。

我今天要说明的是,AI 的发展方向将带来比我们预期更大的变化,我们应该据此做好准备。接下来我会解释原因。

多年来,研究人员和科幻作家一直在预测这样一个未来:AI 系统将大幅加快整体科学和技术进步的步伐,让一切进展如此迅速,以至于人类难以跟上。

他们称之为奇点。我认为,今年我们已经获得了令人信服的证据,表明奇点已经开始到来。

作家 Vernor Vinge 于 1993 年对此作出预测。他写道:“当超越人类的智能推动进步时,进步的速度将快得多。事实上,没有理由认为进步本身不会催生出更聪明的实体,而且这一过程所需的时间还会更短。”他将奇点描述为“一个我们的模型必须被抛弃、新现实开始主导的时刻”。

奇点已经到来。它的影响波及生活的方方面面。但最重要的影响很简单:我们应该预期,在未来几年里,不只是 AI,整个科学领域的进步步伐都会加快。这会让人感到困惑和无所适从,也会带来巨大的财富,以及潜在的巨大危险。

今天,我将着重谈第一点:AI 快速进步的潜在益处,以及我们需要做些什么才能共同分享这些益处。

人类从 AI 获益的许多方式都源于科学。我认为,AI 驱动的科学发明将改变全球经济的发展轨迹,改变各国规划和建设自身基础设施的方式,让我们所有人更健康,也能有更多时间陪伴所爱之人;与此同时,它也将促使我们所有人深入思考,面对 AI 持续发展,我们应该作出怎样的选择。

我来阐述我的观点:在过去半个世纪里,大多数国家都面临着研究生产力下降的问题,而研究人员数量却快速增长——创意和发明似乎越来越难以发现。

但有一件重要的事情已经改变:我们如今已经构建出能够增强、拓展并自动化部分人类劳动的 AI 系统。这种情况最明显地出现在软件开发领域,如今 AI 系统的能力和效率已经超过了世界上绝大多数软件工程师。

因此,软件开发领域正在发生变化——如今,一个人就能为自己想象的任何事物编写软件,创造出过去需要整支人类团队才能完成的东西。

我们已经在 Anthropic 内部看到了切实证据:如今,我们的研究人员编写的代码量几乎是公司成立头四年时的 10 倍。

但 AI 能力的提升也带来了新的挑战——编码能力的进步意味着 AI 系统在网络安全和网络攻击方面都变得强大得多,促使世界各地竞相部署这些强大能力,以打造更好的网络防御;与此同时,不法分子也在竞相利用这些系统实施黑客攻击。

这里值得注意的是,这些事情密不可分——AI 系统在编码等通用领域的进步,也在网络安全等具有国际影响的领域带来了积极和消极的影响。

这只是未来发展的一个缩影:进步带来新的能力,也带来新的挑战。

这些能力不会止步于编码;科学和机器人领域也会发生同样的变化。这种变化已经开始。这意味着全球经济的一些重要特性可能会改变——例如创新的速度,或者我们发明全新通用技术的频率。这些技术会围绕自身催生新的产业,就像互联网、手机和人工智能一样。

那么,是什么让我相信这一点?2026 年,我们初次看到 AI 系统可能具备在科学前沿开展研究的能力,也有了一些引人入胜的例子,展现未来可能是什么样子。例如:

在数学领域,AI 系统已被用于提出一些长期悬而未决的数学问题的解法,例如纳维–斯托克斯千禧年大奖难题、雅可比猜想,以及若干未解决的 Erdős 问题。在许多情况下,AI 系统提供了使解题成为可能的关键洞见。

在生物学领域,研究人员已使用 AI 从头设计病毒、筛选新的候选药物以供测试;如今已有药物进入临床试验,而这些药物在很大程度上是由 AI 设计的。

在机器人领域,AI 系统现在越来越能够远程自主操作实验室设备,让我们可以进一步实现实验自动化,应用领域从生物学到材料科学,助力电池和燃料电池开发等领域更快取得进展。

单独来看,这些例子都令人振奋。但更深远的事实是,它们都与同一项底层技术有关——而且对于其中大多数应用场景来说,依靠的是同一个前沿模型。如今,我们拥有了独特的实体——Claude、ChatGPT 或 Gemini 这样的 AI 系统——能够在多个科学学科的前沿开展工作。

量化指标印证了这一点。
其中一项指标是 AI 系统在一项名为 Humanity’s Last Exam 的测试中的得分——这个名字可不是我取的!

这项名字听起来不祥的测试,是为应对 AI 系统在前些年应对各种艰难且多样的科学挑战时取得的重大进展而开发的,涵盖高级化学、计算机科学、数学、古典文学和生态学等不同主题。

该考试于 2025 年 1 月推出时,得分最高的 AI 系统取得了 8% 的成绩。截至本周,得分最高的系统是 Claude Opus 5.5,成绩为 67.7%。

另一个例子是 FrontierMath。这项测试于 2024 年 11 月发布,旨在评估 AI 系统解决数百道高难度数学题的能力,这些题目由专业数学家精选并评估。测试刚推出时,得分最高的系统得了 2%。如今,它们的得分达到了 94%。

更广泛地看,几乎各处都是如此。选一个你最喜欢的科学领域,找找相关测试,就会发现同样的模式——能力突然大幅提升,无处不在。

TheoPhysEval
我将以一个故事结束这部分证据。最新的例子来自上周刚发表的一篇论文,名为 TheoPhysEval。这篇论文测试 AI 系统解决理论物理学未公开问题的能力。论文中的 50 道题由世界各地的物理学家汇编而成。

AI 系统取得高分并不意外。但令人惊讶的是它们取得高分的方式。这里,我想引用印度物理学家 Suvrat Raju 的话,他撰文评论了这些结果。

“据我所知,没有哪个人能在没有 AI 协助的情况下,解决我们最终题目中的相当一部分,”他说。“我们最初的评估显示,GPT-6-Astra 的得分在八十几分,紧随其后的是 Opus 5.5。但当我们开始调查模型可能犯下的错误时,模型——尤其是 Astra——坚持认为自己是对的,而专家提供的答案有误。我们回头向专家核实时发现,在多个例子中,专家都在计算中发现了一些隐藏很深的细微错误。随着他们修正答案,Astra 的得分开始一点点上升,最终达到了 98%(49/50)。”

请仔细想想这件事。一些世界顶尖的科学专家设计了一项测试,题目都是 AI 不可能读过答案的问题。而他们测试 AI 时,它不仅得分很高,还通过找出人类作答中的错误,进一步提高了分数!

电影中常有这样一个场景,通常出现在剧情进行到三分之二时:年轻的主角终于向导师证明,自己具备独立闯荡世界并取得成功的能力。这是一种叙事套路——老师变成学生。眼下发生的正是如此。

那么,我为什么要告诉你这些?AI 系统在科学方面越来越强,为什么重要?

我认为,这是因为真正开展前沿科学——有能力取得突破、拓展知识边界——实际上是在检验 AI 能力最后几道边界之一:创造力。在我看来,如果 AI 系统能够以创造性的方式解决问题并在科学领域取得成功,我们就应当预期,这表明它们有能力将这种能力泛化到许多领域,当然也包括 AI 研究本身,而这可能会对创新产生爆发式影响。

因此,如果 AI 系统在科学领域不断进步,就会强力推动未来经济的增长并塑造其形态。这意味着,你今天就可以采取行动,为你的国家和人民做好准备,使他们未来能够从这一趋势中受益。

科学与增长
来谈谈增长。增长的主要来源之一,是研究产生的新想法。推动增长的因素之一,是我们的人力资本存量——世界各地提出问题、开展科学研究并由此推动世界前进的人。

但我们也知道,正如一些经济学家所说,“好想法越来越难找了”。取得突破的成本正在上升,为了保持同样的进展速度,我们不得不投入越来越多的资源进行研究。

如果这种情况改变了呢?借助这项技术,我们可以从根本上改变地球上研究人员的数量,以及培养他们所需的时间。

正如我开场时介绍自己的资历时所说,这样的我只有一个,而我花了大约40年才走到今天。如果能同时运行数百个或数千个我的副本,会意味着什么?如果能即时创造出我的新版本,而不必等待40年,又会意味着什么?如果我能复制自己,并让这些副本在我的监督下开展工作,我的工作方式会如何改变?未来几年,经济中的很大一部分领域都将如此——我们将能够以前所未有的方式,在科学等前沿领域增强人类劳动能力。

这很可能会改变我们发现好想法的速度,因为我们可以为任何问题增加100或1000倍的研究人员,放大人类科学家的力量。

我们还可以非常迅速地做到这一点。如果你想在某个领域培养新一代研究人员,可能需要10或15年的定向教育,并花费数百万美元,才能培养出一小批人。另一方面,只要计算能力充足,这些AI系统就能立即创建,数量不受限制;它们可以跨领域应用,几乎即时受益于新的科学见解,还能以新颖而出人意料的方式整合现有知识,从而实现发现。这意味着,对于显示出前景的领域,我们可以迅速生成大量虚拟科学家,让他们与人类并肩工作,从而增强人类的能力。

这意味着,在未来几年,地球上的每一位人类科学家都会变得更加重要、能力更强,因为他们将能够监督数百或数千名志趣相投的专家,研究任何令他们感兴趣的问题。

我们在这里做了一些自己的建模工作,尝试根据技术发展的不同轨迹,模拟经济的不同版本。如果假设模型能够自主完成广泛的任务,并迅速在经济中普及,那么在这种近乎奇点的情境下,我们可能会看到前所未有的经济转型,到2030年,美国GDP将达到44万亿。这听起来匪夷所思,但技术持续进步所带来的影响正指向这一结果。如果GDP增长如此之多,那么经济学理论表明,必然需要创造新的产业和发明,才能推动如此大规模的经济扩张——而这正是AI系统具备自主科学探究能力这一设想所意味着的。

那么,我们该如何应对?如何从整体上构建世界,让人们都能受益于这些不断进步的能力?如何在这一进步机遇与适当谨慎之间取得平衡?

我们既要为成功做好规划,让人类能够利用这项技术创造富足,也要准备好明智地决定如何使用这项技术——AI能够成为有能力的科学家,并不意味着我们就应该把它用于一切。

谈到为成功做规划,我先分享一段自己的经历。

过去十年里,我走访世界各国政府,试图传达一个非常简单但重要的事实:AI系统正变得强大得多、实用得多,而这些系统需要大量计算机。因此,我说,政府为把握AI革命而采取的最佳举措,就是建设足够的电力容量和数据中心空间,以便能够托管这里提到的强大AI系统,并投资AI供应链。

听进去的政策制定者并不多。如今,我们正在承受由此带来的后果。在当今世界,数据中心容量集中在美国、中国,并日益集中在中东;供应链也高度集中,竞争激烈到价格不断上涨。

这项基础设施建设仍然重要,但它只是AI持续进步所带来的经济与科学革命的第一阶段。现在还有更多基础设施需要建设,而且我相信,只要各国愿意,就有更多国家能够参与其中。

AI革命的下一阶段,是向物理世界扩展,具体来说,就是让AI系统越来越多地操控机器人并开展科学实验,有时还会协同进行。因此,正如我们建设计算能力和电力基础设施那样,我们也需要大量增加科学设备和机器人系统,否则很快就会遇到能力瓶颈。我们必须现在就建设这些能力,才能最大限度地将科学繁荣转化为全人类的福祉。

根据联合国教科文组织的估算,全球约有~1000万名科学家。即使只有1000万名科学家,我们也缺少足够的人类科学家来监督工作,缺少足够的实验室开展材料科学分析,缺少足够的生物实验室开发和测试新药,也缺少足够的大型科学设备,无论是在太空还是地球上,都不足以支持我们想要开展的实验。

如果科学家不再是~1000万名,而是由我们自己的1000万人指挥10亿名虚拟科学家呢?或者100亿名呢?这样的未来正迅速向我们走来。我们必须做好准备。

如果做好准备,我们就能更好地把AI系统的智能转化为全人类的收益:更长寿、更健康的生活,更多能源、更多粮食、更多财富。与数据中心的情况一样,建设和发展这条供应链的国家将是受益最大的国家。

这对所有人都是一个机遇:如果你是科学生态系统发达的发达国家,就有机会提高所有科学家的生产力。如果你是向AI和科学事业提供基本要素(如原材料)的发展中国家,就有机会实现跨越式发展:你既可以建设科学测试设施,让人类科学家与数字AI科学家共同参与,推动科学社群发展;也可以继续扩大自己在供应链中的贡献,而这种贡献未来将更具价值。

但光有基础设施还不够。如果发现变得唾手可得,我们就必须避免在后续环节形成瓶颈——如果新提出的药物只有少数能接受测试,那么再多新药也毫无用处。本会场的政策制定者及其同事需要帮助我们找到办法,加快将发现成果从实验室推向诊所、工厂和田野的进程。

我们为这样的未来准备得越充分,就越能把AI带来的收益转化为全世界的收益。

我们还需要作为全球社群,为未来做出选择做好准备。因为正如我所说,这其中存在风险。能够利用AI开展科学研究,也意味着我们可能会将科学用于不当目的——例如生物武器和网络武器,以及我们目前还无法想象的事物。

我们需要做出许多选择,只有认清这项技术的本质——认清它的强大之处——我们才能意识到做出这些选择有多么紧迫。

第一个选择关乎我们应该将这项技术用于何处。我们拥有能够开展科学研究的AI系统,并不意味着就应该放任它独自开展研究。一个这样的应用领域是生物学研究,在这里,我们需要最严格的人类监督和透明度,以维护安全。

另一个领域是AI研究本身,Anthropic这样的实验室需要决定,对AI驱动的研究应施加多少监督。这可能让我们在技术上取得更大进展,但也会引入风险。我们在这里必须极其谨慎,否则就可能失去对这项技术的控制。我们也很可能需要制定相应规则。

本周早些时候我在东京,一所大学的一名学生告诉我,他们在物理系工作,并且AI已经开始能够进行许多实验。他们作为人,应该把时间花在哪些实验上?又应该让AI系统自己做哪些实验?这是一个微妙的问题,我不知道答案,但每个科学学科都需要回答这个问题。

第二个选择关乎我们需要在多大程度上理解这些AI系统所做的事情。正如今年AI在数学领域的崛起所展现的,我们已经身处这样一个世界:AI系统取得的进展足够有创造性,以至于我们人类如今要花时间解读它们——努力理解其含义,以及如何将这些见解用于自身。

我们应该理解多少?同样,答案会很微妙,而且这涉及奇点时代意义这一根本问题——对于科学进步的哪些方面,我们希望真正理解?距离AI系统不仅能开展科学研究,还能发明专为AI系统的工作方式而设计、而非为人类思维方式设计的新科学设备,如今只剩短短几年。我们需要理解这些设备吗?我们应该理解吗?这是我们还需要做出的另一个选择。

最重要的是,认真看待AI的进步,意味着我们应该允许自己想象一个截然不同的世界。

我十几岁时读了很多关于世界的书,心怀恐惧。我认为21世纪会很艰难——人口增长、气候变化、资源开采和其他危机会叠加起来,导致人类物种陷入马尔萨斯式崩溃。在发明了计算机和互联网之后,我们可能会把自己消耗殆尽。

在随后的岁月里,我一次又一次地看到,技术如何从根本上改变这种局面:太阳能电池板问世后,价格下降得比人们预期的更快、幅度也更大。我们对人体的认识不断加深,使我们得以发明出治疗方法,治愈曾夺走许多人生命的疾病——其中包括我自己的一些家人。

我们还能做一些我从未想象过、却觉得无比神奇的事情,例如如今利用AI系统解读动物的语言,或者一些公司造出了能够升空、随后又返回地球着陆的火箭。

我从事AI研究,是因为它能帮助我们做更多这样的事。我从事AI研究,是因为能否做到这一点取决于我们做出的选择——取决于在座各位将做出的选择——取决于我们如何引导和治理它,也取决于我需要做出的选择。我从事AI研究,是因为它是人类物种创造过的最重要的技术。

如果我们能够正确使用这项技术,它将帮助我们解决那些原本可能导致人类灭绝的问题。但这项技术也内含危险。为了渡过这一关——为了在奇点中找到前行之路——我们需要共同努力,为这项技术及开发它的公司制定不同寻常且严格的规则,并展现人类最难做到、也最崇高的品质——克制。

我们需要建设基础设施,以利用这项技术,但也需要在技术本身的研发上放慢脚步、审慎行事,以控制其发展节奏,或以其他方式掌控其发展。我们必须不断区分能做的事与应该做的事。我们还需要在今天投资建设科学能力,让这一进步成为可能。

这一切让我想起伟大的Carl Sagan。他在《暗淡蓝点》中说,或许有一天会抵达其他恒星的人类将是“一个与我们非常相似的物种,但拥有更多优点、更少缺点……更加自信、目光长远、能力出众且谨慎。”

这正是AI对我们的要求。而Sagan认为我们有数十万年时间来实现这一目标——成为更优秀、更睿智的人——但我们如今只有短短几年。我相信我们做得到。但只有认真对待AI,给予它应有的重视,我们才能成功。谢谢。

观看讲座:

来源:Import AI · importai.substack.com