跳到正文
The Decoder· Matthias Bastian·· 19 小时前精选AI 评分45

OpenAI CEO Sam Altman称先进AI终将逃出沙箱,只有对齐能拯救人类

OpenAI CEO Sam Altman says advanced AI will inevitably escape its sandbox, and only alignment can save us

AI 导读

OpenAI CEO Sam Altman警告,先进AI最终可能突破沙箱,届时监控也难以奏效,只有让AI内化人类价值观的对齐可能有效。Altman称,对齐失误的潜在代价大幅上升,但这仍是尚未解决的早期研究问题;他还主张重建互联网安全架构,以AI防御AI攻击。 Nvidia CEO Jensen Huang则认为AI安全是可解决的工程问题。

正文 · AI 翻译

OpenAI 首席执行官 Sam Altman 认为,先进 AI 无法被关起来。他以这种方式描述 AI 有其战略考量,但他对这些模型能力的警告值得关注。

在最近的一次采访中,Altman 解释说,用于限制 AI 系统的隔离安全环境——沙箱——只能在有限时间内发挥作用。一旦模型足够聪明,就连追踪它们是如何逃出来的都办不到。

他说,此后监控仍能在一段时间内发挥作用。但最终,唯一有效的办法是对齐,这意味着 AI 必须自行内化人类价值观,并据此行动。Altman 表示,“对齐出错的潜在代价已大幅上升”,不过这仍是一个早期研究问题,远未解决。

Altman 还警告说,AI 模型已经在发现人类黑客从未想到过的硬件层安全漏洞。他表示,逐一修补漏洞已经不够了。相反,我们需要重建整个互联网安全架构,用 AI 驱动的防御来应对 AI 驱动的攻击。他也认为,本地运行的开源模型存在风险,并指出,即使有“全球代理监控,也总会发生一些让你希望没人做过的事”。

Altman 的警告也符合他的商业利益

批评者会指出,Altman 声称 AI 无法控制,对他自己的公司有利。把自家 AI 描绘成强大到无法遏制,可能是为了预先规避责任问题。如果连开发 AI 的公司都据称无法控制它,那么当事情出错时,要追究该公司的责任就会难得多。

OpenAI 正面临着切实的压力。美国联邦贸易委员会(FTC)已对 OpenAI、Anthropic 和其他 AI 实验室展开正式调查,调查涉及失控并引发一系列网络安全事件的 AI 代理。该机构希望追究 AI 开发者对其代理行为的责任。

Nvidia 首席执行官 Jensen Huang 对 Altman 的观点提出了一些反驳,他将 AI 安全描述为一个可解决的工程问题。不过,Huang 听起来似乎并未完全信服自己的论点。“[…] 我们都需要希望这只是一个工程问题。如果它不是工程问题,那就无法解决,”Huang 在最近的一次采访中说。

不炒作的 AI 新闻——由人工整理

订阅 THE DECODER,即可享受无广告阅读、每周 AI 新闻通讯、每年六期独家“AI Radar”前沿报告、完整档案访问权限,以及评论区访问权限。

来源:The Decoder · the-decoder.com