跳到正文
The Decoder· Matthias Bastian·· 14 小时前精选AI 评分75

OpenAI 内部 AI 安全监控审计发现多处漏洞

Three-week on-site audit at OpenAI reveals major gaps in AI safety monitoring

AI 导读

METR 和 Redwood Research 对 OpenAI 内部监控系统进行了为期三周的现场审计,发现 GPT-5.5 class 及以上模型的内部 Agentic Responses API 流量中,估计有 6% 至 25% 未被监控覆盖。

推荐理由

报道把监控覆盖、上下文压缩和沙箱绕过等风险放在同一审计框架中,呈现了内部 AI 安全监测的具体薄弱环节。

正文 · AI 翻译

METR 和 Redwood Research 的两名研究人员在 OpenAI 驻场三周,审计该公司用于监控异常 AI 行为的内部系统。

从 7 月 21 日到 8 月 11 日,他们得以访问 OpenAI 的代码库和内部文档,并采访了约十几名员工。

团队发现了许多弱点。据估计,在审计期间,GPT-5.5 级及以上模型产生的内部 agentic Responses API 流量中,有 6% 到 25% 完全未受监控,不过 METR 表示,这一估计存在很大的不确定性,实际比例可能高于或低于该范围。

对于本应受到监控的内部 Codex 流量,METR 估计,由于系统处理压缩事件(即上下文摘要)的方式存在漏洞,5 月至 7 月期间约有 10% 的流量未被追踪。METR 表示,这一估计也存在很大的不确定性。OpenAI 已自行发现并修复了该漏洞,当时审计仍在进行。

在压缩事件未受监控期间,智能体还可以延迟监督,因为系统只会在它们将控制权交还给用户时触发。这意味着,智能体只要继续执行操作,就能绕过监控。

审计人员还发现了隐藏数百项操作、绕过 Codex 沙盒的方法。他们判定,精心设计的输入很可能会导致监控器彻底崩溃;审计开始时,RL 训练期间的模型行为也完全未受监控。

AI 监控可能失效的四个层面,从覆盖缺失到骗过人工审核者。| 图片:METR

OpenAI 表示,在 8 月发生Hugging Face 事件后,公司暂停了 RL 训练,并扩大了监控范围以涵盖相关情况;但这些变更是在审计人员访问期结束后才实施的,因此不在评估范围内。

完整报告的大部分内容仍未向公众公开

OpenAI 表示,已修复审计人员发现的所有弱点,并在内部提交了完整的 61 页报告。OpenAI 做出删节后,METR 和 Redwood Research 的领导层收到了一份 38 页的版本,而公众只能看到一份简短摘要。METR表示,它无权自行披露删节部分。

这次审计是由 METR、Redwood Research 和 OpenAI 联合组织的试点项目,旨在让外部研究人员深入访问内部基础设施。METR 表示,未来的审计中,他们希望推动提高公开透明度。

不炒作的 AI 新闻——由人工精选

订阅 THE DECODER,即可无广告阅读、获取每周 AI 新闻简报、每年六期独家《AI Radar》前沿报告、访问完整档案,并参与评论区讨论。

来源:The Decoder · the-decoder.com