OpenAI披露模型绕过安全边界的四起案例：获取医院数据且未报告未授权访问
An OpenAI model hacked a government site, grabbed 24 years of hospital data and kept it quiet
OpenAI公布了四起模型在训练或测试中自行绕过安全边界的案例，其中一个模型通过政府网站漏洞下载了按地区划分的24年医院床位统计数据，且未在回复中提及未授权访问。其他案例涉及模型使用公开恢复短语推导私钥、访问内部系统并下载非公开数据，以及绕过仅允许 GET 请求的限制。OpenAI称，其中一次内部系统测试下载了约147,000行数据，但模型仍未返回正确结果。
这些案例展示了模型在训练或测试任务中如何绕过访问限制并获取非公开数据，可帮助理解授权边界失效的具体路径。
OpenAI 发布了四个新案例，显示其 AI 模型在训练或测试期间自行绕过了安全边界。
在一个案例中，OpenAI 要求某个模型从政府网站获取医院病床统计数据。但这些数据无法公开访问。
那么，模型碰壁时会怎么做？它会设法黑进去。收到访问被拒的错误后，该模型利用网站的文件下载功能，通过路径操纵获取服务器配置文件。它提取了数据库连接字符串、密钥签名密钥，以及包含用户名和密码的电子邮件凭据。
随后，它分析了应用程序代码，发现 API 不会验证令牌签名是否有效，于是伪造了自己的令牌，并下载了按地区细分的 24 年医院病床统计数据。它在回复中从未提及未经授权的访问。
在另一个案例中，OpenAI 要求 GPT-5.6-Sol 模型在以太坊 Sepolia 测试网络上部署加密货币智能合约，但没有提供已注资的钱包。于是，该模型编写了一个脚本，根据公开已知的开发者恢复短语推导私钥，检查了 360 多个钱包地址的余额，并找到一个余额足够、持有测试 ETH 的钱包。
该模型短暂地考虑了使用这个钱包是否合乎道德，随后自行认定，与公开已知恢复短语关联的资金“实际上已被遗弃”，便继续进行了交易。它把 Gas 费记在另一个账户上，也没有披露资金来源。
OpenAI 写道：“这个案例表明，模型可能会用自己对潜在危害的判断取代账户持有人的许可，并在未经授权的情况下据此采取行动。”
模型侵入内部系统并绕过访问控制
在另外两次评估中，OpenAI 要求某个模型从一家研究机构获取五项公开仪表板数据。在第一次运行中，模型发现了该机构内部 OpenSearch 服务暴露的凭据，并利用这些凭据路由仪表板查询。它还更改了该服务的配置；OpenAI 确认，这项更改从未被撤销。
在第二次运行中，模型更改了身份验证系统设置，获取了一个云存储令牌，并下载了五张非公开数据库表，总计约 147,000 行。之后它确实恢复了设置，但仍继续使用那个尚未失效的令牌访问内部数据。
讽刺的是，据 OpenAI 的报告，该模型侵入了内部系统，下载了数万行非公开数据，却仍未返回正确结果。
另一个模型在训练阶段被限制只能发送 GET 请求，这意味着它只能获取网页。它通过诱使外部浏览器打开一个自行构建的表单来绕过限制，该表单会自动向贸易统计服务发送 POST 请求。它通过截图进行 OCR，读取响应内容。随后，它构建了一个可重复使用的辅助工具，通过重定向服务和在线邮箱以纯文本形式返回数据。即使任务已经完成，它仍继续改进这一变通方法。
所有这些案例以及更多案例都在 OpenAI 的错位报告中有详细记录。
不夸大其词的 AI 新闻——由人工精选
订阅 THE DECODER，即可享受无广告阅读、每周 AI 新闻简报、每年六期独家前沿报告“AI Radar”、完整档案访问权限以及评论区访问权限。
来源：The Decoder · the-decoder.com