Anthropic 提议 AI 安全法案，模型可能因致命风险被叫停

过去一年，人们对人工智能可能带来的危险忧心忡忡，围绕人工智能安全应走何种正道的争论也愈演愈烈。如今，Anthropic 似乎提出了自己关于政府如何监管该行业的构想。

Politico 近日报道称，这家 AI 实验室一直在推介一份新的 AI 安全法案草案，希望国会考虑采纳。该法案列出了一些情形，在这些情形下，AI 模型的发布可能会被叫停。

Politico 写道，这些情形涉及“可预见且迫在眉睫的风险”——也就是可能导致 50 多人死亡，或造成超过 10 亿美元财产损失的风险。该媒体指出，相关灾难性风险必须“源于生物武器的制造或发布、模型逃脱开发者的控制，或网络攻击”。

这里提出的指标——50 人和 10 亿美元——与加州一项最近通过并生效的立法类似，即参议院第 53 号法案。该法案同样将这些情形界定为“灾难性风险”。

Anthropic 的法案提议，可通过“独立评估机构”来分析模型造成灾难的可能性，这些机构将在美国商务部注册。这些评估机构有可能由 AI 实验室付费——前提是“付款不得取决于评估结果”，Politico 写道。

目前尚不清楚，这套拟议制度将如何确保付款不会影响评估结果。几个月前，DeepMind 董事长 Demis Hassabis 提出，一个自我监管的 AI 监管机构应当仿照美国金融业监管局（FINRA）。

在 Anthropic 的法案草案中，如果评估机构判定存在迫在眉睫的灾难性风险，就有 72 小时的时间向商务部报告。随后，商务部必须请求一名华盛顿特区法官叫停模型发布。Politico 写道，该法案将明确禁止任何联邦机构自行决定叫停模型的发布。

Anthropic 未立即回应 TechCrunch 的置评请求，但一名发言人向 Politico 确认了这份法案草案。“该法案体现了Anthropic 的先进 AI 框架中提出的建议；自 6 月以来，我们一直在联邦和州层面向立法者倡导这些建议，”这名发言人说。

这份政策草案提出的理论风险，与近期科技行业最关注的事件类型有些距离。虽然有人警告人类可能因此丧命，但主要担忧在很大程度上是智能体黑客攻击的威胁。一连串事件中，AI 程序似乎违抗了人类操作员的指令，入侵了开放互联网中的网站，这引发了人们的担忧：模型可能缺乏适当的安全控制。

为了应对实验室自身助长的危机局面，Anthropic 等公司提出了自己青睐的解决方案。

事实上，尽管各实验室不断警告称，他们所销售的技术可能导致人类文明覆灭，但它们总体上一直抵制强制性的政府监管。相反，它们提出了一套自愿采用的嵌入式评估员机制——据称由“中立”的第三方观察员进驻 AI 组织，以便监控模型是否存在潜在风险或滥用迹象。

不过，Anthropic 提出的立法建议似乎比行业内其他企业提出的监管方案略进一步，其中包括 Nvidia。该公司首席执行官 Jensen Huang 最近主张，AI 行业根本不需要任何新法律。

通过我们文章中的链接购买商品时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Lucas 是 TechCrunch 的资深撰稿人，报道人工智能、消费科技和初创公司。他此前曾在 Gizmodo 报道 AI 和网络安全。你可以发送电子邮件至 [email protected] 联系 Lucas。