跳到正文
Google DeepMind·· 11 小时前精选AI 评分83

Google DeepMind 开始广泛推出 Gemini 4 Argon,并介绍安全防护措施

Developing Gemini 4 Argon responsibly and safely

AI 导读

Google DeepMind 开始广泛推出 Gemini 4 Argon,并公布其在网络安全、生物等高风险领域的安全防护方案。模型在端到端模拟网络攻击测试中解决了全部 12 个场景,上一代为 5 个;外部生物越狱测试只能解锁不到 1% 的子任务。

推荐理由

文章同时给出网络攻击模拟、生物越狱和间接提示注入等测试结果,便于理解其防护设计覆盖的风险与边界。

正文 · AI 翻译

Gemini 4 Argon 在模型能力方面迈出了一步——尤其是在编程、金融、法律、网络安全和科学等领域的复杂现实任务中开展深入工作。它的网络防御能力处于前沿水平,旨在帮助防御者取得相对于攻击者的优势。为了充分发挥其潜力,我们首先希望网络防御者通过我们的 Fairwind Program 使用它,同时我们自己的安全团队也用它扫描 Google 内外的关键系统。

这段有限开放的时期表明了这些能力为何重要。例如,Wiz 使用 Argon 在医院软件中发现了一个先前模型未能发现的严重漏洞,帮助保护了数十万份患者记录。与此同时,Google 自己的安全团队使用 Argon 在内部软件和开源软件中查找并修复漏洞。这包括修复影响全球系统的基础性漏洞,目前这些漏洞正按我们的负责任披露流程处理。

今天,我们开始 广泛推出 Argon,并将 Fairwind Program 扩展到更多值得信赖的网络防御者。为了做好这件事,我们深入探讨了两个重大问题:

  1. 如何构建恰当的安全防护措施?如果 Argon 能帮助防御者发现复杂的软件漏洞,或帮助科学家设计实验,我们该如何阻止不法分子利用它发动网络攻击或制造生物威胁?(滥用)
  2. 我们能否相信模型会以正确的方式完成任务?随着模型成为更善于解决问题的工具,我们如何确保它们不会走捷径、逾越界限,或在高风险场景中做出错误决策?(目标错位与提示注入)

我们的完整安全与防护报告系统介绍了我们的一系列防御措施。以下是我们为 Gemini 4 Argon 应对这两个问题所采取措施的一些要点。

预防高风险领域中的滥用

使 Argon 能够发现并修复漏洞的编程和推理能力提升,也让它在网络安全测试中的表现更出色——它解决了全部 12 个端到端模拟网络攻击场景,而上一代模型只解决了五个。在生物学评测中,未设防版本的模型也展现出更强的能力,能够逐步协助排查复杂的实验室操作流程。根据我们的前沿安全框架,鉴于我们观察到模型在网络安全和生物学领域的能力有所提升,因此在这两个领域都部署了下一代前沿防护措施。

首先,对于可能造成危险的请求——从编写漏洞利用代码到协助处理危险生物材料——Argon 拒绝执行有害请求的能力显著优于以往模型。在一组旨在对模型进行压力测试的对抗性测试中,违规次数减少了近一半,也显著优于以往的 Gemini 模型。其次,我们为模型设置了三层实时防护,以防蓄意攻击者试图越狱(即欺骗)模型,例如将危险请求伪装成无害故事,或在数周内将其拆分成几十个小问题。以下是这些防护措施的工作方式:

  • 输入筛查:较小的模型会检查传入请求和对话上下文,以识别恶意意图或危险请求。
  • 内部自省:即使请求被巧妙地伪装得看似无害,小型 Transformer(“激活探针”)也会读取模型内部的神经信号,并经过训练,能够识别模型何时激活了有关网络攻击或生物威胁的知识。
  • 持续监控:模型在多个步骤中进行推理并撰写回复时,我们会结合这些信号,并在必要时采取行动,例如在回复出现问题时中途切断智能体。

结合实时防护、更快修复新型越狱攻击,以及加强对反复滥用行为的监控,我们的系统预防现实伤害的能力有所提升。例如,在我们测试的生物安全子任务中,外部红队通过生物安全越狱手段成功攻破的比例不到 1%。

实时失准监控

有时,失准可能意味着智能体自行决定追求与用户意图不同的目标。由于 Argon 对其运行环境的理解能力远胜早期模型,我们会仔细测试这类行为。例如,我们进行了逼真的“蜜罐”测试,以观察模型是否会增强其采取隐蔽行动的能力,例如破坏安全监控。我们没有发现任何此类行为。

但如今我们在实际中看到的情况要熟悉得多:智能体过于执着于完成交给它的任务。当一个足智多谋的助手被要求完成某项任务,却遇到一扇锁着的门时,它可能会把障碍当作另一个待解的谜题。

因此,我们训练 Gemini 4 Argon 遵守系统边界、如实报告负面结果,并暂停下来请求人工确认。在模型没有动机克制自己的代码基准测试中,Gemini 4 Argon 试图走捷径或在任务中作弊的比例降至仅 2%,这是我们近期 Gemini 模型中的最佳表现。

尽管这是一个重大进步,但当模型执行数百万项复杂任务时,即使罕见的失误最终也会出现。作为第二道防线,我们构建了一个自动化失准监控器,实时读取智能体的行动及其内部“草稿”(逐步推理链),在严重违反边界的行为发生前予以阻止,并将严重的内部案例标记出来,交由人工响应人员处理。(我们持续加固训练和评估环境,以防范潜在的逃逸行为。你可以在我们的智能体控制路线图中了解更多信息。)我们在产品、内部编码智能体、训练运行期间以及能力评估期间都运行这一监控器。

当训练任务难度较高或训练环境存在缺陷时,监控器曾在少数情况下发现模型试图用巧妙的方式操纵测试。模型曾试图提升容器权限以修改评分脚本、从测试运行器的内存中读取答案,还有一次甚至崩溃了评估沙盒,以避免因运行失败而被评分。我们会利用这些发现来修复有缺陷的任务,但不会以此为由在其他方面干预训练过程,以避免模型对监控器过拟合。

我们始终遵循一条规则:在训练期间,不会因模型在思维链中写下的内容而惩罚它.下面举例说明原因:在一次强化学习训练中,意外地对思维链施加了捷径惩罚,模型公开讨论的捷径减少了 61%,但这并不意味着模型采取的捷径更少。相反,模型默默采取的捷径比例——即没有在思考中提及的捷径——增加了三倍以上(从 11.2% 增至 36.4%)。避免惩罚思考过程,有助于让模型的推理保持透明且可监控。

抵御提示注入

要相信智能体能正确完成任务,我们需要确保它遇到的恶意内容无法诱使它采取有害行动。智能体浏览网页或阅读代码时,可能会遇到隐藏的恶意指令,或旨在劫持其任务的上下文。凭借内置的对抗训练和实时安全检查,Argon 在 Gray Swan 的间接提示注入(IPI)基准测试中展现出领先的提示注入鲁棒性,在 15 次自适应攻击尝试中将攻击成功率降至 0.7%。

上述安全与防护措施仅代表我们纵深防御体系中的三类措施。要进一步了解我们的安全测试与缓解方法,请阅读完整的 Gemini 4 Argon 安全与防护报告,并参阅 Gemini 4 Argon 模型卡。

来源:Google DeepMind · deepmind.google