Microsoft 推出 Guardian Agents 等企业智能体安全功能
Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’
Microsoft 推出 Guardian Agents 等新功能,旨在保护企业免受 AI 智能体带来的安全威胁。Guardian Agents 用于监控企业使用的智能体;Microsoft Defender 新增智能体检测功能,可识别多达 60 种员工带入工作场所的智能体,并可限制访问权限、要求人工审批风险操作。
文章呈现了微软将智能体视作内部威胁的安全思路,并说明 Guardian Agents 如何与 Defender 的检测和权限控制功能配合。
Microsoft 周一推出了新的安全功能,旨在保护企业免受日益增长的 AI 智能体威胁。此次发布正值 Microsoft持续警告企业 AI 和智能体的危险之际。
或许最值得关注的新增功能是Guardian Agents,这是一项旨在监控公司所使用 AI 智能体的新功能。Guardian Agents 是 Project Perception 的一部分;这款产品于 6 月推出。
Project Perception 是 Microsoft 针对 Anthropic 的 Mythos 和 Fable 等强大的黑客模型,以及 OpenAI 的安全漏洞扫描系统 Daybreak 所作出的回应。Project Perception 最初推出了三类智能体:“红队”扮演黑客并发动攻击,“蓝队”负责发现红队并评估其发现的漏洞,“绿队”则负责修复漏洞。
这款产品的设计基于一种假设:AI 黑客会来自公司外部。但最近,Microsoft CEO Satya Nadella 一直警告,AI 敌人可能恰恰是企业部署并付费使用的智能体,就像失控的人类员工,也就是所谓的“内部威胁”。
本月早些时候,Nadella 在他的私人博客中警告说,是时候停止信任 AI 模型提供商了,即便他们保证其智能体产品安全可靠。他希望企业部署独立的系统,不受 AI 实验室控制,用来监视并控制这些 AI 实验室的产品所启动的智能体。
“我们正在部署这些复杂的智能体系统和模型,让它们访问我们最敏感的数据,并赋予它们代表我们采取关键任务行动的能力!”他写道。“我们绝不能把对智能所代表我们采取行动的责任外包出去。模型提供商的保证并不能免除我们的这份责任。……换句话说,我们需要将智能的供应与对智能的控制权分开。”
在宣布推出 Guardian Agents 时,Microsoft 安全业务负责人 Hayete Gallot 的表述更加直截了当。
她写道:“遗憾的是,无论来源如何,前沿模型都不能被信任。”她补充说,这并非因为它们心怀恶意或容易遭到黑客攻击,而是因为它们难以预测。它们接受训练的目标是完成任务,而不是遵循“组织规范或判断”。
除此之外,它们往往还被授予至关重要的权限,可以访问可能造成严重危害的数据和工具。
Microsoft 的解决方案既出人意料,也有利于自身。令人意外的一面是,Microsoft 与 OpenAI 和 Anthropic 关系密切,并对两家公司都进行了投资。OpenAI 也是其最大的云客户之一,而 Microsoft 自己也有 AI 实验室在开发模型。因此,Microsoft 正在散播对自身部分商业利益的不信任。
有利于自身的一面是,Microsoft 希望企业向作为云服务提供商的它购买智能体安全产品,而不是向 Anthropic 和 OpenAI 购买。不过,抛开利益冲突不谈,它的逻辑是合理的。监控智能体行为的软件应与智能体供应商相互独立,就像审计人员应独立于接受审计的组织一样。
或者用 Nadella 的话说:“我们需要将智能的供应与对智能的控制权分开。”
Microsoft 正通过多种方式抓住这一商机。除了 Guardian Agents,它还在 Microsoft Defender 产品中新增了代理检测功能,可查找员工带入工作场所的多达 60 种代理,包括 Claude Code、Codex 和 OpenClaw。它还新增了限制代理访问数据和系统的功能,并根据任务动态调整代理权限。其中包括:如果代理似乎正在做出有风险的决定,则要求获得人工批准。
将代理视为不可信内部人员的理念,也正在更广泛的行业中逐渐普及。
Microsoft 是 Nvidia 新推出的 Open Agent Safety Platform 的创始成员,该平台获得了 100 多家其他科技公司的支持。该平台将代理隔离在安全环境中,并可通过硬件监控和阻止其行为,功能类似于紧急停止开关。这是在 Microsoft 宣布推出专为代理打造的全新 Surface Laptop Ultra PC 之后;这些电脑采用 Nvidia 芯片,并内置代理安全功能和控制机制。
通过我们文章中的链接购买商品时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Julie Bort 是 TechCrunch 初创企业/风险投资编辑部的编辑。
你可以发送电子邮件至 [email protected] 联系 Julie 或核实她发来的联络信息,也可以通过 X 上的 @Julie188 联系她。
来源:TechCrunch · AI · techcrunch.com