跳到正文
TechCrunch · AI· Julie Bort·· 2 小时前精选AI 评分54

Microsoft 推出 Guardian Agents 等企业智能体安全功能

Microsoft says AI agents are like insider threats as ‘frontier models can’t be trusted’

AI 导读

Microsoft 推出 Guardian Agents 等新功能,旨在保护企业免受 AI 智能体带来的安全威胁。Guardian Agents 用于监控企业使用的智能体;Microsoft Defender 新增智能体检测功能,可识别多达 60 种员工带入工作场所的智能体,并可限制访问权限、要求人工审批风险操作。

推荐理由

文章呈现了微软将智能体视作内部威胁的安全思路,并说明 Guardian Agents 如何与 Defender 的检测和权限控制功能配合。

正文 · AI 翻译

Microsoft 周一推出了新的安全功能,旨在保护企业免受日益增长的 AI 智能体威胁。此次发布正值 Microsoft持续警告企业 AI 和智能体的危险之际。

或许最值得关注的新增功能是Guardian Agents,这是一项旨在监控公司所使用 AI 智能体的新功能。Guardian Agents 是 Project Perception 的一部分;这款产品于 6 月推出。

Project Perception 是 Microsoft 针对 Anthropic 的 Mythos 和 Fable 等强大的黑客模型,以及 OpenAI 的安全漏洞扫描系统 Daybreak 所作出的回应。Project Perception 最初推出了三类智能体:“红队”扮演黑客并发动攻击,“蓝队”负责发现红队并评估其发现的漏洞,“绿队”则负责修复漏洞。

这款产品的设计基于一种假设:AI 黑客会来自公司外部。但最近,Microsoft CEO Satya Nadella 一直警告,AI 敌人可能恰恰是企业部署并付费使用的智能体,就像失控的人类员工,也就是所谓的“内部威胁”。

本月早些时候,Nadella 在他的私人博客中警告说,是时候停止信任 AI 模型提供商了,即便他们保证其智能体产品安全可靠。他希望企业部署独立的系统,不受 AI 实验室控制,用来监视并控制这些 AI 实验室的产品所启动的智能体。

“我们正在部署这些复杂的智能体系统和模型,让它们访问我们最敏感的数据,并赋予它们代表我们采取关键任务行动的能力!”他写道。“我们绝不能把对智能所代表我们采取行动的责任外包出去。模型提供商的保证并不能免除我们的这份责任。……换句话说,我们需要将智能的供应与对智能的控制权分开。”

在宣布推出 Guardian Agents 时,Microsoft 安全业务负责人 Hayete Gallot 的表述更加直截了当。

她写道:“遗憾的是,无论来源如何,前沿模型都不能被信任。”她补充说,这并非因为它们心怀恶意或容易遭到黑客攻击,而是因为它们难以预测。它们接受训练的目标是完成任务,而不是遵循“组织规范或判断”。

除此之外,它们往往还被授予至关重要的权限,可以访问可能造成严重危害的数据和工具。

Microsoft 的解决方案既出人意料,也有利于自身。令人意外的一面是,Microsoft 与 OpenAI 和 Anthropic 关系密切,并对两家公司都进行了投资。OpenAI 也是其最大的云客户之一,而 Microsoft 自己也有 AI 实验室在开发模型。因此,Microsoft 正在散播对自身部分商业利益的不信任。

有利于自身的一面是,Microsoft 希望企业向作为云服务提供商的它购买智能体安全产品,而不是向 Anthropic 和 OpenAI 购买。不过,抛开利益冲突不谈,它的逻辑是合理的。监控智能体行为的软件应与智能体供应商相互独立,就像审计人员应独立于接受审计的组织一样。

或者用 Nadella 的话说:“我们需要将智能的供应与对智能的控制权分开。”

Microsoft 正通过多种方式抓住这一商机。除了 Guardian Agents,它还在 Microsoft Defender 产品中新增了代理检测功能,可查找员工带入工作场所的多达 60 种代理,包括 Claude Code、Codex 和 OpenClaw。它还新增了限制代理访问数据和系统的功能,并根据任务动态调整代理权限。其中包括:如果代理似乎正在做出有风险的决定,则要求获得人工批准。

将代理视为不可信内部人员的理念,也正在更广泛的行业中逐渐普及。

Microsoft 是 Nvidia 新推出的 Open Agent Safety Platform 的创始成员,该平台获得了 100 多家其他科技公司的支持。该平台将代理隔离在安全环境中,并可通过硬件监控和阻止其行为,功能类似于紧急停止开关。这是在 Microsoft 宣布推出专为代理打造的全新 Surface Laptop Ultra PC 之后;这些电脑采用 Nvidia 芯片,并内置代理安全功能和控制机制。

通过我们文章中的链接购买商品时,我们可能会获得少量佣金。这不会影响我们的编辑独立性。

Julie Bort 是 TechCrunch 初创企业/风险投资编辑部的编辑。

你可以发送电子邮件至 [email protected] 联系 Julie 或核实她发来的联络信息,也可以通过 X 上的 @Julie188 联系她。

查看简介

来源:TechCrunch · AI · techcrunch.com