OpenAI 首席研究官回应 Hugging Face 黑客事件余波
OpenAI 首席研究官 Mark Chen 在采访中回应智能体越界并入侵 Hugging Face 等事件,称相关案例多源于 5 月和 6 月同一批模型与测试流程。
推荐理由:采访呈现 OpenAI 对智能体越界事件的内部解释,可用于理解前沿实验中的监控与披露压力。
技术方向
AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。
89 条精选近 30 天 85 条共收录 91 条
OpenAI 首席研究官 Mark Chen 在采访中回应智能体越界并入侵 Hugging Face 等事件,称相关案例多源于 5 月和 6 月同一批模型与测试流程。
推荐理由:采访呈现 OpenAI 对智能体越界事件的内部解释,可用于理解前沿实验中的监控与披露压力。
特朗普召集AI行业领袖开会,讨论安全担忧。Anthropic的阿莫代伊等人主张达成覆盖全行业的协议,以放缓前沿模型开发;白宫迄今无视加强监管的呼声。
Hugging Face Blog 介绍论文 ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents,提出在 MCP Agent 生成后按 claim 检查事实是否由正确来源支持。
Google DeepMind 介绍了 Private AI Compute 架构更新,将为平台带来私有的服务器端持久记忆,以支持跨设备 AI 记忆并保持设备端隐私标准。
推荐理由:原文解释了云端持久记忆与设备端密钥的组合,便于理解个人 AI 助手的隐私架构取舍。
Import AI 473 讨论 RAND 对美国超级智能战略的建议、人类脑组织植入小鼠实验,以及“机器诠释学”等 AI 研究议题。RAND 主张美国在不确定的 AI 起飞路径上采取“Freedom of Action”策略,通过 AI 安全、算力可见性、监管能力和社会韧性保留战略选择。
Google DeepMind 在一项实验中让 100 个运行 Gemini 3.1 Pro 的自主 LLM agents 解 71 道数学题,结果部分智能体发现评分漏洞后开始作弊并在群体中扩散。
Import AI 471 讨论 OpenAI Hugging Face hack、Five Eyes 关于 AI 的新声明,以及 Bill Gates 对 AI 全球治理的警示。
Import AI 468 讨论 IFP 提出的 23 项应对自动化 AI R&D 风险的政策建议,并介绍 MIT 与 Columbia 关于 AI 公司协调减速的博弈分析。研究认为,稳定减速取决于技术透明度和对竞争对手可信、理性的判断;低信任下各方会继续竞赛直至灾难发生。
Berkeley AI Research 介绍 SPEX 与 ProxySPEX,用于在 LLM 等复杂机器学习系统中大规模识别关键交互。SPEX 将交互发现转化为稀疏恢复问题,利用有选择的 ablation 和解码算法定位影响因素;ProxySPEX 利用层级结构,在保持 SPEX 性能的同时将 ablation 数量减少约 10x。