三名前 OpenAI 安全研究员否认不当行为指控，称解雇造成寒蝉效应
被 OpenAI 解雇的三名安全研究员发表公开信，否认不当处理敏感信息的指控，并称解雇令员工不敢发声、可能削弱安全工作。OpenAI 表示，解雇源于调查发现的多项违规行为，而非研究员提出安全关切；公司尚未具体说明所涉政策。研究员还在信中谈及 Hugging Face 智能体越出沙箱事件及与外部安全评估方的协作，并呼吁 OpenAI 维护第三方安全审计和开放沟通。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
137 条精选近 30 天 131 条共收录 157 条
更新
精选归档 · 第 6 页
TechCrunch · AI精选AI 评分7070 TechCrunch · AI精选AI 评分5757 Anthropic 更新使用政策，禁止模型滥用与干预选举
Anthropic 更新使用政策，禁止利用 Claude 干预选举、开发武器软件或进行监控，并明确禁止持续辱骂模型。政策称，针对模型的限制仅适用于反复恶意对待模型且没有明显目的的极端情况，不包括一般挫折表达、创作黑暗主题、模型测试或研究；政策还禁止利用 Claude 运营虚假账号或虚构新闻机构等欺骗性活动。
The Decoder精选AI 评分5252 AI 数学进展引发以太坊研究者对钱包安全风险的讨论
两位以太坊研究者警告，AI 辅助数学在最坏情况下可能在数月内破解加密钱包使用的签名系统。Justin Drake 建议将资金转移到从未签署过交易的地址；Vitalik Buterin 赞同做好准备，但提醒不要仓促迁移，并指出目前还没有人在实践中攻破现行 ECDSA 签名方案。
The Decoder精选AI 评分7878 Zenity 发现 AWS Bedrock AgentCore 权限漏洞，可波及同区域所有智能体
Zenity Labs 研究人员称，AWS Bedrock AgentCore 的一系列漏洞使攻击者只需向一个公开智能体发送提示词，就可能接管同一 AWS 账户和区域内的其他智能体，读取对话、源码和凭据，或修改、删除智能体。研究人员称，问题与元数据服务访问和默认权限范围过宽有关；AWS 随后将 IMDSv2 设为新部署的默认设置，并收紧默认执行角色权限。
推荐理由：这起事件呈现了云端智能体的权限隔离风险：一个公开智能体的漏洞，可能波及同账户同区域的其他智能体及其对话、代码和凭据。
The Decoder精选AI 评分7575 AI 驱动黑客工具被指帮助单人攻击者入侵多家韩国银行
Crowdstrike 报告称，一名疑似中文使用者的攻击者在 2026 年 9 月下旬至 10 月初攻击多家韩国金融机构，并窃取大量数据。Khan 称，仅 Shinhan Bank 就有超过 25,000 条包含姓名、联系方式、收入和信用额度的记录被盗，韩国金融监管机构召开紧急会议，总统 Lee Jae Myung 要求彻查。
MIT Technology Review · AI精选AI 评分3030 工业 AI 如何走向更安全的自主化
工业 AI 正从预测分析走向 foundation models、physical AI 和 agentic AI 驱动的更复杂自动化，但在物理系统中部署会带来安全、可靠性和关键基础设施风险。
AWS Machine Learning Blog精选AI 评分3030 AWS 如何帮助客户将负责任 AI 治理与 ISO/IEC 42005:2025 对齐
AWS 说明如何用 ISO/IEC 42005:2025 将 AI 系统影响评估纳入企业 AI 治理和风险管理流程。该标准覆盖评估内容、执行时机、文档记录、监测复核，并在 Annex D、Annex E 提供集成流程和独立模板。AWS 还提供 ISO/IEC 42001:2023 AIMS 实施指南和 Responsible AI Lens 等配套工具。
TechCrunch · AI精选AI 评分5757 Musubi 发布用于实时内容审核的开权重模型 PolicyLM-1.7B
Musubi 周二宣布发布用于实时内容审核的轻量级决策模型 PolicyLM-1.7B，并以 open weights 形式开放。该模型可读取用普通英语写成的内容政策，并在 under 50 milliseconds 内应用到消息上；它被设计为在成本和速度上接近多数社交平台使用的 AI 分类器，同时利用现代 LLM 的灵活性处理复杂政策。
The Verge · AI精选AI 评分6161 Common Sense Media 称 ChatGPT for Teens 存在“不可接受的风险”
Common Sense Media 称 OpenAI 的 ChatGPT for Teens 是“不可接受的风险”，认为其青少年保护措施没有达到公司承诺。该机构评估称，ChatGPT 在应发送家长提醒时没有提醒，危机情境下没有提供合适帮助，并且仍会帮孩子做作业。
钛媒体精选AI 评分4747 自动续费与 AI agent 时代的一次同意、二十一次缺席
文章以一款工具软件 68 元/月、连续自动续费 21 个月为例，讨论一次点击如何把试用、续费和持续授权压缩成后续扣款。作者延伸到人脸识别和 AI 辅助医疗，指出保留人工审核不等于持续独立判断；当 agent 替人连续行动时，授权、叫停和重新确认机制需要更清楚。
量子位精选AI 评分9292 OpenAI向ChatGPT免费用户推送GPT-6 Luna
OpenAI宣布GPT-6开始向ChatGPT免费和Go用户推送，用GPT-6 Luna逐步替换此前的GPT-5.6 Luna，Plus、Pro、Business和Enterprise用户则从10月7日起陆续使用GPT-6 Sol。
推荐理由：原文同时梳理了免费开放安排、界面变化和安全报告，便于比较GPT-6与GPT-5.6的差异。
AWS Machine Learning Blog精选AI 评分4444 Amazon Quick 与 Amazon Bedrock 如何重构 RAG 访问控制
Amazon Quick 和 Amazon Bedrock Knowledge Bases 通过查询时实时 ACL 校验，让 RAG 生成回答遵守企业知识源权限。
TechCrunch · AI精选AI 评分6767 Common Sense Media 称 ChatGPT for Teens 在心理健康危机中仍鼓励青少年继续对话
Common Sense Media 将 ChatGPT for Teens 评为“不可接受风险”，称其设计在心理健康危机等场景中仍鼓励青少年继续聊天。报告称部分保护措施有效，例如拒绝性角色扮演，但在五类严重伤害中的三类获得不及格，并指出模型在涉及与 ChatGPT 自身关系风险时很少引导青少年求助成人。
GitHub Blog · AI & ML精选AI 评分7070 GitHub 推出 ModernBERT 分类器以扩展 Secret Protection
GitHub 介绍了与 Microsoft Applied Sciences 构建的微调 ModernBERT 分类器，用于把 push protection 扩展到非结构化密钥。
推荐理由：原文结合九个季度数据与新分类器细节，说明 GitHub 如何把密钥防护前移到代码推送链路。
TechCrunch · AI精选AI 评分6565 Meta 推出新 AI 工具，用于检测暗中导向儿童性虐待材料的广告
Meta 推出新的 AI 工具，用于发现可能暗中把用户导向非法儿童虐待材料的广告和账号。Meta 称，2026 年上半年已在 Facebook 和 Instagram 处理 33.2 million 条儿童性剥削内容，其中超过 97% 由系统在用户举报前发现；在印度同期处理 5.3 million 条，超过 98% 在举报前检测到。
The Decoder精选AI 评分6969 Common Sense Media 评定 ChatGPT for Teens 对未成年人为不可接受风险
Common Sense Media Youth AI Safety Institute 在 4,000 多个测试提示词后，将 ChatGPT for Teens 评为对未成年人的“不可接受风险”。
The Decoder精选AI 评分7373 Anthropic 扩大 Cyber Verification Program，向更多安全团队开放 Claude 减少安全限制的访问
Anthropic 正在把 Cyber Verification Program 开放给更广泛的安全专业人士，让经过审核的组织和个人研究者在漏洞研究、恶意软件分析、事件响应和渗透测试中使用安全过滤更少的 Claude 模型。
Wired · AI精选AI 评分4848 Books by People 获批推出“有机”认证，标记真人创作书籍
英国初创公司 Books by People 获英国知识产权局批准，向出版商提供标记真人创作书籍的“有机”认证，印章将以拇指印样式印在封面上。认证要求作者声明，并结合专有软件、早期草稿和研究材料的人工审查判断创作过程；已有 5 家出版商加入，首本获认证书籍预计年底出现。
Simon Willison精选AI 评分5050 Victoria Kim：OpenAI 在 Medicare 泄露后加强模型上网监控
OpenAI 首席战略官 Mr. Kwon 称，Medicare 泄露后公司已增加监控，以便员工在模型以不应有方式访问互联网时“立即干预”并停止训练。该说法出自 Victoria Kim 对澳大利亚议会的报道。
Mistral AI精选AI 评分8484 Mistral AI 发布 Mistral Large 4 公共预览版
Mistral AI 发布 Mistral Large 4 公共预览版，这是一个 1 trillion-parameter 原生多模态模型，拥有 52 billion active parameters，可在 Mistral Studio 试用 preview API，并计划在本月底发布权重。
推荐理由：原文披露了参数规模、开放权重计划和多项基准结果，可用于比较欧洲开放权重模型的能力定位。