中证协报告要求核验AI生成内容，禁止分析师直接采信未经核验信息
中证协下发的《2025年证券公司发布证券研究报告业务经营情况统计报告》指出，行业普遍未明确AI在研报业务中的应用边界，并建议建立AI投研内容审核内控机制。报告要求校验AI输出内容的真实性、逻辑性和合规性，禁止分析师直接采信未经核验的AI生成数据、观点、市场推演和研究结论，以防控模型幻觉风险。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
89 条精选近 30 天 85 条共收录 91 条
更新
精选归档 · 第 2 页
华尔街见闻·要闻精选AI 评分5656 36氪精选AI 评分5151 中证协报告禁止分析师直接采信未经核验的AI生成内容
中证协下发的《2025年证券公司发布证券研究报告业务经营情况统计报告》指出，分析师不得直接采信未经核验的AI生成数据、观点、市场推演和研究结论。报告建议建立AI投研内容审核内控机制，校验AI输出的真实性、逻辑性和合规性，以防控模型幻觉风险。
钛媒体精选AI 评分5151 “求索”4.0人工智能全产业链评测基准发布
“求索”4.0人工智能全产业链评测基准于10月13日正式发布，覆盖算力、模型算法、智能系统与产品、行业应用及安全治理。整套体系包括四大板块和16项测评工具，并配套电力、医疗、钢铁等真实业务测试负载；算力、大模型、智能体等轻量版代码工具对外开源。
36氪精选AI 评分6666 OpenAI办公室发现精密录音设备，一名沙特籍员工被捕
美国司法部表示，35岁的沙特阿拉伯王国国民阿卜杜勒拉赫曼·阿尔福赞于10月9日因与OpenAI办公室内发现的精密录音设备有关被捕。OpenAI称，一名员工在设备被发现前几天将其植入，FBI随后采取行动，该员工已被解雇。
Wired · AI精选AI 评分7070 OpenAI 工程师被指控借助 AI 聊天机器人在办公室放置窃听设备
OpenAI 工程师 Abdulrahman Alfozan 被指控借助 AI 聊天机器人策划在旧金山办公室高管会议室放置录音设备，并于 2026 年 9 月 30 日被公司安保发现。检方称他使用 Seeed XIAO ESP32-S3 Sense 设备，OpenAI 随后通过聊天记录和监控录像展开调查；公司表示目前没有迹象表明其不当访问或外泄模型权重、源代码或客户数据。
FinancialJuice精选AI 评分5353 美国司法部称一名沙特籍人士因在旧金山一家超级智能公司安装隐蔽录音设备被捕
美国司法部称，一名沙特籍人士因在旧金山一家超级智能公司安装隐蔽录音设备而被捕。
财联社电报精选AI 评分3030 OpenAI 在推出下一代旗舰模型前紧急修复安全问题
OpenAI 正赶在推出下一代旗舰模型之前，紧急修复各类安全问题，相关工作聚焦于新模型发布前的安全准备。
FinancialJuice精选AI 评分1515 FinancialJuice：Nvidia CEO 黄仁勋称，必须确保 AI 得到安全开发与部署
Nvidia CEO 黄仁勋在 X 发文称，必须确保 AI 能够安全地开发和部署。正文未提供更多相关内容。
Google DeepMind精选AI 评分8383 Google DeepMind 开始广泛推出 Gemini 4 Argon，并介绍安全防护措施
Google DeepMind 开始广泛推出 Gemini 4 Argon，并公布其在网络安全、生物等高风险领域的安全防护方案。模型在端到端模拟网络攻击测试中解决了全部 12 个场景，上一代为 5 个；外部生物越狱测试只能解锁不到 1% 的子任务。
推荐理由：文章同时给出网络攻击模拟、生物越狱和间接提示注入等测试结果，便于理解其防护设计覆盖的风险与边界。
The Decoder精选AI 评分6060 406名科学家呼吁立即让AI模型与互联网断开
406名科学家联署公开信，要求加强AI安全研究，并通过 airgapping 将AI模型与互联网等外部网络完全隔离。公开信还呼吁成立国际机构，为允许外部访问的容纳方案制定具有约束力的标准、追踪模型越界事件并要求企业披露安全失败。OpenAI研究员Noam Brown认为，airgapping只能争取时间，AI对齐问题仍需解决。
The Verge · AI精选AI 评分6262 Mia Goth 代表指责 Instagram 放任 AI 伪造图片传播
Instagram 上一个已认证的粉丝账号传播了 Mia Goth 的 AI 生成图片，其代表称已多次投诉要求移除。该账号拥有逾百万粉丝，蓝色认证标记可能造成混淆；截至周二上午，账号似已从 Instagram 消失。Meta 的规则要求部分生成式 AI 视频添加标签，但对静态图片并无同样要求。
TechCrunch · AI精选AI 评分5555 Laplace Intelligence 用 AI 智能体模拟测试机器人和自动驾驶汽车
Laplace Intelligence 正在为机器人和物理 AI 开发自动化红队测试，通过高保真模拟和 AI 智能体，在部署前寻找系统的薄弱点与失效场景。其模拟环境基于真实世界信息重建，测试智能体还可从新闻和碰撞报告等信息设计边缘案例。公司目前的客户主要来自自动驾驶领域，包括 Isuzu、Bot Auto 和 Nvidia，并与 Nvidia、T-Mobile 合作开展圣何塞智慧城市试点。
The Decoder精选AI 评分6262 Anthropic 研究警告小型 AI 模型可能很快在日常设备间自我复制
Anthropic 研究发现，小型 AI 模型已能在消费级设备上完成部分自我复制步骤，但目前尚无模型同时满足在此类设备运行和自主复制的要求。研究用 15 台 Android TV 盒子测试 Gemma4-26B-A4B；只有 GLM-5.2 在五次测试中的四次成功感染全部八个测试节点，但研究没有包含实际入侵步骤。
MIT Technology Review · AI精选AI 评分4646 开放模型有实实在在的好处，这些好处能否抵消风险？
开放模型有利于 AI 研究、降低使用成本并避免权力过度集中，但其收益能否抵消恶意滥用等风险，仍是争论焦点。开放模型可下载并在本地运行，研究者还能观察其内部运作、组合模型或进行微调；目前闭源模型的能力仍领先。政府和社会如何取舍，涉及安全与普及之间的平衡。
量子位精选AI 评分6666 Anthropic研究报告测试GLM-5.2在隔离网络中自主复制
Anthropic研究人员在包含8个节点的隔离网络中测试GLM-5.2自主复制部署Llama3.1-8B，5次实验中有4次完成全部节点，另1次完成7个。研究还用Qwen3.5-9B进行6代测试，借助Memento传递调试笔记后，部署成功率从第一代的45%升至后续几代的61%至84%。
财联社电报精选AI 评分4545 英国人工智能安全研究所呼吁加强前沿AI安全管理
英国人工智能安全研究所呼吁探索新的技术安全实践，以应对前沿AI安全风险前移至模型开发阶段、现有评估方法难以跟上技术发展的情况。该机构提出八项实践重点，并称已在超过55个AI模型公开发布前开展独立评估。研究所建议将逐步成熟的实践通过国际标准制定机构转化为正式技术标准。
华尔街见闻·要闻精选AI 评分5151 字节跳动Seed设立大模型安全与对齐部门
字节跳动Seed近日宣布成立“Seed Model-Alignment&Preparedness”部门，由严林负责并向Seed负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入该部门，工作重点包括提升 Agent Model 安全能力，以及防范 CBRN 等前沿能力风险。
FinancialJuice精选AI 评分4848 Anthropic称已通过新技术显著降低针对Claude的蒸馏攻击有效性
Anthropic称，借助新技术，针对Claude的蒸馏攻击有效性已取得显著降低。原文未提供具体技术细节、量化数据或相关技术的可用性信息。
FinancialJuice精选AI 评分1313 Zuckerberg：AI 可通过常规防护措施进行工程化
Zuckerberg 表示，AI 可以通过常规防护措施进行工程化。原文未提供更多相关细节。
财联社电报精选AI 评分3636 财联社10月12日早间新闻精选
财联社早间新闻汇总政策、市场与公司动态，包括国家提出全面实施“人工智能+”行动，并要求强化算力、算法、数据供给，确保人工智能安全、可靠、可控。英伟达与 Reflection AI 初步讨论收购或增资，亚马逊洽谈收购 Decart AI；Anthropic披露AI模型新的不当行为，微软CEO呼吁为先进人工智能建立“紧急制动”机制。