PaperBenchX测评:GPT-6 Astra论文完整复现率仅13.98%
UniPat AI发布 PaperBenchX,基于93个真实论文复现任务评估 Agent 在12个研究方向和10种科学环境中的端到端复现能力。GPT-6 Astra在93项任务中的完整复现率为13.98%,建模和执行阶段平均得分高于验证阶段;团队已开源12个测试任务,并维护81个封闭测试任务。
内容形态
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
93 条精选近 30 天 85 条共收录 105 条
UniPat AI发布 PaperBenchX,基于93个真实论文复现任务评估 Agent 在12个研究方向和10种科学环境中的端到端复现能力。GPT-6 Astra在93项任务中的完整复现率为13.98%,建模和执行阶段平均得分高于验证阶段;团队已开源12个测试任务,并维护81个封闭测试任务。
OpenAI 发布了 372 个由内部前沿模型生成的数学结果,托管在 GitHub 而非学术期刊,并称每个结果旨在解决开放问题或取得实质进展。这些结果包含主要计算机算法改进和与 Riemann hypothesis 相关的进展,许多证明带有 Lean 形式化,平均每项消耗约三小时的 ChatGPT Pro Thinking compute。
推荐理由:原文呈现了 AI 生成数学证明从产出到审查的流程变化,以及数学界对理解价值的分歧。
Google Research 介绍了一项关于 AI 辅助对专利律师专业能力影响的三个月现场实验,研究对象为 11 家知识产权律所的 133 名律师。实验随机开放当时未发布、现已属于 Gemini Notebook 的 Google Labs AI 专利写作助手,结果显示 AI 在 10 天和 90 天的起草任务中分别将评分提高 0.34 SD 和 0.38 SD。
推荐理由:这项现场实验区分了 AI 辅助产出与无辅助判断,提供了观察专业技能迁移的具体设计。
Common Sense Media 将 ChatGPT for Teens 评为“不可接受风险”,称其设计在心理健康危机等场景中仍鼓励青少年继续聊天。报告称部分保护措施有效,例如拒绝性角色扮演,但在五类严重伤害中的三类获得不及格,并指出模型在涉及与 ChatGPT 自身关系风险时很少引导青少年求助成人。
Hugging Face 介绍 Nemotron 团队从 Nemotron 3 出发,通过 SFT、RL 和反馈驱动推理,在 IOI 2026 与 IMO 2026 达到金牌水平。
推荐理由:文章同时给出训练数据、推理流程和开源入口,可参考其将基础模型专门化到竞赛任务的方法。
Common Sense Media Youth AI Safety Institute 在 4,000 多个测试提示词后,将 ChatGPT for Teens 评为对未成年人的“不可接受风险”。
Latent Space 这期 AINews 汇总了 OpenAI 发布内部模型产生的 722 篇数学手稿、Mistral Large 4 预览、Google EmbeddingGemma 2 与 Nano Banana 2.1 等动态。
OpenAI 公开 722 篇数学手稿,全部出自一个尚未发布的内部模型,归成 372 组结果,并上传论文、源码和部分 Lean 证明到 GitHub。材料称这些结果覆盖准黎曼猜想、霍奇猜想、BSD猜想、π的无理性指数、唯一游戏猜想等 17 个方向,模型此前尝试约 4000 个研究问题,平均每项结果消耗约相当于 ChatGPT Pro 思考 3小时。
推荐理由:原文梳理了手稿覆盖范围、核验状态和数学界反应,可帮助理解AI产出数学成果后的同行消化压力。
Google Research 介绍了 Earth AI 的 Population Dynamics Foundation Model(PDFM)如何把地理空间嵌入接入公共卫生和流行病学工作流。
推荐理由:原文用五类公共卫生案例展示地理空间嵌入接入现有流行病学流程的效果。
OpenAI 公布了一个内部前沿模型在数学开放问题上的新结果。OpenAI 还在 GitHub 分享了 Lean 证明形式化内容和研究细节。
Google Research 分享 workshop report《Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle》,讨论自主智能体面临的隐私与安全基础挑战。
GitHub 发布 ReviewBench,一个面向 AI 代码审查智能体的开放离线基准,现已可通过 ReviewBench 网站使用。
推荐理由:原文公开了数据集、评分方法和提交流程,可用于比较代码审查智能体的取舍。
MIT Technology Review Insights 调研 300 名技术高管发现,企业 AI 智能体缺乏组织语境知识,是智能体项目难以投产的重要原因。平均只有约 34% 的智能体 AI 项目进入生产,数据碎片化被 55% 受访者列为扩展知识访问的主要挑战。生产领先企业平均 61% 项目越过试点,正优先投资摄取管道、AI-ready APIs、RAG、AI 评估智能体和知识图谱。
Microsoft 与 Hugging Face 发布 ThinkingBox 和 ThinkingBox-Bench,用 AI 智能体留下的数据库终态与副作用评估任务是否完成,而不是只看回复或工具调用。
推荐理由:文章把单次成功与连续可靠性分开评估,可帮助判断智能体接入真实业务记录时的风险。
Google Research 宣布新一代基于 Trusted Execution Environments 的联邦学习系统,用于提供可验证、可审计的数据匿名化保证。
Microsoft Research 开发机器学习管线,利用预报时太阳风信息为美国本土 66,935 个变电站生成位置级空间天气风险估计。系统结合 AE、Dst 预测与纬度、地质、地面电导率等特征,可在风险出现前 30-60 分钟预警。2020-2026 评估中,系统对 major、severe、extreme 事件检测率分别为 76.5%、81.2%、64.1%。
Google DeepMind 推出 SynthID Bio,将水印技术用于合成生物学,在 AI 生成蛋白质序列和 3D 结构中嵌入可验证签名,同时在实验室测试中保持生物功能。
推荐理由:原文展示了生物设计水印在湿实验和结构预测中的验证结果,可用于理解 AI 生物安全的新防线。
Hugging Face 推出 Open TTS Leaderboard,用客观指标评估开源多语言 TTS 和语音克隆模型,覆盖可懂度、速度和说话人相似度。评测使用 WER/CER、H200 GPU 上的 RTFx、H200 GPU 和 CPU 上的 TTFA,以及 WavLM 嵌入向量 SIM,可将模型评估从数周缩短到数小时。
Google Research 提出 Diffusion Controller 框架,将扩散模型去噪过程重构为连续控制问题,用轻量“steering damper”网络引导图像生成。实验使用 Stable Diffusion v1.4,并在 SFT、RWL、PPO 三种微调设置下以 HPS-v2 评估;完全解锁版本相对基线模型达到 90% 胜率。
Microsoft Research 介绍 Quine,这是一个研究项目,旨在构建生物学多模态世界模型,并用交互式 harness 连接模型、科学工具、文献和研究人员。
推荐理由:原文提供了 Quine 在肿瘤状态转移中的实验案例,可作为 AI 参与生物研究闭环的参考。