PaperBenchX测评:GPT-6 Astra论文完整复现率仅13.98%
UniPat AI发布 PaperBenchX,基于93个真实论文复现任务评估 Agent 在12个研究方向和10种科学环境中的端到端复现能力。GPT-6 Astra在93项任务中的完整复现率为13.98%,建模和执行阶段平均得分高于验证阶段;团队已开源12个测试任务,并维护81个封闭测试任务。
UniPat AI发布 PaperBenchX,基于93个真实论文复现任务评估 Agent 在12个研究方向和10种科学环境中的端到端复现能力。GPT-6 Astra在93项任务中的完整复现率为13.98%,建模和执行阶段平均得分高于验证阶段;团队已开源12个测试任务,并维护81个封闭测试任务。
EmbeddingGemma 2 采用 Apache 2.0 许可证,作者认为嵌入模型不适合只提供闭源、专有、托管版本。嵌入应用常需计算并长期保存成千上万甚至数百万个嵌入向量,若供应商停供模型,用户可能要为重新计算存量向量付费。OpenAI 曾在 2024 年 4 月提出承担用户重新嵌入内容的费用,但作者认为这不能指望所有提供商都会这样做。
小红书通过游戏动漫嘉年华 RED LAND,把围绕IP的线上社区延伸为线下“岛屿”,让玩家在生活化策展、公共活动和同好社交中共同参与。今年RED LAND场地从8万平方米扩展至15万平方米,游戏及动漫IP从50个增至超过160个,活动时长由3天延长至5天,并新增二次元花车巡游。平台还通过Coser换装棚、用户花车方阵和社区NPC等机制提供支持与正反馈,强化用户与IP的长期连接。
Mistral 称 Le Chonk 能与顶级闭源模型竞争,同时保持 open-weight。原文未提供参数规模、benchmark 分数、价格或可用性细节。
Stacklok 正在以 Kubernetes 思路推进云原生编码 Agent 基础设施,核心项目包括开源 harness Mecatl 和 MCP 平台 ToolHive。
OpenAI 公开 722 篇数学手稿,全部出自一个尚未发布的内部模型,归成 372 组结果,并上传论文、源码和部分 Lean 证明到 GitHub。材料称这些结果覆盖准黎曼猜想、霍奇猜想、BSD猜想、π的无理性指数、唯一游戏猜想等 17 个方向,模型此前尝试约 4000 个研究问题,平均每项结果消耗约相当于 ChatGPT Pro 思考 3小时。
推荐理由:原文梳理了手稿覆盖范围、核验状态和数学界反应,可帮助理解AI产出数学成果后的同行消化压力。
Mistral 发布了可免费使用和定制的 1 trillion-parameter 模型 Mistral Large 4,昵称为 Le Chonk,目前提供预览版,最终版本计划于月底前推出。该模型针对编码、网络防御以及制造、金融和电气工程等领域优化,Mistral 称其从头训练,并接近部分闭源模型。文章还提到,开放权重模型按消耗的计算资源收费,企业运行成本相对较低。
Reflection announced Beam 是一个 text-only 501B-total / 23B-active MoE 模型,面向 coding、agentic 和 scientific work,完整权重本月将以 Apache 2.0 发布。
Asta 开源了 AstaBrief 8B,这是一个将研究问题和检索到的文献摘录转成带引用报告的开放权重模型。它已作为 Asta Generate a report 功能中的 Fast mode 提供,并与 Claude 驱动的 Thinking mode 并列;Asta 还开源训练数据,并发布可用自有 PDFs 生成报告的示例 workflow。
推荐理由:文章披露了训练数据筛选、DPO 构造和速度对比,适合参考科学报告生成模型的工程取舍。
Pi 1.0 和 Pi Durable 登上 HN 首页,Pi 1.0 增加 Codemode、虚拟模型扩展支持、Deferred tool loading、Anthropic 模型 Cache warming 等功能。Pi Durable 将 Pi 移植到 TypeScript,并外部化有状态组件,支持崩溃恢复、并发会话、自动上下文压缩、多人状态同步和 Hot-Swapping。
H Company 发布 Holo4 系列智能体模型,包括 Holo4-27B dense、Holo4-35B-A3B Mixture of Experts,并更新 Holotron4 Nano。
推荐理由:原文披露了跨 GUI、代码、MCP 和 API 的训练与评测细节,可用于比较通用计算机使用智能体的成本与能力。
Google Research 推出 MilleMiglia,一个用 C++ 编写的中程物流实例生成器,用于创建真实、隐私保护的中程配送问题 benchmark。中程物流连接区域或洲际配送中心,涉及多车辆接力、时间窗口和转运同步,长期缺少公开高质量数据。其源代码和文档已在 GitHub 提供。
Microsoft Research 推出开源研究模型 GigaPath-Flash 和 GigaTIME-Flash,用更高效的病理基础模型支持大规模癌症病理研究。
Andrej Karpathy 发布 microgpt,这是一个 200 行、无依赖的纯 Python 单文件项目,用来训练并推理一个 GPT。它包含文档数据集、字符级 tokenizer、autograd 引擎、GPT-2-like 架构、Adam 优化器、训练循环和推理循环,并使用约 32,000 个名字训练 4,192 参数模型生成新名字。