跳到正文
The Decoder· Matthias Bastian·· 8 天前精选AI 评分68

Google Gemini 4 Argon 接近数月来最强的 Google 模型水平

Google's Gemini 4 Argon is closer to the AI frontier than any Google model in months

AI 导读

Google DeepMind 的 Gemini 4 Argon 在使用 Provider Adapter Harness 的 ARC-AGI-3 测试中得分为 97.5%,测试成本为 $4,800;按 ARC Prize 的统计,Google 是继 OpenAI 之后第二家在该基准超过 95% 的实验室。

推荐理由

文章并列展示不同测试设置下的 ARC-AGI-3 成绩,并对照综合能力、数学和软件工程表现,呈现 Gemini 4 Argon 接近前沿的具体位置。

正文 · AI 翻译

Google Deepmind 是第二家在 ARC-AGI-3 基准测试中得分超过 95% 的主要 AI 实验室。但据 Epoch AI 称,测试结果很大程度上取决于测试方法,而且 Argon 在数学和软件工程方面落后于竞争对手。

Google Deepmind 的新一代前沿模型 Gemini 4 Argon 在 ARC-AGI-3 上取得了 97.5% 的成绩,测试成本为 $4,800,采用的是“Provider Adapter Harness”测试设置,该设置使用保留推理和上下文压缩等供应商专属功能。据 ARC Prize 称,继 OpenAI 之后,Google 现已成为第二家在这项被广泛视为通用问题解决能力最严苛的基准测试中突破 95% 的 AI 实验室。只有 GPT-6 Astra 的得分更高,达到 99.9%。

Punktdiagramm zur Anzahl der benötigten Aktionen in 25 öffentlichen Spielen von ARC-AGI-3 im Vergleich zwischen menschlicher Baseline, GPT-6 Astra, Gemini 4 Argon und dem Speedrun-Rekord.
在 ARC-AGI-3 的 25 个公开游戏中,Gemini 4 Argon(黄色)和 GPT-6 Astra(蓝色)所需操作次数均比人类基准(紫色)少 62%,而且经常接近速通纪录(红色)。 | 图片:ARC Prize

与 Astra 一样,Argon 在 25 个公开游戏中所需操作次数均比人类基准少 62%。它在 3 个游戏中追平或打破了速通纪录,在另外 6 个游戏中的成绩也距最佳用时不到 10%。在较早版本的基准测试中,Argon 在 ARC-AGI-2 上得分为 91.3%(每项任务 $0.32),在 ARC-AGI-1 上得分为 98.5%(每项任务 $0.16);计算依据是每百万输入 token $2、每百万输出 token $10 的入门价格。

Zeitverlauf-Diagramm des Epoch Capabilities Index (ECI) von Januar 2025 bis Januar 2027, das Gemini 4 Argon bei 165 Punkten knapp unterhalb der führenden Frontier-Modelle einordnet.
在 ARC-AGI-3 的 25 个公开游戏中,Gemini 4 Argon(黄色)和 GPT-6 Astra(蓝色)所需操作次数均比人类基准(紫色)少 62%,而且经常接近速通纪录(红色)。 | 图片:ARC Prize

基准测试结果很大程度上取决于测试设置

在“Standard Harness”中,模型每轮之间只能使用简单备注,Argon 在低推理级别下的得分降至 49.8%,成本为 $5,800。这一差距源于 2026 年 7 月的一场争议:当时OpenAI 的 GPT-5.6 Sol 使用两种 API 设置,在 ARC-AGI-3 上击败了 Claude Opus 5。

GPT-5.6 Sol 在标准环境中仅取得 7.8% 的成绩。该环境会在每次操作后丢弃内部推理,并使用不支持 Claude 更新版 API 功能的旧接口。这意味着 Claude 和 GPT-5.6 的测试条件并不相同。使用 OpenAI 自家的 Responses API(包含“Retained Reasoning”和智能上下文“Compaction”)进行测试时,该模型的得分跃升至 38.3%,超过了得分为 30.2% 的 Opus 5。OpenAI 认为,基准测试始终也在衡量技术环境。随后,ARC Prize 联合创始人 Francois Chollet 允许使用通用且公开可用的 API 设置。

据测试人员称,API 问题也导致 Argon 未能在 Standard Harness 中完成全部 55 个游戏。在低推理级别下,系统完成了 42 个游戏(49.8%);在中等推理级别下,完成了 46 个游戏(46.3%)。在最高级别下,它只完成了 19 个游戏,因此 ARC Prize 未公布得分。公布的结果仍涵盖全部 55 个游戏,其中计入了中止运行所得的部分分数。

Argon 正在缩小差距,但数学和编程能力仍落后

研究机构 Epoch AI 也追踪了 Google 的进展。Argon 在 Epoch 能力指数(ECI)上得分为 165,与 Fable 5.1 并列,略低于 Opus 5.5(167)和 GPT-6 Astra(166)。ECI 将 50 多项基准测试整合为单一能力量表,类似于 Artificial Analysis 构建其主要评分的方式。

Diagramm des ARC-AGI-3-Leaderboards, das die Punktzahl in Prozent im Verhältnis zu den Kosten in US-Dollar für Gemini 4 Argon und Konkurrenzmodelle wie GPT-6 Astra zeigt.
在 ECI 评分中,Google 得分 165 分,距离当前由 GPT-6 Astra(166 分)和 Opus 5.5(167 分)领衔的 AI 前沿,比自 2026 年 2 月 Gemini 3.1 Pro 以来的任何时候都更近。 | 图片:Epoch AI

Argon 大幅领先 Gemini 3.8 Flash(157 分),让 Google 比自 2 月 Gemini 3.1 Pro 以来的任何时候都更接近顶尖水平。Artificial Analysis 和 Vals.ai此前已证实这一趋势。

不过,性能因领域而异。据Epoch AI称,Argon 在多个知识、智能体和视觉基准测试中领先,但早期估算显示,它在 Math ECI 中排名第八,在软件工程指数(SWE ECI)中排名第六。

没有炒作的 AI 新闻 – 由人工精选

订阅 THE DECODER,即可无广告阅读、获取每周 AI 新闻简报、每年六次阅读我们的独家前沿报告“AI Radar”、访问完整档案以及参与评论区讨论。

来源:The Decoder · the-decoder.com