跳到正文
NVIDIA Blog· Dion Harris·· 6 天前精选AI 评分81

OpenAI GPT-6 Astra Ultrafast 已在 API 和部分 ChatGPT、Codex 用户中可用

How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast

AI 导读

GPT-6 Astra Ultrafast 运行在 NVIDIA Blackwell GPUs 上,现已在 OpenAI API 以及符合条件的 ChatGPT Work 和 Codex 用户中可用。

推荐理由

原文给出 Ultrafast 与 Standard 的速度差异和开放入口,可用于评估编码智能体延迟优化价值。

正文 · AI 翻译

GPT-6 Astra Ultrafast 运行在 NVIDIA Blackwell GPU 上,现已在 OpenAI API 中提供,并向符合条件的 ChatGPT Work 和 Codex 用户开放。 

Ultrafast 通过 OpenAI 模型的推理优化实现加速,这些模型利用了 NVIDIA Blackwell 架构的能力,其 token 生成速度最高可比 Astra Standard 模式快 8 倍。对开发者而言,更快的生成速度可以缩短编码代理的编辑-测试-调试周期,减少工具调用之间生成响应所花费的时间,并让交互式应用感觉响应更迅速。 

当更快的响应在整个工作流程中反复出现时,其重要性最为突出:代理编写代码、使用工具、检查结果并决定下一步该做什么。Ultrafast 将 Astra 的能力带入这些对时间敏感的循环中。NVIDIA AI 基础设施可帮助 OpenAI 在开发者需要时提供更有用的模型输出。 

“NVIDIA 在工具和文档方面的深入投入,使我们能够让模型极其擅长为 Blackwell 和 Rubin GPU 编程,”OpenAI 推理负责人 Philippe Tillet 表示。“Astra 可以将这些知识转化为高性能内核,使 NVIDIA 硬件在延迟、吞吐量和成本的整个前沿范围内都具有吸引力。借助 Astra Ultrafast,这意味着当代理编写代码、使用工具并处理复杂任务时,模型响应会更快。”

持续提升性能

性能提升不会在模型部署后停止。OpenAI 正在使用自己的模型来帮助改进运行在 NVIDIA GPU 上的推理软件,利用该平台的可编程性来测试和实施改进。这项持续进行的工作可以随着时间推移让模型响应更快,并让已部署的基础设施更高效。 

“我们与 NVIDIA 的合作正在帮助我们让 AI 更快、更有用,”OpenAI 计算首席技术官 Uday Ruddarraju 表示。“我们使用内部模型优化了 NVIDIA GPU 上的推理,而 NVIDIA 的可编程性帮助我们实现了 Astra Ultrafast 背后的加速。”

可编程的 NVIDIA 平台使开发者和研究人员能够随着模型演进,在训练、推理和强化学习之间复用基础设施。这种灵活性有助于团队在需求变化时重新调配计算资源,提高利用率,并避免为每种工作负载过度配置资源。

开发者现在可以通过 API 使用 GPT-6 Astra Ultrafast。请参阅Ultrafast 指南,了解访问、定价和实现细节。

来源:NVIDIA Blog · blogs.nvidia.com