OpenAI 向所有客户开放 Decisions API
OpenAI makes its Jev competitor widely available as decision model competition heats up
OpenAI 已向所有客户开放 Decisions API，这一模型通过加速推理、降低成本，面向快速决策任务。API 新增语音和视觉模态；OpenAI 称其响应时间从 1 至 3 秒缩短至 100、120 或 180 毫秒。
同一新闻，精选展示《OpenAI Decisions API：构建响应更迅速的应用》
OpenAI 首次向用户广泛开放其 Decisions API 模型，进军快速、低成本智能服务市场。近期，这一市场让 TypeSafe 成为一家估值 76 亿美元的公司；这家初创公司由一家前沿实验室的前研究员创立。
TypeSafe 的 Jev 模型开创了一个类别：深度学习模型充当超级分类器。给定一组选项，它们可以快速做出选择，并提供对其决策的置信度评分。软件开发人员很快发现，这些决策模型或 System One 模型可以在各种工作流程中取代 LLM，运行速度更快，成本也低得多。
OpenAI API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事看到 Jev 后说：“哇，我们有大约一百万个适用场景。” Handa 的团队迅速行动，推出自己的版本：团队没有构建专门校准的决策模型，而是对 ChatGPT Luna 进行重新配置，以加快推理速度并降低成本。
Handa 表示：“Decisions API 的关键突破在于速度，将耗时从一到三秒缩短到 100、120、180 毫秒。未来，我们或许会进行专门训练，让模型在这些方面表现得更好。但目前，它就是原版 Luna，足以胜任这项工作。”
该公司于 9 月 29 日的开发者日上宣布推出 Decisions API，并于周四向所有客户开放。OpenAI 为公开版本增加了新的语音和视觉模态，并通过按地理区域配置推理资源，努力确保全球各地都能实现更低延迟。
在与 Box、Datadog、Ramp 和 Speak 等客户进行的初步试用中，工程师使用该 API 取代 OpenAI 的 LLM，以提高吞吐量。Speak 的 CTO Andrew Hsu 表示，Speak 开发 AI 语言辅导工具，Decisions API 让公司将操作间隔从 1.4 秒缩短到 .13 秒。OpenAI 也利用该产品提升了其 Dots 语音助手的响应速度。
不过，除了“对你有用”之外，究竟是什么造就了优秀的决策模型，目前尚不明朗——在智能、成本、校准和速度之间进行优化，似乎因工作负载而异。TypeSafe CEO Diogo Almeida 不信任基准测试，建议人们在自己的工作中试用这些模型；但就在上周，TypeSafe 也发布了自己的排名，同时推出最新 Jev 模型，其中包括图像支持和 smart-if 语句等新功能。
AIM System One Index 和 Artificial Analysis Decision Index 等公开基准通常更青睐 Liquid 上周发布的新决策模型 D1 Ultra，以及 Base Lab 的 Elephant-1。最新 Jev 模型在这两项指数中仍具竞争力，分别排名第七和第三；OpenAI 的 Decision Model 则分别排名第八和第十四。不过，目前 TypeSafe 的产品在 OpenRouter 上被查询得最多。
然而，最有趣的 Jev 基准测试是 JevMan，这是一个让决策模型玩 PacMan 的基准测试；最新 Jev 模型在该排名中位居榜首。Opper AI 首席增长官 Felix Wunderlich 表示，该公司构建了这一基准测试，这款经典游戏“是一项有趣的测试，因为它会持续产生快速且事关重大的决策。每到一个路口，模型都必须在几百毫秒内决定往哪里走。”
OpenAI 这个可能能力更强的模型的优势或许在于多模态方面——在图像分类上，“Luna 的能力非常强，而且在校准方面表现更好，”Handa 告诉 TechCrunch，并补充说，OpenAI 的客户也希望 Decisions API 在将图像用作输出方面更加灵活。
Handa 还认为，速度进一步提升将带来新的应用场景：“我们能不能把速度提升到比如 60 毫秒？这样你就可以想象，像是在视频的每一帧都调用一次 API？”
随着这些服务变得更快、更便宜，我们可以期待它们不负 Jev 这位经济学家的名号；他阐释了如何更高效地利用一种资源，使其变得更加普及。或者，正如 Handa 所设想的那样，将会出现不断扩大的“一系列疯狂的应用场景”；在决策模型揭示它们之前，这些场景一直隐藏在眼前。
通过我们文章中的链接购买商品时，我们可能会获得少量佣金。这不会影响我们的编辑独立性。
Tim Fernholz 是一名记者，报道科技、金融和公共政策。他长期关注私人航天产业的崛起，也是《 Rocket Billionaires: Elon Musk, Jeff Bezos and the New Space Race.》一书的作者。此前，他曾在全球商业新闻网站 Quartz 担任高级记者十余年，并在华盛顿特区以政治记者身份开启职业生涯。 你可以发送电子邮件至 [email protected]，或通过 Signal 向 tim_fernholz.21 发送加密消息，联系 Tim 或核实其主动联系信息。
来源：TechCrunch · AI · techcrunch.com