OpenAI首次将其 Decisions API 模型广泛提供给用户，进入快速、低成本智能市场。这个市场最近让由一名前前沿实验室研究员创办的初创公司 TypeSafe 成为一家估值 76 亿美元的公司。

TypeSafe 的 Jev 模型开创了一类深度学习模型：它们像“超级分类器”一样工作。给定一组选项后，这类模型可以快速做出选择，并对自己的决定给出置信度评分。软件开发者很快发现，这类决策模型或 System One 模型可以在多种工作流中替代大语言模型（LLM），运行更快，成本也低得多。

OpenAI 的 API 产品负责人 Nikunj Handa 告诉 TechCrunch，他的同事看到 Jev 后说：“哇，我们有大概一百万个用例。” Handa 的团队随即加速推出自己的版本：他们没有专门训练一个经过校准的决策模型，而是把 ChatGPT Luna 重新配置，以提高推理速度并降低成本。

Handa 说：“Decisions API 的最大突破在于速度，把处理时间从 1 到 3 秒缩短到 100、120、180 毫秒。未来，我们也许会进行专门训练，让模型在这些方面做得更好。但现在，真正完成工作的就是这个普通的 Luna。”

OpenAI 在 9 月 29 日的开发者日上公布了这一产品，并于周四向所有客户开放。该公司还为公开版本加入了新的语音和视觉模态，并通过按地理区域部署推理资源，努力降低全球各地的延迟。

在与 Box、Datadog、Ramp 和 Speak 等客户的初步测试中，工程师们用该 API 以更高吞吐量替换了 OpenAI 的 LLM。开发 AI 语言导师产品的 Speak 首席技术官 Andrew Hsu 说，Decisions API 让公司把动作之间的时间从 1.4 秒缩短到 0.13 秒。OpenAI 也用这款产品提升了自家 Dots 语音助手的响应速度。

不过，究竟什么才算好的决策模型，目前并不完全清楚，除了“对你有用”之外。围绕智能、成本、校准和速度的优化似乎会因工作负载而异。TypeSafe 首席执行官 Diogo Almeida 不信任基准测试，鼓励人们在自己的工作中试用这些模型，但 TypeSafe 上周也在发布最新 Jev 模型的同时，公布了自己的排名。

公开基准如 AIM System One Index 和 Artificial Analysis Decision Index 往往更偏向 Liquid 上周发布的新决策模型 D1 Ultra，以及 Base Lab 的 Elephant-1。最新的 Jev 模型在这两个指数上仍有竞争力，分别排在第七和第三；而 OpenAI 的 Decision Model 则分别排在第八和第十四。不过，就目前而言，TypeSafe 的产品在 OpenRouter 上的被查询次数最多。

不过，最有趣的 Jev 基准测试也许是 JevMan——在这个基准里，决策模型要玩吃豆人。最新的 Jev 模型在这项排名中位居第一。构建这一基准的 Opper AI 首席增长官 Felix Wunderlich 说，这款经典游戏“是一个有趣的测试，因为它要求模型在不断流动的高风险决策中快速反应。每到一个岔路口，模型都必须在几百毫秒内决定往哪走。”

OpenAI 可能更有优势的地方在于多模态能力。Handa 告诉 TechCrunch，在图像分类方面，“Luna 非常强大，而且校准表现更好”，并补充说，OpenAI 客户也希望 Decisions API 在将图像作为输出方面更灵活。

Handa 还认为，速度继续提升将带来新的应用场景：“我们能不能把它做到大约 60 毫秒？那样你就可以想象，像视频里的每一帧都调用一次 API。”

随着这些产品变得越来越快、越来越便宜，它们或许会印证 Jev 所得名的那位经济学家的观点：一种廉价商品只会变得更加无处不在。正如 Handa 所说，决策模型把原本显而易见却一直被忽视的“那一大堆用例”揭示了出来。