OpenAI 出了 Decisions，Jev 还有必要用吗：20 项测试 1 万次调用

中文旁白 · 720p · 字幕轨道 · MP4

文章：Jev 对 OpenAI Decisions，20 项测试 1 万次调用

我让 Jev 和 OpenAI 新出的 Decisions API 答了同一份题。题目分成 20 项测试，两家加起来一共调用了 1 万次。结果是 Jev 赢了 8 项，Decisions 赢了 1 项，剩下 11 项打平。打平的意思是两家差得太少，分不出高低。

光看比分不够直观，先看一道题。它来自一个真实网站的操作记录，任务是在 Tripadvisor 上订埃菲尔铁塔的门票。上一步已经在搜索框里输入了「Eiffel Tower」，下一步应该点下拉列表里的埃菲尔铁塔。两家选答案时都会报出自己有多大把握。Jev 选对了，把握是 0.98。Decisions 却又选了一次搜索框，等于把上一步又做了一遍。

OpenAI 出了同类产品，Jev 还有必要用吗？这篇文章只用实测的数字来回答：一组一组讲清胜负和可能的原因，再看速度、价格和置信度，最后说什么场景该选哪一家。

一、隔了 14 天的两家同类产品

有一类 AI 模型不写文字，只做选择题，我们叫它决策模型。Jev 是 TypeSafe 公司做的决策模型，9 月 15 日发布，创始人以前是 OpenAI 的研究员。OpenAI 在 9 月 29 日的 DevDay 上发布了 Decisions API，两家前后只隔了 14 天。Decisions 基于 GPT-6 Luna，10 月 6 日开放公测。两家是同类产品，用法几乎一模一样。

OpenAI 自己讲了 Decisions 的两个卖点：一是快，大约 150 毫秒给出答案；二是能看图片，这是 Jev 没有的。OpenAI 公布了价格，但没有公布准确率。所以哪家更准，只能自己出题来测。

二、决策模型是什么

普通的大模型收到问题，会写出一段文字；决策模型不写文字，只给每个选项一个概率。拿客服工单分派来说：用户来信说信用卡被重复扣款，要决定分给账单组还是技术组。大模型可能回一大段分析，程序还得从里面找出组名；决策模型只给每个组一个概率，账单组最高，就分给账单组。

题型一共 3 种：

• choice：多选一，比如分工单。
• predicate：判断是非，比如判断一段代码对不对。Jev 里把它叫作 noul。
• score：打分，比如给一条客服回复的质量打分。

这种输出的好处是答案一定在选项里，程序可以直接拿概率去用，不用再解析文字。

三、怎么测的

20 项测试按考的能力分成 5 组：分类路由、判断对错、阅读理解、Agent 决策、视觉和极限。两家各答 5000 道题，1 万次调用全部成功，没有一次报错。

正确答案一部分来自公开数据集的标注，一部分由求解器这样的程序算出，代码题靠跑单元测试确认。不用任何大模型打分，因为大模型也会判错。两家拿到的状态、问题、连选项的顺序都完全一样。所有题都是 10 月 7 日在东京同一台 Mac 上跑的，两家在同一时间段、每次同时发 4 个请求。9 月 30 日我也跑过一次 Jev，一周后再跑，每一项的差别都在 1 个百分点左右。

胜负只看两家答得不一样的那些题，差距要大到不太像运气才算一方赢，统计上叫显著；不显著就算打平。比如银行客服这一项，Jev 对了 82%，Decisions 对了 80%，这点差距可能只是运气，所以算打平。题目和结果之后会开源到 GitHub，方便复查。

四、分类路由：两家差不多

分类路由就是把一句话送到该去的地方。

• 银行客服意图（Banking77，77 选 1）：Jev 82%，Decisions 80%，打平。
• 中文和日文的语音助手意图（60 选 1）：Jev 84%，Decisions 81%，打平。
• 猜商品评论的星级（只算完全猜中）：Jev 53%，Decisions 49%，打平。两家都很难完全猜准。
• 审核中文冒犯言论：Jev 78%，Decisions 72%，按规则仍是打平。细看会发现 Decisions 偏宽松：真正冒犯人的话，Decisions 只认出 59%，Jev 认出 79%。
• 判断一条 SQL 有没有满足需求：两家都是 86%。

简单分类和路由，选哪家都行，看速度和价格就好。

五、判断对错：各有胜负

这一组都是 predicate，答案只有是和否。

代码对错（HumanEval，一半代码被改坏一处）：Jev 86%，Decisions 78%，Jev 赢。Decisions 输在判得太严：正确的代码它只判对了 62%。有一个把数字转成别的进制的函数，完全正确，Decisions 认为它正确的概率只有 0.01。

数学解答核对（GSM8K，一半解答有一步算错）：Decisions 88%，Jev 78%。这是 Decisions 在 20 项里唯一赢的一项。比如题目说派对上有 40 个人，后来走了 10 个，解答写「还剩 25 个人」。Decisions 百分之百确定这是错的，Jev 却有 0.65 的把握认为它是对的。

事实核查（给一段证据，判断说法被支持、被反驳还是信息不足）：Jev 82%，Decisions 75%，Jev 赢。

能否回答（一半问题在文章里找不到答案）：Jev 84%，Decisions 75%，Jev 赢。比如文章讲的是计算复杂性理论，问题却问「计算简单性理论」在研究什么。Decisions 有 0.9 的把握说能回答，Jev 判断大概率不能回答。

读长文本做判断，Jev 更稳；一步一步验算数字，Decisions 更强。

六、阅读理解：找矛盾 Jev 更强

• 段落检索（同一篇文章 10 个段落，找出写着答案的那段）：两家都是 98%，打平。
• 常识续写（HellaSwag，4 个结尾选最合理的）：Jev 96%，Decisions 93%，Jev 赢。
• 中文推理（OCNLI，判断两句话是蕴含、中立还是矛盾）：Jev 83%，Decisions 72%，Jev 赢。

单看矛盾这一类，Jev 认出 80%，Decisions 只认出 52%。比如第一句说篮子一块钱，第二句说篮子卖两块钱。Jev 有 0.99 的把握说它们矛盾，Decisions 却判成了中立。

找答案两家都会，找矛盾 Jev 更强。

七、Agent 决策：网页下一步差距最大

Agent 是能自己一步一步把事做完的 AI 程序，每走一步都要从几个动作里选一个。

• 工具选择（12 个函数选 1 个）：两家都是 99%。
• 网页下一步（Mind2Web，10 个页面元素选下一步点哪个）：Jev 86%，Decisions 70%，Jev 赢。这是 20 项里差距最大的一项，开头那道埃菲尔铁塔门票的题就来自这里。
• 看板任务分派（219 张真实卡片分到 6 个项目）：Jev 94%，Decisions 92%，打平。
• 推箱子（程序生成关卡，从 4 个方向选出唯一最优的第一步，瞎猜也有 25%）：Jev 46%，Decisions 36%，Jev 赢，但两家离及格都还很远。

按名字选工具，两家都能做好；要看懂网页、推演几步，Decisions 就更吃力。

八、看图：只有 Decisions 能看

看图是 Decisions 独有的能力，Jev 只能读文字。所以视觉题这样设计：Decisions 一半题看图片，一半题看同样内容的文字；Jev 全部看文字。这样就能把「看图难不难」和「题目难不难」分开。

迷宫（程序生成，问下一步往哪走，瞎猜 25%）：Decisions 看图 35%，看文字 28%，Jev 看文字 28%，三个结果都离瞎猜不远。图表（程序画的柱状图和折线图，问哪一项最大）：Decisions 看图 100%，看文字 98%，Jev 看文字 100%。

看图本身不是问题，迷宫难在空间推理，也就是在脑子里走路线。能看图是加分项，但解决不了推理难题。业务里要看图片，目前只能选 Decisions。

九、极限：选项变多和被带偏

选项数量压力（CLINC，同一类题把选项从 2 个加到 150 个）：2 个选项时两家都是 100%；150 个时 Jev 还有 94%，Decisions 掉到 86%，这一项算 Jev 赢。

鲁棒性（50 道银行客服题，每道做 5 种变化）：原样再问 2 次，两家的答案一次都没变；选项顺序倒过来，两家各有 1 道变了答案；在用户消息里藏一句话要求选错误答案，两家各有 2 道真的被带偏。两家都很稳，打平。

十、速度、价格和置信度

速度看的是延迟，也就是从发请求到收到答案的总时间。在东京，Jev 的中位数是 183 毫秒，Decisions 是 292 毫秒。p99 衡量最慢的那一小部分请求（连发 100 次里最慢的那 1 次）：Jev 381 毫秒，Decisions 1064 毫秒，Decisions 偶尔会慢很多。带图片的请求更慢，中位数 423 毫秒。OpenAI 说大约 150 毫秒，我们在东京没测到这个速度，我推测和网络距离有关。

价格：Jev 答 5000 道题一共花了 0.16 美元。Decisions 在 10 月 6 日公布了价格，按这个价格算同样的题大约 0.24 美元。两家都便宜到几乎可以忽略。

置信度是模型说自己有几成把握。校准得好的模型说有九成把握，就真的会对九成。只看两家把握在九成以上的题：Jev 有 64% 的题达到，其中对了 94%；Decisions 有 65% 的题达到，其中对了 92%。两家的置信度都基本可信。

所以实际用的时候，有把握的交给模型，没把握的交给人。前面那道算术题，Jev 把错的解答当成了对的，但它只有 0.65 的把握，这题就会转给人。另外 Decisions 有 5 道题拒绝回答，Jev 没有拒答。

十一、为什么（大部分是推测）

Decisions 赢下的是核对数学解答的每一步计算。它基于 GPT-6 Luna，一个通用的大模型。我的推测是，通用大模型更擅长一步一步验算数字。这只是推测，我们看不到它的内部。

Jev 是专门为做决策训练的模型。TypeSafe 说，它的训练目标是让说出的把握和真实的准确率对上。我的推测是，这让它在读懂文本和找矛盾上更稳。这同样只是推测，不是测出来的事实。

还有一个事实：我们测的是 10 月 7 日的版本，Decisions 还在公测期，后面的版本可能会变好。

十二、怎么选

把所有题放在一起算，Jev 答对 81%，Decisions 答对 78%。总分差得不多，该看的是各自强在哪。

先说局限：只在东京测了一天，换个地方延迟会不一样；20 项测试是我们自己挑的，你的业务不一定在里面；题目都来自公开数据集，两家训练时可能见过一部分；Decisions 还在公测，正式版的结果可能会变。

• 业务要看图片：现在只能用 Decisions。
• 要核对数字和计算步骤：Decisions 更强。
• 简单分类和路由：两家都行，Jev 更快也更便宜（中位数 183 毫秒对 292 毫秒）。
• 要读懂长文本、找矛盾，或判断网页的下一步：Jev 更稳。

最好的办法是从自己的业务里拿出 200 道有标准答案的题，让两家各跑一遍，看谁答得更准。等我们的代码开源了，可以直接改来用。所以 Jev 有没有必要用，要看你做的是哪一类判断。

你会把哪一类判断交给这类模型？欢迎在 B 站留言告诉我。

视频也发在 B 站，英文版在 YouTube。系列：Jev01 · Jev02 · Jev03 · Jev04 · Jev vs Laya · Jev × RAG。