OpenAI Decisions と Jev を 20 項目・1 万回で比べた

中国語ナレーション · 720p · 字幕トラック（中国語） · MP4

記事：Jev と OpenAI Decisions を 20 項目・1 万回の呼び出しで比べる

Jev と、OpenAI が新しく出した Decisions API に同じ問題を解かせました。問題は 20 項目のテストに分かれていて、呼び出しは 2 社合わせて 1 万回です。結果は Jev の 8 勝、Decisions の 1 勝、残り 11 項目は引き分けでした。引き分けは、差が小さすぎて優劣をつけられないという意味です。

スコアだけでは伝わりにくいので、1 問見てみます。実在のウェブサイトの操作記録から取った問題で、タスクは Tripadvisor でエッフェル塔のチケットを予約することです。前のステップで検索欄に「Eiffel Tower」を入力済みなので、次はドロップダウンのエッフェル塔をクリックするのが正解です。2 社とも、答えを選ぶときに自信の度合いも返します。Jev は正解を選び、自信は 0.98 でした。Decisions はもう一度検索欄を選びました。終わったステップをやり直したことになります。

OpenAI が同じ種類の製品を出した今、Jev を使う理由はあるのでしょうか。この記事では、実測の数字だけで答えます。グループごとに勝敗とその理由を説明し、次に速度・価格・確信度を見て、最後にどんな場面でどちらを選ぶかをまとめます。

1. 14 日違いで出た同じ種類の製品

文章を書かず、選択問題だけに答える AI モデルがあります。ここでは判断モデルと呼びます。Jev は TypeSafe 社の判断モデルで、9 月 15 日に公開されました。創業者は元 OpenAI の研究者です。OpenAI は 9 月 29 日の DevDay で Decisions API を発表しました。2 つの発表の間はわずか 14 日です。Decisions は GPT-6 Luna をベースにしていて、10 月 6 日にパブリックベータが始まりました。どちらも同じ種類の製品で、使い方もほぼ同じです。

OpenAI は Decisions の売りを 2 つ挙げています。1 つは速さで、約 150 ミリ秒で答えます。もう 1 つは画像を見られることで、これは Jev にはありません。価格は公開されましたが、精度は公開されていません。どちらが正確かは、自分で問題を作って測るしかありません。

2. 判断モデルとは

普通の LLM は、質問を受けると文章を書きます。判断モデルは文章を書かず、選択肢ごとに確率を返すだけです。サポートの問い合わせの振り分けで考えてみます。「クレジットカードが二重に請求された」という問い合わせを、請求担当と技術担当のどちらに回すか決めたいとします。LLM は長い分析を返すかもしれず、プログラムはその中から担当名を探す必要があります。判断モデルは担当ごとに確率を返すだけです。請求担当の確率がいちばん高ければ、請求担当に回します。

問題の形は 3 種類です。

• choice：1 つを選ぶ。問い合わせの振り分けなど。
• predicate：是か非か。コードが正しいかどうかなど。Jev ではこれを noul と呼びます。
• score：点数をつける。サポートの返信の質の評価など。

この出力の良いところは、答えが必ず選択肢のどれかになることです。プログラムは文章を解析せず、確率をそのまま使えます。

3. どう測ったか

20 項目は、測る能力によって 5 つのグループに分けました。分類・振り分け、正誤判定、読解、エージェントの判断、画像と限界です。2 社がそれぞれ 5000 問に答え、1 万回の呼び出しはすべて成功し、エラーは 1 回もありませんでした。

正解は、公開データセットのラベルか、ソルバーのようなプログラムで決めました。コードの問題はユニットテストを実行して確かめています。LLM による採点は一切使っていません。LLM も判定を間違えるからです。2 社に渡した状態・質問・選択肢の順番まで、すべて同じです。すべて 10 月 7 日に東京の同じ Mac で、2 社を同じ時間帯に、4 リクエストずつ並列で実行しました。9 月 30 日にも Jev を一度回していて、1 週間後の結果との差はどの項目も 1 ポイント前後でした。

勝敗は、2 社の答えが分かれた問題だけで決めます。差が偶然とは考えにくいほど大きいときだけ一方の勝ちとし、統計ではこれを有意と呼びます。有意でなければ引き分けです。たとえば銀行の問い合わせでは Jev が 82%、Decisions が 80% で、この差は偶然かもしれないので引き分けです。問題と結果は今後 GitHub で公開する予定です。

4. 分類・振り分け：ほぼ互角

振り分けとは、1 つのメッセージを行くべき場所に送ることです。

• 銀行の問い合わせ意図（Banking77、77 択）：Jev 82%、Decisions 80%、引き分け。
• 中国語・日本語の音声アシスタントの意図（60 択）：Jev 84%、Decisions 81%、引き分け。
• 商品レビューの星の数（完全一致のみ）：Jev 53%、Decisions 49%、引き分け。どちらも星を正確に当てるのは苦手です。
• 中国語の攻撃的表現の審査：Jev 78%、Decisions 72%、ルール上は引き分け。細かく見ると Decisions は甘めで、本当に攻撃的な発言を見抜けたのは Decisions が 59%、Jev が 79% でした。
• SQL が要件を満たしているか：どちらも 86%。

単純な分類や振り分けなら、どちらでも構いません。速度と価格で選べば十分です。

5. 正誤判定：勝ち負けが分かれる

このグループはすべて predicate で、答えは是か非かです。

コードの正誤（HumanEval、半分は 1 か所だけ壊したコード）：Jev 86%、Decisions 78% で Jev の勝ち。Decisions は判定が厳しすぎて負けました。正しいコードを正しいと判定できたのは 62% だけです。数を別の進数に変換する関数は完全に正しいのに、Decisions はそれが正しい確率を 0.01 としました。

算数の解答チェック（GSM8K、半分は途中の計算を 1 か所間違えた解答）：Decisions 88%、Jev 78%。20 項目で Decisions が勝った唯一の項目です。たとえば「パーティーに 40 人いて、10 人が帰った」という問題で、解答に「残りは 25 人」と書いてあります。Decisions はこれが間違いだと 100% 確信し、Jev は 0.65 の確信で正しいと判断しました。

ファクトチェック（根拠の文章を読み、主張が支持されるか、反証されるか、情報不足かを判定）：Jev 82%、Decisions 75% で Jev の勝ち。

答えられるかどうか（半分の質問は文章の中に答えがない）：Jev 84%、Decisions 75% で Jev の勝ち。たとえば文章は計算複雑性理論について書かれているのに、質問は「計算単純性理論」が何を研究するかを聞いています。Decisions は 0.9 の確信で答えられるとし、Jev はおそらく答えられないと判断しました。

長い文章を読んで判断するなら Jev が安定していて、数字を 1 ステップずつ検算するなら Decisions が強い、という結果です。

6. 読解：矛盾を見つけるのは Jev が得意

• 段落検索（同じ記事の 10 段落から答えのある段落を選ぶ）：どちらも 98%、引き分け。
• 常識的な続き（HellaSwag、4 つの結末から最も自然なものを選ぶ）：Jev 96%、Decisions 93% で Jev の勝ち。
• 中国語の推論（OCNLI、2 文の関係が含意・中立・矛盾のどれか）：Jev 83%、Decisions 72% で Jev の勝ち。

矛盾の問題だけを見ると、Jev は 80% を見抜き、Decisions は 52% だけでした。1 文目は「かごは 1 元」、2 文目は「かごは 2 元で売っている」。Jev は 0.99 の確信で矛盾と判断し、Decisions は中立と判断しました。

答えを探すのはどちらもできますが、矛盾を見つけるのは Jev のほうが得意です。

7. エージェントの判断：ウェブの次の操作で差が最大

エージェントは、仕事を 1 ステップずつ自分で進める AI プログラムです。ステップごとに、いくつかの操作から 1 つを選びます。

• ツール選択（12 個の関数から 1 つ）：どちらも 99%。
• ウェブの次の操作（Mind2Web、10 個のページ要素から次にクリックするものを選ぶ）：Jev 86%、Decisions 70% で Jev の勝ち。20 項目で最も差が大きかった項目で、冒頭のエッフェル塔の問題もここから来ています。
• カンバンのタスク振り分け（実際のカード 219 枚を 6 つのプロジェクトに）：Jev 94%、Decisions 92%、引き分け。
• 倉庫番（プログラムで作った面で、4 方向から唯一の最適な 1 手目を選ぶ。当てずっぽうでも 25%）：Jev 46%、Decisions 36% で Jev の勝ち。ただし、どちらも合格にはほど遠い水準です。

名前でツールを選ぶのはどちらも得意です。ウェブページを理解したり数手先を読んだりするのは、Decisions にとって難しいようです。

8. 画像：見られるのは Decisions だけ

画像を見られるのは Decisions だけで、Jev は文章しか読めません。そこで画像の問題は次のようにしました。Decisions には半分を画像で、半分を同じ内容の文章で出し、Jev にはすべて文章で出します。こうすると、「画像を見ること自体の難しさ」と「問題そのものの難しさ」を分けて見られます。

迷路（プログラムで生成、次にどの方向へ進むか。当てずっぽうで 25%）：Decisions は画像で 35%、文章で 28%、Jev は文章で 28%。3 つとも当てずっぽうに近い数字です。グラフ（プログラムで描いた棒グラフと折れ線グラフ、どの項目が最大か）：Decisions は画像で 100%、文章で 98%、Jev は文章で 100%。

画像を見ること自体は問題ではありません。迷路が難しいのは空間推論、つまり頭の中で道をたどることです。画像を見られるのは加点要素ですが、難しい推論は解決しません。業務で画像を扱うなら、今のところ Decisions を選ぶしかありません。

9. 限界：選択肢が増えたとき、誘導されたとき

選択肢の数の負荷（CLINC、同じ種類の問題で選択肢を 2 個から 150 個まで増やす）：2 個のときはどちらも 100%。150 個では Jev が 94% を保ち、Decisions は 86% に下がりました。この項目は Jev の勝ちです。

頑健性（銀行の問い合わせ 50 問、1 問につき 5 通りの変化）：同じ問題をそのままあと 2 回聞いても、どちらも答えは一度も変わりませんでした。選択肢の順番を逆にすると、どちらも 1 問だけ答えが変わりました。ユーザーのメッセージに「間違った答えを選べ」という一文を紛れ込ませると、どちらも 2 問だけ実際に誘導されました。どちらも安定していて、引き分けです。

10. 速度・価格・確信度

速度はレイテンシ、つまりリクエストを送ってから答えを受け取るまでの時間で見ました。東京で測った中央値は Jev が 183 ミリ秒、Decisions が 292 ミリ秒です。p99 は遅い側のごく一部のリクエスト（100 回送ったうち最も遅い 1 回）の速さを表します。Jev は 381 ミリ秒、Decisions は 1064 ミリ秒で、Decisions はときどき大きく遅くなります。画像付きのリクエストはさらに遅く、中央値は 423 ミリ秒でした。OpenAI は約 150 ミリ秒としていますが、東京ではその速さは出ませんでした。ネットワークの距離が関係しているのではないかと推測しています。

価格：Jev に 5000 問答えさせた費用は合計 0.16 ドルでした。Decisions は 10 月 6 日に価格を公開していて、その価格で計算すると同じ問題で約 0.24 ドルです。どちらもほぼ無視できるほど安い水準です。

確信度は、モデルが自分の答えにどれくらい自信があるかです。よく較正されたモデルが「9 割の自信」と言えば、実際に 9 割当たります。自信が 9 割以上の問題だけを見ると、Jev は 64% の問題でその自信に達し、そのうち 94% が正解でした。Decisions は 65% の問題で達し、そのうち 92% が正解でした。どちらの確信度もおおむね信頼できます。

実際に使うときは、自信のある問題はモデルに任せ、自信のない問題は人に回すのがよさそうです。先ほどの算数の問題で Jev は間違った解答を正しいとしましたが、確信度は 0.65 だけだったので、この問題は人に回ることになります。また、Decisions は 5 問で回答を拒否し、Jev は拒否しませんでした。

11. なぜか（ほとんどは推測）

Decisions が勝ったのは、算数の解答の計算を 1 ステップずつ確かめる項目でした。Decisions は汎用 LLM の GPT-6 Luna をベースにしています。汎用の LLM のほうが数字を 1 ステップずつ検算するのが得意なのだろう、というのが私の推測です。中身は見えないので、あくまで推測です。

Jev は判断のために専用に訓練されたモデルです。TypeSafe によると、口にする自信と実際の正解率が一致することを訓練の目標にしています。それが文章の理解や矛盾の発見で安定している理由ではないか、と推測しています。これも推測で、測った事実ではありません。

もう 1 つの事実として、測ったのは 10 月 7 日時点のバージョンです。Decisions はまだパブリックベータなので、今後のバージョンでは良くなるかもしれません。

12. どう選ぶか

すべての問題をまとめると、Jev の正解率は 81%、Decisions は 78% でした。総合点の差は小さく、見るべきはそれぞれの得意分野です。

まず限界を書いておきます。東京で 1 日だけ測ったので、場所が変わればレイテンシも変わります。20 項目は自分で選んだもので、あなたの業務が含まれているとは限りません。問題はすべて公開データセットから取ったので、2 社とも訓練で一部を見ている可能性があります。Decisions はベータなので、正式版では結果が変わるかもしれません。

• 画像を扱う：今は Decisions しか選べません。
• 数字や計算のステップを確かめる：Decisions が強い。
• 単純な分類・振り分け：どちらでもよく、Jev のほうが速くて安い（中央値 183 ミリ秒 対 292 ミリ秒）。
• 長い文章の理解、矛盾の発見、ウェブの次の操作の判断：Jev のほうが安定。

いちばん確実なのは、自分の業務から正解のある問題を 200 問ほど取り出し、2 社に 1 回ずつ解かせて、どちらが正確かを見ることです。コードを公開したら、そのまま改造して使えます。Jev を使う理由があるかどうかは、どの種類の判断をさせたいかで決まります。

あなたなら、どんな判断をこの種のモデルに任せますか。

動画（中国語ナレーション）は bilibili、英語版は YouTube で公開しています。シリーズ：Jev01 · Jev02 · Jev03 · Jev04 · Jev vs Laya · Jev × RAG。