Jev × LayaCOMPARISON REPORT

JEV × LAYA / BUSINESS JUDGMENT BENCHMARK

実務判断ベンチマークJP

同じ設問で、クラウドAPIとローカルモデルを比較。

40問 × 各3回 · 同一の問題文・選択肢順序・想定解・採点基準

免責事項:本レポートを実務導入の判断材料として使用しないでください。 限定された架空の設問に対する検証結果であり、実際の業務での性能・安全性・適合性を保証するものではありません。

Jev

jev-1.13.0

97.6 / 100点

全試行合格 39 / 40問 · 有効 120/120 試行

実測結果・単独の重み1 / 複合の重み1.5

Laya

multilingual · FP16 · MLX

36.9 / 100点

全試行合格 15 / 40問 · 有効 120/120 試行

実測結果・単独の重み1 / 複合の重み1.5

得点差は Jev − Laya = +60.7点。 総合点は各問の合格率を重み付けした値です。ScoreやNoulの出力が正解値と完全一致することを要求する点数ではありません。

型別の成績

主指標と合否を分けて確認

主指標の比較。各型で有効な回答を分母に計算。
指標JevLaya読み方
Choice 正解率91.7%41.7%高いほど良い
Score 平均絶対誤差(MAE)0.00331.1111小さいほど良い
Noul Brierスコア0.00190.4687小さいほど良い
複合 完全一致率100.0%25.0%高いほど良い
合格数 / 予定試行数。エラー等は、実行エラー / 回答不正 / 未実行の順。
Jev 合格Jev エラー等Laya 合格Laya エラー等
Choice33 / 360 / 0 / 015 / 360 / 0 / 0
Score36 / 360 / 0 / 09 / 360 / 0 / 0
Noul36 / 360 / 0 / 018 / 360 / 0 / 0
複合12 / 120 / 0 / 03 / 120 / 0 / 0

単独Noulの分類内訳は、Jevがtrue 18 / false 18、Layaがtrue 36 / false 0でした。想定解はtrue 18 / false 18です(いずれも3反復込み)。この内訳は今回の問題集合で観測した回答の傾向です。

判定が分かれた設問

合否が異なる試行を含むケース

両方が全試行合格
15問
Jevのみ全試行合格
24問
Layaのみ全試行合格
0問
両方に不合格あり
1問

未完了を含むケース:0問。ここでいう「全試行合格」は、各設問の3回すべてが合格したことを指します。

実行時間と利用条件

計測範囲を併記

1ケースの処理時間。Layaのモデル読込時間は含まない。
項目JevLaya
成功した全試行の中央値0.518秒0.041秒
95パーセンタイル0.573秒0.151秒
反復間で分類が一致した判断48/4848/48
利用経路TypeSafe公式API・通信込みApple M3・ローカルGPU
把握できた外部API料金約$0.004163外部APIの従量課金なし

Jev:HTTP送信から応答受信までの時間で、通信・接続・サーバー側処理を含みます。保存済みの同一設問の応答を使用しています。取得日時:2026/09/21 11:33 JST。

Laya:モデル読込後のpredict呼び出しをGPU同期の前後で計測し、入力整形・トークナイズ・推論・応答整形を含みます。モデル読込は0.731秒、先頭の1ケースは0.144秒。それを除く119試行の中央値は0.041秒。取得日時:2026/09/21 11:44 JST。

計測経路とハードウェアが異なるため、モデル内部の推論速度を直接比較した値ではありません。Layaの電力・端末費用は未計測。トークン数は異なるtokenizerの値なので、同一尺度として比較していません。反復一致は再現性であり、正解率とは異なります。Scoreは最寄りの整数段階で一致を判定します。

設問別の比較

同じ問題文と想定解に両モデルの実測値を並べる

全40ケースを表示

C01根回し済みの購買案件Choice · 稟議、根回し、上位者の口頭了解Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【社内購買規程】 税込100万円以上の発注には、本部長による稟議システム上の承認が必要。 チャットや口頭の了解は、この承認の代わりにならない。 見積書に不備がある場合は、承認手続より先に見積書を差し戻す。 本件に適用できる緊急発注の例外はない。 【案件記録】 什器の発注額は税込120万円。見積書の記載内容は確認済みで、不備なし。 部長は「関係者への根回しは済んでいます」とコメントした。 本部長からチャットで「内容に異論はありません。進めておいてください」と返信があった。 稟議システムでは、部長承認済み、本部長の承認欄は未承認。 仕入先は本日中の注文書送付を希望している。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Choice · next_action

案件記録に社内購買規程を適用し、注文書を発行する前の次の処理を1つ選ぶ。 仕入先や関係者の希望で規程を変更しない。

想定解:obtain_approval — 注文書の発行を保留し、本部長のシステム承認を取得する。

作問者の採点根拠:根回しや本部長の了解と、規程上必要な承認手続の完了を区別する。見積書の不備ではない。

選択肢・判断基準
issue_order
必要な承認が完了しているため、注文書を発行する。
return_quote
見積書に不備があるため、仕入先に見積書を差し戻す。
obtain_approval
注文書の発行を保留し、本部長のシステム承認を取得する。
clarify
金額、見積書の状態、承認状況の情報が不足し、処理を決められない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1obtain_approval合格issue_order不合格
2obtain_approval合格issue_order不合格
3obtain_approval合格issue_order不合格
生の応答と実行時間を見る

Jev

試行1 · 0.505秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "next_action": {
        "type": "choice",
        "choice": "obtain_approval",
        "confidence": 1.0,
        "probabilities": {
          "issue_order": 0.0,
          "return_quote": 0.0,
          "obtain_approval": 1.0,
          "clarify": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 784,
      "output_tokens": 57
    }
  },
  "error": null,
  "elapsed_seconds": 0.5048087500035763
}
試行2 · 0.505秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "next_action": {
        "type": "choice",
        "choice": "obtain_approval",
        "confidence": 1.0,
        "probabilities": {
          "obtain_approval": 1.0,
          "issue_order": 0.0,
          "return_quote": 0.0,
          "clarify": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 784,
      "output_tokens": 57
    }
  },
  "error": null,
  "elapsed_seconds": 0.5049705419805832
}
試行3 · 0.566秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "next_action": {
        "type": "choice",
        "choice": "obtain_approval",
        "confidence": 1.0,
        "probabilities": {
          "issue_order": 0.0,
          "return_quote": 0.0,
          "obtain_approval": 1.0,
          "clarify": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 784,
      "output_tokens": 57
    }
  },
  "error": null,
  "elapsed_seconds": 0.5664697919855826
}

Laya

試行1 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "next_action": {
        "type": "choice",
        "confidence": 0.0523,
        "action": {
          "act_probability": 1.0
        },
        "choice": "issue_order",
        "probabilities": {
          "issue_order": 0.336,
          "return_quote": 0.2581,
          "obtain_approval": 0.1047,
          "clarify": 0.3012
        }
      }
    },
    "usage": {
      "input_tokens": 320,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03601004194933921
}
試行2 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "next_action": {
        "type": "choice",
        "confidence": 0.0523,
        "action": {
          "act_probability": 1.0
        },
        "choice": "issue_order",
        "probabilities": {
          "issue_order": 0.336,
          "return_quote": 0.2581,
          "obtain_approval": 0.1047,
          "clarify": 0.3012
        }
      }
    },
    "usage": {
      "input_tokens": 320,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.036332499992568046
}
試行3 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "next_action": {
        "type": "choice",
        "confidence": 0.0523,
        "action": {
          "act_probability": 1.0
        },
        "choice": "issue_order",
        "probabilities": {
          "issue_order": 0.336,
          "return_quote": 0.2581,
          "obtain_approval": 0.1047,
          "clarify": 0.3012
        }
      }
    },
    "usage": {
      "input_tokens": 320,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0372994999634102
}
C02前向きな言葉を含む今期の見送りChoice · 婉曲な断り、定型的な謝意、年度単位の商談管理Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【営業管理ルール】 今期の商談だけを更新する。次年度の可能性は別の商談として管理する。 「受注」は今期の導入を明確に承諾した場合、「継続検討」は今期について判断を保留している場合、 「見送り」は今期の導入を断った場合に使う。価格の提示し直しを求められた場合は「再見積」とする。 【顧客からのメール】 平素より大変お世話になっております。 ご提案の趣旨はよく理解でき、弊社としても前向きに検討してまいりました。 誠に恐縮ではございますが、今期分につきましては見送らせていただければ幸いです。 次年度の予算が固まりましたら、改めて当方からご相談申し上げます。 今後とも何卒よろしくお願い申し上げます。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Choice · deal_status

営業管理ルールと顧客メールに基づき、今期の商談の更新先を1つ選ぶ。

想定解:declined — 今期の導入は見送り。

作問者の採点根拠:今期の見送りが示されている。過去の前向きな検討や次年度の可能性は、今期の継続検討を意味しない。

選択肢・判断基準
declined
今期の導入は見送り。
won
今期の導入が承諾され、受注となった。
considering
今期の導入について判断を保留し、検討が継続している。
requote
今期の導入に向けて価格の再提示を求められている。
unclear
今期の導入について、メールからいずれの状態か決められない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1declined合格declined合格
2declined合格declined合格
3declined合格declined合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

生の応答と実行時間を見る

Jev

試行1 · 0.543秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "deal_status": {
        "type": "choice",
        "choice": "declined",
        "confidence": 1.0,
        "probabilities": {
          "considering": 0.0,
          "won": 0.0,
          "requote": 0.0,
          "declined": 1.0,
          "unclear": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 781,
      "output_tokens": 59
    }
  },
  "error": null,
  "elapsed_seconds": 0.5429689160082489
}
試行2 · 0.562秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "deal_status": {
        "type": "choice",
        "choice": "declined",
        "confidence": 1.0,
        "probabilities": {
          "unclear": 0.0,
          "won": 0.0,
          "considering": 0.0,
          "requote": 0.0,
          "declined": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 781,
      "output_tokens": 59
    }
  },
  "error": null,
  "elapsed_seconds": 0.5618732500006445
}
試行3 · 0.549秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "deal_status": {
        "type": "choice",
        "choice": "declined",
        "confidence": 1.0,
        "probabilities": {
          "declined": 1.0,
          "unclear": 0.0,
          "considering": 0.0,
          "requote": 0.0,
          "won": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 781,
      "output_tokens": 59
    }
  },
  "error": null,
  "elapsed_seconds": 0.5485111669986509
}

Laya

試行1 · 0.040秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "deal_status": {
        "type": "choice",
        "confidence": 0.9083,
        "action": {
          "act_probability": 1.0
        },
        "choice": "declined",
        "probabilities": {
          "declined": 0.9758,
          "won": 0.006,
          "considering": 0.0061,
          "requote": 0.0061,
          "unclear": 0.0061
        }
      }
    },
    "usage": {
      "input_tokens": 272,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04018249997170642
}
試行2 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "deal_status": {
        "type": "choice",
        "confidence": 0.9083,
        "action": {
          "act_probability": 1.0
        },
        "choice": "declined",
        "probabilities": {
          "declined": 0.9758,
          "won": 0.006,
          "considering": 0.0061,
          "requote": 0.0061,
          "unclear": 0.0061
        }
      }
    },
    "usage": {
      "input_tokens": 272,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.037070415972266346
}
試行3 · 0.035秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "deal_status": {
        "type": "choice",
        "confidence": 0.9083,
        "action": {
          "act_probability": 1.0
        },
        "choice": "declined",
        "probabilities": {
          "declined": 0.9758,
          "won": 0.006,
          "considering": 0.0061,
          "requote": 0.0061,
          "unclear": 0.0061
        }
      }
    },
    "usage": {
      "input_tokens": 272,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03540054097538814
}
C03和暦の検収日と年度の振り分けChoice · 和暦、西暦、4月始まりの年度、年度末と請求日のずれJev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【社内設備管理台帳のルール】 この台帳の所属年度は検収日で決める。請求書発行日、支払日では決めない。 2025年度は2025年4月1日から2026年3月31日まで。 2026年度は2026年4月1日から2027年3月31日まで。 和暦の令和8年は西暦2026年に対応する。 検収日が不明、または記録同士で食い違う場合は確認に回す。 【書類】 検収書:令和8年3月31日、受入検査完了。 請求書:2026/04/03 発行。 支払予定:2026-04-30。 検収日の訂正記録はない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Choice · ledger_year

社内設備管理台帳のルールに従い、この案件の台帳上の所属年度を選ぶ。

想定解:fiscal_2025 — 2025年度の台帳に登録する。

作問者の採点根拠:和暦を対応づけ、年度境界を適用する。4月の請求日と支払日はこの台帳の判断を変えない。

選択肢・判断基準
fiscal_2026
2026年度の台帳に登録する。
review
検収日の不明または食い違いを確認してから登録する。
fiscal_2025
2025年度の台帳に登録する。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1fiscal_2025合格fiscal_2026不合格
2fiscal_2025合格fiscal_2026不合格
3fiscal_2025合格fiscal_2026不合格
生の応答と実行時間を見る

Jev

試行1 · 0.533秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "ledger_year": {
        "type": "choice",
        "choice": "fiscal_2025",
        "confidence": 0.7,
        "probabilities": {
          "review": 0.11,
          "fiscal_2025": 0.8,
          "fiscal_2026": 0.09
        }
      }
    },
    "usage": {
      "input_tokens": 655,
      "output_tokens": 57
    }
  },
  "error": null,
  "elapsed_seconds": 0.5331522499909624
}
試行2 · 0.511秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "ledger_year": {
        "type": "choice",
        "choice": "fiscal_2025",
        "confidence": 0.72,
        "probabilities": {
          "review": 0.11,
          "fiscal_2026": 0.08,
          "fiscal_2025": 0.8099999999999999
        }
      }
    },
    "usage": {
      "input_tokens": 655,
      "output_tokens": 57
    }
  },
  "error": null,
  "elapsed_seconds": 0.5109824580140412
}
試行3 · 0.496秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "ledger_year": {
        "type": "choice",
        "choice": "fiscal_2025",
        "confidence": 0.77,
        "probabilities": {
          "fiscal_2025": 0.85,
          "fiscal_2026": 0.06,
          "review": 0.09
        }
      }
    },
    "usage": {
      "input_tokens": 655,
      "output_tokens": 57
    }
  },
  "error": null,
  "elapsed_seconds": 0.49618504202226177
}

Laya

試行1 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "ledger_year": {
        "type": "choice",
        "confidence": 0.2537,
        "action": {
          "act_probability": 1.0
        },
        "choice": "fiscal_2026",
        "probabilities": {
          "fiscal_2026": 0.6309,
          "review": 0.0586,
          "fiscal_2025": 0.3105
        }
      }
    },
    "usage": {
      "input_tokens": 278,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04265087499516085
}
試行2 · 0.035秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "ledger_year": {
        "type": "choice",
        "confidence": 0.2537,
        "action": {
          "act_probability": 1.0
        },
        "choice": "fiscal_2026",
        "probabilities": {
          "fiscal_2026": 0.6309,
          "review": 0.0586,
          "fiscal_2025": 0.3105
        }
      }
    },
    "usage": {
      "input_tokens": 278,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03457062499364838
}
試行3 · 0.040秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "ledger_year": {
        "type": "choice",
        "confidence": 0.2537,
        "action": {
          "act_probability": 1.0
        },
        "choice": "fiscal_2026",
        "probabilities": {
          "fiscal_2026": 0.6309,
          "review": 0.0586,
          "fiscal_2025": 0.3105
        }
      }
    },
    "usage": {
      "input_tokens": 278,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04036841599736363
}
C04内示改訂と分納済みの確定指示Choice · 月次内示、確定納入指示の改訂、分納、注文書の後送Jev 0/3
Laya 0/3
両方に不合格あり

提示した状況とルール

【部品P20の取引運用】 月次内示は生産準備用。出荷数量は納入日・指示番号ごとの確定納入指示で管理する。 同じ指示番号の改訂は旧版を置き換え、数量欄はその指示の納入総数を表す。 納入済み分は対応する指示番号から消し込む。別の指示番号は独立した納入分である。 EDI確定指示と社内出荷承認がそろえば、紙の注文書の後送を待たずに出荷できる。 【9月10日10時の出荷担当向け記録】 ・月次内示:9月分200個。9月9日の改訂で150個になった。 ・EDI A-0910 第1版:9月10日納入、80個、確定。 ・納入実績:9月10日朝、A-0910として20個を納入済み。 ・EDI A-0910 第2版:9月10日9時受信、同日納入、60個、確定。 ・EDI B-0910 第1版:9月10日午後納入、30個、確定。納入実績は0個。 A-0910第2版とB-0910の社内出荷承認は完了し、残りを出せる在庫がある。 顧客の連絡は「月の内示を減らしました。注文書はいつもどおり後送します」。 このほかに指示の改訂、取消し、納入実績はない。

この設問の配点:2.38点。獲得点は Jev 0.00点、Laya 0.00点。

Choice · shipment_quantity

記録時点から9月10日の残りの納入に向けて、合計何個を出荷手配するか選ぶ。

想定解:ship_70 — 残り70個を出荷手配する。

作問者の採点根拠:改訂を追加発注として足さず、指示番号ごとに有効な数量と消込みを対応させる。70個は両指示の社内出荷承認範囲内である。

選択肢・判断基準
ship_40
残り40個を出荷手配する。
ship_70
残り70個を出荷手配する。
ship_90
残り90個を出荷手配する。
ship_150
残り150個を出荷手配する。
wait_for_paper
今回は出荷手配せず、紙の注文書を待つ。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1ship_90不合格wait_for_paper不合格
2ship_90不合格wait_for_paper不合格
3ship_90不合格wait_for_paper不合格
生の応答と実行時間を見る

Jev

試行1 · 0.563秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "shipment_quantity": {
        "type": "choice",
        "choice": "ship_90",
        "confidence": 0.4,
        "probabilities": {
          "wait_for_paper": 0.0,
          "ship_150": 0.01,
          "ship_70": 0.44,
          "ship_40": 0.03,
          "ship_90": 0.52
        }
      }
    },
    "usage": {
      "input_tokens": 913,
      "output_tokens": 72
    }
  },
  "error": null,
  "elapsed_seconds": 0.5625190829741769
}
試行2 · 0.521秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "shipment_quantity": {
        "type": "choice",
        "choice": "ship_90",
        "confidence": 0.38,
        "probabilities": {
          "ship_40": 0.01,
          "ship_150": 0.01,
          "wait_for_paper": 0.0,
          "ship_70": 0.47,
          "ship_90": 0.51
        }
      }
    },
    "usage": {
      "input_tokens": 913,
      "output_tokens": 72
    }
  },
  "error": null,
  "elapsed_seconds": 0.5205892499652691
}
試行3 · 0.535秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "shipment_quantity": {
        "type": "choice",
        "choice": "ship_90",
        "confidence": 0.46,
        "probabilities": {
          "ship_40": 0.02,
          "wait_for_paper": 0.0,
          "ship_90": 0.57,
          "ship_150": 0.01,
          "ship_70": 0.4
        }
      }
    },
    "usage": {
      "input_tokens": 913,
      "output_tokens": 72
    }
  },
  "error": null,
  "elapsed_seconds": 0.5345215830020607
}

Laya

試行1 · 0.067秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "shipment_quantity": {
        "type": "choice",
        "confidence": 0.2551,
        "action": {
          "act_probability": 1.0
        },
        "choice": "wait_for_paper",
        "probabilities": {
          "ship_40": 0.1854,
          "ship_70": 0.077,
          "ship_90": 0.0783,
          "ship_150": 0.0662,
          "wait_for_paper": 0.5931
        }
      }
    },
    "usage": {
      "input_tokens": 486,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.06709841702831909
}
試行2 · 0.064秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "shipment_quantity": {
        "type": "choice",
        "confidence": 0.2551,
        "action": {
          "act_probability": 1.0
        },
        "choice": "wait_for_paper",
        "probabilities": {
          "ship_40": 0.1854,
          "ship_70": 0.077,
          "ship_90": 0.0783,
          "ship_150": 0.0662,
          "wait_for_paper": 0.5931
        }
      }
    },
    "usage": {
      "input_tokens": 486,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.06393950001802295
}
試行3 · 0.058秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "shipment_quantity": {
        "type": "choice",
        "confidence": 0.2551,
        "action": {
          "act_probability": 1.0
        },
        "choice": "wait_for_paper",
        "probabilities": {
          "ship_40": 0.1854,
          "ship_70": 0.077,
          "ship_90": 0.0783,
          "ship_150": 0.0662,
          "wait_for_paper": 0.5931
        }
      }
    },
    "usage": {
      "input_tokens": 486,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05798541597323492
}
C05客先打合せで頼まれた車載通信設定の変更Choice · 客先常駐、口頭の宿題、車種横断の設計変更審査Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【車載表示ユニット開発の変更受付ルール】 客先要求により量産ソフトウェアの通信周期を変える場合は、変更管理窓口へ登録し、 関連ユニットへの影響と検証範囲を審査してから実装に着手する。 誤字の修正だけなら文書担当へ回す。合意済み仕様どおりに動かない現象は不具合窓口へ回す。 打合せへの同席や担当者の了解だけでは変更審査完了とはしない。 【客先打合せメモ】 現行の量産ソフトは合意済みの通信周期どおりに動作しており、不具合報告はない。 客先担当者:「次の車種では相手側ユニットに合わせ、通信周期を半分にしてほしい。 パラメータだけなので、次回までに軽く直しておいてもらえますか」。 同じ通信処理を別車種でも使用している。変更要求の登録と影響審査は未実施。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Choice · intake_route

変更受付ルールに照らし、この依頼を実装前に最初に回す窓口を選ぶ。

想定解:change_control — 新しい仕様要求として、変更管理窓口へ登録し影響審査に回す。

作問者の採点根拠:既存仕様の不履行ではなく新しい仕様要求なので、実装前に変更管理窓口で影響と検証範囲を審査する。

選択肢・判断基準
defect_desk
合意済み仕様からの逸脱として、不具合窓口へ回す。
document_desk
誤字だけの修正として、文書担当へ回す。
implementation_team
審査済みの変更として、そのまま実装担当へ回す。
change_control
新しい仕様要求として、変更管理窓口へ登録し影響審査に回す。
clarification
現行仕様との関係を判断する情報が不足しているため、要求内容を確認する。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1change_control合格implementation_team不合格
2change_control合格implementation_team不合格
3change_control合格implementation_team不合格

Laya 試行1:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行2:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行3:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

生の応答と実行時間を見る

Jev

試行1 · 0.498秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "intake_route": {
        "type": "choice",
        "choice": "change_control",
        "confidence": 1.0,
        "probabilities": {
          "document_desk": 0.0,
          "defect_desk": 0.0,
          "implementation_team": 0.0,
          "change_control": 1.0,
          "clarification": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 841,
      "output_tokens": 64
    }
  },
  "error": null,
  "elapsed_seconds": 0.49792437499854714
}
試行2 · 0.531秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "intake_route": {
        "type": "choice",
        "choice": "change_control",
        "confidence": 1.0,
        "probabilities": {
          "document_desk": 0.0,
          "defect_desk": 0.0,
          "change_control": 1.0,
          "clarification": 0.0,
          "implementation_team": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 841,
      "output_tokens": 64
    }
  },
  "error": null,
  "elapsed_seconds": 0.530528208008036
}
試行3 · 0.537秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "intake_route": {
        "type": "choice",
        "choice": "change_control",
        "confidence": 1.0,
        "probabilities": {
          "clarification": 0.0,
          "implementation_team": 0.0,
          "defect_desk": 0.0,
          "document_desk": 0.0,
          "change_control": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 841,
      "output_tokens": 64
    }
  },
  "error": null,
  "elapsed_seconds": 0.5374777080141939
}

Laya

試行1 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "intake_route": {
        "type": "choice",
        "confidence": 0.3668,
        "action": {
          "act_probability": 1.0
        },
        "choice": "implementation_team",
        "probabilities": {
          "defect_desk": 0.174,
          "document_desk": 0.1707,
          "implementation_team": 0.627,
          "change_control": 0.0141,
          "clarification": 0.0141
        }
      }
    },
    "usage": {
      "input_tokens": 328,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.042350207979325205
}
試行2 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "intake_route": {
        "type": "choice",
        "confidence": 0.3668,
        "action": {
          "act_probability": 1.0
        },
        "choice": "implementation_team",
        "probabilities": {
          "defect_desk": 0.174,
          "document_desk": 0.1707,
          "implementation_team": 0.627,
          "change_control": 0.0141,
          "clarification": 0.0141
        }
      }
    },
    "usage": {
      "input_tokens": 328,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.043445417017210275
}
試行3 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "intake_route": {
        "type": "choice",
        "confidence": 0.3668,
        "action": {
          "act_probability": 1.0
        },
        "choice": "implementation_team",
        "probabilities": {
          "defect_desk": 0.174,
          "document_desk": 0.1707,
          "implementation_team": 0.627,
          "change_control": 0.0141,
          "clarification": 0.0141
        }
      }
    },
    "usage": {
      "input_tokens": 328,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.043159915949217975
}
C06ロット限定の特別採用と出荷可否Choice · 特別採用、限度見本、ロット単位の品質記録Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【当該部品の出荷ルール】 外観不良品は原則隔離する。ただし、顧客と自社品質部門の特別採用承認があり、 対象ロット・欠点の種類・数量上限・有効期限のすべてが承認範囲内で、 指定された追加検査にも合格した場合は、その承認番号を記録して出荷できる。 特別採用とは、この案件で範囲を限定して例外的に受け入れる承認を指す。 【承認票と現品】 両者承認済みの承認票S-18:ロットL2609、筐体表面の浅い擦り傷、上限40個、 有効期限2026年9月30日。追加検査は承認票に指定した外観・機能検査。 本日の出荷候補:同ロットの30個。欠点は指定範囲の擦り傷だけ。 30個すべて追加検査合格。他の未解決不適合はない。 S-18による出荷実績はまだ0個。本日は2026年9月21日。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Choice · disposition

この承認票と出荷ルールを適用し、今回の30個の処置を選ぶ。

想定解:ship_with_record — 承認範囲内として、承認番号S-18を記録して30個を出荷する。

作問者の採点根拠:提示された例外の全条件を満たすため、今回の30個は承認番号を残して出荷できる。例外を他ロットへ一般化はしない。

選択肢・判断基準
ship_with_record
承認範囲内として、承認番号S-18を記録して30個を出荷する。
expand_approval
数量やロットなどが承認範囲外のため、承認範囲の変更を申請する。
inspect_first
必要な追加検査が完了していないため、その検査を先に行う。
always_scrap
外観不良がある以上、承認内容にかかわらず全数廃棄する。
clarify
承認範囲と現品を照合する情報が不足しているため確認する。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1ship_with_record合格inspect_first不合格
2ship_with_record合格inspect_first不合格
3ship_with_record合格inspect_first不合格
生の応答と実行時間を見る

Jev

試行1 · 0.501秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "disposition": {
        "type": "choice",
        "choice": "ship_with_record",
        "confidence": 1.0,
        "probabilities": {
          "clarify": 0.0,
          "always_scrap": 0.0,
          "expand_approval": 0.0,
          "inspect_first": 0.0,
          "ship_with_record": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 862,
      "output_tokens": 66
    }
  },
  "error": null,
  "elapsed_seconds": 0.5008324169903062
}
試行2 · 0.501秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "disposition": {
        "type": "choice",
        "choice": "ship_with_record",
        "confidence": 1.0,
        "probabilities": {
          "ship_with_record": 1.0,
          "expand_approval": 0.0,
          "inspect_first": 0.0,
          "clarify": 0.0,
          "always_scrap": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 862,
      "output_tokens": 66
    }
  },
  "error": null,
  "elapsed_seconds": 0.5012770419707522
}
試行3 · 0.555秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "disposition": {
        "type": "choice",
        "choice": "ship_with_record",
        "confidence": 1.0,
        "probabilities": {
          "inspect_first": 0.0,
          "always_scrap": 0.0,
          "expand_approval": 0.0,
          "clarify": 0.0,
          "ship_with_record": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 862,
      "output_tokens": 66
    }
  },
  "error": null,
  "elapsed_seconds": 0.5548544580233283
}

Laya

試行1 · 0.076秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "disposition": {
        "type": "choice",
        "confidence": 0.8433,
        "action": {
          "act_probability": 1.0
        },
        "choice": "inspect_first",
        "probabilities": {
          "ship_with_record": 0.0507,
          "expand_approval": 0.0014,
          "inspect_first": 0.9416,
          "always_scrap": 0.0049,
          "clarify": 0.0014
        }
      }
    },
    "usage": {
      "input_tokens": 373,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.07587558298837394
}
試行2 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "disposition": {
        "type": "choice",
        "confidence": 0.8433,
        "action": {
          "act_probability": 1.0
        },
        "choice": "inspect_first",
        "probabilities": {
          "ship_with_record": 0.0507,
          "expand_approval": 0.0014,
          "inspect_first": 0.9416,
          "always_scrap": 0.0049,
          "clarify": 0.0014
        }
      }
    },
    "usage": {
      "input_tokens": 373,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04327295802067965
}
試行3 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "disposition": {
        "type": "choice",
        "confidence": 0.8433,
        "action": {
          "act_probability": 1.0
        },
        "choice": "inspect_first",
        "probabilities": {
          "ship_with_record": 0.0507,
          "expand_approval": 0.0014,
          "inspect_first": 0.9416,
          "always_scrap": 0.0049,
          "clarify": 0.0014
        }
      }
    },
    "usage": {
      "input_tokens": 373,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04325283400248736
}
C07客先実機でだけ起きる再起動Choice · 現地現物、客先設備、元請からの責任切分け要求Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【不具合調査の初動ルール】 ソフト起因かハード起因かを断定できる証拠がない場合は、責任部署を確定せず、 発生個体の識別、ハード・ソフトの版、電源条件、発生操作、ログを先に収集する。 自社評価機で再現しないことだけを、異常が存在しない証拠として扱わない。 【現場報告】 地方工場の操作盤が作業開始時に時々再起動する。本社の机上評価では再現しない。 現地個体の製番、基板版、ソフト版、電源測定値、発生時ログは未取得。 現地担当:「電源かもしれません」。協力会社:「ソフトのタイミングかもしれません」。 元請担当者は、本日中にどちらの会社が原因か報告してほしいと求めている。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Choice · investigation_action

初動ルールと現在の証拠から、次に行う調査上の処理を選ぶ。原因の推測を確定事実にしない。

想定解:collect_evidence — 原因未確定として、現地個体・版・電源条件・操作・ログを収集する。

作問者の採点根拠:原因を特定する証拠が不足しているため、初動ルールに従って現地情報を収集する。報告期限は断定の根拠にならない。

選択肢・判断基準
software_fault
ソフトの問題と確定し、ソフト担当会社だけに修正を指示する。
hardware_fault
電源の問題と確定し、電源担当会社だけに交換を指示する。
close_report
本社で再現しないため、異常なしとして報告を終了する。
collect_evidence
原因未確定として、現地個体・版・電源条件・操作・ログを収集する。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1collect_evidence合格collect_evidence合格
2collect_evidence合格collect_evidence合格
3collect_evidence合格collect_evidence合格
生の応答と実行時間を見る

Jev

試行1 · 0.489秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "investigation_action": {
        "type": "choice",
        "choice": "collect_evidence",
        "confidence": 1.0,
        "probabilities": {
          "close_report": 0.0,
          "collect_evidence": 1.0,
          "hardware_fault": 0.0,
          "software_fault": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 770,
      "output_tokens": 58
    }
  },
  "error": null,
  "elapsed_seconds": 0.4893755419761874
}
試行2 · 0.551秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "investigation_action": {
        "type": "choice",
        "choice": "collect_evidence",
        "confidence": 1.0,
        "probabilities": {
          "collect_evidence": 1.0,
          "close_report": 0.0,
          "software_fault": 0.0,
          "hardware_fault": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 770,
      "output_tokens": 58
    }
  },
  "error": null,
  "elapsed_seconds": 0.5506832919782028
}
試行3 · 0.523秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "investigation_action": {
        "type": "choice",
        "choice": "collect_evidence",
        "confidence": 1.0,
        "probabilities": {
          "software_fault": 0.0,
          "hardware_fault": 0.0,
          "collect_evidence": 1.0,
          "close_report": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 770,
      "output_tokens": 58
    }
  },
  "error": null,
  "elapsed_seconds": 0.5234337500296533
}

Laya

試行1 · 0.038秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "investigation_action": {
        "type": "choice",
        "confidence": 0.5548,
        "action": {
          "act_probability": 1.0
        },
        "choice": "collect_evidence",
        "probabilities": {
          "software_fault": 0.0381,
          "hardware_fault": 0.1113,
          "close_report": 0.0244,
          "collect_evidence": 0.8262
        }
      }
    },
    "usage": {
      "input_tokens": 289,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0375530410092324
}
試行2 · 0.038秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "investigation_action": {
        "type": "choice",
        "confidence": 0.5548,
        "action": {
          "act_probability": 1.0
        },
        "choice": "collect_evidence",
        "probabilities": {
          "software_fault": 0.0381,
          "hardware_fault": 0.1113,
          "close_report": 0.0244,
          "collect_evidence": 0.8262
        }
      }
    },
    "usage": {
      "input_tokens": 289,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.037824417056981474
}
試行3 · 0.040秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "investigation_action": {
        "type": "choice",
        "confidence": 0.5548,
        "action": {
          "act_probability": 1.0
        },
        "choice": "collect_evidence",
        "probabilities": {
          "software_fault": 0.0381,
          "hardware_fault": 0.1113,
          "close_report": 0.0244,
          "collect_evidence": 0.8262
        }
      }
    },
    "usage": {
      "input_tokens": 289,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04042995802592486
}
C08見積別紙にあるCSVと検収会議の二つの依頼Choice · 一式見積の別紙、議事録、既存仕様の修正と追加要望の切分けJev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【案件の文書管理と受付】 作業範囲は署名済み見積の本文と、その本文から参照した別紙で決める。 対象機能の具体的な出力仕様は両社承認済みの項目定義書で確認する。 その後の変更は両社の変更承認がそろったものだけを反映する。 合意済み仕様との相違は不具合、未合意の機能追加は変更要求として受け付ける。 【資料】 ・署名済み見積Q-14:「標準請求書PDFと別紙Dの連携機能を含む。 別紙Dに記載のない個別帳票・連携は対象外」。 ・別紙D:「経理取込用CSVを1種類作成」。 ・承認済み項目定義書D-2:取引先コードは8文字で先頭ゼロを保持する。 項目一覧に原価部門コードはない。 ・月次打合せ議事録:「原価部門コードもあると便利。次期改善候補として見積依頼」。 この議事録について変更承認の登録はない。 【検収会議の受付メモ】 顧客:「CSVのコードが123になって、00000123で登録した取引先と結び付きません。 それと、打合せでお話しした原価部門コードも、今回の中でお願いします」。 調査では先頭ゼロがCSV出力時に落ちている。標準PDFは正常に出力できている。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Choice · request_class

先頭ゼロの保持と原価部門コードの追加について、それぞれの受付区分を選ぶ。

想定解:defect_and_change — 先頭ゼロの保持は不具合修正、原価部門コードの追加は変更要求。

作問者の採点根拠:先頭ゼロの欠落は合意済みCSV仕様からの逸脱。原価部門コードは未合意の追加であり、同じ会議の依頼でも受付区分を分ける。

選択肢・判断基準
both_changes
先頭ゼロの保持も、原価部門コードの追加も変更要求。
defect_and_change
先頭ゼロの保持は不具合修正、原価部門コードの追加は変更要求。
both_defects
先頭ゼロの保持も、原価部門コードの追加も不具合修正。
change_and_defect
先頭ゼロの保持は変更要求、原価部門コードの追加は不具合修正。
await_scope_confirmation
いずれも合意範囲を特定できず、受付区分の決定を保留。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1defect_and_change合格defect_and_change合格
2defect_and_change合格defect_and_change合格
3defect_and_change合格defect_and_change合格
生の応答と実行時間を見る

Jev

試行1 · 0.529秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "request_class": {
        "type": "choice",
        "choice": "defect_and_change",
        "confidence": 1.0,
        "probabilities": {
          "change_and_defect": 0.0,
          "await_scope_confirmation": 0.0,
          "defect_and_change": 1.0,
          "both_defects": 0.0,
          "both_changes": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 1001,
      "output_tokens": 67
    }
  },
  "error": null,
  "elapsed_seconds": 0.5285739169921726
}
試行2 · 0.520秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "request_class": {
        "type": "choice",
        "choice": "defect_and_change",
        "confidence": 1.0,
        "probabilities": {
          "change_and_defect": 0.0,
          "both_defects": 0.0,
          "defect_and_change": 1.0,
          "both_changes": 0.0,
          "await_scope_confirmation": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 1001,
      "output_tokens": 67
    }
  },
  "error": null,
  "elapsed_seconds": 0.5199464159668423
}
試行3 · 0.573秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "request_class": {
        "type": "choice",
        "choice": "defect_and_change",
        "confidence": 1.0,
        "probabilities": {
          "defect_and_change": 1.0,
          "both_defects": 0.0,
          "both_changes": 0.0,
          "change_and_defect": 0.0,
          "await_scope_confirmation": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 1001,
      "output_tokens": 67
    }
  },
  "error": null,
  "elapsed_seconds": 0.5730775420088321
}

Laya

試行1 · 0.063秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "request_class": {
        "type": "choice",
        "confidence": 0.2587,
        "action": {
          "act_probability": 1.0
        },
        "choice": "defect_and_change",
        "probabilities": {
          "both_changes": 0.0449,
          "defect_and_change": 0.581,
          "both_defects": 0.1958,
          "change_and_defect": 0.1216,
          "await_scope_confirmation": 0.0567
        }
      }
    },
    "usage": {
      "input_tokens": 466,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.06271433300571516
}
試行2 · 0.058秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "request_class": {
        "type": "choice",
        "confidence": 0.2587,
        "action": {
          "act_probability": 1.0
        },
        "choice": "defect_and_change",
        "probabilities": {
          "both_changes": 0.0449,
          "defect_and_change": 0.581,
          "both_defects": 0.1958,
          "change_and_defect": 0.1216,
          "await_scope_confirmation": 0.0567
        }
      }
    },
    "usage": {
      "input_tokens": 466,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0577772919787094
}
試行3 · 0.059秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "request_class": {
        "type": "choice",
        "confidence": 0.2587,
        "action": {
          "act_probability": 1.0
        },
        "choice": "defect_and_change",
        "probabilities": {
          "both_changes": 0.0449,
          "defect_and_change": 0.581,
          "both_defects": 0.1958,
          "change_and_defect": 0.1216,
          "await_scope_confirmation": 0.0567
        }
      }
    },
    "usage": {
      "input_tokens": 466,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05925112497061491
}
C09エンドユーザーから協力会社への直接依頼Choice · 元請・協力会社の商流、常駐先での直接依頼、窓口一本化Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【合意済みの変更受付ルール】 協力会社がエンドユーザーから通常の追加要望を直接受けた場合、受領した旨を伝え、 元請の変更窓口へ要望を共有する。実施時期や費用は協力会社だけで約束しない。 本番業務停止の障害なら、これとは別の緊急障害窓口へ直ちに連絡する。 【チャット】 エンドユーザーの部門責任者から、常駐する協力会社の担当者へ連絡があった。 「一覧画面に部署の略称を追加したいです。今の画面でも業務は回っています。 元請を通すと時間がかかるので、御社のほうで来週対応すると返事をいただけますか」。 元請の変更受付記録はまだない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Choice · response_route

変更受付ルールに従い、協力会社担当者が取るべき最初の対応を選ぶ。

想定解:share_with_prime — 受領を伝え、時期・費用を確約せず元請の変更窓口へ共有する。

作問者の採点根拠:通常の変更受付に該当する。協力会社だけで日程を約束せず、受領連絡と共有を行う。

選択肢・判断基準
commit_directly
部門責任者の依頼なので、来週の対応をその場で約束する。
share_with_prime
受領を伝え、時期・費用を確約せず元請の変更窓口へ共有する。
emergency_route
本番業務停止の障害として、緊急障害窓口へ連絡する。
ignore_request
正式な商流を通っていないため、受領連絡も共有も行わない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1share_with_prime合格share_with_prime合格
2share_with_prime合格share_with_prime合格
3share_with_prime合格share_with_prime合格
生の応答と実行時間を見る

Jev

試行1 · 0.541秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "response_route": {
        "type": "choice",
        "choice": "share_with_prime",
        "confidence": 1.0,
        "probabilities": {
          "commit_directly": 0.0,
          "ignore_request": 0.0,
          "share_with_prime": 1.0,
          "emergency_route": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 744,
      "output_tokens": 58
    }
  },
  "error": null,
  "elapsed_seconds": 0.5407642500358634
}
試行2 · 0.549秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "response_route": {
        "type": "choice",
        "choice": "share_with_prime",
        "confidence": 1.0,
        "probabilities": {
          "emergency_route": 0.0,
          "share_with_prime": 1.0,
          "commit_directly": 0.0,
          "ignore_request": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 744,
      "output_tokens": 58
    }
  },
  "error": null,
  "elapsed_seconds": 0.5488713749800809
}
試行3 · 0.575秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "response_route": {
        "type": "choice",
        "choice": "share_with_prime",
        "confidence": 1.0,
        "probabilities": {
          "share_with_prime": 1.0,
          "commit_directly": 0.0,
          "emergency_route": 0.0,
          "ignore_request": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 744,
      "output_tokens": 58
    }
  },
  "error": null,
  "elapsed_seconds": 0.5746873749885708
}

Laya

試行1 · 0.040秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "response_route": {
        "type": "choice",
        "confidence": 0.5571,
        "action": {
          "act_probability": 1.0
        },
        "choice": "share_with_prime",
        "probabilities": {
          "commit_directly": 0.172,
          "share_with_prime": 0.7959,
          "emergency_route": 0.0093,
          "ignore_request": 0.0228
        }
      }
    },
    "usage": {
      "input_tokens": 275,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.039644792035687715
}
試行2 · 0.035秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "response_route": {
        "type": "choice",
        "confidence": 0.5571,
        "action": {
          "act_probability": 1.0
        },
        "choice": "share_with_prime",
        "probabilities": {
          "commit_directly": 0.172,
          "share_with_prime": 0.7959,
          "emergency_route": 0.0093,
          "ignore_request": 0.0228
        }
      }
    },
    "usage": {
      "input_tokens": 275,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.034871459007263184
}
試行3 · 0.038秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "response_route": {
        "type": "choice",
        "confidence": 0.5571,
        "action": {
          "act_probability": 1.0
        },
        "choice": "share_with_prime",
        "probabilities": {
          "commit_directly": 0.172,
          "share_with_prime": 0.7959,
          "emergency_route": 0.0093,
          "ignore_request": 0.0228
        }
      }
    },
    "usage": {
      "input_tokens": 275,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03801299998303875
}
C10工場の大型連休を挟む変更申請締切Choice · ゴールデンウィーク、会社独自の工場カレンダー、営業日前の締切Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【生産準備部門の申請ルール】 試作ラインの変更申請は、実施日の2工場営業日前の15:00までに提出する。 実施日自体は営業日前の計算に含めない。国民の祝日ではなく、下記工場カレンダーを使う。 【工場カレンダー】 2026年4月27日・28日は工場営業日。 2026年4月29日から5月6日までは、平日を含めすべて工場休業日。 2026年5月7日・8日は工場営業日。 【予定】 試作ラインの変更実施日は2026年5月8日。 担当者:「世間では5月1日は平日ですし、その日でよいでしょうか」と確認している。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Choice · submission_deadline

提示された工場カレンダーと計算ルールだけを使い、今回の提出締切を選ぶ。

想定解:april_28 — 2026年4月28日15:00。

作問者の採点根拠:4月29日から5月6日をすべて除外した工場カレンダーで数えるため、締切は4月28日15:00。

選択肢・判断基準
may_01
2026年5月1日15:00。
may_07
2026年5月7日15:00。
may_06
2026年5月6日15:00。
april_28
2026年4月28日15:00。
unclear
必要な工場営業日が提示されていないため、日付を確定できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1april_28合格may_01不合格
2april_28合格may_01不合格
3april_28合格may_01不合格
生の応答と実行時間を見る

Jev

試行1 · 0.507秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "submission_deadline": {
        "type": "choice",
        "choice": "april_28",
        "confidence": 0.68,
        "probabilities": {
          "may_07": 0.15,
          "unclear": 0.05,
          "may_01": 0.03,
          "april_28": 0.75,
          "may_06": 0.02
        }
      }
    },
    "usage": {
      "input_tokens": 723,
      "output_tokens": 73
    }
  },
  "error": null,
  "elapsed_seconds": 0.5072687919600867
}
試行2 · 0.532秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "submission_deadline": {
        "type": "choice",
        "choice": "april_28",
        "confidence": 0.7,
        "probabilities": {
          "may_07": 0.14,
          "april_28": 0.76,
          "may_01": 0.03,
          "may_06": 0.02,
          "unclear": 0.05
        }
      }
    },
    "usage": {
      "input_tokens": 723,
      "output_tokens": 73
    }
  },
  "error": null,
  "elapsed_seconds": 0.5319260420510545
}
試行3 · 0.513秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "submission_deadline": {
        "type": "choice",
        "choice": "april_28",
        "confidence": 0.76,
        "probabilities": {
          "unclear": 0.04,
          "may_07": 0.11,
          "may_01": 0.03,
          "april_28": 0.8,
          "may_06": 0.02
        }
      }
    },
    "usage": {
      "input_tokens": 723,
      "output_tokens": 73
    }
  },
  "error": null,
  "elapsed_seconds": 0.5129260829999112
}

Laya

試行1 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "submission_deadline": {
        "type": "choice",
        "confidence": 0.0518,
        "action": {
          "act_probability": 1.0
        },
        "choice": "may_01",
        "probabilities": {
          "may_01": 0.2912,
          "may_07": 0.2466,
          "may_06": 0.2491,
          "april_28": 0.1202,
          "unclear": 0.0929
        }
      }
    },
    "usage": {
      "input_tokens": 301,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03685845801373944
}
試行2 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "submission_deadline": {
        "type": "choice",
        "confidence": 0.0518,
        "action": {
          "act_probability": 1.0
        },
        "choice": "may_01",
        "probabilities": {
          "may_01": 0.2912,
          "may_07": 0.2466,
          "may_06": 0.2491,
          "april_28": 0.1202,
          "unclear": 0.0929
        }
      }
    },
    "usage": {
      "input_tokens": 301,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.035815916024148464
}
試行3 · 0.038秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "submission_deadline": {
        "type": "choice",
        "confidence": 0.0518,
        "action": {
          "act_probability": 1.0
        },
        "choice": "may_01",
        "probabilities": {
          "may_01": 0.2912,
          "may_07": 0.2466,
          "may_06": 0.2491,
          "april_28": 0.1202,
          "unclear": 0.0929
        }
      }
    },
    "usage": {
      "input_tokens": 301,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03790833294624463
}
C11宿題付き設計レビューの次工程移行Choice · 設計審査会、宿題付き承認、品質会議の議事録Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【工程移行ルール】 設計審査会の指摘は「移行前必須」と「次回審査までの改善」に区分する。 移行前必須の指摘がすべて審査責任者により完了確認され、移行承認が登録されれば、 次回審査までの改善が残っていても次工程へ進める。 指摘の区分を担当者の判断で付け替えることはできない。 【審査台帳】 移行前必須の3件はすべて修正・再確認済みで、審査責任者の完了確認がある。 次回審査までの改善2件は未完了だが、担当者と次回審査前の期限が登録されている。 審査責任者の次工程移行承認は登録済み。 議事録の表題は「宿題付き承認」。次工程の開始日は明日。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Choice · gate_decision

工程移行ルールと審査台帳に基づき、明日の次工程開始についての判断を選ぶ。

想定解:proceed_with_tracking — 次工程を開始し、残る改善2件は登録された担当・期限で追跡する。

作問者の採点根拠:この工程移行の条件は満たしている。残件を隠したり完了扱いにせず、追跡を続けながら次工程へ進める。

選択肢・判断基準
proceed_with_tracking
次工程を開始し、残る改善2件は登録された担当・期限で追跡する。
wait_for_every_item
指摘が1件でも残っているため、次工程を開始しない。
reclassify_items
未完了2件を担当者判断で完了扱いにしてから次工程を開始する。
seek_missing_approval
移行承認が未登録なので、まず審査責任者の承認を取る。
clarify
必須指摘の完了確認または移行承認の情報が不足しているため確認する。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1proceed_with_tracking合格proceed_with_tracking合格
2proceed_with_tracking合格proceed_with_tracking合格
3proceed_with_tracking合格proceed_with_tracking合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

生の応答と実行時間を見る

Jev

試行1 · 0.481秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "gate_decision": {
        "type": "choice",
        "choice": "proceed_with_tracking",
        "confidence": 1.0,
        "probabilities": {
          "reclassify_items": 0.0,
          "seek_missing_approval": 0.0,
          "clarify": 0.0,
          "wait_for_every_item": 0.0,
          "proceed_with_tracking": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 805,
      "output_tokens": 72
    }
  },
  "error": null,
  "elapsed_seconds": 0.4814667080063373
}
試行2 · 0.518秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "gate_decision": {
        "type": "choice",
        "choice": "proceed_with_tracking",
        "confidence": 1.0,
        "probabilities": {
          "wait_for_every_item": 0.0,
          "reclassify_items": 0.0,
          "proceed_with_tracking": 1.0,
          "seek_missing_approval": 0.0,
          "clarify": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 805,
      "output_tokens": 72
    }
  },
  "error": null,
  "elapsed_seconds": 0.5179035419714637
}
試行3 · 0.518秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "gate_decision": {
        "type": "choice",
        "choice": "proceed_with_tracking",
        "confidence": 1.0,
        "probabilities": {
          "clarify": 0.0,
          "proceed_with_tracking": 1.0,
          "seek_missing_approval": 0.0,
          "reclassify_items": 0.0,
          "wait_for_every_item": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 805,
      "output_tokens": 72
    }
  },
  "error": null,
  "elapsed_seconds": 0.5175874159904197
}

Laya

試行1 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "gate_decision": {
        "type": "choice",
        "confidence": 0.123,
        "action": {
          "act_probability": 1.0
        },
        "choice": "proceed_with_tracking",
        "probabilities": {
          "proceed_with_tracking": 0.4605,
          "wait_for_every_item": 0.0977,
          "reclassify_items": 0.189,
          "seek_missing_approval": 0.09,
          "clarify": 0.1629
        }
      }
    },
    "usage": {
      "input_tokens": 321,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04249625001102686
}
試行2 · 0.045秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "gate_decision": {
        "type": "choice",
        "confidence": 0.123,
        "action": {
          "act_probability": 1.0
        },
        "choice": "proceed_with_tracking",
        "probabilities": {
          "proceed_with_tracking": 0.4605,
          "wait_for_every_item": 0.0977,
          "reclassify_items": 0.189,
          "seek_missing_approval": 0.09,
          "clarify": 0.1629
        }
      }
    },
    "usage": {
      "input_tokens": 321,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04521387501154095
}
試行3 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "gate_decision": {
        "type": "choice",
        "confidence": 0.123,
        "action": {
          "act_probability": 1.0
        },
        "choice": "proceed_with_tracking",
        "probabilities": {
          "proceed_with_tracking": 0.4605,
          "wait_for_every_item": 0.0977,
          "reclassify_items": 0.189,
          "seek_missing_approval": 0.09,
          "clarify": 0.1629
        }
      }
    },
    "usage": {
      "input_tokens": 321,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.042960166989360005
}
C12指定部品と現地交換をまとめた一式見積Choice · 一社購買、相見積、一式見積、取引先との役務の切分けJev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【今回の購買運用】 一社購買の承認は承認票に記載された範囲に適用する。それ以外は、必要な納期・ 保証条件を満たす候補の比較、または別途の一社購買承認が必要。 構成する各範囲の調達方法を確定してから、一式としての発注決裁に回す。 今回は発注を分割せず一式で手続することが社内で決まっている。 【保守部品の交換案件】 技術部門は「指定制御基板以外は接続保証外」と記録した。 一社購買承認票K-9の対象欄は「指定制御基板1枚」。 メーカー回答では、基板を指定品にすれば、認定保守会社による交換でも保証は継続する。 認定保守会社は複数ある。 【購買窓口に届いた資料】 A社見積:指定基板80万円、現地交換20万円、計100万円。今週金曜日に作業可能。 B社見積:現地交換17万円。認定会社だが最短作業日は来月初め。 工場の保全計画では今週金曜日の停止時間に交換が必要で、日程変更の承認はない。 A社担当は「基板は弊社の指定品ですので、交換も含めて一式でお願いします」と連絡した。 基板の価格確認は済んでいる。現地交換について、ほかの見積や例外承認はまだない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Choice · purchasing_action

購買窓口はこの一式見積を発注決裁へ回す前にどう扱うか、次の処理を選ぶ。

想定解:complete_service_procurement — 基板の一社購買は維持し、現地交換の適合候補比較または例外承認を整える。

作問者の採点根拠:基板の一社購買は有効なまま、役務の調達方法を整えてから一式の決裁へ進める。安いが間に合わない見積は今回の適合候補ではない。

選択肢・判断基準
approve_entire_quote
K-9を見積全体に適用し、A社の一式100万円で決裁へ回す。
compare_entire_quote
基板の一社購買も取り直し、基板と交換の全範囲で相見積を集める。
complete_service_procurement
基板の一社購買は維持し、現地交換の適合候補比較または例外承認を整える。
choose_lower_service_quote
基板はA社、現地交換は提示額の低いB社として決裁へ回す。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1complete_service_procurement合格choose_lower_service_quote不合格
2complete_service_procurement合格choose_lower_service_quote不合格
3complete_service_procurement合格choose_lower_service_quote不合格
生の応答と実行時間を見る

Jev

試行1 · 0.685秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "purchasing_action": {
        "type": "choice",
        "choice": "complete_service_procurement",
        "confidence": 0.99,
        "probabilities": {
          "choose_lower_service_quote": 0.0,
          "approve_entire_quote": 0.0,
          "complete_service_procurement": 1.0,
          "compare_entire_quote": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 972,
      "output_tokens": 65
    }
  },
  "error": null,
  "elapsed_seconds": 0.685021165991202
}
試行2 · 0.589秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "purchasing_action": {
        "type": "choice",
        "choice": "complete_service_procurement",
        "confidence": 0.99,
        "probabilities": {
          "choose_lower_service_quote": 0.0,
          "approve_entire_quote": 0.0,
          "compare_entire_quote": 0.01,
          "complete_service_procurement": 0.99
        }
      }
    },
    "usage": {
      "input_tokens": 972,
      "output_tokens": 65
    }
  },
  "error": null,
  "elapsed_seconds": 0.5893239169963636
}
試行3 · 0.548秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "purchasing_action": {
        "type": "choice",
        "choice": "complete_service_procurement",
        "confidence": 0.98,
        "probabilities": {
          "compare_entire_quote": 0.01,
          "approve_entire_quote": 0.01,
          "choose_lower_service_quote": 0.0,
          "complete_service_procurement": 0.98
        }
      }
    },
    "usage": {
      "input_tokens": 972,
      "output_tokens": 65
    }
  },
  "error": null,
  "elapsed_seconds": 0.548155291005969
}

Laya

試行1 · 0.056秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "purchasing_action": {
        "type": "choice",
        "confidence": 0.0059,
        "action": {
          "act_probability": 1.0
        },
        "choice": "choose_lower_service_quote",
        "probabilities": {
          "approve_entire_quote": 0.241,
          "compare_entire_quote": 0.2061,
          "complete_service_procurement": 0.2576,
          "choose_lower_service_quote": 0.2953
        }
      }
    },
    "usage": {
      "input_tokens": 459,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05629875004524365
}
試行2 · 0.061秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "purchasing_action": {
        "type": "choice",
        "confidence": 0.0059,
        "action": {
          "act_probability": 1.0
        },
        "choice": "choose_lower_service_quote",
        "probabilities": {
          "approve_entire_quote": 0.241,
          "compare_entire_quote": 0.2061,
          "complete_service_procurement": 0.2576,
          "choose_lower_service_quote": 0.2953
        }
      }
    },
    "usage": {
      "input_tokens": 459,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.060586457955650985
}
試行3 · 0.059秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "purchasing_action": {
        "type": "choice",
        "confidence": 0.0059,
        "action": {
          "act_probability": 1.0
        },
        "choice": "choose_lower_service_quote",
        "probabilities": {
          "approve_entire_quote": 0.241,
          "compare_entire_quote": 0.2061,
          "complete_service_procurement": 0.2576,
          "choose_lower_service_quote": 0.2953
        }
      }
    },
    "usage": {
      "input_tokens": 459,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05940674996236339
}
S01丁寧な顛末書の再発防止策Score · 顛末書、謝罪の定型表現、精神論による再発防止Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【顛末書】 このたびは弊社の納品書への品番記載誤りにより、多大なるご迷惑をお掛けいたしました。 弁解の余地もなく、深く反省しております。ここに謹んでお詫び申し上げます。 再発防止策として、全員が気を引き締め、従来以上に十分注意して業務に当たります。 今後このようなことが二度とないよう、誠心誠意努めてまいります。 何卒ご容赦賜りますよう、重ねてお願い申し上げます。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Score · prevention_specificity

顛末書に記載された再発防止策の具体性だけを評価する。 謝罪の丁寧さ、文章の長さ、反省の強さを加点しない。 具体的な実施方法とは、何をどう変更・確認するかが分かる手順や仕組みを指す。

想定解:段階 1 — 注意や努力を表明しているが、変更する手順や仕組みが示されていない。

作問者の採点根拠:注意と努力の表明はあるが、実行する手順や仕組みは示されていない。再発防止策への言及自体はあるため段階0でもない。

選択肢・判断基準
0
再発防止策への言及がなく、謝罪や経緯説明にとどまる。
1
注意や努力を表明しているが、変更する手順や仕組みが示されていない。
2
変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。
3
変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。
4
変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
11.0000(誤差 0.0000)合格1.3834(誤差 0.3834)合格
21.0000(誤差 0.0000)合格1.3834(誤差 0.3834)合格
31.0000(誤差 0.0000)合格1.3834(誤差 0.3834)合格
生の応答と実行時間を見る

Jev

試行1 · 0.550秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "prevention_specificity": {
        "type": "score",
        "score": 1.0,
        "confidence": 1.0,
        "legend": {
          "0": "再発防止策への言及がなく、謝罪や経緯説明にとどまる。",
          "1": "注意や努力を表明しているが、変更する手順や仕組みが示されていない。",
          "2": "変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。",
          "3": "変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。",
          "4": "変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 1.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 760,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5499955830164254
}
試行2 · 0.543秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "prevention_specificity": {
        "type": "score",
        "score": 1.0,
        "confidence": 1.0,
        "legend": {
          "0": "再発防止策への言及がなく、謝罪や経緯説明にとどまる。",
          "1": "注意や努力を表明しているが、変更する手順や仕組みが示されていない。",
          "2": "変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。",
          "3": "変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。",
          "4": "変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 1.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 760,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5430089170113206
}
試行3 · 0.544秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "prevention_specificity": {
        "type": "score",
        "score": 1.0,
        "confidence": 1.0,
        "legend": {
          "0": "再発防止策への言及がなく、謝罪や経緯説明にとどまる。",
          "1": "注意や努力を表明しているが、変更する手順や仕組みが示されていない。",
          "2": "変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。",
          "3": "変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。",
          "4": "変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 1.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 760,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5436526669654995
}

Laya

試行1 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "prevention_specificity": {
        "type": "score",
        "confidence": 0.119,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.3834,
        "legend": {
          "0": "再発防止策への言及がなく、謝罪や経緯説明にとどまる。",
          "1": "注意や努力を表明しているが、変更する手順や仕組みが示されていない。",
          "2": "変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。",
          "3": "変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。",
          "4": "変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。"
        },
        "probabilities": {
          "0": 0.2211,
          "1": 0.4441,
          "2": 0.1403,
          "3": 0.1193,
          "4": 0.0752
        }
      }
    },
    "usage": {
      "input_tokens": 301,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0369206250179559
}
試行2 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "prevention_specificity": {
        "type": "score",
        "confidence": 0.119,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.3834,
        "legend": {
          "0": "再発防止策への言及がなく、謝罪や経緯説明にとどまる。",
          "1": "注意や努力を表明しているが、変更する手順や仕組みが示されていない。",
          "2": "変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。",
          "3": "変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。",
          "4": "変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。"
        },
        "probabilities": {
          "0": 0.2211,
          "1": 0.4441,
          "2": 0.1403,
          "3": 0.1193,
          "4": 0.0752
        }
      }
    },
    "usage": {
      "input_tokens": 301,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.037059291964396834
}
試行3 · 0.039秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "prevention_specificity": {
        "type": "score",
        "confidence": 0.119,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.3834,
        "legend": {
          "0": "再発防止策への言及がなく、謝罪や経緯説明にとどまる。",
          "1": "注意や努力を表明しているが、変更する手順や仕組みが示されていない。",
          "2": "変更する手順や仕組みはあるが、実行担当または開始時期が明記されていない。",
          "3": "変更する手順や仕組み、実行担当、開始時期が明記されているが、効果の検証方法はない。",
          "4": "変更する手順や仕組み、実行担当、開始時期、効果の検証方法がすべて明記されている。"
        },
        "probabilities": {
          "0": 0.2211,
          "1": 0.4441,
          "2": 0.1403,
          "3": 0.1193,
          "4": 0.0752
        }
      }
    },
    "usage": {
      "input_tokens": 301,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03880654199747369
}
S02控えめな障害連絡と月末の受注登録Score · 控えめな依頼文、月末締め、紙の仮受付と正式処理の区別Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【対象業務】 評価するのは「注文を受注システムへ正式登録する業務」。商品の発送や売上規模は評価対象外。 社内ルール上、紙に控えるだけでは正式登録の完了にならない。 【営業所からの連絡】 お忙しいところ恐れ入ります。大ごとにするつもりはないのですが、 月末締めの本日、すべての営業所で、新規注文が1件も受注システムに登録できません。 紙に注文を控えることはできますが、正式登録の代替手段はありません。 過去の受注を閲覧する画面は使えています。 お手すきの際にご確認いただけますと幸いです。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · operational_impact

現時点での正式な受注登録業務の支障を評価する。 評価対象は正式登録の完了可否と影響範囲であり、依頼文の強さや担当者の遠慮ではない。 紙の仮受付と、正式登録を完了できる代替手段を区別する。

想定解:段階 4 — 代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。

作問者の採点根拠:対象の正式登録業務は全件停止している。閲覧画面の稼働や控えめな文面は、正式登録の完了可否を変えない。

選択肢・判断基準
0
正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。
1
正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。
2
通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。
3
代替手段を含めても正式登録できない注文があるが、完了できる注文もある。
4
代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
14.0000(誤差 0.0000)合格2.1699(誤差 1.8301)不合格
24.0000(誤差 0.0000)合格2.1699(誤差 1.8301)不合格
34.0000(誤差 0.0000)合格2.1699(誤差 1.8301)不合格

Laya 試行1:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=2.1699、表示確率の加重平均=2.1697。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=2.1699、表示確率の加重平均=2.1697。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=2.1699、表示確率の加重平均=2.1697。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.515秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "operational_impact": {
        "type": "score",
        "score": 4.0,
        "confidence": 1.0,
        "legend": {
          "0": "正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。",
          "1": "正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても正式登録できない注文があるが、完了できる注文もある。",
          "4": "代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 815,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5154325840412639
}
試行2 · 0.511秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "operational_impact": {
        "type": "score",
        "score": 4.0,
        "confidence": 1.0,
        "legend": {
          "0": "正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。",
          "1": "正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても正式登録できない注文があるが、完了できる注文もある。",
          "4": "代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 815,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5114159579970874
}
試行3 · 0.508秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "operational_impact": {
        "type": "score",
        "score": 4.0,
        "confidence": 1.0,
        "legend": {
          "0": "正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。",
          "1": "正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても正式登録できない注文があるが、完了できる注文もある。",
          "4": "代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 1.0
        }
      }
    },
    "usage": {
      "input_tokens": 815,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5075076670036651
}

Laya

試行1 · 0.044秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "operational_impact": {
        "type": "score",
        "confidence": 0.0309,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.1699,
        "legend": {
          "0": "正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。",
          "1": "正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても正式登録できない注文があるが、完了できる注文もある。",
          "4": "代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.1271,
          "1": 0.171,
          "2": 0.2588,
          "3": 0.2909,
          "4": 0.1521
        }
      }
    },
    "usage": {
      "input_tokens": 330,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04355229198699817
}
試行2 · 0.046秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "operational_impact": {
        "type": "score",
        "confidence": 0.0309,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.1699,
        "legend": {
          "0": "正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。",
          "1": "正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても正式登録できない注文があるが、完了できる注文もある。",
          "4": "代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.1271,
          "1": 0.171,
          "2": 0.2588,
          "3": 0.2909,
          "4": 0.1521
        }
      }
    },
    "usage": {
      "input_tokens": 330,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04598875000374392
}
試行3 · 0.045秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "operational_impact": {
        "type": "score",
        "confidence": 0.0309,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.1699,
        "legend": {
          "0": "正式登録は通常どおり完了でき、表示や表記以外に業務上の支障はない。",
          "1": "正式登録は全件通常の方法で完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法では正式登録できない注文があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても正式登録できない注文があるが、完了できる注文もある。",
          "4": "代替手段を含め、すべての営業所ですべての新規注文の正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.1271,
          "1": 0.171,
          "2": 0.2588,
          "3": 0.2909,
          "4": 0.1521
        }
      }
    },
    "usage": {
      "input_tokens": 330,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0452025419799611
}
S03定期異動時の引継ぎメモScore · 定期異動、引継ぎ、暗黙知、「いつもの」という省略Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【引継ぎメモの確認基準】 後任が前任に質問せず業務を始めるため、次の4項目を確認する。 1. 次回対応の絶対日付と実施事項。 2. 顧客固有の対応方法。 3. 未了案件の具体的な内容と次の対応。未了案件がない場合は「なし」の明記。 4. 関連資料を特定できる保存場所。具体的なフォルダパスまたは文書IDが必要。 「いつもの」「例の件」「所定の場所」のような記載だけでは、その項目を充足しない。 【異動に伴う引継ぎメモ】 担当:青葉商店 次回:2026年4月10日に、5月分の発注見込みを先方へ確認する。 顧客固有の対応:先方から届くFAXの受領後、当日中に電話で受領を連絡する。 未了案件:例の件を、いつもの段取りでお願いします。 関連資料:共有ドライブのいつもの場所にあります。 引継ぎ完了欄:前任者押印済み。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Score · handover_completeness

引継ぎメモの確認基準に照らし、必要4項目の情報充足度を評価する。 各項目は基準をすべて満たしたときに1項目として数える。 押印や「完了」という記載だけで、本文の不足を補わない。

想定解:段階 2 — 次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。

作問者の採点根拠:必要4項目のうち2項目が充足している。前任者の押印では不足情報を補えない。

選択肢・判断基準
0
次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。
1
次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。
2
次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。
3
次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。
4
次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
12.0000(誤差 0.0000)合格1.7369(誤差 0.2631)合格
22.0000(誤差 0.0000)合格1.7369(誤差 0.2631)合格
32.0000(誤差 0.0000)合格1.7369(誤差 0.2631)合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=1.7369、表示確率の加重平均=1.7370。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=1.7369、表示確率の加重平均=1.7370。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=1.7369、表示確率の加重平均=1.7370。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.496秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "handover_completeness": {
        "type": "score",
        "score": 2.0,
        "confidence": 1.0,
        "legend": {
          "0": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。",
          "1": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。",
          "2": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。",
          "3": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。",
          "4": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 1.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 986,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.4960676669725217
}
試行2 · 0.495秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "handover_completeness": {
        "type": "score",
        "score": 2.0,
        "confidence": 0.99,
        "legend": {
          "0": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。",
          "1": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。",
          "2": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。",
          "3": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。",
          "4": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 1.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 986,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.49459112499607727
}
試行3 · 0.493秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "handover_completeness": {
        "type": "score",
        "score": 2.0,
        "confidence": 1.0,
        "legend": {
          "0": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。",
          "1": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。",
          "2": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。",
          "3": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。",
          "4": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 1.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 986,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.49297149997437373
}

Laya

試行1 · 0.139秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "handover_completeness": {
        "type": "score",
        "confidence": 0.2017,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7369,
        "legend": {
          "0": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。",
          "1": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。",
          "2": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。",
          "3": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。",
          "4": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。"
        },
        "probabilities": {
          "0": 0.0369,
          "1": 0.4442,
          "2": 0.315,
          "3": 0.1532,
          "4": 0.0508
        }
      }
    },
    "usage": {
      "input_tokens": 469,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.13948700000764802
}
試行2 · 0.061秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "handover_completeness": {
        "type": "score",
        "confidence": 0.2017,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7369,
        "legend": {
          "0": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。",
          "1": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。",
          "2": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。",
          "3": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。",
          "4": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。"
        },
        "probabilities": {
          "0": 0.0369,
          "1": 0.4442,
          "2": 0.315,
          "3": 0.1532,
          "4": 0.0508
        }
      }
    },
    "usage": {
      "input_tokens": 469,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.060905916034244
}
試行3 · 0.057秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "handover_completeness": {
        "type": "score",
        "confidence": 0.2017,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7369,
        "legend": {
          "0": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、具体的に記載された項目がない。",
          "1": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、1項目だけが具体的に記載されている。",
          "2": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、2項目だけが具体的に記載されている。",
          "3": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目のうち、3項目だけが具体的に記載されている。",
          "4": "次回対応、顧客固有対応、未了案件、資料保存場所の4項目すべてが具体的に記載されている。"
        },
        "probabilities": {
          "0": 0.0369,
          "1": 0.4442,
          "2": 0.315,
          "3": 0.1532,
          "4": 0.0508
        }
      }
    },
    "usage": {
      "input_tokens": 469,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05695691698929295
}
S04車種横展開の確認はどこまで済んだかScore · 車種横展開、仕向け違い、品質保証部門への証跡提出Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【社内の横展開確認手順】 同じソフト部品を使う車種・仕向けを対象一覧で確定し、適用差分を調べ、 対象ごとの検証を行い、最後に品質保証部門が証跡をレビューする。 代表車種だけの結果を他車種の完了証拠とするには、その代替の妥当性の承認が必要。 【進捗記録】 対象は国内A車、国内B車、輸出B車の3仕様と確定済み。適用差分も調査済み。 3仕様それぞれで必要な検証を実施し、すべて合格、版と結果が対応した証跡を保存済み。 品質保証部門へのレビュー依頼は提出したが、レビューはまだ行われていない。 週報の表題は「横展開対応完了」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · rollout_verification_maturity

横展開確認の実際の到達段階を評価する。週報の表題ではなく、手順と実施記録に基づく。

想定解:段階 3 — 全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。

作問者の採点根拠:検証と証跡は全対象分そろうが、最後の証跡レビューが未完了なので段階3。依頼の提出はレビュー完了ではない。

選択肢・判断基準
0
対象となる車種・仕向けの一覧が確定していない。
1
対象一覧は確定しているが、全対象の適用差分の調査が完了していない。
2
対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。
3
全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。
4
全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
13.0000(誤差 0.0000)合格2.2007(誤差 0.7993)不合格
23.0000(誤差 0.0000)合格2.2007(誤差 0.7993)不合格
33.0000(誤差 0.0000)合格2.2007(誤差 0.7993)不合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=2.2007、表示確率の加重平均=2.2009。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=2.2007、表示確率の加重平均=2.2009。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=2.2007、表示確率の加重平均=2.2009。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.545秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "rollout_verification_maturity": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象となる車種・仕向けの一覧が確定していない。",
          "1": "対象一覧は確定しているが、全対象の適用差分の調査が完了していない。",
          "2": "対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。",
          "3": "全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。",
          "4": "全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 808,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5454661659896374
}
試行2 · 0.549秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "rollout_verification_maturity": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象となる車種・仕向けの一覧が確定していない。",
          "1": "対象一覧は確定しているが、全対象の適用差分の調査が完了していない。",
          "2": "対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。",
          "3": "全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。",
          "4": "全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 808,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5491132909664884
}
試行3 · 0.488秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "rollout_verification_maturity": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象となる車種・仕向けの一覧が確定していない。",
          "1": "対象一覧は確定しているが、全対象の適用差分の調査が完了していない。",
          "2": "対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。",
          "3": "全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。",
          "4": "全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 808,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.488405917014461
}

Laya

試行1 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "rollout_verification_maturity": {
        "type": "score",
        "confidence": 0.0355,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2007,
        "legend": {
          "0": "対象となる車種・仕向けの一覧が確定していない。",
          "1": "対象一覧は確定しているが、全対象の適用差分の調査が完了していない。",
          "2": "対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。",
          "3": "全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。",
          "4": "全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。"
        },
        "probabilities": {
          "0": 0.101,
          "1": 0.2394,
          "2": 0.1894,
          "3": 0.2985,
          "4": 0.1718
        }
      }
    },
    "usage": {
      "input_tokens": 341,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04173745802836493
}
試行2 · 0.041秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "rollout_verification_maturity": {
        "type": "score",
        "confidence": 0.0355,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2007,
        "legend": {
          "0": "対象となる車種・仕向けの一覧が確定していない。",
          "1": "対象一覧は確定しているが、全対象の適用差分の調査が完了していない。",
          "2": "対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。",
          "3": "全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。",
          "4": "全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。"
        },
        "probabilities": {
          "0": 0.101,
          "1": 0.2394,
          "2": 0.1894,
          "3": 0.2985,
          "4": 0.1718
        }
      }
    },
    "usage": {
      "input_tokens": 341,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.041203000000678
}
試行3 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "rollout_verification_maturity": {
        "type": "score",
        "confidence": 0.0355,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2007,
        "legend": {
          "0": "対象となる車種・仕向けの一覧が確定していない。",
          "1": "対象一覧は確定しているが、全対象の適用差分の調査が完了していない。",
          "2": "対象一覧と全対象の差分調査は完了しているが、必要な検証の実施または証跡が全対象分そろっていない。",
          "3": "全対象の差分調査と必要な検証が完了し証跡もそろっているが、品質保証部門の証跡レビューは完了していない。",
          "4": "全対象の差分調査、必要な検証、証跡保存、品質保証部門の証跡レビューがすべて完了している。"
        },
        "probabilities": {
          "0": 0.101,
          "1": 0.2394,
          "2": 0.1894,
          "3": 0.2985,
          "4": 0.1718
        }
      }
    },
    "usage": {
      "input_tokens": 341,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.042088958027306944
}
S05販売店返却品の再現試験記録Score · 販売店からの返却品、現品調査、旧版との比較確認Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【評価対象】 返却された車載表示器について、不具合の再現性を裏付ける試験記録の強さを評価する。 原因の断定や修正の妥当性は、今回の評価対象ではない。 【現品調査報告】 対象現品の製番、基板版、ソフト版、電源投入手順、周囲温度を記録済み。 報告された表示欠けは、現行版による同じ投入手順の5回中2回で発生し、両回のログを保存した。 同じ現品・電源投入手順・周囲温度でソフトだけ旧版に戻すと、5回中0回だった。 両版の全試行の結果とログが、現品の製番に対応づけられている。 原因分析は継続中で、設計責任者はまだ原因を承認していない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · reproduction_evidence

不具合の再現性を裏付ける記録の強さを評価する。原因が確定していないことを、再現記録の不足と混同しない。

想定解:段階 4 — 現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。

作問者の採点根拠:複数回の管理された試行と比較対象の証拠までそろっている。原因未確定でも、再現性の証拠の評価は段階4に該当する。

選択肢・判断基準
0
具体的な症状を特定できる記述がない。
1
具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。
2
現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。
3
条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。
4
現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
13.9800(誤差 0.0200)合格2.2858(誤差 1.7142)不合格
23.9800(誤差 0.0200)合格2.2858(誤差 1.7142)不合格
33.9800(誤差 0.0200)合格2.2858(誤差 1.7142)不合格

Jev 試行1:返却Score=3.9800、表示確率の加重平均=3.9900。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Jev 試行3:返却Score=3.9800、表示確率の加重平均=3.9900。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.537秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "reproduction_evidence": {
        "type": "score",
        "score": 3.98,
        "confidence": 0.98,
        "legend": {
          "0": "具体的な症状を特定できる記述がない。",
          "1": "具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。",
          "2": "現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。",
          "3": "条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。",
          "4": "現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.01,
          "4": 0.99
        }
      }
    },
    "usage": {
      "input_tokens": 826,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5369635419920087
}
試行2 · 0.514秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "reproduction_evidence": {
        "type": "score",
        "score": 3.98,
        "confidence": 0.98,
        "legend": {
          "0": "具体的な症状を特定できる記述がない。",
          "1": "具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。",
          "2": "現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。",
          "3": "条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。",
          "4": "現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.02,
          "4": 0.98
        }
      }
    },
    "usage": {
      "input_tokens": 826,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5143070830381475
}
試行3 · 0.518秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "reproduction_evidence": {
        "type": "score",
        "score": 3.98,
        "confidence": 0.98,
        "legend": {
          "0": "具体的な症状を特定できる記述がない。",
          "1": "具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。",
          "2": "現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。",
          "3": "条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。",
          "4": "現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.01,
          "4": 0.99
        }
      }
    },
    "usage": {
      "input_tokens": 826,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5182011249708012
}

Laya

試行1 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "reproduction_evidence": {
        "type": "score",
        "confidence": 0.0983,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2858,
        "legend": {
          "0": "具体的な症状を特定できる記述がない。",
          "1": "具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。",
          "2": "現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。",
          "3": "条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。",
          "4": "現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。"
        },
        "probabilities": {
          "0": 0.1157,
          "1": 0.1828,
          "2": 0.1306,
          "3": 0.4418,
          "4": 0.1291
        }
      }
    },
    "usage": {
      "input_tokens": 353,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.043017584015615284
}
試行2 · 0.043秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "reproduction_evidence": {
        "type": "score",
        "confidence": 0.0983,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2858,
        "legend": {
          "0": "具体的な症状を特定できる記述がない。",
          "1": "具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。",
          "2": "現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。",
          "3": "条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。",
          "4": "現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。"
        },
        "probabilities": {
          "0": 0.1157,
          "1": 0.1828,
          "2": 0.1306,
          "3": 0.4418,
          "4": 0.1291
        }
      }
    },
    "usage": {
      "input_tokens": 353,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04316258302424103
}
試行3 · 0.048秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "reproduction_evidence": {
        "type": "score",
        "confidence": 0.0983,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2858,
        "legend": {
          "0": "具体的な症状を特定できる記述がない。",
          "1": "具体的な症状は記述されているが、現品の構成や発生条件が特定されていない。",
          "2": "現品の構成と発生条件は特定されているが、条件を管理した試験での再現記録がない。",
          "3": "条件を管理した試験で再現しログもあるが、複数回の試行と条件をそろえた比較対象の記録はそろっていない。",
          "4": "現品の構成と条件が特定されて試験で症状が再現し、複数回の試行、条件をそろえた比較対象、各試行に対応する結果とログがそろっている。"
        },
        "probabilities": {
          "0": 0.1157,
          "1": 0.1828,
          "2": 0.1306,
          "3": 0.4418,
          "4": 0.1291
        }
      }
    },
    "usage": {
      "input_tokens": 353,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.047593708033673465
}
S06ベテラン頼みの設備復旧手順Score · 属人化、夜勤の保全当番、熟練者への依存Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【設備保全の評価対象】 夜勤の保全当番が使える、当該装置の復旧手順の整備状況を評価する。 作成者本人の記憶だけで行った復旧は、手順書による検証として扱わない。 【引継ぎノート】 「停止した場合はベテランの佐藤さんに聞くこと。以前はすぐ直してもらえた」。 操作順序、注意点、成功の確認方法の記載はない。 佐藤さん本人は日勤だけで、夜勤中の応援体制も決まっていない。 保全班長:「長年これで回っているので、復旧ノウハウは十分あります」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · recovery_procedure_readiness

当該装置について、保全当番が使える復旧手順の整備状況だけを評価する。熟練者個人の能力は加点しない。

想定解:段階 0 — 実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。

作問者の採点根拠:夜勤の保全当番が実行できる手順の記録がないため段階0。過去に熟練者が直した実績は手順の整備状況を補わない。

選択肢・判断基準
0
実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。
1
操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。
2
適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。
3
必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。
4
必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
10.0000(誤差 0.0000)合格1.9095(誤差 1.9095)不合格
20.0000(誤差 0.0000)合格1.9095(誤差 1.9095)不合格
30.0000(誤差 0.0000)合格1.9095(誤差 1.9095)不合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=1.9095、表示確率の加重平均=1.9098。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=1.9095、表示確率の加重平均=1.9098。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=1.9095、表示確率の加重平均=1.9098。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.496秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "recovery_procedure_readiness": {
        "type": "score",
        "score": 0.0,
        "confidence": 1.0,
        "legend": {
          "0": "実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。",
          "1": "操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。",
          "2": "適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。",
          "3": "必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。",
          "4": "必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。"
        },
        "probabilities": {
          "0": 1.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 789,
      "output_tokens": 25
    }
  },
  "error": null,
  "elapsed_seconds": 0.4962566249887459
}
試行2 · 0.480秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "recovery_procedure_readiness": {
        "type": "score",
        "score": 0.0,
        "confidence": 1.0,
        "legend": {
          "0": "実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。",
          "1": "操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。",
          "2": "適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。",
          "3": "必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。",
          "4": "必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。"
        },
        "probabilities": {
          "0": 1.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 789,
      "output_tokens": 25
    }
  },
  "error": null,
  "elapsed_seconds": 0.4799503749818541
}
試行3 · 0.501秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "recovery_procedure_readiness": {
        "type": "score",
        "score": 0.0,
        "confidence": 1.0,
        "legend": {
          "0": "実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。",
          "1": "操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。",
          "2": "適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。",
          "3": "必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。",
          "4": "必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。"
        },
        "probabilities": {
          "0": 1.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 789,
      "output_tokens": 25
    }
  },
  "error": null,
  "elapsed_seconds": 0.5012739999801852
}

Laya

試行1 · 0.041秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "recovery_procedure_readiness": {
        "type": "score",
        "confidence": 0.0127,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.9095,
        "legend": {
          "0": "実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。",
          "1": "操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。",
          "2": "適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。",
          "3": "必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。",
          "4": "必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。"
        },
        "probabilities": {
          "0": 0.1711,
          "1": 0.2413,
          "2": 0.2579,
          "3": 0.1665,
          "4": 0.1633
        }
      }
    },
    "usage": {
      "input_tokens": 329,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04148429195629433
}
試行2 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "recovery_procedure_readiness": {
        "type": "score",
        "confidence": 0.0127,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.9095,
        "legend": {
          "0": "実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。",
          "1": "操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。",
          "2": "適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。",
          "3": "必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。",
          "4": "必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。"
        },
        "probabilities": {
          "0": 0.1711,
          "1": 0.2413,
          "2": 0.2579,
          "3": 0.1665,
          "4": 0.1633
        }
      }
    },
    "usage": {
      "input_tokens": 329,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04183291702065617
}
試行3 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "recovery_procedure_readiness": {
        "type": "score",
        "confidence": 0.0127,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.9095,
        "legend": {
          "0": "実行する操作手順の記録がなく、口頭の知識や特定の人への問い合わせに依存している。",
          "1": "操作のメモはあるが、適用条件・注意点・成功の確認方法のいずれかが欠けている。",
          "2": "適用条件・操作順序・注意点・成功の確認方法は記載されているが、その手順による復旧検証が行われていない。",
          "3": "必要事項を備えた手順で作成者が復旧を検証したが、作成者以外の保全当番による検証は行われていない。",
          "4": "必要事項を備えた手順を作成者以外の保全当番が実行し、復旧と成功確認を完了した記録がある。"
        },
        "probabilities": {
          "0": 0.1711,
          "1": 0.2413,
          "2": 0.2579,
          "3": 0.1665,
          "4": 0.1633
        }
      }
    },
    "usage": {
      "input_tokens": 329,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04249037499539554
}
S07平均は速いが最悪値が上限を超える制御処理Score · 設計目標と必達条件の区別、評価会議での実力値の説明Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【本案件の評価ルール】 指定した負荷条件での1周期の処理時間について、最悪値10.0ミリ秒以下を必達条件とする。 平均値は参考値であり、合否や超過程度の評価には使わない。 下記の段階は本案件だけの評価尺度である。 【試験結果】 指定の量産構成と負荷条件で測定済み。 平均値は5.0ミリ秒、最悪値はちょうど12.0ミリ秒。測定条件の不足や測定誤差の問題はない。 担当者:「平均では半分の時間ですので、実力的には余裕があります」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Score · deadline_overrun

本案件の最悪値の必達条件に対する超過程度を、提示された段階で評価する。平均値を代用しない。

想定解:段階 2 — 最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。

作問者の採点根拠:上限を含む段階2の条件に一致する。平均5.0ミリ秒はこの評価には使わない。

選択肢・判断基準
0
最悪値が10.0ミリ秒以下で、必達条件を満たす。
1
最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。
2
最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。
3
最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。
4
最悪値が15.0ミリ秒を超えている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
12.0000(誤差 0.0000)合格2.1820(誤差 0.1820)合格
22.0000(誤差 0.0000)合格2.1820(誤差 0.1820)合格
32.0000(誤差 0.0000)合格2.1820(誤差 0.1820)合格

Laya 試行1:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=2.1820、表示確率の加重平均=2.1818。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=2.1820、表示確率の加重平均=2.1818。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は0.999900です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=2.1820、表示確率の加重平均=2.1818。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.490秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "deadline_overrun": {
        "type": "score",
        "score": 2.0,
        "confidence": 1.0,
        "legend": {
          "0": "最悪値が10.0ミリ秒以下で、必達条件を満たす。",
          "1": "最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。",
          "2": "最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。",
          "3": "最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。",
          "4": "最悪値が15.0ミリ秒を超えている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 1.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 683,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.49026449996745214
}
試行2 · 0.524秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "deadline_overrun": {
        "type": "score",
        "score": 2.0,
        "confidence": 1.0,
        "legend": {
          "0": "最悪値が10.0ミリ秒以下で、必達条件を満たす。",
          "1": "最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。",
          "2": "最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。",
          "3": "最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。",
          "4": "最悪値が15.0ミリ秒を超えている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 1.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 683,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.523572875012178
}
試行3 · 0.505秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "deadline_overrun": {
        "type": "score",
        "score": 2.0,
        "confidence": 1.0,
        "legend": {
          "0": "最悪値が10.0ミリ秒以下で、必達条件を満たす。",
          "1": "最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。",
          "2": "最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。",
          "3": "最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。",
          "4": "最悪値が15.0ミリ秒を超えている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 1.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 683,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.5045071669737808
}

Laya

試行1 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "deadline_overrun": {
        "type": "score",
        "confidence": 0.042,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.182,
        "legend": {
          "0": "最悪値が10.0ミリ秒以下で、必達条件を満たす。",
          "1": "最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。",
          "2": "最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。",
          "3": "最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。",
          "4": "最悪値が15.0ミリ秒を超えている。"
        },
        "probabilities": {
          "0": 0.0789,
          "1": 0.2445,
          "2": 0.2826,
          "3": 0.2035,
          "4": 0.1904
        }
      }
    },
    "usage": {
      "input_tokens": 297,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.037145083013456315
}
試行2 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "deadline_overrun": {
        "type": "score",
        "confidence": 0.042,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.182,
        "legend": {
          "0": "最悪値が10.0ミリ秒以下で、必達条件を満たす。",
          "1": "最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。",
          "2": "最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。",
          "3": "最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。",
          "4": "最悪値が15.0ミリ秒を超えている。"
        },
        "probabilities": {
          "0": 0.0789,
          "1": 0.2445,
          "2": 0.2826,
          "3": 0.2035,
          "4": 0.1904
        }
      }
    },
    "usage": {
      "input_tokens": 297,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03652550000697374
}
試行3 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "deadline_overrun": {
        "type": "score",
        "confidence": 0.042,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.182,
        "legend": {
          "0": "最悪値が10.0ミリ秒以下で、必達条件を満たす。",
          "1": "最悪値が10.0ミリ秒を超え、11.0ミリ秒以下である。",
          "2": "最悪値が11.0ミリ秒を超え、12.0ミリ秒以下である。",
          "3": "最悪値が12.0ミリ秒を超え、15.0ミリ秒以下である。",
          "4": "最悪値が15.0ミリ秒を超えている。"
        },
        "probabilities": {
          "0": 0.0789,
          "1": 0.2445,
          "2": 0.2826,
          "3": 0.2035,
          "4": 0.1904
        }
      }
    },
    "usage": {
      "input_tokens": 297,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03675295796710998
}
S08研修が盛況だった新しい販売管理システムScore · 現場定着、集合研修、紙や旧システムからの業務移行Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【評価対象】 新しい販売管理システムが、対象部門の実際の日常業務でどこまで使われているかを評価する。 練習用データでの操作と、実際の受注を扱う日常業務を区別する。 【導入報告】 対象部門の全員が集合研修を受け、練習用データで入力演習を完了した。 研修の満足度アンケートも高評価だった。 実際の受注は現在も全件、旧システムと紙の帳票で処理している。 新システムで実際の受注を扱うのは来週からの予定で、実績はまだない。 推進担当:「現場展開は100%完了しました」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · adoption_stage

対象部門の日常業務における新システムの利用段階を評価する。研修満足度や展開という表題から実利用を推測しない。

想定解:段階 1 — 操作研修や操作体験は行われたが、日常業務での利用はまだない。

作問者の採点根拠:操作体験は済んでいるが日常業務への利用は未開始なので段階1。翌週の計画を実績に含めない。

選択肢・判断基準
0
操作研修や操作体験も、日常業務での利用もまだ行われていない。
1
操作研修や操作体験は行われたが、日常業務での利用はまだない。
2
対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。
3
対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。
4
対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
11.0000(誤差 0.0000)合格2.0815(誤差 1.0815)不合格
21.0000(誤差 0.0000)合格2.0815(誤差 1.0815)不合格
31.0000(誤差 0.0000)合格2.0815(誤差 1.0815)不合格

Laya 試行1:表示確率の合計は1.000200です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=2.0815、表示確率の加重平均=2.0819。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は1.000200です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=2.0815、表示確率の加重平均=2.0819。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は1.000200です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=2.0815、表示確率の加重平均=2.0819。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.566秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "adoption_stage": {
        "type": "score",
        "score": 1.0,
        "confidence": 1.0,
        "legend": {
          "0": "操作研修や操作体験も、日常業務での利用もまだ行われていない。",
          "1": "操作研修や操作体験は行われたが、日常業務での利用はまだない。",
          "2": "対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。",
          "3": "対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。",
          "4": "対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 1.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 763,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.5655151670216583
}
試行2 · 0.553秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "adoption_stage": {
        "type": "score",
        "score": 1.0,
        "confidence": 1.0,
        "legend": {
          "0": "操作研修や操作体験も、日常業務での利用もまだ行われていない。",
          "1": "操作研修や操作体験は行われたが、日常業務での利用はまだない。",
          "2": "対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。",
          "3": "対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。",
          "4": "対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 1.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 763,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.5526111670187674
}
試行3 · 0.592秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "adoption_stage": {
        "type": "score",
        "score": 1.0,
        "confidence": 1.0,
        "legend": {
          "0": "操作研修や操作体験も、日常業務での利用もまだ行われていない。",
          "1": "操作研修や操作体験は行われたが、日常業務での利用はまだない。",
          "2": "対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。",
          "3": "対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。",
          "4": "対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 1.0,
          "2": 0.0,
          "3": 0.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 763,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.5919811670319177
}

Laya

試行1 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "adoption_stage": {
        "type": "score",
        "confidence": 0.0024,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.0815,
        "legend": {
          "0": "操作研修や操作体験も、日常業務での利用もまだ行われていない。",
          "1": "操作研修や操作体験は行われたが、日常業務での利用はまだない。",
          "2": "対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。",
          "3": "対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。",
          "4": "対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。"
        },
        "probabilities": {
          "0": 0.1826,
          "1": 0.1982,
          "2": 0.2053,
          "3": 0.1833,
          "4": 0.2308
        }
      }
    },
    "usage": {
      "input_tokens": 306,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04217199998674914
}
試行2 · 0.038秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "adoption_stage": {
        "type": "score",
        "confidence": 0.0024,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.0815,
        "legend": {
          "0": "操作研修や操作体験も、日常業務での利用もまだ行われていない。",
          "1": "操作研修や操作体験は行われたが、日常業務での利用はまだない。",
          "2": "対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。",
          "3": "対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。",
          "4": "対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。"
        },
        "probabilities": {
          "0": 0.1826,
          "1": 0.1982,
          "2": 0.2053,
          "3": 0.1833,
          "4": 0.2308
        }
      }
    },
    "usage": {
      "input_tokens": 306,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.037915874971076846
}
試行3 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "adoption_stage": {
        "type": "score",
        "confidence": 0.0024,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.0815,
        "legend": {
          "0": "操作研修や操作体験も、日常業務での利用もまだ行われていない。",
          "1": "操作研修や操作体験は行われたが、日常業務での利用はまだない。",
          "2": "対象部門の日常業務の一部で利用しているが、対象の日常業務すべてには広がっていない。",
          "3": "対象の日常業務すべてで利用しているが、外部支援者の操作支援が日常的に必要である。",
          "4": "対象の日常業務すべてで利用し、現場担当者だけで通常の業務を完了できている。"
        },
        "probabilities": {
          "0": 0.1826,
          "1": 0.1982,
          "2": 0.2053,
          "3": 0.1833,
          "4": 0.2308
        }
      }
    },
    "usage": {
      "input_tokens": 306,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0365279580000788
}
S09受入項目の次期送りと再試験後の受領メールScore · 検収前の残件管理、変更合意、議事録と受領連絡Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【受入試験の管理】 今回の対象は、利用部門が実施する受入試験の当期分。 両社の変更責任者が次期へ移すことを承認した項目は、当期の合否判定から外す。 不合格項目は所定の再試験で合格を確認すれば解消する。 最終段階では、当期全項目の結果を顧客の受入責任者が確認する。 メールによる結果確認も認めるが、資料を受け取った旨の連絡だけは結果確認に含めない。 【記録の時系列】 ・当初の試験計画:U01〜U24の24項目。 ・3月24日:両社変更責任者がU23・U24の次期対応を承認。 ・3月25日:利用部門がU01〜U21を合格、U22を不合格として記録。 顧客受入責任者は「U01〜U21の結果を確認。U22は再試験後に判定」と返信。 ・3月26日:利用部門がU22を所定の条件で再試験し合格。 その記録RT-22を添付した当期結果一覧の第3版を送付。 ・同日夕方:顧客受入責任者は「第3版、拝受しました。内容は明日の会議で確認します」と返信。 現在は3月26日夕方。この後の会議や結果確認の記録はない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · acceptance_test_stage

記録時点で、当期対象の利用部門受入試験がどの段階にあるか評価する。

想定解:段階 3 — 当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。

作問者の採点根拠:対象範囲の変更と再試験を反映すると全件合格だが、その全結果を覆う責任者確認はまだそろわないため段階3。

選択肢・判断基準
0
当期対象の受入試験項目が用意されておらず、実行記録もない。
1
当期対象の受入試験項目は用意されているが、実行記録はない。
2
当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。
3
当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。
4
当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
13.0000(誤差 0.0000)合格2.2828(誤差 0.7172)不合格
23.0000(誤差 0.0000)合格2.2828(誤差 0.7172)不合格
33.0000(誤差 0.0000)合格2.2828(誤差 0.7172)不合格

Jev 試行1:返却Score=3.0000、表示確率の加重平均=2.9900。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Jev 試行2:返却Score=3.0000、表示確率の加重平均=2.9900。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行1:返却Score=2.2828、表示確率の加重平均=2.2829。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:返却Score=2.2828、表示確率の加重平均=2.2829。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:返却Score=2.2828、表示確率の加重平均=2.2829。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.602秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_test_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 0.99,
        "legend": {
          "0": "当期対象の受入試験項目が用意されておらず、実行記録もない。",
          "1": "当期対象の受入試験項目は用意されているが、実行記録はない。",
          "2": "当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。",
          "3": "当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。",
          "4": "当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.01,
          "3": 0.99,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 975,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.6023446669569239
}
試行2 · 0.517秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_test_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 0.99,
        "legend": {
          "0": "当期対象の受入試験項目が用意されておらず、実行記録もない。",
          "1": "当期対象の受入試験項目は用意されているが、実行記録はない。",
          "2": "当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。",
          "3": "当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。",
          "4": "当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.01,
          "3": 0.99,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 975,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5173575420049019
}
試行3 · 0.515秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_test_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 0.99,
        "legend": {
          "0": "当期対象の受入試験項目が用意されておらず、実行記録もない。",
          "1": "当期対象の受入試験項目は用意されているが、実行記録はない。",
          "2": "当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。",
          "3": "当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。",
          "4": "当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 975,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5147324159624986
}

Laya

試行1 · 0.059秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_test_stage": {
        "type": "score",
        "confidence": 0.0419,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2828,
        "legend": {
          "0": "当期対象の受入試験項目が用意されておらず、実行記録もない。",
          "1": "当期対象の受入試験項目は用意されているが、実行記録はない。",
          "2": "当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。",
          "3": "当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。",
          "4": "当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。"
        },
        "probabilities": {
          "0": 0.1471,
          "1": 0.1448,
          "2": 0.17,
          "3": 0.3543,
          "4": 0.1838
        }
      }
    },
    "usage": {
      "input_tokens": 488,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05851795797934756
}
試行2 · 0.057秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_test_stage": {
        "type": "score",
        "confidence": 0.0419,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2828,
        "legend": {
          "0": "当期対象の受入試験項目が用意されておらず、実行記録もない。",
          "1": "当期対象の受入試験項目は用意されているが、実行記録はない。",
          "2": "当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。",
          "3": "当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。",
          "4": "当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。"
        },
        "probabilities": {
          "0": 0.1471,
          "1": 0.1448,
          "2": 0.17,
          "3": 0.3543,
          "4": 0.1838
        }
      }
    },
    "usage": {
      "input_tokens": 488,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.057079916005022824
}
試行3 · 0.058秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_test_stage": {
        "type": "score",
        "confidence": 0.0419,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.2828,
        "legend": {
          "0": "当期対象の受入試験項目が用意されておらず、実行記録もない。",
          "1": "当期対象の受入試験項目は用意されているが、実行記録はない。",
          "2": "当期対象の試験を実行した記録はあるが、未実行項目または未解決の不合格が残っている。",
          "3": "当期対象の試験は全項目合格しているが、受入責任者による当期全項目の結果確認がそろっていない。",
          "4": "当期対象の試験は全項目合格し、受入責任者による当期全項目の結果確認もそろっている。"
        },
        "probabilities": {
          "0": 0.1471,
          "1": 0.1448,
          "2": 0.17,
          "3": 0.3543,
          "4": 0.1838
        }
      }
    },
    "usage": {
      "input_tokens": 488,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05794245802098885
}
S10表示ラベル不適合の封じ込め確認Score · 品質不適合の封じ込め、製番管理、販売会社への横持ち在庫Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【今回の封じ込め手順】 表示ラベルの印字欠けがある製品について、対象製番を確定し、自社在庫と販売会社在庫を隔離する。 販売会社には引当停止と現品隔離の両方を求める。 最終完了には品質保証担当が、全対象製番と現品の隔離記録を照合することが必要。 対象製品はすべて自社または販売会社の在庫であり、利用者への納品はない。 【現在の記録】 対象製番の一覧は確定済み。自社在庫は全数隔離済み。 販売会社の全対象在庫も、引当停止と現品隔離が済んだ旨の製番付き報告を受領した。 品質保証担当による全製番と隔離記録の最終照合は未実施。 営業担当は「全社から返事が来たので完了です」と報告している。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · containment_stage

今回の封じ込め手順に対する実際の到達段階を評価する。返事の有無だけで最終照合の完了を推測しない。

想定解:段階 3 — 自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。

作問者の採点根拠:全対象の処置報告まで進んでいるが、最終照合が残っているため段階3。

選択肢・判断基準
0
対象製番の一覧が確定していない。
1
対象製番は確定しているが、自社の対象在庫の隔離が完了していない。
2
対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。
3
自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。
4
自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
13.0000(誤差 0.0000)合格2.0000(誤差 1.0000)不合格
23.0000(誤差 0.0000)合格2.0000(誤差 1.0000)不合格
33.0000(誤差 0.0000)合格2.0000(誤差 1.0000)不合格

Laya 試行1:返却Score=2.0000、表示確率の加重平均=1.9999。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:返却Score=2.0000、表示確率の加重平均=1.9999。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:返却Score=2.0000、表示確率の加重平均=1.9999。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.493秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "containment_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象製番の一覧が確定していない。",
          "1": "対象製番は確定しているが、自社の対象在庫の隔離が完了していない。",
          "2": "対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。",
          "3": "自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。",
          "4": "自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 844,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.4930000829626806
}
試行2 · 0.516秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "containment_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象製番の一覧が確定していない。",
          "1": "対象製番は確定しているが、自社の対象在庫の隔離が完了していない。",
          "2": "対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。",
          "3": "自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。",
          "4": "自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 844,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.5158351249992847
}
試行3 · 0.527秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "containment_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象製番の一覧が確定していない。",
          "1": "対象製番は確定しているが、自社の対象在庫の隔離が完了していない。",
          "2": "対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。",
          "3": "自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。",
          "4": "自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 844,
      "output_tokens": 20
    }
  },
  "error": null,
  "elapsed_seconds": 0.5272942500305362
}

Laya

試行1 · 0.077秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "containment_stage": {
        "type": "score",
        "confidence": 0.0001,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.0,
        "legend": {
          "0": "対象製番の一覧が確定していない。",
          "1": "対象製番は確定しているが、自社の対象在庫の隔離が完了していない。",
          "2": "対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。",
          "3": "自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。",
          "4": "自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。"
        },
        "probabilities": {
          "0": 0.1978,
          "1": 0.1986,
          "2": 0.2065,
          "3": 0.2001,
          "4": 0.197
        }
      }
    },
    "usage": {
      "input_tokens": 391,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.07660462497733533
}
試行2 · 0.054秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "containment_stage": {
        "type": "score",
        "confidence": 0.0001,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.0,
        "legend": {
          "0": "対象製番の一覧が確定していない。",
          "1": "対象製番は確定しているが、自社の対象在庫の隔離が完了していない。",
          "2": "対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。",
          "3": "自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。",
          "4": "自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。"
        },
        "probabilities": {
          "0": 0.1978,
          "1": 0.1986,
          "2": 0.2065,
          "3": 0.2001,
          "4": 0.197
        }
      }
    },
    "usage": {
      "input_tokens": 391,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.05415004200767726
}
試行3 · 0.049秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "containment_stage": {
        "type": "score",
        "confidence": 0.0001,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.0,
        "legend": {
          "0": "対象製番の一覧が確定していない。",
          "1": "対象製番は確定しているが、自社の対象在庫の隔離が完了していない。",
          "2": "対象製番の確定と自社在庫の隔離は完了しているが、販売会社の全対象在庫の引当停止・現品隔離は確認できていない。",
          "3": "自社と販売会社の全対象在庫について隔離等の必要処置は報告されているが、品質保証担当の全製番照合は未完了である。",
          "4": "自社と販売会社の全対象在庫で必要処置が済み、品質保証担当による全製番と隔離記録の照合も完了している。"
        },
        "probabilities": {
          "0": 0.1978,
          "1": 0.1986,
          "2": 0.2065,
          "3": 0.2001,
          "4": 0.197
        }
      }
    },
    "usage": {
      "input_tokens": 391,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.048571124963928014
}
S11赤札を外した設計レビュー指摘Score · 設計レビュー指摘台帳、現物への赤札、設計責任者の確認Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【評価対象】 今回は指摘DR-17だけについて、対策の完了段階を評価する。 最終的な指摘クローズには、修正、再試験合格、証跡確認を経た設計責任者の承認が必要。 現物の赤札を外したことや担当者が台帳に「済」と書いたことだけではクローズしない。 【DR-17の記録】 指摘に対する修正内容は決まり、試作品への反映も完了した。 所定の再試験は合格し、結果記録も添付されている。 設計責任者は出張中で、証跡確認とクローズ承認はまだ行っていない。 現場では赤札を外し、担当者が台帳の備考に「対応済」と記入した。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · finding_closure_stage

指摘DR-17について、実際の修正・検証・承認の到達段階を評価する。

想定解:段階 3 — 修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。

作問者の採点根拠:修正と再試験は終わっているが最終承認前なので段階3。赤札や備考の状態から正式完了を推測しない。

選択肢・判断基準
0
対策案が決まっていない。
1
対策案は決まっているが、対象への修正反映は完了していない。
2
修正反映は完了しているが、所定の再試験の合格記録がない。
3
修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。
4
修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
13.0000(誤差 0.0000)合格1.7916(誤差 1.2084)不合格
23.0000(誤差 0.0000)合格1.7916(誤差 1.2084)不合格
33.0000(誤差 0.0000)合格1.7916(誤差 1.2084)不合格

Laya 試行1:返却Score=1.7916、表示確率の加重平均=1.7917。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:返却Score=1.7916、表示確率の加重平均=1.7917。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:返却Score=1.7916、表示確率の加重平均=1.7917。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

生の応答と実行時間を見る

Jev

試行1 · 0.554秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "finding_closure_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対策案が決まっていない。",
          "1": "対策案は決まっているが、対象への修正反映は完了していない。",
          "2": "修正反映は完了しているが、所定の再試験の合格記録がない。",
          "3": "修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。",
          "4": "修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 734,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5537377499858849
}
試行2 · 0.520秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "finding_closure_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対策案が決まっていない。",
          "1": "対策案は決まっているが、対象への修正反映は完了していない。",
          "2": "修正反映は完了しているが、所定の再試験の合格記録がない。",
          "3": "修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。",
          "4": "修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 734,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5200153749901801
}
試行3 · 0.530秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "finding_closure_stage": {
        "type": "score",
        "score": 3.0,
        "confidence": 1.0,
        "legend": {
          "0": "対策案が決まっていない。",
          "1": "対策案は決まっているが、対象への修正反映は完了していない。",
          "2": "修正反映は完了しているが、所定の再試験の合格記録がない。",
          "3": "修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。",
          "4": "修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 1.0,
          "4": 0.0
        }
      }
    },
    "usage": {
      "input_tokens": 734,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5304581660311669
}

Laya

試行1 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "finding_closure_stage": {
        "type": "score",
        "confidence": 0.0616,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7916,
        "legend": {
          "0": "対策案が決まっていない。",
          "1": "対策案は決まっているが、対象への修正反映は完了していない。",
          "2": "修正反映は完了しているが、所定の再試験の合格記録がない。",
          "3": "修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。",
          "4": "修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。"
        },
        "probabilities": {
          "0": 0.1357,
          "1": 0.3928,
          "2": 0.1653,
          "3": 0.1565,
          "4": 0.1497
        }
      }
    },
    "usage": {
      "input_tokens": 296,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03602724999655038
}
試行2 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "finding_closure_stage": {
        "type": "score",
        "confidence": 0.0616,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7916,
        "legend": {
          "0": "対策案が決まっていない。",
          "1": "対策案は決まっているが、対象への修正反映は完了していない。",
          "2": "修正反映は完了しているが、所定の再試験の合格記録がない。",
          "3": "修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。",
          "4": "修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。"
        },
        "probabilities": {
          "0": 0.1357,
          "1": 0.3928,
          "2": 0.1653,
          "3": 0.1565,
          "4": 0.1497
        }
      }
    },
    "usage": {
      "input_tokens": 296,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.036435707996133715
}
試行3 · 0.040秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "finding_closure_stage": {
        "type": "score",
        "confidence": 0.0616,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7916,
        "legend": {
          "0": "対策案が決まっていない。",
          "1": "対策案は決まっているが、対象への修正反映は完了していない。",
          "2": "修正反映は完了しているが、所定の再試験の合格記録がない。",
          "3": "修正反映と再試験合格の記録はあるが、設計責任者による証跡確認とクローズ承認は完了していない。",
          "4": "修正反映、再試験合格、設計責任者の証跡確認とクローズ承認がすべて完了している。"
        },
        "probabilities": {
          "0": 0.1357,
          "1": 0.3928,
          "2": 0.1653,
          "3": 0.1565,
          "4": 0.1497
        }
      }
    },
    "usage": {
      "input_tokens": 296,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03970637498423457
}
S12「その条件で」と返信された追加見積の改訂Score · 追加作業の価格交渉、見積改訂、条件付き回答、注文書の後送Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【この案件の追加作業の合意管理】 対象は追加見積Q-32の作業。範囲・費用負担・納期を特定できる見積番号を参照した メールで、両社の権限者が承認すれば正式合意とする。紙の注文書は後送できる。 条件を付けた承認は、その条件の充足が両社で確認されるまで未完了として扱う。 顧客の購買課長と受注側の開発部長は、それぞれ100万円以下の追加作業を承認できる。 【見積とメールの記録】 ・旧見積Q-31:帳票4種類、顧客負担120万円、10月30日納入。承認記録はない。 ・改訂見積Q-32:帳票3種類、顧客負担90万円、10月15日納入。 外した1種類は「地域別分析」で、今回の作業には含まない。 ・顧客購買課長からQ-32を添付したメール: 「社内調整できました。10月15日の枠を確保いただけることを条件に、この内容でお願いします」。 ・受注側開発部長から全員への返信: 「Q-32の3種類、90万円、10月15日で引き受けます。必要な作業枠を確保しました」。 ・顧客購買課長からの返信: 「枠の確保を確認しました。ではQ-32で進めてください。注文書は週明けに送ります」。 担当営業の案件一覧には、更新前のQ-31と「部長決裁待ち」が残っている。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Score · additional_work_agreement

追加見積Q-32に対する両社の合意が、記録時点でどこまで成立しているか評価する。

想定解:段階 4 — 作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。

作問者の採点根拠:同じ改訂版の範囲・費用・納期について有効な両社承認があり、条件の充足も確認済みなので段階4。更新前の一覧は新しい合意を取り消さない。

選択肢・判断基準
0
追加作業について、顧客の要望自体がまだ示されていない。
1
追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。
2
具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。
3
作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。
4
作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
13.9800(誤差 0.0200)合格1.7555(誤差 2.2445)不合格
23.9800(誤差 0.0200)合格1.7555(誤差 2.2445)不合格
33.9800(誤差 0.0200)合格1.7555(誤差 2.2445)不合格
生の応答と実行時間を見る

Jev

試行1 · 0.510秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "additional_work_agreement": {
        "type": "score",
        "score": 3.98,
        "confidence": 0.98,
        "legend": {
          "0": "追加作業について、顧客の要望自体がまだ示されていない。",
          "1": "追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。",
          "2": "具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。",
          "3": "作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。",
          "4": "作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.02,
          "4": 0.98
        }
      }
    },
    "usage": {
      "input_tokens": 1076,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5103475830401294
}
試行2 · 0.491秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "additional_work_agreement": {
        "type": "score",
        "score": 3.98,
        "confidence": 0.98,
        "legend": {
          "0": "追加作業について、顧客の要望自体がまだ示されていない。",
          "1": "追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。",
          "2": "具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。",
          "3": "作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。",
          "4": "作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.02,
          "4": 0.98
        }
      }
    },
    "usage": {
      "input_tokens": 1076,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.49140766699565575
}
試行3 · 0.538秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "additional_work_agreement": {
        "type": "score",
        "score": 3.98,
        "confidence": 0.98,
        "legend": {
          "0": "追加作業について、顧客の要望自体がまだ示されていない。",
          "1": "追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。",
          "2": "具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。",
          "3": "作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。",
          "4": "作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.02,
          "4": 0.98
        }
      }
    },
    "usage": {
      "input_tokens": 1076,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5384126250282861
}

Laya

試行1 · 0.064秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "additional_work_agreement": {
        "type": "score",
        "confidence": 0.0878,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7555,
        "legend": {
          "0": "追加作業について、顧客の要望自体がまだ示されていない。",
          "1": "追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。",
          "2": "具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。",
          "3": "作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。",
          "4": "作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。"
        },
        "probabilities": {
          "0": 0.1137,
          "1": 0.331,
          "2": 0.3202,
          "3": 0.1563,
          "4": 0.0788
        }
      }
    },
    "usage": {
      "input_tokens": 517,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.06399433402111754
}
試行2 · 0.067秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "additional_work_agreement": {
        "type": "score",
        "confidence": 0.0878,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7555,
        "legend": {
          "0": "追加作業について、顧客の要望自体がまだ示されていない。",
          "1": "追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。",
          "2": "具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。",
          "3": "作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。",
          "4": "作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。"
        },
        "probabilities": {
          "0": 0.1137,
          "1": 0.331,
          "2": 0.3202,
          "3": 0.1563,
          "4": 0.0788
        }
      }
    },
    "usage": {
      "input_tokens": 517,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.06678270798875019
}
試行3 · 0.066秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "additional_work_agreement": {
        "type": "score",
        "confidence": 0.0878,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.7555,
        "legend": {
          "0": "追加作業について、顧客の要望自体がまだ示されていない。",
          "1": "追加作業の要望はあるが、具体的な作業範囲が両社で確認されていない。",
          "2": "具体的な作業範囲は両社で確認されているが、費用負担または納期の案がまだ整っていない。",
          "3": "作業範囲・費用負担・納期の案が両社で確認されているが、有効な両社承認がそろっていない。",
          "4": "作業範囲・費用負担・納期の両社承認がそろい、付された条件があればその充足も両社で確認されている。"
        },
        "probabilities": {
          "0": 0.1137,
          "1": 0.331,
          "2": 0.3202,
          "3": 0.1563,
          "4": 0.0788
        }
      }
    },
    "usage": {
      "input_tokens": 517,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.06600229098694399
}
N01二重否定を含む仕様変更の依頼Noul · 敬語、婉曲表現、二重否定Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【顧客メール】 お世話になっております。色指定について一点お願いがございます。 旧仕様のままで差し支えない、とは申し上げられません。 お手数ですが、今回の発注分は新仕様の白色へ変更いただけますでしょうか。 価格と数量については変更ございません。何卒よろしくお願いいたします。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Noul · specification_change_requested

顧客は、今回の発注分について色仕様の変更を依頼しているか。

想定解:true

作問者の採点根拠:色仕様の変更依頼がある。価格・数量を変更しないという記載は、色仕様の変更を否定していない。

選択肢・判断基準
true
今回の発注分について、従来の色仕様から別の色仕様への変更を依頼している。
false
色仕様の変更を依頼していない、または変更依頼を撤回している。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9800 → true合格P(true)=0.9994 → true合格
2P(true)=0.9800 → true合格P(true)=0.9994 → true合格
3P(true)=0.9900 → true合格P(true)=0.9994 → true合格
生の応答と実行時間を見る

Jev

試行1 · 0.531秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "specification_change_requested": {
        "type": "noul",
        "noul": 0.98
      }
    },
    "usage": {
      "input_tokens": 518,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5314630419597961
}
試行2 · 0.537秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "specification_change_requested": {
        "type": "noul",
        "noul": 0.98
      }
    },
    "usage": {
      "input_tokens": 518,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.536598667036742
}
試行3 · 0.506秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "specification_change_requested": {
        "type": "noul",
        "noul": 0.99
      }
    },
    "usage": {
      "input_tokens": 518,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5055517919827253
}

Laya

試行1 · 0.022秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "specification_change_requested": {
        "type": "noul",
        "confidence": 0.9994,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9994
      }
    },
    "usage": {
      "input_tokens": 133,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.021524082985706627
}
試行2 · 0.020秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "specification_change_requested": {
        "type": "noul",
        "confidence": 0.9994,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9994
      }
    },
    "usage": {
      "input_tokens": 133,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.02049124997574836
}
試行3 · 0.023秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "specification_change_requested": {
        "type": "noul",
        "confidence": 0.9994,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9994
      }
    },
    "usage": {
      "input_tokens": 133,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.02335208299336955
}
N02紙の押印欄が空欄の電子申請Noul · 押印欄、電子承認、紙の書式とデジタル運用の併存Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【社内申請の受理規程】 受理には、必要事項の記入と必要添付書類がそろっていることが必要。 承認は、紙への承認者押印、または本人認証付き電子承認のどちらか一方でよい。 本人認証付き電子承認が完了している場合、紙への押印は不要。 このケースに適用する受理条件は以上であり、ほかに条件はない。 【申請の状態】 必要事項は記入済み。必要添付書類もすべてそろっている。 指定された承認者全員について、本人認証付き電子承認の完了ログがある。 システムから出力したPDFには旧書式の押印欄が残っており、空欄になっている。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Noul · acceptance_defect

提示された社内申請の受理規程に照らし、この申請には受理条件の不備があるか。

想定解:false

作問者の採点根拠:提示された受理条件をすべて満たしている。旧書式の押印欄が空欄でも、規程上の不備にはならない。

選択肢・判断基準
true
提示された受理条件のうち、満たしていない条件がある。
false
提示された受理条件をすべて満たしている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.1000 → false合格P(true)=0.9434 → true不合格
2P(true)=0.1000 → false合格P(true)=0.9434 → true不合格
3P(true)=0.0800 → false合格P(true)=0.9434 → true不合格
生の応答と実行時間を見る

Jev

試行1 · 0.519秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_defect": {
        "type": "noul",
        "noul": 0.1
      }
    },
    "usage": {
      "input_tokens": 619,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5187339579570107
}
試行2 · 0.525秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_defect": {
        "type": "noul",
        "noul": 0.1
      }
    },
    "usage": {
      "input_tokens": 619,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5248632919974625
}
試行3 · 0.525秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_defect": {
        "type": "noul",
        "noul": 0.08
      }
    },
    "usage": {
      "input_tokens": 619,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.525285542011261
}

Laya

試行1 · 0.031秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_defect": {
        "type": "noul",
        "confidence": 0.9434,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9434
      }
    },
    "usage": {
      "input_tokens": 211,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.030556625046301633
}
試行2 · 0.034秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_defect": {
        "type": "noul",
        "confidence": 0.9434,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9434
      }
    },
    "usage": {
      "input_tokens": 211,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.033901667047757655
}
試行3 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_defect": {
        "type": "noul",
        "confidence": 0.9434,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9434
      }
    },
    "usage": {
      "input_tokens": 211,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03018979204352945
}
N03メールとFAXで届いた注文Noul · FAXとメールの併用、全角・半角、和暦の表記ゆれJev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【同一注文の判定ルール】 同じ取引先からの注文で、注文番号・商品コード・数量が一致し、 後から届いた文書が先の注文の再送と明記されている場合、同一注文の重複到着として扱う。 英数字の全角・半角の違いは同じものとして比較する。 追加発注または内容変更の明記がある場合は、同一注文の単なる再送とは扱わない。 【09:10受信のメール注文】 取引先:北原商店 注文日:2026年8月31日 注文番号:KH-0831 商品コード:AB12 数量:12箱 【09:25受信のFAX注文書の文字起こし】 取引先:北原商店 注文日:令和8年8月31日 注文番号:KH-0831 商品コード:AB12 数量:12箱 備考:念のためFAXでもお送りします。先ほどのメール注文と同一分です。追加ではありません。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Noul · duplicate_order

提示された同一注文の判定ルールに照らし、後から届いたFAXはメール注文の重複到着か。

想定解:true

作問者の採点根拠:同一注文の再送という明示と識別情報が一致している。FAXとメールの経路の違いは別注文の証拠ではない。

選択肢・判断基準
true
注文の識別情報と内容が一致し、先の注文の再送であることが確認できる。
false
別注文、追加・変更注文、または同一注文の再送と確認する情報が不足している。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9600 → true合格P(true)=0.9941 → true合格
2P(true)=0.9600 → true合格P(true)=0.9941 → true合格
3P(true)=0.9600 → true合格P(true)=0.9941 → true合格
生の応答と実行時間を見る

Jev

試行1 · 0.519秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "duplicate_order": {
        "type": "noul",
        "noul": 0.96
      }
    },
    "usage": {
      "input_tokens": 734,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5186056669917889
}
試行2 · 0.515秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "duplicate_order": {
        "type": "noul",
        "noul": 0.96
      }
    },
    "usage": {
      "input_tokens": 734,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.515471416991204
}
試行3 · 0.518秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "duplicate_order": {
        "type": "noul",
        "noul": 0.96
      }
    },
    "usage": {
      "input_tokens": 734,
      "output_tokens": 21
    }
  },
  "error": null,
  "elapsed_seconds": 0.5182696250267327
}

Laya

試行1 · 0.139秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "duplicate_order": {
        "type": "noul",
        "confidence": 0.9941,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9941
      }
    },
    "usage": {
      "input_tokens": 320,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.1389713329845108
}
試行2 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "duplicate_order": {
        "type": "noul",
        "confidence": 0.9941,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9941
      }
    },
    "usage": {
      "input_tokens": 320,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.036450874991714954
}
試行3 · 0.038秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "duplicate_order": {
        "type": "noul",
        "confidence": 0.9941,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9941
      }
    },
    "usage": {
      "input_tokens": 320,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03809283301234245
}
N04仕向け違いの車種も横展開対象かNoul · 車種横展開、国内向けと輸出向け、共通部品の管理Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【今回の横展開調査ルール】 対策対象の共通ソフト部品D7の版2.0を搭載する車種は、国内・輸出の区分にかかわらず、 今回の影響調査対象に含める。既に影響なしと承認された車種だけを対象から外せる。 ここで対象に含めることは、不具合が必ず発生すると断定することではない。 【構成表】 輸出向けB車はD7の版2.0を搭載している。 同車について影響なしの承認はない。現時点で市場からの不具合報告は0件。 海外営業担当は「国内で見つかった話なので輸出分は対象外ですよね」と発言した。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Noul · impact_review_required

今回の横展開調査ルールに照らし、輸出向けB車は影響調査の対象に含まれるか。

想定解:true

作問者の採点根拠:調査対象は共通部品と版で決まり、仕向けや市場報告件数では除外できない。これは不具合発生の断定とは別の命題である。

選択肢・判断基準
true
対象の共通部品・版を搭載し、影響なしの承認による除外もないため、調査対象に含まれる。
false
対象の共通部品・版を搭載していない、または影響なしの承認により除外されている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9700 → true合格P(true)=0.9926 → true合格
2P(true)=0.9700 → true合格P(true)=0.9926 → true合格
3P(true)=0.9700 → true合格P(true)=0.9926 → true合格
生の応答と実行時間を見る

Jev

試行1 · 0.483秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "impact_review_required": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 638,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.4833903340040706
}
試行2 · 0.509秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "impact_review_required": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 638,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5089337910176255
}
試行3 · 0.515秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "impact_review_required": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 638,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5154314999817871
}

Laya

試行1 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "impact_review_required": {
        "type": "noul",
        "confidence": 0.9926,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9926
      }
    },
    "usage": {
      "input_tokens": 229,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.029575916996691376
}
試行2 · 0.034秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "impact_review_required": {
        "type": "noul",
        "confidence": 0.9926,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9926
      }
    },
    "usage": {
      "input_tokens": 229,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03445816703606397
}
試行3 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "impact_review_required": {
        "type": "noul",
        "confidence": 0.9926,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9926
      }
    },
    "usage": {
      "input_tokens": 229,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.029723707993980497
}
N05台上評価の合格と実車評価の完了Noul · 台上評価と実車評価、客先立会い、量産日程への圧力Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【本案件の実車評価完了条件】 指定された実車で試験を実施し、結果記録を客先立会い担当が確認して初めて実車評価完了とする。 台上の模擬環境の試験は別項目であり、実車評価の代替にはしない。 【実績】 台上の模擬環境では全試験合格。試験成績書に社内試験責任者の確認印がある。 指定実車の準備が遅れており、実車での試験はまだ1件も行っていない。 客先立会いも未実施。営業担当は「同じソフトなので実質完了としてほしい」と述べている。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Noul · vehicle_test_complete

本案件の完了条件に照らし、実車評価は完了しているか。

想定解:false

作問者の採点根拠:実車評価の完了条件を満たさない。社内確認印付きの成績書は台上試験に対するもの。

選択肢・判断基準
true
指定実車での試験が実施され、結果記録を客先立会い担当が確認している。
false
指定実車での試験または客先立会い担当の結果確認が完了していない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0300 → false合格P(true)=0.9484 → true不合格
2P(true)=0.0300 → false合格P(true)=0.9484 → true不合格
3P(true)=0.0300 → false合格P(true)=0.9484 → true不合格
生の応答と実行時間を見る

Jev

試行1 · 0.536秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "vehicle_test_complete": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 589,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5357004170073196
}
試行2 · 0.519秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "vehicle_test_complete": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 589,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5191925839753821
}
試行3 · 0.515秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "vehicle_test_complete": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 589,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5148127910215408
}

Laya

試行1 · 0.144秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "vehicle_test_complete": {
        "type": "noul",
        "confidence": 0.9484,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9484
      }
    },
    "usage": {
      "input_tokens": 203,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.14354845799971372
}
試行2 · 0.029秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "vehicle_test_complete": {
        "type": "noul",
        "confidence": 0.9484,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9484
      }
    },
    "usage": {
      "input_tokens": 203,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0291383329895325
}
試行3 · 0.032秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "vehicle_test_complete": {
        "type": "noul",
        "confidence": 0.9484,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9484
      }
    },
    "usage": {
      "input_tokens": 203,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03245575004257262
}
N06同じ版名で再ビルドされた量産ROMNoul · 量産ROMの出図、書込みデータの版管理、リリース票との照合Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【書込みデータの照合ルール】 量産書込みデータは、出図済みリリース票のイメージ識別値と照合する。 この案件では、版名が同じでも識別値が異なれば承認済みイメージと同一とは扱わない。 ソース変更の有無だけで同一性を判定しない。 【リリース票と作業記録】 出図済みの版名はR2.3、イメージ識別値はIMG-A17。 現在書込み機に設定されている版名もR2.3だが、識別値はIMG-B08。 担当者は、ソースを変えずにコンパイラ設定を変えて再ビルドしたと説明している。 IMG-B08についての変更承認や新しいリリース票はない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Noul · approved_image_match

現在書込み機に設定されたデータは、提示された照合ルール上、承認済みイメージと同一か。

想定解:false

作問者の採点根拠:識別値が異なるため、提示ルール上の同一性は成立しない。ソース変更なしという説明では置き換えられない。

選択肢・判断基準
true
現在の書込みデータのイメージ識別値が、出図済みリリース票の値と一致する。
false
イメージ識別値が一致しない、または一致を確認できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0300 → false合格P(true)=0.9894 → true不合格
2P(true)=0.0300 → false合格P(true)=0.9894 → true不合格
3P(true)=0.0300 → false合格P(true)=0.9894 → true不合格
生の応答と実行時間を見る

Jev

試行1 · 0.521秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "approved_image_match": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 639,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5211468749912456
}
試行2 · 0.518秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "approved_image_match": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 639,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5176616669632494
}
試行3 · 0.485秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "approved_image_match": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 639,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.48500666703330353
}

Laya

試行1 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "approved_image_match": {
        "type": "noul",
        "confidence": 0.9894,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9894
      }
    },
    "usage": {
      "input_tokens": 237,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.029912459023762494
}
試行2 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "approved_image_match": {
        "type": "noul",
        "confidence": 0.9894,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9894
      }
    },
    "usage": {
      "input_tokens": 237,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.029849791957531124
}
試行3 · 0.033秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "approved_image_match": {
        "type": "noul",
        "confidence": 0.9894,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9894
      }
    },
    "usage": {
      "input_tokens": 237,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03296024998417124
}
N07ファームウェアを変えない基板の置換Noul · 部品代替、長期供給、基板改版の変更連絡Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【本製品の変更評価ルール】 制御基板の電源部品を代替品に変更した場合は、ファームウェア変更の有無にかかわらず、 起動・電源変動の追加評価を行う。評価免除には設計責任者の記録付き承認が必要。 【部品変更連絡票】 長期供給のため、制御基板の電源部品をP1から代替品P2へ変更した。 ファームウェアの版と設定は変更していない。 購買担当は「同等品なのでソフトへの影響はないはず」とコメントしている。 設計責任者の評価免除承認はない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Noul · additional_power_test_required

提示された変更評価ルールに照らし、今回の基板変更は起動・電源変動の追加評価の対象か。

想定解:true

作問者の採点根拠:電源部品の代替変更が追加評価の条件に該当する。購買担当の同等品という説明は評価免除の承認ではない。

選択肢・判断基準
true
電源部品の代替変更があり、追加評価の免除承認もないため、評価対象である。
false
電源部品の代替変更がない、または所定の評価免除承認がある。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9800 → true合格P(true)=0.9734 → true合格
2P(true)=0.9800 → true合格P(true)=0.9734 → true合格
3P(true)=0.9700 → true合格P(true)=0.9734 → true合格
生の応答と実行時間を見る

Jev

試行1 · 0.505秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "additional_power_test_required": {
        "type": "noul",
        "noul": 0.98
      }
    },
    "usage": {
      "input_tokens": 603,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.504623958026059
}
試行2 · 0.518秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "additional_power_test_required": {
        "type": "noul",
        "noul": 0.98
      }
    },
    "usage": {
      "input_tokens": 603,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5180506249889731
}
試行3 · 0.517秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "additional_power_test_required": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 603,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5171299580251798
}

Laya

試行1 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "additional_power_test_required": {
        "type": "noul",
        "confidence": 0.9734,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9734
      }
    },
    "usage": {
      "input_tokens": 209,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.030474541999865323
}
試行2 · 0.029秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "additional_power_test_required": {
        "type": "noul",
        "confidence": 0.9734,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9734
      }
    },
    "usage": {
      "input_tokens": 209,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.028787124960217625
}
試行3 · 0.030秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "additional_power_test_required": {
        "type": "noul",
        "confidence": 0.9734,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9734
      }
    },
    "usage": {
      "input_tokens": 209,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03005462500732392
}
N08サービス復旧後に一旦クローズされた障害票Noul · 元請への障害報告、一旦クローズ、暫定対処と恒久対策Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【障害管理ルール】 サービス復旧と恒久対策の完了は別に管理する。 恒久対策の完了には、原因に対応した修正の適用と再発防止の検証結果が必要。 再起動で症状が消えたことだけでは、恒久対策完了にしない。 【障害票】 夜間処理が停止したが、再起動後は処理が再開し、翌朝の業務に間に合った。 原因は調査中。修正は未作成で、再発防止の検証も未実施。 元請向け報告の連絡状態は「サービス復旧につき、一旦クローズ」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Noul · permanent_fix_verified

提示された障害管理ルールに照らし、この障害の恒久対策は完了しているか。

想定解:false

作問者の採点根拠:サービス復旧と連絡状態のクローズは、恒久対策の完了条件を満たすものではない。

選択肢・判断基準
true
原因に対応する修正が適用され、再発防止の検証結果がある。
false
原因に対応する修正の適用または再発防止の検証結果がない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0400 → false合格P(true)=0.9748 → true不合格
2P(true)=0.0400 → false合格P(true)=0.9748 → true不合格
3P(true)=0.0400 → false合格P(true)=0.9748 → true不合格
生の応答と実行時間を見る

Jev

試行1 · 0.542秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "permanent_fix_verified": {
        "type": "noul",
        "noul": 0.04
      }
    },
    "usage": {
      "input_tokens": 574,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5421332080150023
}
試行2 · 0.526秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "permanent_fix_verified": {
        "type": "noul",
        "noul": 0.04
      }
    },
    "usage": {
      "input_tokens": 574,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5264798339921981
}
試行3 · 0.485秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "permanent_fix_verified": {
        "type": "noul",
        "noul": 0.04
      }
    },
    "usage": {
      "input_tokens": 574,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.4845632500364445
}

Laya

試行1 · 0.028秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "permanent_fix_verified": {
        "type": "noul",
        "confidence": 0.9748,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9748
      }
    },
    "usage": {
      "input_tokens": 196,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.027960832987446338
}
試行2 · 0.032秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "permanent_fix_verified": {
        "type": "noul",
        "confidence": 0.9748,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9748
      }
    },
    "usage": {
      "input_tokens": 196,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03241583297494799
}
試行3 · 0.031秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "permanent_fix_verified": {
        "type": "noul",
        "confidence": 0.9748,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9748
      }
    },
    "usage": {
      "input_tokens": 196,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.031087041017599404
}
N09保守で直す注記を残した正式受入Noul · 条件の読み分け、検収会議、保守対応との切分けJev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【本プロジェクトの受入ルール】 所定の受入責任者が受入可と明記した場合に受入合意が成立する。 受入を妨げないと明記された軽微な表示修正は、担当と期限が保守台帳に登録されていれば、 受入合意と切り離して後日対応できる。 【正式議事録】 所定の受入責任者による確認済みの記載: 「本日の結果に基づき、今回の納入は受入可とします。 画面注記の句読点は保守で修正願いますが、本件は受入を妨げる条件ではありません」。 当該表示修正は、担当者と対応期限を付けて保守台帳に登録済み。 他に受入を妨げる条件はない。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Noul · acceptance_agreed

本プロジェクトの受入ルールと正式議事録に照らし、今回の納入の受入合意は成立しているか。

想定解:true

作問者の採点根拠:所定の受入条件が成立し、残件も後日対応の条件を満たしている。修正依頼の存在だけで受入を否定しない。

選択肢・判断基準
true
所定の責任者の受入可の記載があり、残る表示修正も規定の後日対応条件を満たしている。
false
所定の責任者の受入可の記載がない、または受入を妨げる条件が残っている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9700 → true合格P(true)=0.9888 → true合格
2P(true)=0.9700 → true合格P(true)=0.9888 → true合格
3P(true)=0.9700 → true合格P(true)=0.9888 → true合格
生の応答と実行時間を見る

Jev

試行1 · 0.530秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_agreed": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 656,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5296959170373157
}
試行2 · 0.515秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_agreed": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 656,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5151734580285847
}
試行3 · 0.492秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_agreed": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 656,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.4921860829927027
}

Laya

試行1 · 0.034秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_agreed": {
        "type": "noul",
        "confidence": 0.9888,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9888
      }
    },
    "usage": {
      "input_tokens": 260,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03443016699748114
}
試行2 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_agreed": {
        "type": "noul",
        "confidence": 0.9888,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9888
      }
    },
    "usage": {
      "input_tokens": 260,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.035593709035310894
}
試行3 · 0.035秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_agreed": {
        "type": "noul",
        "confidence": 0.9888,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9888
      }
    },
    "usage": {
      "input_tokens": 260,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.03472029202384874
}
N10熟練者の手組み試作品と量産工程評価Noul · 試作と量産の橋渡し、手合わせ、生産技術への移管Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【量産工程評価の完了条件】 今回承認された標準作業と量産予定設備を用いて製造し、所定の工程評価結果を記録して、 生産技術責任者が確認した場合に、量産工程の評価完了と扱う。 熟練者による手調整を含む開発試作は、製品性能の確認に使えても、この工程評価には代用しない。 【試作報告】 熟練者が開発室で手組みと手調整を行った試作品が、性能試験に全件合格した。 量産予定設備は未稼働で、標準作業による製造実績はない。 所定の工程評価結果と生産技術責任者の確認もない。 開発担当は「現物が動いたので量産準備は完了です」と報告した。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Noul · production_process_evaluated

提示された完了条件に照らし、量産工程の評価は完了しているか。

想定解:false

作問者の採点根拠:試作品の性能確認は、指定された量産工程の評価を代替しない。

選択肢・判断基準
true
標準作業と量産予定設備での工程評価記録があり、生産技術責任者の確認もある。
false
その工程評価記録または責任者の確認がない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0300 → false合格P(true)=0.9589 → true不合格
2P(true)=0.0200 → false合格P(true)=0.9589 → true不合格
3P(true)=0.0300 → false合格P(true)=0.9589 → true不合格
生の応答と実行時間を見る

Jev

試行1 · 0.503秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "production_process_evaluated": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 633,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.502713915950153
}
試行2 · 0.546秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "production_process_evaluated": {
        "type": "noul",
        "noul": 0.02
      }
    },
    "usage": {
      "input_tokens": 633,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5456420840346254
}
試行3 · 0.514秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "production_process_evaluated": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 633,
      "output_tokens": 24
    }
  },
  "error": null,
  "elapsed_seconds": 0.5138724999851547
}

Laya

試行1 · 0.035秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "production_process_evaluated": {
        "type": "noul",
        "confidence": 0.9589,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9589
      }
    },
    "usage": {
      "input_tokens": 233,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.034778625005856156
}
試行2 · 0.029秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "production_process_evaluated": {
        "type": "noul",
        "confidence": 0.9589,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9589
      }
    },
    "usage": {
      "input_tokens": 233,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.028721624985337257
}
試行3 · 0.031秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "production_process_evaluated": {
        "type": "noul",
        "confidence": 0.9589,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9589
      }
    },
    "usage": {
      "input_tokens": 233,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.030676042020786554
}
N11一枚の保守受付票にまとめられた二つの修正Noul · 保守一式、顧客窓口での依頼集約、既存修正と追加要望Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【保守一式の合意範囲】 既存帳票を承認済み仕様どおりに直す作業は定額保守に含む。 新しい表示項目や集計単位の追加は、工数にかかわらず変更要求として別途合意する。 受付票を一枚にまとめることや、顧客側で「修正」と呼ぶことによって範囲は変わらない。 【受付票H-28と添付資料】 件名は「請求書の部署表示の修正」。依頼は次の二点。 ①現在空欄になっている部署名を表示する。 ②部署が複数ある取引先では、部署ごとの小計行も表示する。 承認済み仕様の項目一覧には部署名があり、帳票見本には取引先単位の合計行が一つある。 部署単位の集計は仕様にない。①は既存処理の不具合と調査で確認済み。 ②について過去の変更合意はない。 顧客窓口:「現場の依頼を一枚にまとめました。従来の請求書の修正ですので、保守の中でお願いします」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 0.00点。

Noul · maintenance_in_scope

受付票H-28の依頼全体を、追加の変更合意なしで定額保守の範囲内として受け付けられるか。

想定解:false

作問者の採点根拠:一部が保守内でも全体を保守内とはできないためfalse。①の保守対応を拒む意味ではなく、②を別途の変更要求に分ける。

選択肢・判断基準
true
依頼のすべてが提示された定額保守の合意範囲に含まれる。
false
依頼の中に、別途の変更合意が必要な範囲が含まれる。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0600 → false合格P(true)=0.9895 → true不合格
2P(true)=0.0600 → false合格P(true)=0.9895 → true不合格
3P(true)=0.0600 → false合格P(true)=0.9895 → true不合格
生の応答と実行時間を見る

Jev

試行1 · 0.493秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "maintenance_in_scope": {
        "type": "noul",
        "noul": 0.06
      }
    },
    "usage": {
      "input_tokens": 745,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.49304466700414196
}
試行2 · 0.517秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "maintenance_in_scope": {
        "type": "noul",
        "noul": 0.06
      }
    },
    "usage": {
      "input_tokens": 745,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.5167622499866411
}
試行3 · 0.492秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "maintenance_in_scope": {
        "type": "noul",
        "noul": 0.06
      }
    },
    "usage": {
      "input_tokens": 745,
      "output_tokens": 22
    }
  },
  "error": null,
  "elapsed_seconds": 0.49207420798484236
}

Laya

試行1 · 0.037秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "maintenance_in_scope": {
        "type": "noul",
        "confidence": 0.9895,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9895
      }
    },
    "usage": {
      "input_tokens": 309,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0369249579962343
}
試行2 · 0.036秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "maintenance_in_scope": {
        "type": "noul",
        "confidence": 0.9895,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9895
      }
    },
    "usage": {
      "input_tokens": 309,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.0360177910188213
}
試行3 · 0.041秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "maintenance_in_scope": {
        "type": "noul",
        "confidence": 0.9895,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9895
      }
    },
    "usage": {
      "input_tokens": 309,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.041086665994953364
}
N12試行は続くが年度をまたぐ本導入の回答Noul · 年度予算、稟議、婉曲な回答、試行と本導入の商談分離Jev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【営業管理の判定対象】 今期は2026年4月1日〜2027年3月31日。 判定対象の商談は「8拠点への本導入」で、既に発注済みの1拠点の試行支援は別案件とする。 顧客が本導入の開始を来期以降に限定した場合は、今期の本導入を見送る表明として扱う。 単に回答を保留しただけでは、見送りとは扱わない。 【2027年3月10日の顧客メール】 「試行ではお世話になっております。8拠点の本導入について、今期の追加稟議は起こさず、 来期予算で進める方針となりました。開始日は4月1日以降の案で改めてご相談させてください。 一方、試行中の拠点への3月中の支援は、発注済みの内容で引き続きお願いいたします」。 【翌日の返信】 営業担当:「では、今月中の打合せは予定どおりお願いできますでしょうか」。 顧客:「ぜひお願いします。4月開始案のすり合わせと、試行の振り返りをできれば幸いです」。

この設問の配点:2.38点。獲得点は Jev 2.38点、Laya 2.38点。

Noul · current_period_declined

このやり取りで、判定対象である今期の本導入を顧客は見送ると表明しているか。

想定解:true

作問者の採点根拠:本導入の対象と開始時期について今期に行わない方針が示されているためtrue。取引関係の継続や試行支援の受注とは両立する。

選択肢・判断基準
true
今期の本導入を行わない、または本導入の開始を来期以降に限定する旨を表明している。
false
今期の本導入を検討継続・保留している、または今期に行わないという表明がない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9600 → true合格P(true)=0.9245 → true合格
2P(true)=0.9600 → true合格P(true)=0.9245 → true合格
3P(true)=0.9600 → true合格P(true)=0.9245 → true合格
生の応答と実行時間を見る

Jev

試行1 · 0.581秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "current_period_declined": {
        "type": "noul",
        "noul": 0.96
      }
    },
    "usage": {
      "input_tokens": 794,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5810477909981273
}
試行2 · 0.554秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "current_period_declined": {
        "type": "noul",
        "noul": 0.96
      }
    },
    "usage": {
      "input_tokens": 794,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.5544494159985334
}
試行3 · 0.486秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "current_period_declined": {
        "type": "noul",
        "noul": 0.96
      }
    },
    "usage": {
      "input_tokens": 794,
      "output_tokens": 23
    }
  },
  "error": null,
  "elapsed_seconds": 0.48617337498581037
}

Laya

試行1 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "current_period_declined": {
        "type": "noul",
        "confidence": 0.9245,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9245
      }
    },
    "usage": {
      "input_tokens": 326,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.041579000011552125
}
試行2 · 0.045秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "current_period_declined": {
        "type": "noul",
        "confidence": 0.9245,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9245
      }
    },
    "usage": {
      "input_tokens": 326,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04539658298017457
}
試行3 · 0.042秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "current_period_declined": {
        "type": "noul",
        "confidence": 0.9245,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9245
      }
    },
    "usage": {
      "input_tokens": 326,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.04198958299821243
}
X01年度末の検収依頼と返信期限複合 · 年度末締め、検収、取引先への配慮と社内ルールJev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【時点】 現在は2026年3月31日14:30、日本標準時。以下の時刻もすべて日本標準時。 【社内検収ルール】 倉庫への到着と検収完了は別であり、受入検査が完了して初めて検収済みと扱う。 検収日には受入検査の実際の完了日を記録する。希望する日付への前倒しは認めない。 【記録】 品物は本日13:00に倉庫へ到着済み。 受入検査は未着手。検査担当の予定表には2026年4月2日10:00実施予定とある。 受入検査の完了記録はない。 【仕入先のメール】 いつも大変お世話になっております。 年度末の締めの都合がございまして、恐縮ですが本日3月31日付で検収済みとして ご返信いただけないでしょうか。社内処理の締切のため、本日16:00までにご回答をお願いいたします。 難しい場合も、その旨を同時刻までにお知らせいただけますと幸いです。

この設問の配点:3.57点。獲得点は Jev 3.57点、Laya 0.00点。

Choice · request_kind

仕入先メールの主たる依頼を1つ選ぶ。 受入検査の予定と照らして、求められている手続を分類する。

想定解:acceptance_date_advance — 受入検査の完了前の日付で、検収済みとして扱うことを求めている。

作問者の採点根拠:到着予定の変更ではなく、受入検査前の日付で検収済みと扱う依頼である。

選択肢・判断基準
delivery_change
品物が倉庫に到着する予定日の変更を求めている。
invoice_copy
請求書の写しの再送を求めている。
acceptance_date_advance
受入検査の完了前の日付で、検収済みとして扱うことを求めている。
other_or_unclear
いずれにも該当しない、または主たる依頼を特定できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1acceptance_date_advance合格delivery_change不合格
2acceptance_date_advance合格delivery_change不合格
3acceptance_date_advance合格delivery_change不合格

Score · response_urgency

現在時刻から、メールで明記された回答期限までの残り時間に基づく返信の緊急度を評価する。 依頼を受け入れるかどうかや、検査の実施予定日はこの評価に含めない。 時間は営業時間ではなく、連続した経過時間で比較する。

想定解:段階 3 — 明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。

作問者の採点根拠:残りは1時間30分。期限前かつ4時間以下の段階に該当する。

選択肢・判断基準
0
明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。
1
明示された回答期限まで24時間を超え、72時間以下の余裕がある。
2
明示された回答期限まで4時間を超え、24時間以下の余裕がある。
3
明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。
4
明示された回答期限に到達している、または回答期限を過ぎている。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
12.9900(誤差 0.0100)合格1.6964(誤差 1.3036)不合格
22.9700(誤差 0.0300)合格1.6964(誤差 1.3036)不合格
32.9700(誤差 0.0300)合格1.6964(誤差 1.3036)不合格

Laya 試行1:返却Score=1.6964、表示確率の加重平均=1.6963。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:返却Score=1.6964、表示確率の加重平均=1.6963。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:返却Score=1.6964、表示確率の加重平均=1.6963。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Noul · inspection_completed

提示された記録から、現時点で受入検査が完了していると確認できるか。

想定解:false

作問者の採点根拠:入荷をもって受入検査が完了したとみなしてはいけない。

選択肢・判断基準
true
受入検査を実施し、完了したことを示す記録がある。
false
受入検査が未完了である、または完了を示す記録がない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0300 → false合格P(true)=0.9958 → true不合格
2P(true)=0.0300 → false合格P(true)=0.9958 → true不合格
3P(true)=0.0300 → false合格P(true)=0.9958 → true不合格

合成した最終対応

想定:hold_acceptance_and_reply_by_deadline

3月31日付の検収済み返信と記録変更を保留する。 実際の受入検査の完了後に検収する旨を、本日16:00までに回答する。

  • Jev 試行1:hold_acceptance_and_reply_by_deadline
  • Jev 試行2:hold_acceptance_and_reply_by_deadline
  • Jev 試行3:hold_acceptance_and_reply_by_deadline
  • Laya 試行1:manual_review
  • Laya 試行2:manual_review
  • Laya 試行3:manual_review
生の応答と実行時間を見る

Jev

試行1 · 0.500秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "request_kind": {
        "type": "choice",
        "choice": "acceptance_date_advance",
        "confidence": 1.0,
        "probabilities": {
          "other_or_unclear": 0.0,
          "acceptance_date_advance": 1.0,
          "delivery_change": 0.0,
          "invoice_copy": 0.0
        }
      },
      "response_urgency": {
        "type": "score",
        "score": 2.99,
        "confidence": 0.99,
        "legend": {
          "0": "明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。",
          "1": "明示された回答期限まで24時間を超え、72時間以下の余裕がある。",
          "2": "明示された回答期限まで4時間を超え、24時間以下の余裕がある。",
          "3": "明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。",
          "4": "明示された回答期限に到達している、または回答期限を過ぎている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.01,
          "3": 0.99,
          "4": 0.0
        }
      },
      "inspection_completed": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 1265,
      "output_tokens": 95
    }
  },
  "error": null,
  "elapsed_seconds": 0.49997687502764165
}
試行2 · 0.491秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "request_kind": {
        "type": "choice",
        "choice": "acceptance_date_advance",
        "confidence": 1.0,
        "probabilities": {
          "other_or_unclear": 0.0,
          "invoice_copy": 0.0,
          "acceptance_date_advance": 1.0,
          "delivery_change": 0.0
        }
      },
      "response_urgency": {
        "type": "score",
        "score": 2.97,
        "confidence": 0.97,
        "legend": {
          "0": "明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。",
          "1": "明示された回答期限まで24時間を超え、72時間以下の余裕がある。",
          "2": "明示された回答期限まで4時間を超え、24時間以下の余裕がある。",
          "3": "明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。",
          "4": "明示された回答期限に到達している、または回答期限を過ぎている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.03,
          "3": 0.97,
          "4": 0.0
        }
      },
      "inspection_completed": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 1265,
      "output_tokens": 95
    }
  },
  "error": null,
  "elapsed_seconds": 0.4913991669891402
}
試行3 · 0.547秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "request_kind": {
        "type": "choice",
        "choice": "acceptance_date_advance",
        "confidence": 1.0,
        "probabilities": {
          "other_or_unclear": 0.0,
          "delivery_change": 0.0,
          "acceptance_date_advance": 1.0,
          "invoice_copy": 0.0
        }
      },
      "response_urgency": {
        "type": "score",
        "score": 2.97,
        "confidence": 0.97,
        "legend": {
          "0": "明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。",
          "1": "明示された回答期限まで24時間を超え、72時間以下の余裕がある。",
          "2": "明示された回答期限まで4時間を超え、24時間以下の余裕がある。",
          "3": "明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。",
          "4": "明示された回答期限に到達している、または回答期限を過ぎている。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.03,
          "3": 0.97,
          "4": 0.0
        }
      },
      "inspection_completed": {
        "type": "noul",
        "noul": 0.03
      }
    },
    "usage": {
      "input_tokens": 1265,
      "output_tokens": 95
    }
  },
  "error": null,
  "elapsed_seconds": 0.5468725829850882
}

Laya

試行1 · 0.151秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "request_kind": {
        "type": "choice",
        "confidence": 0.1519,
        "action": {
          "act_probability": 1.0
        },
        "choice": "delivery_change",
        "probabilities": {
          "delivery_change": 0.4898,
          "invoice_copy": 0.0592,
          "acceptance_date_advance": 0.2794,
          "other_or_unclear": 0.1716
        }
      },
      "response_urgency": {
        "type": "score",
        "confidence": 0.0697,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.6964,
        "legend": {
          "0": "明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。",
          "1": "明示された回答期限まで24時間を超え、72時間以下の余裕がある。",
          "2": "明示された回答期限まで4時間を超え、24時間以下の余裕がある。",
          "3": "明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。",
          "4": "明示された回答期限に到達している、または回答期限を過ぎている。"
        },
        "probabilities": {
          "0": 0.2091,
          "1": 0.3809,
          "2": 0.0984,
          "3": 0.1278,
          "4": 0.1838
        }
      },
      "inspection_completed": {
        "type": "noul",
        "confidence": 0.9958,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9958
      }
    },
    "usage": {
      "input_tokens": 1077,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.15077362500596792
}
試行2 · 0.168秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "request_kind": {
        "type": "choice",
        "confidence": 0.1519,
        "action": {
          "act_probability": 1.0
        },
        "choice": "delivery_change",
        "probabilities": {
          "delivery_change": 0.4898,
          "invoice_copy": 0.0592,
          "acceptance_date_advance": 0.2794,
          "other_or_unclear": 0.1716
        }
      },
      "response_urgency": {
        "type": "score",
        "confidence": 0.0697,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.6964,
        "legend": {
          "0": "明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。",
          "1": "明示された回答期限まで24時間を超え、72時間以下の余裕がある。",
          "2": "明示された回答期限まで4時間を超え、24時間以下の余裕がある。",
          "3": "明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。",
          "4": "明示された回答期限に到達している、または回答期限を過ぎている。"
        },
        "probabilities": {
          "0": 0.2091,
          "1": 0.3809,
          "2": 0.0984,
          "3": 0.1278,
          "4": 0.1838
        }
      },
      "inspection_completed": {
        "type": "noul",
        "confidence": 0.9958,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9958
      }
    },
    "usage": {
      "input_tokens": 1077,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.16772079101065174
}
試行3 · 0.140秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "request_kind": {
        "type": "choice",
        "confidence": 0.1519,
        "action": {
          "act_probability": 1.0
        },
        "choice": "delivery_change",
        "probabilities": {
          "delivery_change": 0.4898,
          "invoice_copy": 0.0592,
          "acceptance_date_advance": 0.2794,
          "other_or_unclear": 0.1716
        }
      },
      "response_urgency": {
        "type": "score",
        "confidence": 0.0697,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.6964,
        "legend": {
          "0": "明示された回答期限まで72時間を超える余裕がある、または回答期限が明示されていない。",
          "1": "明示された回答期限まで24時間を超え、72時間以下の余裕がある。",
          "2": "明示された回答期限まで4時間を超え、24時間以下の余裕がある。",
          "3": "明示された回答期限がまだ到来しておらず、残り時間は4時間以下である。",
          "4": "明示された回答期限に到達している、または回答期限を過ぎている。"
        },
        "probabilities": {
          "0": 0.2091,
          "1": 0.3809,
          "2": 0.0984,
          "3": 0.1278,
          "4": 0.1838
        }
      },
      "inspection_completed": {
        "type": "noul",
        "confidence": 0.9958,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9958
      }
    },
    "usage": {
      "input_tokens": 1077,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.13973499997518957
}
X02車載製品の検査治具設定を量産工程に反映する複合 · 工程変更、検査治具、顧客と工場品質部門の量産承認Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【本案件の変更分類と反映ルール】 製品に書き込むデータの変更は製品ソフト変更、検査治具側だけの設定変更は検査工程変更とする。 検査工程変更の量産反映には、対象条件の検証完了と、顧客・工場品質部門の正式承認が必要。 正式承認は承認台帳の記録で確認する。 【変更票E-24と検証記録】 変更するのは検査治具の読取り待ち時間の設定だけ。 製品のハード、製品に書き込むソフトとデータ、製品仕様の合否基準は変更しない。 対象となる全品番・全ラインの試験項目と条件を確定済み。 全対象条件で試験を実施して合格し、結果と設定版F12の対応も記録済み。 独立した確認担当が証跡をレビューし、検証記録の確認を完了した。 【承認台帳】 顧客と工場品質部門の両方が、E-24の設定版F12の量産反映を正式承認済み。 適用範囲と設定版に食い違いはなく、未完了の承認条件もない。 製造担当は「以前は口頭だけで変えていましたが、今回は記録もそろっています」と報告した。

この設問の配点:3.57点。獲得点は Jev 3.57点、Laya 0.00点。

Choice · change_class

本案件の分類ルールに照らし、E-24で実際に変更する対象を分類する。

想定解:inspection_process — 製品のソフトやデータは変えない、検査治具側の設定変更。

作問者の採点根拠:提示された分類では検査工程変更に該当する。設定という語だけで製品ソフト変更とはしない。

選択肢・判断基準
product_software
製品に書き込むソフトまたはデータの変更。
inspection_process
製品のソフトやデータは変えない、検査治具側の設定変更。
product_hardware
製品ハード部品または基板の変更。
unknown
提示された情報から変更対象を特定できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1inspection_process合格inspection_process合格
2inspection_process合格inspection_process合格
3inspection_process合格inspection_process合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Score · verification_stage

E-24の対象条件に対する検証証跡の到達段階を評価する。量産反映の承認の有無とは別に、検証の実績を判定する。

想定解:段階 4 — 全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。

作問者の採点根拠:この検証尺度の最上位条件まで記録がそろっているため段階4。

選択肢・判断基準
0
対象条件と試験項目が確定していない。
1
対象条件と試験項目は確定しているが、試験は実行されていない。
2
試験を実行した記録はあるが、未実行条件または未解決の不合格がある。
3
全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。
4
全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
14.0000(誤差 0.0000)合格2.1955(誤差 1.8045)不合格
24.0000(誤差 0.0000)合格2.1955(誤差 1.8045)不合格
34.0000(誤差 0.0000)合格2.1955(誤差 1.8045)不合格

Laya 試行1:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行1:返却Score=2.1955、表示確率の加重平均=2.1957。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行2:返却Score=2.1955、表示確率の加重平均=2.1957。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:表示確率の合計は1.000100です。丸めを仮定すると合計1と整合します。

Laya 試行3:返却Score=2.1955、表示確率の加重平均=2.1957。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Noul · production_approval_recorded

E-24の設定版F12について、顧客と工場品質部門による所定の量産反映承認は台帳で確認できるか。

想定解:true

作問者の採点根拠:必要な正式承認が対象変更と設定版に一致しているためtrue。

選択肢・判断基準
true
対象の変更票と設定版に対応する両者の正式承認があり、未完了の承認条件もない。
false
両者の正式承認がそろっていない、設定版が一致しない、または未完了の承認条件がある。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9700 → true合格P(true)=0.9804 → true合格
2P(true)=0.9800 → true合格P(true)=0.9804 → true合格
3P(true)=0.9700 → true合格P(true)=0.9804 → true合格

合成した最終対応

想定:apply_approved_fixture_setting

E-24で承認された適用範囲に限って設定版F12を量産工程へ反映し、変更記録を残す。 製品ソフトや承認されていない別の設定版まで変更対象に広げない。

  • Jev 試行1:apply_approved_fixture_setting
  • Jev 試行2:apply_approved_fixture_setting
  • Jev 試行3:apply_approved_fixture_setting
  • Laya 試行1:hold_for_verification_completion
  • Laya 試行2:hold_for_verification_completion
  • Laya 試行3:hold_for_verification_completion
生の応答と実行時間を見る

Jev

試行1 · 0.500秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "change_class": {
        "type": "choice",
        "choice": "inspection_process",
        "confidence": 1.0,
        "probabilities": {
          "product_software": 0.0,
          "product_hardware": 0.0,
          "unknown": 0.0,
          "inspection_process": 1.0
        }
      },
      "verification_stage": {
        "type": "score",
        "score": 4.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象条件と試験項目が確定していない。",
          "1": "対象条件と試験項目は確定しているが、試験は実行されていない。",
          "2": "試験を実行した記録はあるが、未実行条件または未解決の不合格がある。",
          "3": "全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。",
          "4": "全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 1.0
        }
      },
      "production_approval_recorded": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 1297,
      "output_tokens": 91
    }
  },
  "error": null,
  "elapsed_seconds": 0.500015750003513
}
試行2 · 0.529秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "change_class": {
        "type": "choice",
        "choice": "inspection_process",
        "confidence": 1.0,
        "probabilities": {
          "product_software": 0.0,
          "inspection_process": 1.0,
          "unknown": 0.0,
          "product_hardware": 0.0
        }
      },
      "verification_stage": {
        "type": "score",
        "score": 4.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象条件と試験項目が確定していない。",
          "1": "対象条件と試験項目は確定しているが、試験は実行されていない。",
          "2": "試験を実行した記録はあるが、未実行条件または未解決の不合格がある。",
          "3": "全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。",
          "4": "全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 1.0
        }
      },
      "production_approval_recorded": {
        "type": "noul",
        "noul": 0.98
      }
    },
    "usage": {
      "input_tokens": 1297,
      "output_tokens": 91
    }
  },
  "error": null,
  "elapsed_seconds": 0.529489292006474
}
試行3 · 0.476秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "change_class": {
        "type": "choice",
        "choice": "inspection_process",
        "confidence": 1.0,
        "probabilities": {
          "product_hardware": 0.0,
          "unknown": 0.0,
          "product_software": 0.0,
          "inspection_process": 1.0
        }
      },
      "verification_stage": {
        "type": "score",
        "score": 4.0,
        "confidence": 1.0,
        "legend": {
          "0": "対象条件と試験項目が確定していない。",
          "1": "対象条件と試験項目は確定しているが、試験は実行されていない。",
          "2": "試験を実行した記録はあるが、未実行条件または未解決の不合格がある。",
          "3": "全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。",
          "4": "全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.0,
          "2": 0.0,
          "3": 0.0,
          "4": 1.0
        }
      },
      "production_approval_recorded": {
        "type": "noul",
        "noul": 0.97
      }
    },
    "usage": {
      "input_tokens": 1297,
      "output_tokens": 91
    }
  },
  "error": null,
  "elapsed_seconds": 0.47606154199456796
}

Laya

試行1 · 0.148秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "change_class": {
        "type": "choice",
        "confidence": 0.3173,
        "action": {
          "act_probability": 1.0
        },
        "choice": "inspection_process",
        "probabilities": {
          "product_software": 0.1698,
          "inspection_process": 0.6821,
          "product_hardware": 0.0836,
          "unknown": 0.0646
        }
      },
      "verification_stage": {
        "type": "score",
        "confidence": 0.0603,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.1955,
        "legend": {
          "0": "対象条件と試験項目が確定していない。",
          "1": "対象条件と試験項目は確定しているが、試験は実行されていない。",
          "2": "試験を実行した記録はあるが、未実行条件または未解決の不合格がある。",
          "3": "全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。",
          "4": "全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。"
        },
        "probabilities": {
          "0": 0.0612,
          "1": 0.3101,
          "2": 0.2268,
          "3": 0.176,
          "4": 0.226
        }
      },
      "production_approval_recorded": {
        "type": "noul",
        "confidence": 0.9804,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9804
      }
    },
    "usage": {
      "input_tokens": 1162,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.14775670896051452
}
試行2 · 0.163秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "change_class": {
        "type": "choice",
        "confidence": 0.3173,
        "action": {
          "act_probability": 1.0
        },
        "choice": "inspection_process",
        "probabilities": {
          "product_software": 0.1698,
          "inspection_process": 0.6821,
          "product_hardware": 0.0836,
          "unknown": 0.0646
        }
      },
      "verification_stage": {
        "type": "score",
        "confidence": 0.0603,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.1955,
        "legend": {
          "0": "対象条件と試験項目が確定していない。",
          "1": "対象条件と試験項目は確定しているが、試験は実行されていない。",
          "2": "試験を実行した記録はあるが、未実行条件または未解決の不合格がある。",
          "3": "全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。",
          "4": "全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。"
        },
        "probabilities": {
          "0": 0.0612,
          "1": 0.3101,
          "2": 0.2268,
          "3": 0.176,
          "4": 0.226
        }
      },
      "production_approval_recorded": {
        "type": "noul",
        "confidence": 0.9804,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9804
      }
    },
    "usage": {
      "input_tokens": 1162,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.16306662501301616
}
試行3 · 0.144秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "change_class": {
        "type": "choice",
        "confidence": 0.3173,
        "action": {
          "act_probability": 1.0
        },
        "choice": "inspection_process",
        "probabilities": {
          "product_software": 0.1698,
          "inspection_process": 0.6821,
          "product_hardware": 0.0836,
          "unknown": 0.0646
        }
      },
      "verification_stage": {
        "type": "score",
        "confidence": 0.0603,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.1955,
        "legend": {
          "0": "対象条件と試験項目が確定していない。",
          "1": "対象条件と試験項目は確定しているが、試験は実行されていない。",
          "2": "試験を実行した記録はあるが、未実行条件または未解決の不合格がある。",
          "3": "全対象条件の試験が合格し設定版との対応も記録されているが、独立した確認担当の証跡レビューは未完了である。",
          "4": "全対象条件の試験が合格し設定版との対応が記録され、独立した確認担当の証跡レビューも完了している。"
        },
        "probabilities": {
          "0": 0.0612,
          "1": 0.3101,
          "2": 0.2268,
          "3": 0.176,
          "4": 0.226
        }
      },
      "production_approval_recorded": {
        "type": "noul",
        "confidence": 0.9804,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9804
      }
    },
    "usage": {
      "input_tokens": 1162,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.14439475000835955
}
X03地方工場へ持ち込まれた現地書換え用ファームウェア複合 · 出張サービス、現地改修、協力会社への特急対応要請Jev 3/3
Laya 0/3
Jevのみ全試行合格

提示した状況とルール

【現地保守の運用ルール】 現地設備のファームウェアを書き換える場合、設備番号と投入版を指定した変更承認が必要。 客先担当者からの作業催促や、社内メールによるファイル送付だけでは変更承認としない。 評価する業務は「製品の検査を完了し、結果を正式登録すること」。 品質部門が承認した代替検査と手動登録も、この業務の完了として認める。 【現場の状況】 地方工場の一部の検査端末では、自動読取りが使えない。 品質部門承認済みの代替検査と手動登録により、現在はすべての製品で検査と正式登録を完了できる。 通常より時間はかかるが、処理を完了できない製品はない。 客先担当者は「ライン停止に近いので、とにかく今日直して」と催促している。 【作業依頼と承認記録】 持ち込んだ依頼は端末T08のファームウェアをF3.1からF3.2へ書き換えるもの。 ハード部品交換や操作教育は依頼されていない。 F3.2のファイルは開発担当から届いているが、T08への投入を指定した変更承認は未登録。 この作業に適用できる緊急変更の例外承認もない。

この設問の配点:3.57点。獲得点は Jev 3.57点、Laya 0.00点。

Choice · work_type

今回持ち込まれた作業依頼の内容を、記載された変更対象に基づいて分類する。

想定解:firmware_update — 端末のファームウェアを書き換える作業。

作問者の採点根拠:記載された依頼はファームウェアの書換えであり、部品交換や操作教育ではない。

選択肢・判断基準
hardware_replacement
端末のハード部品交換。
user_training
操作方法の教育だけを行う作業。
firmware_update
端末のファームウェアを書き換える作業。
unclear
依頼された作業の対象を特定できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1firmware_update合格firmware_update合格
2firmware_update合格firmware_update合格
3firmware_update合格firmware_update合格

Score · current_impact

現在の検査・正式登録業務の支障を評価する。承認された代替手段を含めた完了可否で判定し、催促の強さから停止を推測しない。

想定解:段階 2 — 通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。

作問者の採点根拠:通常の方法では一部に支障があるが、承認済みの代替手段で全件完了できる段階2。

選択肢・判断基準
0
すべての製品で、検査と正式登録を通常どおり支障なく完了できる。
1
すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。
2
通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。
3
承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。
4
承認された代替手段を含め、全製品の検査と正式登録が完了できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
11.9700(誤差 0.0300)合格1.9949(誤差 0.0051)合格
21.9700(誤差 0.0300)合格1.9949(誤差 0.0051)合格
31.9600(誤差 0.0400)合格1.9949(誤差 0.0051)合格

Jev 試行2:返却Score=1.9700、表示確率の加重平均=1.9600。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Jev 試行3:返却Score=1.9600、表示確率の加重平均=1.9700。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行1:返却Score=1.9949、表示確率の加重平均=1.9950。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行2:返却Score=1.9949、表示確率の加重平均=1.9950。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Laya 試行3:返却Score=1.9949、表示確率の加重平均=1.9950。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Noul · update_authorized

現地保守の運用ルールに照らし、T08へのF3.2投入に適用できる変更承認は確認できるか。

想定解:false

作問者の採点根拠:ファイルの受領と変更承認は別。対象設備と投入版に適用する承認が存在しない。

選択肢・判断基準
true
設備番号と投入版を指定した通常の変更承認、または適用可能な緊急変更の例外承認がある。
false
当該設備と投入版に適用できる通常承認も緊急の例外承認もない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.0500 → false合格P(true)=0.9811 → true不合格
2P(true)=0.0500 → false合格P(true)=0.9811 → true不合格
3P(true)=0.0500 → false合格P(true)=0.9811 → true不合格

合成した最終対応

想定:hold_update_continue_workaround_and_seek_approval

未承認のF3.2への書換えは保留する。 承認済みの代替検査と手動登録を継続し、T08へのF3.2投入について正式な変更審査を依頼する。 全件の業務が完了できる現状を共有し、全停止という報告に置き換えない。

  • Jev 試行1:hold_update_continue_workaround_and_seek_approval
  • Jev 試行2:hold_update_continue_workaround_and_seek_approval
  • Jev 試行3:hold_update_continue_workaround_and_seek_approval
  • Laya 試行1:coordinate_approved_update
  • Laya 試行2:coordinate_approved_update
  • Laya 試行3:coordinate_approved_update
生の応答と実行時間を見る

Jev

試行1 · 0.498秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "work_type": {
        "type": "choice",
        "choice": "firmware_update",
        "confidence": 1.0,
        "probabilities": {
          "unclear": 0.0,
          "hardware_replacement": 0.0,
          "firmware_update": 1.0,
          "user_training": 0.0
        }
      },
      "current_impact": {
        "type": "score",
        "score": 1.97,
        "confidence": 0.97,
        "legend": {
          "0": "すべての製品で、検査と正式登録を通常どおり支障なく完了できる。",
          "1": "すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。",
          "3": "承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。",
          "4": "承認された代替手段を含め、全製品の検査と正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.03,
          "2": 0.97,
          "3": 0.0,
          "4": 0.0
        }
      },
      "update_authorized": {
        "type": "noul",
        "noul": 0.05
      }
    },
    "usage": {
      "input_tokens": 1309,
      "output_tokens": 91
    }
  },
  "error": null,
  "elapsed_seconds": 0.49810675001936033
}
試行2 · 0.560秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "work_type": {
        "type": "choice",
        "choice": "firmware_update",
        "confidence": 1.0,
        "probabilities": {
          "user_training": 0.0,
          "firmware_update": 1.0,
          "hardware_replacement": 0.0,
          "unclear": 0.0
        }
      },
      "current_impact": {
        "type": "score",
        "score": 1.97,
        "confidence": 0.97,
        "legend": {
          "0": "すべての製品で、検査と正式登録を通常どおり支障なく完了できる。",
          "1": "すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。",
          "3": "承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。",
          "4": "承認された代替手段を含め、全製品の検査と正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.01,
          "1": 0.02,
          "2": 0.97,
          "3": 0.0,
          "4": 0.0
        }
      },
      "update_authorized": {
        "type": "noul",
        "noul": 0.05
      }
    },
    "usage": {
      "input_tokens": 1309,
      "output_tokens": 91
    }
  },
  "error": null,
  "elapsed_seconds": 0.5602210410288535
}
試行3 · 0.499秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "work_type": {
        "type": "choice",
        "choice": "firmware_update",
        "confidence": 1.0,
        "probabilities": {
          "user_training": 0.0,
          "unclear": 0.0,
          "firmware_update": 1.0,
          "hardware_replacement": 0.0
        }
      },
      "current_impact": {
        "type": "score",
        "score": 1.96,
        "confidence": 0.97,
        "legend": {
          "0": "すべての製品で、検査と正式登録を通常どおり支障なく完了できる。",
          "1": "すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。",
          "3": "承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。",
          "4": "承認された代替手段を含め、全製品の検査と正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.0,
          "1": 0.03,
          "2": 0.97,
          "3": 0.0,
          "4": 0.0
        }
      },
      "update_authorized": {
        "type": "noul",
        "noul": 0.05
      }
    },
    "usage": {
      "input_tokens": 1309,
      "output_tokens": 91
    }
  },
  "error": null,
  "elapsed_seconds": 0.4989337499719113
}

Laya

試行1 · 0.182秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "work_type": {
        "type": "choice",
        "confidence": 0.3339,
        "action": {
          "act_probability": 1.0
        },
        "choice": "firmware_update",
        "probabilities": {
          "hardware_replacement": 0.3721,
          "user_training": 0.0155,
          "firmware_update": 0.555,
          "unclear": 0.0574
        }
      },
      "current_impact": {
        "type": "score",
        "confidence": 0.0646,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.9949,
        "legend": {
          "0": "すべての製品で、検査と正式登録を通常どおり支障なく完了できる。",
          "1": "すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。",
          "3": "承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。",
          "4": "承認された代替手段を含め、全製品の検査と正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.1548,
          "1": 0.1367,
          "2": 0.3855,
          "3": 0.2047,
          "4": 0.1183
        }
      },
      "update_authorized": {
        "type": "noul",
        "confidence": 0.9811,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9811
      }
    },
    "usage": {
      "input_tokens": 1160,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.18198533402755857
}
試行2 · 0.145秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "work_type": {
        "type": "choice",
        "confidence": 0.3339,
        "action": {
          "act_probability": 1.0
        },
        "choice": "firmware_update",
        "probabilities": {
          "hardware_replacement": 0.3721,
          "user_training": 0.0155,
          "firmware_update": 0.555,
          "unclear": 0.0574
        }
      },
      "current_impact": {
        "type": "score",
        "confidence": 0.0646,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.9949,
        "legend": {
          "0": "すべての製品で、検査と正式登録を通常どおり支障なく完了できる。",
          "1": "すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。",
          "3": "承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。",
          "4": "承認された代替手段を含め、全製品の検査と正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.1548,
          "1": 0.1367,
          "2": 0.3855,
          "3": 0.2047,
          "4": 0.1183
        }
      },
      "update_authorized": {
        "type": "noul",
        "confidence": 0.9811,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9811
      }
    },
    "usage": {
      "input_tokens": 1160,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.14505583298159763
}
試行3 · 0.147秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "work_type": {
        "type": "choice",
        "confidence": 0.3339,
        "action": {
          "act_probability": 1.0
        },
        "choice": "firmware_update",
        "probabilities": {
          "hardware_replacement": 0.3721,
          "user_training": 0.0155,
          "firmware_update": 0.555,
          "unclear": 0.0574
        }
      },
      "current_impact": {
        "type": "score",
        "confidence": 0.0646,
        "action": {
          "act_probability": 1.0
        },
        "score": 1.9949,
        "legend": {
          "0": "すべての製品で、検査と正式登録を通常どおり支障なく完了できる。",
          "1": "すべての製品で通常の方法により完了できるが、遅延や追加操作が生じている。",
          "2": "通常の方法で完了できない製品があるが、承認された代替手段で全製品の検査と正式登録を完了できる。",
          "3": "承認された代替手段を含めても完了できない製品があるが、完了できる製品もある。",
          "4": "承認された代替手段を含め、全製品の検査と正式登録が完了できない。"
        },
        "probabilities": {
          "0": 0.1548,
          "1": 0.1367,
          "2": 0.3855,
          "3": 0.2047,
          "4": 0.1183
        }
      },
      "update_authorized": {
        "type": "noul",
        "confidence": 0.9811,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9811
      }
    },
    "usage": {
      "input_tokens": 1160,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.14683070802129805
}
X04年度末の本体検収と追加帳票の引継ぎ複合 · 年度末の検収、一式案件の範囲分け、議事録、残件付きの運用引継ぎJev 3/3
Laya 3/3
両方が全試行合格

提示した状況とルール

【この案件で合意した管理方法】 本体の注文P-40と追加変更票CH-18は別の受入単位。受入は、両社の受入責任者が 対象単位と判定を記録した確認票で確定する。現場の使用開始や週報の見出しだけでは確定しない。 本体の受入を登録しても、別単位の追加作業まで完了した扱いにはしない。 運用引継ぎは、連絡先・監視手順・復旧手順・未処理事項がそろい、当番責任者が受領確認すれば完了。 未処理事項がある場合は、対象・担当・対応予定日・それまでの運用方法を記録する。 【3月28日時点の書類】 ・注文P-40の範囲:受注登録と標準CSV出力。 ・変更票CH-18の範囲:部門別の月次集計帳票の追加。納入予定は4月15日。 ・3月27日付の受入確認票:対象欄はP-40、判定欄は「合格・受入」。 両社受入責任者が承認済み。備考は「CH-18は4月15日納入後に別途確認」。 ・現場議事録:「一式お預かりしました。来月も引き続きお願いします」。 ・営業週報の見出し:「年度内検収完了」。 【判定対象の業務状況】 対象業務は受注登録と月次の部門別集計の完了。 受注登録は新システムで通常どおり完了している。部門別集計の自動帳票はまだ使えない。 今月分は合意済みの代替手順により、標準CSVを既存の集計表へ取り込み、 全対象部門の集計を期限内に完了した。照合も済み、未処理の伝票はない。 【運用引継ぎ票】 連絡先・監視手順・復旧手順の記載がある。 未処理事項欄には「CH-18/担当:開発部/4月15日納入予定/それまではCSVと既存集計表を使用」。 日勤の当番責任者がこれらの内容を確認し、受領欄に記録している。

この設問の配点:3.57点。獲得点は Jev 3.57点、Laya 3.57点。

Choice · acceptance_scope

記録時点で確定している受入の範囲を選ぶ。

想定解:original_order_only — 本体P-40は受入済みで、追加CH-18の受入はまだ。

作問者の採点根拠:本体だけの受入が成立している。営業週報や現場議事録の「一式」から追加作業の受入完了までは導けない。

選択肢・判断基準
entire_project
本体P-40と追加CH-18の両方が受入済み。
original_order_only
本体P-40は受入済みで、追加CH-18の受入はまだ。
change_only
追加CH-18は受入済みで、本体P-40の受入はまだ。
neither_accepted
本体P-40と追加CH-18のどちらも受入はまだ。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1original_order_only合格original_order_only合格
2original_order_only合格original_order_only合格
3original_order_only合格original_order_only合格

Score · remaining_impact

記録時点の受注登録・月次の部門別集計に残る業務上の支障を評価する。

想定解:段階 2 — 通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。

作問者の採点根拠:対象業務の一部に代替手段が必要だが、全件完了できているため段階2。受入の成立と業務の通常化は別の判断である。

選択肢・判断基準
0
対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。
1
対象業務は通常の方法で全件完了するが、遅延または追加操作がある。
2
通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。
3
代替手段を含めても完了できない処理が一部残っている。
4
代替手段を含め、対象業務のすべての処理が完了できない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
11.9800(誤差 0.0200)合格2.3745(誤差 0.3745)合格
21.9800(誤差 0.0200)合格2.3745(誤差 0.3745)合格
31.9700(誤差 0.0300)合格2.3745(誤差 0.3745)合格

Jev 試行2:返却Score=1.9800、表示確率の加重平均=1.9900。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Jev 試行3:返却Score=1.9700、表示確率の加重平均=1.9600。差は丸めを仮定した整合範囲内です。採点には返却Scoreを使用しました。

Noul · operations_handover_complete

この案件で合意した条件に照らし、日勤運用への引継ぎは完了しているか。

想定解:true

作問者の採点根拠:この案件の引継ぎは残件の消滅ではなく必要情報と受領確認で判定するためtrue。追加作業そのものの完了は意味しない。

選択肢・判断基準
true
必要4項目がそろい、残件があれば指定された管理情報も記載され、当番責任者の受領確認がある。
false
必要な情報や残件の管理情報が不足している、または当番責任者の受領確認がない。
同じ設問の試行別結果
試行Jev 実測値判定Laya 実測値判定
1P(true)=0.9500 → true合格P(true)=0.9397 → true合格
2P(true)=0.9400 → true合格P(true)=0.9397 → true合格
3P(true)=0.9400 → true合格P(true)=0.9397 → true合格

合成した最終対応

想定:record_base_acceptance_and_track_workaround

P-40だけの受入を管理台帳へ反映し、CH-18は未受入の別単位として追跡する。 月次集計の代替運用を継続し、残件を含めた日勤への引継ぎが完了していることを記録する。 本体の受入を止めたり、追加作業を含む案件全体を完了扱いにしたりしない。

  • Jev 試行1:record_base_acceptance_and_track_workaround
  • Jev 試行2:record_base_acceptance_and_track_workaround
  • Jev 試行3:record_base_acceptance_and_track_workaround
  • Laya 試行1:record_base_acceptance_and_track_workaround
  • Laya 試行2:record_base_acceptance_and_track_workaround
  • Laya 試行3:record_base_acceptance_and_track_workaround
生の応答と実行時間を見る

Jev

試行1 · 0.516秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_scope": {
        "type": "choice",
        "choice": "original_order_only",
        "confidence": 1.0,
        "probabilities": {
          "neither_accepted": 0.0,
          "change_only": 0.0,
          "entire_project": 0.0,
          "original_order_only": 1.0
        }
      },
      "remaining_impact": {
        "type": "score",
        "score": 1.98,
        "confidence": 0.96,
        "legend": {
          "0": "対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。",
          "1": "対象業務は通常の方法で全件完了するが、遅延または追加操作がある。",
          "2": "通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても完了できない処理が一部残っている。",
          "4": "代替手段を含め、対象業務のすべての処理が完了できない。"
        },
        "probabilities": {
          "0": 0.01,
          "1": 0.01,
          "2": 0.97,
          "3": 0.01,
          "4": 0.0
        }
      },
      "operations_handover_complete": {
        "type": "noul",
        "noul": 0.95
      }
    },
    "usage": {
      "input_tokens": 1520,
      "output_tokens": 95
    }
  },
  "error": null,
  "elapsed_seconds": 0.5159830409684218
}
試行2 · 0.495秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_scope": {
        "type": "choice",
        "choice": "original_order_only",
        "confidence": 1.0,
        "probabilities": {
          "original_order_only": 1.0,
          "change_only": 0.0,
          "neither_accepted": 0.0,
          "entire_project": 0.0
        }
      },
      "remaining_impact": {
        "type": "score",
        "score": 1.98,
        "confidence": 0.96,
        "legend": {
          "0": "対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。",
          "1": "対象業務は通常の方法で全件完了するが、遅延または追加操作がある。",
          "2": "通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても完了できない処理が一部残っている。",
          "4": "代替手段を含め、対象業務のすべての処理が完了できない。"
        },
        "probabilities": {
          "0": 0.01,
          "1": 0.01,
          "2": 0.96,
          "3": 0.02,
          "4": 0.0
        }
      },
      "operations_handover_complete": {
        "type": "noul",
        "noul": 0.94
      }
    },
    "usage": {
      "input_tokens": 1520,
      "output_tokens": 95
    }
  },
  "error": null,
  "elapsed_seconds": 0.4945203330134973
}
試行3 · 0.498秒
{
  "response": {
    "model": "jev-1.13.0",
    "answers": {
      "acceptance_scope": {
        "type": "choice",
        "choice": "original_order_only",
        "confidence": 1.0,
        "probabilities": {
          "original_order_only": 1.0,
          "change_only": 0.0,
          "entire_project": 0.0,
          "neither_accepted": 0.0
        }
      },
      "remaining_impact": {
        "type": "score",
        "score": 1.97,
        "confidence": 0.96,
        "legend": {
          "0": "対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。",
          "1": "対象業務は通常の方法で全件完了するが、遅延または追加操作がある。",
          "2": "通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても完了できない処理が一部残っている。",
          "4": "代替手段を含め、対象業務のすべての処理が完了できない。"
        },
        "probabilities": {
          "0": 0.02,
          "1": 0.01,
          "2": 0.96,
          "3": 0.01,
          "4": 0.0
        }
      },
      "operations_handover_complete": {
        "type": "noul",
        "noul": 0.94
      }
    },
    "usage": {
      "input_tokens": 1520,
      "output_tokens": 95
    }
  },
  "error": null,
  "elapsed_seconds": 0.49813279102090746
}

Laya

試行1 · 0.216秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_scope": {
        "type": "choice",
        "confidence": 0.0965,
        "action": {
          "act_probability": 1.0
        },
        "choice": "original_order_only",
        "probabilities": {
          "entire_project": 0.2249,
          "original_order_only": 0.4368,
          "change_only": 0.083,
          "neither_accepted": 0.2553
        }
      },
      "remaining_impact": {
        "type": "score",
        "confidence": 0.0698,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.3745,
        "legend": {
          "0": "対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。",
          "1": "対象業務は通常の方法で全件完了するが、遅延または追加操作がある。",
          "2": "通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても完了できない処理が一部残っている。",
          "4": "代替手段を含め、対象業務のすべての処理が完了できない。"
        },
        "probabilities": {
          "0": 0.0856,
          "1": 0.1332,
          "2": 0.268,
          "3": 0.3475,
          "4": 0.1657
        }
      },
      "operations_handover_complete": {
        "type": "noul",
        "confidence": 0.9397,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9397
      }
    },
    "usage": {
      "input_tokens": 1811,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.21646470797713846
}
試行2 · 0.215秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_scope": {
        "type": "choice",
        "confidence": 0.0965,
        "action": {
          "act_probability": 1.0
        },
        "choice": "original_order_only",
        "probabilities": {
          "entire_project": 0.2249,
          "original_order_only": 0.4368,
          "change_only": 0.083,
          "neither_accepted": 0.2553
        }
      },
      "remaining_impact": {
        "type": "score",
        "confidence": 0.0698,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.3745,
        "legend": {
          "0": "対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。",
          "1": "対象業務は通常の方法で全件完了するが、遅延または追加操作がある。",
          "2": "通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても完了できない処理が一部残っている。",
          "4": "代替手段を含め、対象業務のすべての処理が完了できない。"
        },
        "probabilities": {
          "0": 0.0856,
          "1": 0.1332,
          "2": 0.268,
          "3": 0.3475,
          "4": 0.1657
        }
      },
      "operations_handover_complete": {
        "type": "noul",
        "confidence": 0.9397,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9397
      }
    },
    "usage": {
      "input_tokens": 1811,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.21519220899790525
}
試行3 · 0.221秒
{
  "response": {
    "model": "laya-rl-agent",
    "answers": {
      "acceptance_scope": {
        "type": "choice",
        "confidence": 0.0965,
        "action": {
          "act_probability": 1.0
        },
        "choice": "original_order_only",
        "probabilities": {
          "entire_project": 0.2249,
          "original_order_only": 0.4368,
          "change_only": 0.083,
          "neither_accepted": 0.2553
        }
      },
      "remaining_impact": {
        "type": "score",
        "confidence": 0.0698,
        "action": {
          "act_probability": 1.0
        },
        "score": 2.3745,
        "legend": {
          "0": "対象業務は全対象部門で通常どおり完了し、遅延・追加操作・代替手段の利用もない。",
          "1": "対象業務は通常の方法で全件完了するが、遅延または追加操作がある。",
          "2": "通常の方法で完了できない処理があるが、代替手段を使えば全件完了できる。",
          "3": "代替手段を含めても完了できない処理が一部残っている。",
          "4": "代替手段を含め、対象業務のすべての処理が完了できない。"
        },
        "probabilities": {
          "0": 0.0856,
          "1": 0.1332,
          "2": 0.268,
          "3": 0.3475,
          "4": 0.1657
        }
      },
      "operations_handover_complete": {
        "type": "noul",
        "confidence": 0.9397,
        "action": {
          "act_probability": 1.0
        },
        "noul": 0.9397
      }
    },
    "usage": {
      "input_tokens": 1811,
      "output_tokens": 0
    }
  },
  "error": null,
  "elapsed_seconds": 0.22075533296447247
}

比較条件と読み方

入力・正解・採点を共通化

モデルとローカル環境

Jevはjev-1.13.0。Layaはaac6fef/laya-multilingual-mlxの多言語モデルをFP16で実行。Layaの生応答内のモデル名は汎用名laya-rl-agentですが、比較対象の重みは取得元とSHA-256で特定しています。

Apple M3、メモリ24 GiB、macOS 26.5.2、Python 3.12.3、MLX 0.32.2。モデルは一度読み込み、batch_size=16compile=Falsecache_prompts=Falseで実行。ピークMLX確保量は1,298.9 MiBです。

Laya-MLXの実装 / 使用モデル。MLX版は独立した移植実装です。

同じ入力を渡すための確認

40問と想定解のスナップショットを固定し、各3回、seed 20260921で同じ順番に実行。選択肢順序も同じです。複合の3判断は同じケースの呼び出しにまとめ、ケース間は逐次実行しています。

本文・設問・選択肢の切り詰めは0 / 48判断。Layaの総入力上限は1024、設問部上限は256 tokens。今回の最大系列長は635 tokens。モデルのための翻訳・短縮・追加プロンプトは行っていません。

想定解、採点根拠、題名、タグは推論入力に含めません。事前のウォームアップと回答キャッシュは使いません。両者に同じ採点関数を適用しています。

100点への換算

100 × Σ(設問の重み × 3回の合格率)÷ 42。単独36問は重み1、複合4問は重み1.5。未実行・実行エラー・回答不正は未加点とし、存在する場合は暫定点を表示します。

  • Choice:選択肢が想定解と一致。
  • Score:返却された小数と正解段階の絶対誤差が0.5以下。
  • Noul:0.5以上をtrueと分類し、想定ラベルと一致。
  • 複合:3判断すべてが合格し、固定ルールで合成した最終対応も一致。

数値と解釈

ScoreのMAEとNoulのBrierは生の返却値から計算します。確率分布とScoreの整合性は表示桁での四捨五入を仮定して確認し、小数2桁より粗い精度には広げません。数値上の注記は各設問に表示しています。

事例と社内規程は架空で、想定解は作問者のラベルです。「採点根拠」はモデルの説明ではありません。40問は開発用の問題集合であり、この結果を業務全般へ一般化しません。繰り返し実行は独立した新しい設問ではありません。

Jevの料金は保存された使用量と単価による概算で、請求額の確認値ではありません。TypeSafeのモデル・単価

入力・採点コード・モデルの識別情報

設問SHA-256:3f5ba0416c69be77858b4014ac7eda1a03da93a671e64cc84c4fff3789ab08fa

想定解SHA-256:0b6687b9846e40e3e26370000989e2cf25cc95cb8f82f52b9eaeeb039acd200c

採点コードSHA-256:bb6b7cd840501c9985271de4503bf0bc0a61546efc755767d61a427c8a46c8af

Laya重みSHA-256:7fc5834af4d8fdfb268d272a9d1a66e5819a0daac98241651c4c888cc43adff1

モデルrevision:ba40c87fcb357f1643d04d71323af9cdc3b9e591

MLX実装commit:fc1df62828a3fedf4d8229fdac1cbd85f1cdf337