最も重要な場面で、モデルの信頼度スコアを信頼できないのはなぜか？

現代の言語モデルは、誤った回答に高信頼度トークンを、正しい回答に低信頼度トークンを日常的に出力する。表明された確率と実際の精度の乖離はキャリブレーション誤差と呼ばれ、エントロピー、ロジット、および摂動ベースの手法を対象とした2025年の調査でフロンティアモデル全体にわたって記録されている。これらのスコアを使って判断を委ねるか回答を控えるかを決定する本番エージェントは、キャリブレーションのずれを直接引き継ぐため、誤った確信を持って幻覚を進めるか、正しい回答を不必要に拒否するかのどちらかになる。ストリーミングレスポンスのすべての出力トークンに対して推論時に実行できるほど低コストな、キャリブレーションされた実用的な不確実性シグナルを提供する既製のプリミティブは存在しない。