AI
最も重要な場面で、モデルの信頼度スコアを信頼できないのはなぜか？
88
機会
現代の言語モデルは、誤った回答に高信頼度トークンを、正しい回答に低信頼度トークンを日常的に出力する。表明された確率と実際の精度の乖離はキャリブレーション誤差と呼ばれ、エントロピー、ロジット、および摂動ベースの手法を対象とした2025年の調査でフロンティアモデル全体にわたって記録されている。これらのスコアを使って判断を委ねるか回答を控えるかを決定する本番エージェントは、キャリブレーションのずれを直接引き継ぐため、誤った確信を持って幻覚を進めるか、正しい回答を不必要に拒否するかのどちらかになる。ストリーミングレスポンスのすべての出力トークンに対して推論時に実行できるほど低コストな、キャリブレーションされた実用的な不確実性シグナルを提供する既製のプリミティブは存在しない。
重要な理由
キャリブレーションはすべてのエージェント的意思決定を支える信頼のプリミティブであり、それなしにはすべてのダウンストリームの安全しきい値は砂の上に立つ。
機会をどう評価するか
Opportunity Scoreは測定値ではなく、私自身の見解です。どれほど痛みを伴うか、どれほど頻繁に影響を与えるか、そして今日時点で解決策がいかに少ないか。スコアが高いほど、構築する価値が高いと私は考えています。
深刻度9/10
それが現れたときにどれほどの痛みをもたらすか。
頻度9/10
実際にどれほど頻繁に人々がそれに直面するか。
ホワイトスペース7/10
今日時点で、それに対する優れたツールがいかに少ないか。