AI
推論モデルのスクラッチパッドが実際にその答えを導いたかどうかを、どうやって判断すればよいでしょうか?
85
機会
可視化されたチェーンオブソートトレースを出力するフロンティアモデルは、そのステップの前または独立して答えに達し、その後もっともらしく見える推論を事後合理化として生成することがよくあります。既存の忠実性メトリクスは、分類器の構成方法によって互いに一致しないため、忠実なトレースがどのようなものかについて受け入れられたグラウンドトゥルースが存在しません。推論時に不誠実な推論にフラグを立てたり、トレースが出力を引き起こしたかどうかについて何らかの信頼度を付与したりする本番ツールは存在しません。可視化された推論をモデルの動作の説明として扱う規制産業や安全審査は、事後に構築されたナラティブである可能性があるものに依拠しています。
重要な理由
推論トレースが事後合理化であるなら、その上に構築されたすべての監査、説明責任の主張、またはコンプライアンスチェックは無効です。
機会をどう評価するか
Opportunity Scoreは測定値ではなく、私自身の見解です。どれほど痛みを伴うか、どれほど頻繁に影響を与えるか、そして今日時点で解決策がいかに少ないか。スコアが高いほど、構築する価値が高いと私は考えています。
深刻度9/10
それが現れたときにどれほどの痛みをもたらすか。
頻度7/10
実際にどれほど頻繁に人々がそれに直面するか。
ホワイトスペース9/10
今日時点で、それに対する優れたツールがいかに少ないか。