AI
エージェントがバージョン間で改善されたのか、単に運が良かっただけなのかをどうやって判断するのか？
81
機会
エージェントが数時間にわたって数百のステップを順番に実行する場合、従来のA/B評価は機能しなくなる。初期のツール呼び出しがその後のすべての選択に影響するため、実行ごとに結果がパス依存となるからだ。信頼性のあるシグナルを得るために十分な独立試行を行うには、学習と同程度の計算コストがかかる。この分野では、ステップ成功率やツール呼び出し精度などのプロキシ指標に頼ることが多いが、これらは実際の作業における最終タスクの結果と相関しないことが実証されている。2025年に445件の公開LLMベンチマークを対象とした監査では、大規模な構成概念妥当性の失敗が記録された。曖昧なタスク定義、流用された短期データセット、統計的検定の欠如がその内容であり、いずれもタスクの時間軸が長くなるにつれて深刻化する。アジェンティック製品を構築するチームは、長期エージェントに対する原則的で再現可能な評価手法が存在しないため、手動のスポットチェックに頼って製品をリリースしている。
重要な理由
エージェントが改善されたかどうかを信頼性をもって測定する方法がなければ、高リスクのタスクにすでに展開されているエージェントを体系的に改善することはできない。
機会をどう評価するか
Opportunity Scoreは測定値ではなく、私自身の見解です。どれほど痛みを伴うか、どれほど頻繁に影響を与えるか、そして今日時点で解決策がいかに少ないか。スコアが高いほど、構築する価値が高いと私は考えています。
深刻度7/10
それが現れたときにどれほどの痛みをもたらすか。
頻度9/10
実際にどれほど頻繁に人々がそれに直面するか。
ホワイトスペース9/10
今日時点で、それに対する優れたツールがいかに少ないか。