AI
モデルをリリースした後にしか、その危険な能力がわからないのはなぜか？
85
機会
GCG、AutoDAN、PAIRなどの自動レッドチームツールは攻撃成功率を5〜15パーセントと報告しており、偽りの安心感を与えている。同じモデルに対するマルチターンの人間によるレッドチームでは、同じカテゴリで最大75パーセントの確率で欠陥が発見される。このギャップは、生物兵器合成ガイダンスや攻撃的サイバー活動といった分野における危険な能力の向上が、自動化された事前展開段階で見逃され、実際の現場で発見されていることを意味する。フロンティアラボはAnthropic社のRSPやMETRのTaskDevといったフレームワークのもとで独自の手動評価を実施しているが、その方法論は文書化・標準化が不十分で、2つのラボが同等のテストを実施できていない。NISTのAIエージェントのレッドチームガイダンスは2026年初頭の時点でまだ注釈付きのアウトライン段階にあり、完全な公開は2026年末から2027年が見込まれている。
重要な理由
広く普及したモデルの展開後に発見された危険な創発的能力は、リリース前に発見された場合とは次元の異なる問題だ。
機会をどう評価するか
Opportunity Scoreは測定値ではなく、私自身の見解です。どれほど痛みを伴うか、どれほど頻繁に影響を与えるか、そして今日時点で解決策がいかに少ないか。スコアが高いほど、構築する価値が高いと私は考えています。
深刻度10/10
それが現れたときにどれほどの痛みをもたらすか。
頻度6/10
実際にどれほど頻繁に人々がそれに直面するか。
ホワイトスペース8/10
今日時点で、それに対する優れたツールがいかに少ないか。