Pourquoi est-ce que je ne découvre les capacités dangereuses de mon modèle qu'après son déploiement ?

Les outils automatisés de red-teaming tels que GCG, AutoDAN et PAIR signalent des taux de succès d'attaque de 5 à 15 % et donnent un faux sentiment de sécurité. Le red-teaming humain multi-tours sur les mêmes modèles détecte des défaillances jusqu'à 75 % du temps dans les mêmes catégories. Cet écart signifie que le renforcement de capacités dangereuses dans des domaines comme les conseils sur la synthèse d'armes biologiques ou la cyberoffensive passe inaperçu lors de la phase automatisée avant déploiement et n'est découvert que sur le terrain. Les laboratoires frontier exécutent leurs propres évaluations manuelles dans le cadre de frameworks comme le RSP d'Anthropic et le TaskDev de METR, mais la méthodologie est suffisamment non documentée et non standardisée pour qu'aucun laboratoire ne mène des tests comparables. Les directives de red-teaming pour les agents IA du NIST n'étaient encore qu'un plan annoté début 2026, avec une publication complète attendue entre fin 2026 et 2027.