¿Por qué solo descubro qué cosas peligrosas puede hacer mi modelo después de que se lanza?
Oportunidad
Las herramientas automatizadas de red-teaming como GCG, AutoDAN y PAIR reportan tasas de éxito de ataque del 5 al 15 por ciento y generan una falsa sensación de seguridad. El red-teaming humano en múltiples turnos sobre los mismos modelos encuentra fallos hasta en el 75 por ciento de los casos en las mismas categorías. Esta brecha significa que la mejora de capacidades peligrosas en áreas como la orientación para síntesis de bioarmas o el ciberataque ofensivo pasa inadvertida en la etapa automatizada previa al despliegue y se descubre en el campo. Los laboratorios de frontera realizan sus propias evaluaciones manuales bajo marcos como el RSP de Anthropic y el TaskDev de METR, pero la metodología no está documentada ni estandarizada lo suficiente como para que dos laboratorios realicen pruebas comparables. La guía de red-teaming de agentes de IA del NIST seguía siendo un esquema anotado a principios de 2026, con publicación completa prevista para finales de 2026 o 2027.
Por qué importa
Una capacidad emergente peligrosa descubierta tras el despliegue en un modelo ampliamente distribuido es un problema de un orden de magnitud distinto al de una detectada antes del lanzamiento.
Cómo evalúo la oportunidad
La Puntuación de Oportunidad es mi propia lectura, no una medición: cuánto duele, con qué frecuencia aparece y qué tan poco existe para resolverlo hoy. Un valor más alto significa que creo que vale más la pena construirlo.
Cuánto dolor causa cuando aparece.
Con qué frecuencia la gente se topa con ello.
Qué tan pocas herramientas buenas existen para ello hoy.
Más problemas que vale la pena resolver
¿Por qué toda aplicación de IA me olvida en el momento en que cierro la pestaña?
AI¿Por qué aprender una nueva área sigue dependiendo de saber qué preguntar?
AI¿Por qué una persona sin experiencia no puede verificar lo que una IA acaba de decirle?
AI¿Por qué probamos los modelos en benchmarks pero los lanzamos a producción guiándonos por la intuición?
AI¿Por qué los agentes de IA no tienen memoria de sus propios errores?
AI¿Por qué no puedo auditar en qué fue entrenado realmente un modelo?