Why do my AI-generated tests pass on the bugs they were meant to catch?
Oportunidad
AI coding assistants generate unit tests by reading the implementation, so assertions reflect what the code currently does rather than what it should do. A test written against a buggy function learns the bug as a fixture, not a violation. Developers shipping with 90% AI-generated coverage see mutation scores stay flat and real regressions slip through unchanged. The core issue is the oracle problem: there is no ground truth for correct behavior unless you supply it, and AI assistants have no access to the requirements or intent behind the code. Research from July 2025 confirms that LLM-generated tests frequently pass on the exact buggy code they were written against, failing only when the bug is fixed.
Por qué importa
A test suite that passes on broken code is worse than no test suite, because it turns the primary quality signal into a false guarantee.
Cómo evalúo la oportunidad
La Puntuación de Oportunidad es mi propia lectura, no una medición: cuánto duele, con qué frecuencia aparece y qué tan poco existe para resolverlo hoy. Un valor más alto significa que creo que vale más la pena construirlo.
Cuánto dolor causa cuando aparece.
Con qué frecuencia la gente se topa con ello.
Qué tan pocas herramientas buenas existen para ello hoy.
Más problemas que vale la pena resolver
¿Por qué el software del que más dependemos es el peor de usar?
Tech¿Por qué sigo sin ser dueño de ninguno de los datos que genero?
Tech¿Por qué no puedo obtener un comprobante que demuestre que mis datos fueron realmente eliminados?
Tech¿Por qué no puedo saber si lo que está en ejecución coincide con lo que declaró mi SBOM?
Tech¿Por qué toda cadena de procedencia C2PA se rompe en el momento en que el contenido llega a las redes sociales?
Tech¿Por qué puedo portar mis publicaciones pero no el perfil que las plataformas construyeron al observarme?