Why do my AI-generated tests pass on the bugs they were meant to catch?
Oportunidade
AI coding assistants generate unit tests by reading the implementation, so assertions reflect what the code currently does rather than what it should do. A test written against a buggy function learns the bug as a fixture, not a violation. Developers shipping with 90% AI-generated coverage see mutation scores stay flat and real regressions slip through unchanged. The core issue is the oracle problem: there is no ground truth for correct behavior unless you supply it, and AI assistants have no access to the requirements or intent behind the code. Research from July 2025 confirms that LLM-generated tests frequently pass on the exact buggy code they were written against, failing only when the bug is fixed.
Por que importa
A test suite that passes on broken code is worse than no test suite, because it turns the primary quality signal into a false guarantee.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que o software do qual mais dependemos é o pior para usar?
TechPor que ainda não sou dono de nenhum dos dados que gero?
TechPor que não consigo um comprovante que prove que meus dados foram realmente excluídos?
TechPor que não consigo saber se o que está em execução corresponde ao que meu SBOM declarou?
TechPor que toda cadeia de proveniência C2PA se rompe no momento em que o conteúdo chega às redes sociais?
TechPor que consigo portar minhas postagens, mas não o perfil que as plataformas construíram a partir de mim?