Tech

Why do my AI-generated tests pass on the bugs they were meant to catch?

83

기회

AI coding assistants generate unit tests by reading the implementation, so assertions reflect what the code currently does rather than what it should do. A test written against a buggy function learns the bug as a fixture, not a violation. Developers shipping with 90% AI-generated coverage see mutation scores stay flat and real regressions slip through unchanged. The core issue is the oracle problem: there is no ground truth for correct behavior unless you supply it, and AI assistants have no access to the requirements or intent behind the code. Research from July 2025 confirms that LLM-generated tests frequently pass on the exact buggy code they were written against, failing only when the bug is fixed.

왜 중요한가

A test suite that passes on broken code is worse than no test suite, because it turns the primary quality signal into a false guarantee.

기회 평가 방식

기회 점수는 측정값이 아닌 제 주관적 평가입니다. 얼마나 불편한지, 얼마나 자주 발생하는지, 현재 해결책이 얼마나 부족한지를 반영합니다. 점수가 높을수록 만들 가치가 더 높다고 생각합니다.

심각도8/10

발생했을 때 얼마나 큰 불편을 초래하는지.

빈도9/10

실제로 얼마나 자주 접하게 되는지.

공백 영역8/10

현재 이를 해결할 만한 도구가 얼마나 부족한지.

해결할 가치 있는 더 많은 문제들

우리가 가장 많이 의존하는 소프트웨어가 왜 가장 사용하기 불편할까?

내가 생성한 데이터를 왜 나는 전혀 소유하지 못할까요?

내 데이터가 실제로 삭제되었음을 증명하는 영수증을 왜 받을 수 없는가?

실행 중인 것이 SBOM에 선언된 내용과 일치하는지 알 수 없는 이유는 무엇인가?

C2PA 출처 체인은 왜 콘텐츠가 소셜 미디어에 올라가는 순간 끊어지는가?

내 게시물은 이식할 수 있는데 플랫폼이 나를 관찰하며 구축한 프로필은 왜 이식할 수 없는가?

← 해결할 가치 있는 모든 문제들 Anurag 소개 →