AI
프로덕션에서 모델이 내놓은 출력을 왜 정확히 재현할 수 없는가?
85
기회
온도를 0으로 설정해도 동일한 프롬프트를 같은 모델에 두 번 보내면 서로 다른 토큰이 반환될 수 있다. 2026년 1월 arXiv 논문은 근본 원인을 동적 배칭으로 추적했다. GPU 리덕션 커널은 배치 크기가 달라질 때 내부 연산 트리를 변경하고, 부동소수점 덧셈은 결합법칙이 성립하지 않기 때문에 서로 다른 배치 크기로 처리된 두 요청은 다른 수치 경로를 거쳐 결과가 갈린다. 서빙 인프라는 특정 출력을 만들어낸 배치 컨텍스트를 기록하거나 외부에 노출할 의무가 없다. 이로 인해 실패한 추론을 재현하거나, 정확한 동작을 고정하는 회귀 테스트를 작성하거나, 프로덕션 사고 당시 모델이 실제로 무엇을 출력했는지 재구성하는 것이 불가능해진다. 현재까지 입증된 유일한 해결책은 처리량을 61퍼센트 감소시킨다.
왜 중요한가
결정론적 재현은 모델 호출을 신뢰하되 들여다볼 수 없는 블랙박스가 아니라 감사 가능한 연산으로 취급하기 위한 최소 기준이다.
기회 평가 방식
기회 점수는 측정값이 아닌 제 주관적 평가입니다. 얼마나 불편한지, 얼마나 자주 발생하는지, 현재 해결책이 얼마나 부족한지를 반영합니다. 점수가 높을수록 만들 가치가 더 높다고 생각합니다.
심각도8/10
발생했을 때 얼마나 큰 불편을 초래하는지.
빈도9/10
실제로 얼마나 자주 접하게 되는지.
공백 영역8/10
현재 이를 해결할 만한 도구가 얼마나 부족한지.