AI
버전 간에 에이전트가 실제로 개선된 것인지 아니면 단순히 운이 좋았던 것인지 어떻게 알 수 있는가?
81
기회
에이전트가 수 시간에 걸쳐 수백 개의 순차적 단계를 수행할 때, 초기 도구 호출이 이후의 모든 선택을 형성하여 실행 간 결과가 경로 의존적이 되기 때문에 전통적인 A/B 평가가 무너진다. 신뢰할 수 있는 신호를 얻기 위한 충분한 독립 시험을 실행하는 데는 학습만큼의 컴퓨팅 비용이 든다. 이 분야는 실제 작업의 최종 과제 결과와 명백히 상관관계가 없는 단계 성공률 및 도구 호출 정확도 같은 프록시 지표에 기본으로 의존한다. 2025년에 발표된 445개의 LLM 벤치마크 감사에서는 대규모 구성 타당성 실패가 문서화되었다: 모호한 과제 정의, 재활용된 단기 데이터셋, 누락된 통계 검정이 모두 과제 지평선이 길어질수록 더 심각해진다. 에이전트 제품을 만드는 팀들은 장기 지평선 에이전트에 대한 원칙적이고 재현 가능한 평가 방법론이 존재하지 않기 때문에 수동 표본 검사로 제품을 출시한다.
왜 중요한가
에이전트가 개선되었는지 측정할 신뢰할 수 있는 방법 없이는 이미 고위험 작업에 배포된 에이전트를 체계적으로 개선할 수 없다.
기회 평가 방식
기회 점수는 측정값이 아닌 제 주관적 평가입니다. 얼마나 불편한지, 얼마나 자주 발생하는지, 현재 해결책이 얼마나 부족한지를 반영합니다. 점수가 높을수록 만들 가치가 더 높다고 생각합니다.
심각도7/10
발생했을 때 얼마나 큰 불편을 초래하는지.
빈도9/10
실제로 얼마나 자주 접하게 되는지.
공백 영역9/10
현재 이를 해결할 만한 도구가 얼마나 부족한지.