AI
내 모델이 할 수 있는 위험한 것들을 왜 출시 후에야 알게 되는가?
85
기회
GCG, AutoDAN, PAIR와 같은 자동화된 레드팀 도구는 5~15%의 공격 성공률을 보고하며 거짓된 안전감을 준다. 동일한 모델에 대한 다회차 인간 레드팀은 동일한 범주에서 최대 75%의 실패를 발견한다. 이 격차는 생물무기 합성 안내나 공격적 사이버 활동과 같은 영역에서의 위험한 역량 강화가 자동화된 배포 전 단계에서 놓쳐지고 현장에서 발견된다는 것을 의미한다. 프론티어 랩들은 Anthropic의 RSP나 METR의 TaskDev와 같은 프레임워크 아래 자체 수동 평가를 실시하지만, 방법론이 문서화되지 않고 비표준화되어 있어 어떤 두 랩도 비교 가능한 테스트를 실행하지 않는다. NIST의 AI 에이전트 레드팀 지침은 2026년 초까지 주석이 달린 개요 상태였으며, 전체 게시는 2026년 말에서 2027년으로 예상된다.
왜 중요한가
광범위하게 배포된 모델에서 배포 후 발견된 위험한 창발 역량은 출시 전에 발견된 것과는 차원이 다른 문제다.
기회 평가 방식
기회 점수는 측정값이 아닌 제 주관적 평가입니다. 얼마나 불편한지, 얼마나 자주 발생하는지, 현재 해결책이 얼마나 부족한지를 반영합니다. 점수가 높을수록 만들 가치가 더 높다고 생각합니다.
심각도10/10
발생했을 때 얼마나 큰 불편을 초래하는지.
빈도6/10
실제로 얼마나 자주 접하게 되는지.
공백 영역8/10
현재 이를 해결할 만한 도구가 얼마나 부족한지.