AI
오염된 문서가 어시스턴트가 나에 대해 아는 모든 것을 어떻게 조용히 유출할 수 있는가?
88
기회
2025년 6월, Aim Security는 프로덕션 AI 시스템에서 실제 데이터 유출을 초래한 최초의 문서화된 제로클릭 프롬프트 인젝션인 EchoLeak을 공개했습니다. 단 하나의 악성 이메일이 Microsoft Copilot으로 하여금 사용자 상호작용 없이 민감한 데이터를 조용히 전송하게 만들었습니다. 구조적인 문제는 영구적인 메모리와 도구 호출 접근 권한을 가진 AI 어시스턴트가 두 가지 위험한 속성을 결합한다는 것입니다. 축적된 개인 맥락을 보유하고, 신뢰할 수 없는 콘텐츠에 내장된 지시를 따를 수 있습니다. 어시스턴트가 읽는 모든 새 문서, 이메일, 웹페이지가 잠재적인 지시 표면이 됩니다. 사용자가 어시스턴트에게 보유를 신뢰하는 메모리와 외부 콘텐츠에서 따르는 지시 사이에는 격리 경계가 없으며, 현재 샌드박싱 제안은 도구 호출을 다루지만 메모리 읽기 접근은 다루지 않습니다.
왜 중요한가
개인 AI 메모리는 모든 악성 문서를 표적 신상 정보 탈취 공격으로 만들며, 이는 성숙한 방어 수단이 없는 새로운 공격 유형입니다.
기회 평가 방식
기회 점수는 측정값이 아닌 제 주관적 평가입니다. 얼마나 불편한지, 얼마나 자주 발생하는지, 현재 해결책이 얼마나 부족한지를 반영합니다. 점수가 높을수록 만들 가치가 더 높다고 생각합니다.
심각도10/10
발생했을 때 얼마나 큰 불편을 초래하는지.
빈도7/10
실제로 얼마나 자주 접하게 되는지.
공백 영역8/10
현재 이를 해결할 만한 도구가 얼마나 부족한지.