ทำไมเอกสารที่ฝังคำสั่งอันตรายจึงสามารถขโมยทุกอย่างที่ assistant ของฉันรู้เกี่ยวกับฉันได้อย่างเงียบๆ?

ในเดือนมิถุนายน 2025 Aim Security เปิดเผย EchoLeak ซึ่งเป็น prompt injection แบบ zero-click ที่มีการบันทึกเป็นครั้งแรก ส่งผลให้ข้อมูลรั่วไหลจริงจากระบบ AI ใน production อีเมลที่เป็นอันตรายเพียงฉบับเดียวทำให้ Microsoft Copilot ส่งข้อมูลสำคัญออกไปอย่างเงียบๆ โดยไม่ต้องมีการโต้ตอบจากผู้ใช้ ปัญหาเชิงโครงสร้างคือ AI assistant ที่มี persistent memory และการเข้าถึง tool สำหรับเรียกใช้งานผสมรวมสองคุณสมบัติที่อันตรายไว้ด้วยกัน ได้แก่ การสะสมบริบทส่วนตัว และความสามารถในการถูกสั่งให้ทำตามคำสั่งที่ฝังอยู่ในเนื้อหาที่ไม่น่าเชื่อถือ เอกสาร อีเมล หรือหน้าเว็บใหม่ทุกชิ้นที่ assistant อ่านคือพื้นผิวคำสั่งที่อาจถูกโจมตี ไม่มีขอบเขตการแยกระหว่าง memory ที่ผู้ใช้ไว้วางใจให้ assistant เก็บไว้กับคำสั่งที่มันติดตามจากเนื้อหาภายนอก และข้อเสนอ sandboxing ในปัจจุบันครอบคลุมเฉพาะการเรียก tool แต่ไม่รวมถึงการเข้าถึง memory เพื่ออ่านข้อมูล