Mengapa dokumen yang dimanipulasi dapat diam-diam mengeksfiltrasi semua yang diketahui asisten saya tentang saya?

Peluang

Pada Juni 2025, Aim Security mengungkapkan EchoLeak, prompt injection zero-click pertama yang terdokumentasi yang menyebabkan eksfiltrasi data nyata dari sistem AI produksi. Satu email berbahaya menyebabkan Microsoft Copilot diam-diam mengirimkan data sensitif tanpa interaksi pengguna apa pun. Masalah strukturalnya adalah asisten AI dengan memori persisten dan akses pemanggilan alat menggabungkan dua properti berbahaya. Mereka menyimpan konteks pribadi yang terakumulasi dan dapat dipaksa bertindak berdasarkan instruksi yang tertanam dalam konten yang tidak tepercaya. Setiap dokumen, email, atau halaman web baru yang dibaca asisten adalah permukaan instruksi yang potensial. Tidak ada batas isolasi antara memori yang dipercayakan pengguna kepada asisten dan instruksi yang diikutinya dari konten eksternal, dan proposal sandboxing saat ini menangani pemanggilan alat tetapi bukan akses baca memori.

Mengapa ini penting

Memori AI pribadi mengubah setiap dokumen berbahaya menjadi serangan pencurian dossier yang ditargetkan, sebuah kelas serangan baru yang belum memiliki pertahanan matang.

Cara saya menilai peluang

Skor Peluang adalah penilaian pribadi saya, bukan pengukuran: seberapa besar dampaknya, seberapa sering terasa, dan seberapa sedikit solusi yang ada saat ini. Semakin tinggi skornya, semakin layak menurut saya untuk dibangun.

Tingkat Keparahan10/10

Seberapa besar masalah yang ditimbulkannya saat muncul.

Frekuensi7/10

Seberapa sering orang benar-benar menghadapinya.

Ruang Kosong8/10

Betapa sedikitnya alat yang baik tersedia untuknya saat ini.

Lebih banyak masalah yang layak diselesaikan

Mengapa setiap aplikasi AI melupakan saya begitu saya menutup tab?

Mengapa mempelajari bidang baru masih terganjal oleh ketidaktahuan tentang apa yang harus ditanyakan?

Mengapa orang awam tidak bisa memverifikasi apa yang baru saja dikatakan AI kepada mereka?

Mengapa kita menguji model pada tolok ukur tetapi meluncurkannya berdasarkan intuisi semata?

Mengapa agen AI tidak punya ingatan atas kesalahan mereka sendiri?

Mengapa saya tidak bisa mengaudit apa yang sebenarnya digunakan untuk melatih sebuah model?

← Semua masalah yang layak diselesaikan Tentang Anurag →