Mengapa seseorang yang mengawasi lalu lintas LLM terenkripsi saya masih dapat menyimpulkan apa yang saya tanyakan?
Peluang
Whisper Leak, yang diungkapkan pada akhir 2025, menunjukkan bahwa analisis pola waktu dan ukuran paket dalam respons LLM streaming terenkripsi mengklasifikasikan topik prompt dengan presisi lebih dari 98% di 28 penyedia utama. Beberapa penyedia termasuk OpenAI dan Mistral menerapkan perbaikan, tetapi mitigasi tersebut hanya menangani pola panjang token. Serangan terpisah mengeksploitasi speculative decoding: jumlah token yang diterima per langkah decoding bervariasi sesuai konten output, dan sinyal tersebut bocor bahkan melalui koneksi yang diisi karena padding tidak menghilangkan fluktuasi tingkat penerimaan. Pertahanan yang diusulkan seperti token batching mengurangi akurasi serangan sebesar 50% tetapi tidak menghilangkannya, dan random padding mengenakan overhead payload hingga 8,7x dengan kebocoran residual. Tidak ada penyedia yang telah merilis mitigasi lengkap untuk varian speculative decoding.
Mengapa ini penting
Setiap pengguna yang mengkueri LLM streaming dari jaringan yang mencatat lalu lintas membocorkan topik kuerinya terlepas dari enkripsi TLS, termasuk pengguna yang percaya mereka berkomunikasi secara privat dengan asisten medis, hukum, atau keuangan.
Cara saya menilai peluang
Skor Peluang adalah penilaian pribadi saya, bukan pengukuran: seberapa besar dampaknya, seberapa sering terasa, dan seberapa sedikit solusi yang ada saat ini. Semakin tinggi skornya, semakin layak menurut saya untuk dibangun.
Seberapa besar masalah yang ditimbulkannya saat muncul.
Seberapa sering orang benar-benar menghadapinya.
Betapa sedikitnya alat yang baik tersedia untuknya saat ini.
Lebih banyak masalah yang layak diselesaikan
Mengapa setiap aplikasi AI melupakan saya begitu saya menutup tab?
AIMengapa mempelajari bidang baru masih terganjal oleh ketidaktahuan tentang apa yang harus ditanyakan?
AIMengapa orang awam tidak bisa memverifikasi apa yang baru saja dikatakan AI kepada mereka?
AIMengapa kita menguji model pada tolok ukur tetapi meluncurkannya berdasarkan intuisi semata?
AIMengapa agen AI tidak punya ingatan atas kesalahan mereka sendiri?
AIMengapa saya tidak bisa mengaudit apa yang sebenarnya digunakan untuk melatih sebuah model?