Perché chi monitora il mio traffico LLM cifrato può comunque dedurre cosa ho chiesto?

Opportunità

Whisper Leak, divulgato alla fine del 2025, ha dimostrato che analizzare i pattern di temporizzazione e dimensione dei pacchetti nelle risposte LLM in streaming cifrate classifica gli argomenti dei prompt con una precisione superiore al 98% su 28 provider principali. Alcuni provider tra cui OpenAI e Mistral hanno distribuito correzioni, ma tali mitigazioni affrontano solo i pattern di lunghezza dei token. Un attacco separato sfrutta la decodifica speculativa: il numero di token accettati per step di decodifica varia con il contenuto dell'output, e quel segnale trapela anche attraverso connessioni con padding perché il padding non elimina la fluttuazione del tasso di accettazione. Le difese proposte come il token batching riducono la precisione dell'attacco del 50% ma non la eliminano, e il padding casuale impone fino a 8,7x di overhead del payload con perdite residue. Nessun provider ha distribuito una mitigazione completa per la variante della decodifica speculativa.

Perché è importante

Qualsiasi utente che interroga un LLM in streaming da una rete che registra il traffico sta divulgando l'argomento della propria query indipendentemente dalla cifratura TLS, compresi gli utenti che credono di comunicare privatamente con un assistente medico, legale o finanziario.

Come valuto l'opportunità

L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.

Gravità8/10

Quanto dolore provoca quando si manifesta.

Frequenza8/10

Quanto spesso le persone ci si imbattono davvero.

Spazio bianco8/10

Quanti pochi strumenti validi esistono oggi per affrontarlo.

Altri problemi che vale la pena risolvere

Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?

Perché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?

Perché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?

Perché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?

Perché gli agenti AI non hanno memoria dei propri errori?

Perché non posso verificare su cosa è stato effettivamente addestrato un modello?

← Tutti i problemi che vale la pena risolvere Su Anurag →