Skip to content
AI

Why does TLS not actually hide what I am asking my AI assistant?

80

Oportunidade

Streaming LLM responses emit tokens one at a time over an encrypted connection, and each packet arrival changes size and timing in ways that correlate with topic. The Whisper Leak paper published in November 2025 demonstrated topic classification with above 98% AUPRC across 28 major providers using only encrypted traffic metadata. Several providers issued patches but each mitigation trades query privacy for added latency and there is no agreed specification for what a sufficient defense looks like. The structural problem is that any low-latency streaming protocol leaks information through timing, so padding and noise are palliatives rather than solutions.

Por que importa

Every enterprise using a hosted LLM for sensitive work is operating under a false assumption about what TLS protects, and the fix requires rethinking the streaming transport layer itself.

Como avalio a oportunidade

A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.

Gravidade8/10

O quanto de dor causa quando aparece.

Frequência8/10

Com que frequência as pessoas realmente se deparam com isso.

Lacuna7/10

O quanto pouco de boas ferramentas existe para isso hoje.

Mais problemas que merecem ser resolvidos