Why can a neighbor on my inference cluster reconstruct what I just asked the model?
Opportunità
Modern LLM serving frameworks like vLLM share KV-cache blocks across requests with matching prefixes to reduce compute cost. When multiple tenants share the same inference server, an adversary tenant can probe cache-hit and cache-miss latencies to reconstruct another tenant's private prompt. Three independent attacks published in 2025 and 2026, PROMPTPEEK, EarlyBird, and InputSnatch, demonstrate up to 100% prompt reconstruction accuracy against production-grade serving stacks. Providers can defeat this by running fully isolated instances per tenant, but that eliminates all the memory and compute savings that make shared inference economically viable. The KVGov governance paper from August 2026 proposes per-principal cryptographic cache salts as a fix, but no commercial inference provider has deployed it.
Perché è importante
Shared inference is the cost model that makes AI accessible at scale, but right now it cannot safely carry any sensitive workload without full tenant isolation.
Come valuto l'opportunità
L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.
Quanto dolore provoca quando si manifesta.
Quanto spesso le persone ci si imbattono davvero.
Quanti pochi strumenti validi esistono oggi per affrontarlo.
Altri problemi che vale la pena risolvere
Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?
AIPerché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?
AIPerché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?
AIPerché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?
AIPerché gli agenti AI non hanno memoria dei propri errori?
AIPerché non posso verificare su cosa è stato effettivamente addestrato un modello?