Artificial Intelligence

Lo stack LLM in produzione: cosa funziona davvero a metà 2026

By Anurag Verma•June 5, 2026

Il Stack LLM in Produzione: Cosa Funziona Davvero a Metà 2026

I sistemi LLM in produzione hanno superato una soglia che la maggior parte della letteratura sull'IA non ha ancora recepito: i modelli stessi non sono più la parte difficile. Ottenere un buon completamento da Claude 3.5 Sonnet o Gemini 2.0 Flash è ormai il minimo sindacale. La vera sfida ingegneristica è tutto ciò che ruota attorno al modello, in particolare l'efficienza dell'inferenza, la qualità del recupero informazioni, l'affidabilità degli agenti e il controllo dei costi ai volumi di chiamate che i carichi di lavoro agentici reali generano.

Ho gestito funzionalità basate su LLM in produzione negli ultimi diciotto mesi e lo stack è cambiato considerevolmente. Ecco cosa so essere vero a giugno 2026.

Layer di Inferenza: vLLM ha Vinto, per Ora

Se ospiti i modelli in autonomia, la scelta del framework di inferenza conta più di quanto si ammetta. Le tre opzioni serie sono vLLM, SGLang e TensorRT-LLM, e servono scopi diversi. vLLM è il punto di partenza corretto per quasi ogni team. Copre la gamma di modelli più ampia, non richiede una fase di compilazione e offre costantemente un throughput competitivo grazie a PagedAttention e al batching continuo. SGLang prende il sopravvento sui carichi di lavoro con prefisso condiviso in cui conta il tempo al primo token, come le pipeline RAG che antepongono lo stesso lungo prompt di sistema a ogni richiesta. TensorRT-LLM vale la pena solo quando hai un modello stabile da mesi e hai bisogno di estrarne ogni ultimo token al secondo su larga scala.

TGI di HuggingFace è ufficialmente in modalità manutenzione. HuggingFace stesso ora raccomanda vLLM o SGLang. Lo considero un segnale chiaro.

L'architettura dello stack di produzione per deployment seri si articola in tre livelli: il motore di inferenza sull'hardware acceleratore, uno strato di serving che gestisce il routing e i contratti API (LiteLLM o Envoy AI Gateway), e uno strato di orchestrazione basato su Kubernetes con KEDA per l'autoscaling. I target di performance a cui gli ingegneri sono ora tenuti sono TTFT inferiore a 300ms per i carichi di lavoro standard e latenza inter-token nell'ordine delle decine di millisecondi.

Costo: La Matematica è Cambiata, Il Problema No

I prezzi delle API sono calati di circa l'80% tra il 2025 e il 2026. Le performance di livello GPT-4 costano ora circa $0,40 per milione di token, rispetto ai $30 per milione di inizio 2023. Sembra un problema risolto, finché non si considera cosa fanno realmente i sistemi agentici: un singolo task utente può innescare da 50 a 200 chiamate LLM. Un prezzo per token contenuto diventa molto rapidamente un costo per task elevato.

Le tecniche che spostano davvero l'ago della bilancia sono il prompt caching (che riduce i costi di input fino al 90% sui contesti ripetuti), la quantizzazione FP8 combinata con Flash Attention 3 e lo speculative decoding, e lo smart request routing che invia i subtask più semplici a modelli più piccoli ed economici. Vale la pena profilare con attenzione lo speculative decoding: utilizza un piccolo modello draft per generare token candidati che il modello principale verifica in parallelo, ma se il tasso di accettazione scende sotto circa 0,5 token per step, si aggiunge overhead anziché ridurlo.

La mia opinione: i team che non costruiscono una dashboard dei costi per feature spenderanno alla cieca. I risparmi sono reali, ma richiedono disciplina nella misurazione.

RAG: Il Problema è Ancora il Retrieval

Il pattern di caricare PDF in un database vettoriale e definirlo base di conoscenza è ormai ampiamente riconosciuto come inadeguato. A partire dal 2026, il passaggio di recupero è l'origine della maggior parte dei fallimenti RAG, non il modello generativo. La modalità di fallimento è sottile: il sistema restituisce risposte dal tono sicuro ancorate ai chunk sbagliati, e gli utenti non se ne accorgono.

Il recupero ibrido che combina la ricerca vettoriale densa con BM25, seguito da un reranker cross-encoder, è l'attuale punto di riferimento per i sistemi in produzione. La sola ricerca vettoriale pura ha prestazioni inferiori nelle query che richiedono alta precisione. Il recupero graph-enhanced sta guadagnando terreno nei domini con relazioni strutturate tra entità. E la questione della governance delle fonti di conoscenza, in particolare chi gestisce la freschezza dei chunk, la deduplicazione e la revisione della qualità, è una decisione di prodotto che i team di ingegneria continuano a rimandare finché non li colpisce.

Agenti e MCP: uno Standard che ha Attecchito

Il Model Context Protocol di Anthropic, introdotto a fine 2024, è diventato lo standard dominante per connettere strumenti agli agenti LLM. OpenAI lo ha adottato a marzo 2025 e ha successivamente annunciato la deprecazione delle Assistants API, con dismissione prevista per metà 2026. Questa combinazione ha costretto l'ecosistema a convergere. Cursor, Cline e la maggior parte degli ambienti di sviluppo agentici seri si aspettano ora server di strumenti compatibili con MCP.

Questo ha implicazioni operative. Un'interfaccia di strumenti standardizzata significa che si può sostituire il modello sottostante senza riscrivere i connettori degli strumenti. Significa anche che la superficie esposta a prompt injection e uso improprio degli strumenti è ora prevedibile e verificabile. Nessuna di queste due cose era vera diciotto mesi fa.

Osservabilità: Non Più Opzionale

Langfuse è stata acquisita da ClickHouse nel gennaio 2026, il che dice molto sulla direzione del mercato: le pipeline di tracing hanno bisogno di database in grado di gestire i volumi di scrittura generati dagli agenti in produzione. Le piattaforme leader in questo spazio sono LangSmith (la scelta naturale per gli stack basati su LangChain), Langfuse (la migliore opzione self-hosted) e Arize Phoenix (la più efficace per i flussi di lavoro con RAG intensivo).

Ciò a cui il tradizionale APM non sa rispondere: quale step di retrieval ha restituito contesto irrilevante, perché un agente è entrato in un loop ricorsivo, se la qualità degli output sta degradando rispetto alla baseline tra versioni diverse del modello. Queste domande richiedono un tracing nativo per LLM che segua le richieste attraverso chiamate LLM, step di retrieval, invocazioni di strumenti e rami decisionali degli agenti in modo integrato, non in isolamento.

L'Allucinazione: una Metrica, non un Binario

L'allucinazione rimane il principale ostacolo per i deployment in produzione ad alto rischio. Il cambiamento più significativo del 2026 è che i team hanno per lo più smesso di trattarla come un semplice pass/fail e hanno iniziato a misurarla come un tasso. Il rilevamento tramite LLM-as-judge intercetta dal 60 al 75% degli output allucinati a seconda del design del prompt. Nei task con grounding su retrieval, i tassi scendono sotto il 2% nei sistemi ben progettati. I guardrail in runtime che ispezionano gli output prima della consegna e instradano le risposte segnalate per revisione sono diventati standard, anche se la latenza di rilevamento tra 200 e 500 ms aggiunge un overhead reale al budget di latenza.

La raccomandazione pratica: inserisci un ciclo di campionamento per le allucinazioni nella tua pipeline di valutazione fin dal primo giorno. Valuta ogni giorno un campione casuale delle trace di produzione live. Riuscirai a rilevare il drift del modello, gli indici di retrieval obsoleti e le regressioni dei prompt prima che siano gli utenti a segnalarli.

Dove Questo Lascia lo Stack

Il modello è una commodity. Il framework di inferenza, la qualità del retrieval, il protocollo degli strumenti, il livello di osservabilità e la disciplina dei costi attorno ai volumi di chiamate agentiche sono dove risiede la vera leva ingegneristica nel 2026. I team che li trattano come questioni secondarie continueranno a combattere gli incendi. I team che li trattano come priorità di primo livello rilasciano prodotti affidabili.