Artificial Intelligence

De LLM-stack in productie: wat echt werkt in medio 2026

By Anurag Verma•June 5, 2026

De LLM-stack in productie: wat er echt werkt halverwege 2026

LLM-systemen in productie hebben een drempel overschreden waarop de meeste AI-teksten nog niet zijn bijgepraat: de modellen zelf zijn niet langer het moeilijkste onderdeel. Een goede completion krijgen van Claude 3.5 Sonnet of Gemini 2.0 Flash is de minimumvereiste. De eigenlijke technische uitdaging zit in alles rondom het model, namelijk inferentie-efficiëntie, retrievalkwaliteit, betrouwbaarheid van agents en kostenbeheersing bij de aanroepvolumes die echte agentische werkloads genereren.

Ik draai al achttien maanden LLM-gestuurde functies in productie en de stack is aanzienlijk veranderd. Dit is wat ik weet te kunnen zeggen over juni 2026.

Inferentielaag: vLLM heeft gewonnen, voorlopig

Als je modellen zelf host, is de keuze voor het inferentieraamwerk belangrijker dan mensen toegeven. De drie serieuze opties zijn vLLM, SGLang en TensorRT-LLM, en ze dienen elk een ander doel. vLLM is het juiste startpunt voor vrijwel elk team. Het dekt het breedste modelspectrum, vereist geen compilatiestap en levert via PagedAttention en continue batching consistent concurrerende doorvoer. SGLang gaat er vandoor bij werkloads met een gedeeld prefix waarbij time-to-first-token telt, zoals RAG-pipelines die voor elk verzoek dezelfde lange systeemprompt voorvoegen. TensorRT-LLM is de pijn alleen waard als je een model maandenlang vastlegt en elke laatste token per seconde op grote schaal nodig hebt.

HuggingFace's TGI staat officieel in onderhoudsmodus. HuggingFace zelf raadt nu vLLM of SGLang aan. Ik zie dat als een duidelijk signaal.

Ik zal deze tekst naar het Nederlands vertalen.

Productiestack-architectuur en kosten

De productiestack-architectuur voor serieuze implementaties bestaat uit drie lagen: een inferentie-engine op versnellingshardware, een servicelaag die routing en API-contracten afhandelt (LiteLLM of Envoy AI Gateway), en een op Kubernetes gebaseerde orchestratielaag met KEDA voor automatisch schalen. Prestatiedoelen waaraan engineers nu worden gehouden zijn TTFT onder de 300ms voor standaard workloads en inter-token latentie in de tientallen milliseconden.

Kosten: De Wiskunde Veranderde, Het Probleem Niet

API-prijzen daalden ruwweg 80% tussen 2025 en 2026. GPT-4-klasseprestaties kosten nu ongeveer $0,40 per miljoen tokens, vergeleken met $30 per miljoen begin 2023. Dat lijkt een opgelost probleem, totdat je rekening houdt met wat agentische systemen daadwerkelijk doen: een enkele gebruikerstaak kan 50 tot 200 LLM-aanroepen triggeren. Een goedkope prijs per token wordt heel snel een dure prijs per taak.

De technieken die daadwerkelijk het verschil maken zijn promptcaching (wat invoerkosten met maximaal 90% verlaagt bij herhaalde context), FP8-kwantisering gecombineerd met Flash Attention 3 en speculatief decoderen, en slimme verzoekroutering die eenvoudigere subtaken naar kleinere, goedkopere modellen stuurt. Speculatief decoderen is de moeite waard om zorgvuldig te profileren: het gebruikt een klein conceptmodel om kandidaattokens te genereren die het hoofdmodel parallel verifieert, maar als de acceptatiegraad onder ongeveer 0,5 tokens per stap daalt, voeg je overhead toe in plaats van die te verminderen.

Mijn mening: teams die geen kostendashboard per functie bouwen, zullen blindelings uitgeven. De besparingen zijn reëel, maar ze vereisen meetdiscipline.

RAG: De Retrieval Is Nog Steeds Het Probleem

De pattern van het dumpen van PDF's in een vectordatabase en dat vervolgens een kennisbank noemen, wordt nu algemeen erkend als ontoereikend. Vanaf 2026 is de retrievalstap de plek waar de meeste RAG-fouten ontstaan, niet het generatiemodel. De faalvorm is subtiel: het systeem geeft vertrouwen klinkende antwoorden die zijn gebaseerd op de verkeerde fragmenten, en gebruikers merken het niet.

Hybride retrieval waarbij dense vectorzoekopdrachten worden gecombineerd met BM25, gevolgd door een cross-encoder reranker, is de huidige standaard voor productiesystemen. Pure vectorzoekopdrachten presteren ondermaats bij precisiegevoelige zoekopdrachten. Graph-enhanced retrieval wint terrein in domeinen met gestructureerde relaties tussen entiteiten. En de vraag over kennisbronbeheer, specifiek wie verantwoordelijk is voor de versheid van fragmenten, deduplicatie en kwaliteitsbeoordeling, is een productbeslissing die engineeringteams blijven uitstellen totdat het hen in de problemen brengt.

Agents en MCP: Een standaard die heeft standgehouden

Anthropic's Model Context Protocol, geïntroduceerd eind 2024, is de dominante standaard geworden voor het koppelen van tools aan LLM-agents. OpenAI adopteerde het in maart 2025 en kondigde vervolgens de afschaffing van de Assistants API aan, gepland voor uitfasering medio 2026. Die combinatie dwong het ecosysteem te convergeren. Cursor, Cline en de meeste serieuze agentische ontwikkelomgevingen verwachten nu MCP-compatibele toolservers.

Dit is operationeel van belang. Een gestandaardiseerde toolinterface betekent dat je het onderliggende model kunt vervangen zonder je toolconnectors te herschrijven. Het betekent ook dat het aanvalsoppervlak voor prompt-injectie en misbruik van tools nu voorspelbaar en controleerbaar is. Geen van beide was achttien maanden geleden het geval.

Observability: niet langer optioneel

Langfuse werd in januari 2026 overgenomen door ClickHouse, wat iets zegt over de richting van de markt: tracing-pipelines hebben databases nodig die de schrijfvolumes kunnen verwerken die productie-agents genereren. De toonaangevende platforms op dit gebied zijn LangSmith (de voor de hand liggende keuze voor stacks met veel LangChain), Langfuse (beste optie voor self-hosting) en Arize Phoenix (het sterkst voor workflows met veel RAG-retrieval).

Wat traditionele APM niet kan beantwoorden: welke retrieval-stap irrelevante context teruggaf, waarom een agent in een recursieve lus belandde, of de uitvoerkwaliteit over modelversies heen afwijkt van de baseline. Deze vragen vereisen LLM-native tracing die verzoeken volgt door LLM-aanroepen, retrieval-stappen, tool-aanroepen en beslissingstakken van agents samen, niet afzonderlijk.

Hallucinatie: een Maatstaf, Geen Binair Gegeven

Hallucinatie blijft de grootste blokkade voor high-stakes productie-implementaties. De belangrijke verschuiving in 2026 is dat teams hallucinatie grotendeels niet meer als een binaire slaag/zak-beoordeling beschouwen, maar als een percentage meten. LLM-als-rechter-detectie onderschept 60 tot 75% van gehallucineerde uitvoer, afhankelijk van het promptontwerp. Bij retrieval-gebaseerde taken daalt het percentage bij goed ontworpen systemen tot onder de 2%. Runtime-guardrails die uitvoer inspecteren vóór aflevering en gemarkeerde antwoorden doorsturen voor beoordeling zijn standaard geworden, hoewel de detectielatentie van 200 tot 500 ms een reëel effect heeft op latentiebudgetten.

De praktische aanbeveling: bouw vanaf dag één een hallucinatie-steekproeflus in uw evaluatiepipeline. Beoordeel dagelijks een willekeurige steekproef van live productietraces. Zo onderschept u modeldrift, verouderde retrieval-indexes en promptregressies voordat gebruikers ze melden.

Waar Dit de Stack Brengt

Het model is een commodity. Het inferentieframework, de kwaliteit van retrieval, het toolprotocol, de observability-laag en kostendiscipline rondom agentische aanroepvolumes zijn waar de echte engineeringhefboom in 2026 zit. Teams die dit als bijzaak behandelen, blijven brandjes blussen. Teams die dit als eerste orde van belang beschouwen, leveren betrouwbare producten.