Artificial Intelligence

LLM Yığını Üretimde: 2026 Ortasında Gerçekten İşe Yarayan Nedir

By Anurag Verma•June 5, 2026

Üretimde LLM Yığını: Ortası 2026 İtibarıyla Gerçekten İşe Yarayan Nedir?

Üretim LLM sistemleri, yapay zeka yazılarının büyük bölümünün hâlâ yetişemediği bir eşiği geride bıraktı: Modellerin kendisi artık en zor kısım değil. Claude 3.5 Sonnet veya Gemini 2.0 Flash'tan iyi bir tamamlama almak standart bir beklenti haline geldi. Asıl mühendislik zorluğu modelin çevresindeki her şey; özellikle çıkarım verimliliği, erişim kalitesi, ajan güvenilirliği ve gerçek ajantik iş yüklerinin ürettiği çağrı hacimlerinde maliyet kontrolü.

Son on sekiz aydır üretimde LLM destekli özellikler çalıştırıyorum ve yığın önemli ölçüde değişti. Haziran 2026 itibarıyla doğru bildiğim şeyler bunlar.

Çıkarım Katmanı: vLLM Kazandı, Şimdilik

Model barındırıyorsanız, çıkarım çerçevesi kararı insanların kabul ettiğinden daha fazla önem taşıyor. Üç ciddi seçenek vLLM, SGLang ve TensorRT-LLM ve bunlar farklı amaçlara hizmet ediyor. vLLM, neredeyse her ekip için doğru başlangıç noktasıdır. En geniş model yelpazesini kapsıyor, derleme adımı gerektirmiyor ve PagedAttention ile sürekli toplu işleme aracılığıyla tutarlı biçimde rekabetçi bir iş akışı sunuyor. SGLang, her isteğe aynı uzun sistem istemini ekleyen RAG ardışık düzenleri gibi ilk belirtece gelinceye kadar geçen sürenin önem taşıdığı, ortak önekli iş yüklerinde öne geçiyor. TensorRT-LLM ise yalnızca modeli aylarca sabit tuttuğunuzda ve ölçekte saniyede son birkaç belirteci de sıkıştırmanız gerektiğinde bu zahmete değiyor.

HuggingFace'in TGI'ı resmi olarak bakım moduna geçti. HuggingFace'in kendisi artık vLLM veya SGLang öneriyor. Bunu net bir sinyal olarak değerlendiriyorum.

Üretim yığını mimarisi ciddi dağıtımlar için üç katmandan oluşuyor: hızlandırıcı donanım üzerinde çalışan çıkarım motoru, yönlendirme ve API sözleşmelerini yöneten bir servis katmanı (LiteLLM veya Envoy AI Gateway) ve KEDA ile otomatik ölçeklendirme yapan Kubernetes tabanlı düzenleme katmanı. Mühendislerin artık tutturması beklenen performans hedefleri standart iş yükleri için 300 ms altında TTFT ve onlarca milisaniye düzeyinde token arası gecikme.

Maliyet: Matematik Değişti, Sorun Değişmedi

API fiyatlandırması 2025 ile 2026 arasında yaklaşık %80 düştü. GPT-4 sınıfı performans artık milyon token başına yaklaşık 0,40 dolar, 2023 başındaki 30 dolara kıyasla. Sorun çözülmüş gibi görünüyor ta ki ajan tabanlı sistemlerin gerçekte ne yaptığını hesaba katana kadar: tek bir kullanıcı görevi 50 ila 200 LLM çağrısını tetikleyebiliyor. Token başına ucuz bir fiyat, görev başına pahalı bir maliyete çok hızlı dönüşüyor.

Gerçekten fark yaratan teknikler şunlar: istem önbellekleme (tekrarlanan bağlamlarda giriş maliyetlerini %90'a kadar düşürüyor), Flash Attention 3 ve spekülatif kod çözmeyle birleştirilmiş FP8 nicemleme ve daha basit alt görevleri daha küçük, daha ucuz modellere gönderen akıllı istek yönlendirme. Spekülatif kod çözmeyi dikkatlice profillemek gerekiyor: ana modelin paralel olarak doğruladığı aday token'lar üretmek için küçük bir taslak model kullanıyor; ancak kabul oranı adım başına yaklaşık 0,5 token'ın altına düşerse gecikmeyi azaltmak bir yana ek yük bindiriyorsunuz.

Kişisel görüşüm: özellik başına maliyet gösterge paneli oluşturmayan ekipler körü körüne harcama yapar. Tasarruflar gerçek, ama ölçüm disiplini gerektiriyor.

RAG: Sorun Hala Retrieval

PDF'leri bir vektör veritabanına dökmek ve buna bilgi tabanı demek artık yaygın biçimde yetersiz olarak görülüyor. 2026 itibarıyla, RAG başarısızlıklarının büyük bölümü üretim modelinden değil, geri çekme adımından kaynaklanıyor. Başarısızlık modu ince bir şekilde işliyor: sistem, yanlış parçalara dayanan ama güvenilir görünen yanıtlar döndürüyor ve kullanıcılar bunu fark edemiyor.

Yoğun vektör aramasını BM25 ile birleştirip ardından çapraz kodlayıcı yeniden sıralama uygulayan hibrit geri çekme, üretim sistemleri için artık temel bir standarttır. Salt vektör araması, hassasiyet gerektiren sorgularda yetersiz kalmaktadır. Graf destekli geri çekme ise varlıklar arasında yapısal ilişkilerin bulunduğu alanlarda giderek daha fazla ilgi görmektedir. Bilgi kaynağı yönetimi meselesi, yani parça güncelliğinin, yinelenenlerin temizlenmesinin ve kalite incelemesinin kimin sorumluluğunda olduğu sorusu, mühendislik ekiplerinin zarar görene kadar ertelemeye çalıştığı bir ürün kararıdır.

Ajanlar ve MCP: Yerleşen Bir Standart

Anthropic'in 2024'ün sonlarında tanıttığı Model Context Protocol, araçları LLM ajanlarına bağlamak için baskın standart haline geldi. OpenAI Mart 2025'te bu standardı benimsedi ve ardından 2026'nın ortasında kullanımdan kaldırılması planlanan Assistants API'nin sonlandırılacağını duyurdu. Bu iki gelişme birleşince ekosistem tek bir noktada birleşmek zorunda kaldı. Cursor, Cline ve ciddi ajan geliştirme ortamlarının büyük çoğunluğu artık MCP uyumlu araç sunucuları beklemektedir.

Bu durum operasyonel açıdan önemlidir. Standartlaşmış bir araç arayüzü, araç bağlantılarını yeniden yazmadan temel modeli değiştirebileceğiniz anlamına gelir. Aynı zamanda istem enjeksiyonu ve araç kötüye kullanımına yönelik saldırı yüzeyinin artık öngörülebilir ve denetlenebilir olduğu anlamına da gelir. Bu iki özelliğin hiçbiri on sekiz ay önce mevcut değildi.

Gözlemlenebilirlik: Artık İsteğe Bağlı Değil

Üretim yapay zeka sistemleri için LLM gözlemlenebilirlik alanı hızla olgunlaşıyor. LangSmith, Langfuse ve Arize Phoenix gibi platformlar birbirinden farklı güçlü yönlere sahip olmakla birlikte, temel mesele şu: geleneksel APM araçları üretim ajanlarının ürettiği soruları yanıtlayamaz.

Langfuse, Ocak 2026'da ClickHouse tarafından satın alındı; bu da piyasanın nereye gittiğini gösteriyor: izleme hatları, üretim ajanlarının oluşturduğu yazma hacimlerini kaldırabilecek veritabanlarına ihtiyaç duyuyor. Bu alandaki öncü platformlar şunlar: LangSmith (LangChain ağırlıklı yapılar için doğal tercih), Langfuse (en iyi kendi kendine barındırma seçeneği) ve Arize Phoenix (RAG ağırlıklı geri çağırma iş akışları için en güçlü seçenek).

Geleneksel APM'nin yanıt veremediği sorular: hangi geri çağırma adımının ilgisiz bağlam döndürdüğü, bir ajanın neden özyinelemeli döngüye girdiği, çıktı kalitesinin model sürümleri arasında temel çizgiden sapıp sapmadığı. Bu sorular, LLM çağrılarını, geri çağırma adımlarını, araç çağrılarını ve ajan karar dallarını birlikte, ayrı ayrı değil, izleyen LLM'e özgü izleme gerektirir.

Hallüsinasyon: Bir Metrik, İkili Değil

Hallüsinasyon, yüksek riskli üretim dağıtımları için birincil engel olmaya devam ediyor. 2026'daki önemli değişim şu: ekipler, büyük ölçüde hallüsinasyonu ikili geçer/kalır olarak değerlendirmeyi bırakıp bir oran olarak ölçmeye başladı. LLM-yargıç tespiti, istem tasarımına bağlı olarak hallüsinasyon içeren çıktıların yüzde 60 ila 75'ini yakalıyor. Geri çağırmaya dayalı görevlerde, iyi mühendislik edilmiş sistemlerde oranlar yüzde 2'nin altına düşüyor. Teslimat öncesinde çıktıları inceleyen ve işaretlenen yanıtları incelemeye yönlendiren çalışma zamanı güvenlik önlemleri standart hale geldi; ancak 200 ila 500 ms'lik tespit gecikmesi, gecikme bütçelerine gerçek bir yük ekliyor.

Pratik öneri: değerlendirme hattınıza başından itibaren bir hallüsinasyon örnekleme döngüsü yerleştirin. Her gün canlı üretim izlerinden rastgele bir örnek puanlayın. Model kaymasını, eski geri çağırma dizinlerini ve istem gerileme hatalarını kullanıcılar bildirmeden önce yakalarsınız.

Yığını Nerede Bırakıyor

Model artık bir emtia. 2026'da gerçek mühendislik kaldıracı; çıkarım çerçevesi, erişim kalitesi, araç protokolü, gözlemlenebilirlik katmanı ve ajanlı çağrı hacimleri etrafındaki maliyet disiplininde yatıyor. Bunları ikincil konular olarak gören ekipler yangın söndürmeye devam edecek. Bunları öncelikli konular olarak ele alan ekipler ise güvenilir ürünler ortaya koyacak.