Artificial Intelligence

প্রোডাকশনে LLM স্ট্যাক: ২০২৬-এর মাঝামাঝিতে আসলে কী কাজ করে

By Anurag Verma•June 5, 2026

প্রোডাকশনে LLM স্ট্যাক: ২০২৬-এর মাঝামাঝিতে যা আসলে কাজ করে

প্রোডাকশন LLM সিস্টেম এমন একটি সীমা অতিক্রম করেছে যা বেশিরভাগ AI-সংক্রান্ত লেখা এখনও ধরে উঠতে পারেনি: মডেলগুলো নিজেই আর মূল সমস্যা নয়। Claude 3.5 Sonnet বা Gemini 2.0 Flash থেকে একটি ভালো কমপ্লিশন পাওয়া এখন ন্যূনতম প্রত্যাশা। আসল ইঞ্জিনিয়ারিং চ্যালেঞ্জ হলো মডেলের চারপাশের সব কিছু, বিশেষত inference দক্ষতা, retrieval মান, agent নির্ভরযোগ্যতা, এবং প্রকৃত agentic ওয়ার্কলোড যে কল ভলিউম তৈরি করে তাতে খরচ নিয়ন্ত্রণ।

গত আঠারো মাস ধরে আমি প্রোডাকশনে LLM-চালিত ফিচার চালাচ্ছি এবং স্ট্যাক উল্লেখযোগ্যভাবে বদলেছে। জুন ২০২৬ পর্যন্ত আমি যা সত্য বলে জানি তা এখানে তুলে ধরছি।

Inference স্তর: vLLM জিতেছে, আপাতত

আপনি যদি মডেল নিজেই হোস্ট করেন, তাহলে inference ফ্রেমওয়ার্কের সিদ্ধান্ত মানুষ যতটা স্বীকার করে তার চেয়ে বেশি গুরুত্বপূর্ণ। তিনটি গুরুত্বপূর্ণ বিকল্প হলো vLLM, SGLang এবং TensorRT-LLM, এবং এগুলো ভিন্ন উদ্দেশ্যে কাজ করে। প্রায় প্রতিটি টিমের জন্য vLLM হলো সঠিক শুরুর বিন্দু। এটি সবচেয়ে বিস্তৃত মডেল পরিসর কভার করে, কোনো compilation ধাপ ছাড়াই চলে, এবং PagedAttention ও continuous batching-এর মাধ্যমে ধারাবাহিকভাবে প্রতিযোগিতামূলক throughput দেয়। SGLang এমন shared-prefix ওয়ার্কলোডে এগিয়ে যায় যেখানে time-to-first-token গুরুত্বপূর্ণ, যেমন RAG পাইপলাইন যেগুলো প্রতিটি রিকোয়েস্টে একই দীর্ঘ system prompt যুক্ত করে। TensorRT-LLM তখনই সমস্যার মূল্য দেয় যখন আপনার কাছে মাসের পর মাস লক-ডাউন একটি মডেল থাকে এবং স্কেলে প্রতিটি শেষ token per second বের করে আনতে হয়।

HuggingFace-এর TGI আনুষ্ঠানিকভাবে maintenance mode-এ আছে। HuggingFace নিজেই এখন vLLM বা SGLang সুপারিশ করে। এটিকে আমি একটি স্পষ্ট সংকেত বলব।

আমি এই টেক্সটটি বাংলায় অনুবাদ করছি।

প্রোডাকশন স্ট্যাক আর্কিটেকচার](https://github.com/vllm-project/production-stack) গুরুতর ডিপ্লয়মেন্টের জন্য তিনটি স্তরে তৈরি: অ্যাক্সেলারেটর হার্ডওয়্যারে ইনফারেন্স ইঞ্জিন, রাউটিং এবং API চুক্তি পরিচালনা করে সার্ভিং লেয়ার (LiteLLM বা Envoy AI Gateway), এবং KEDA দিয়ে অটোস্কেলিংসহ Kubernetes-ভিত্তিক অর্কেস্ট্রেশন লেয়ার। পারফরম্যান্সের লক্ষ্যমাত্রা যেগুলোতে এখন ইঞ্জিনিয়ারদের জবাবদিহি করা হয় সেগুলো হলো স্ট্যান্ডার্ড ওয়ার্কলোডের জন্য ৩০০ms-এর নিচে TTFT এবং কয়েক দশ মিলিসেকেন্ডে ইন্টার-টোকেন লেটেন্সি।

খরচ: গণিত বদলেছে, সমস্যা বদলায়নি

API মূল্য ২০২৫ থেকে ২০২৬-এর মধ্যে প্রায় ৮০% কমেছে। GPT-4-মানের পারফরম্যান্স এখন প্রতি মিলিয়ন টোকেনে প্রায় $০.৪০ খরচে পাওয়া যায়, যেখানে ২০২৩-এর শুরুতে এটি ছিল প্রতি মিলিয়নে $৩০। এটি দেখতে সমাধান হয়ে যাওয়া সমস্যার মতো লাগে, যতক্ষণ না আপনি হিসাব করেন এজেন্টিক সিস্টেমগুলো আসলে কী করে: একটি একক ব্যবহারকারীর কাজ ৫০ থেকে ২০০টি LLM কল ট্রিগার করতে পারে। প্রতি টোকেনে সস্তা দাম খুব দ্রুত প্রতি কাজে ব্যয়বহুল হয়ে ওঠে।

যে কৌশলগুলো আসলে পার্থক্য তৈরি করে সেগুলো হলো প্রম্পট ক্যাশিং (যা বারবার ব্যবহৃত কনটেক্সটে ইনপুট খরচ ৯০% পর্যন্ত কমায়), FP8 কোয়ান্টাইজেশন এবং Flash Attention 3 ও স্পেকুলেটিভ ডিকোডিং-এর সমন্বয়, এবং স্মার্ট রিকোয়েস্ট রাউটিং যা সহজ সাবটাস্কগুলো ছোট, সস্তা মডেলে পাঠায়। স্পেকুলেটিভ ডিকোডিং যত্নসহকারে প্রোফাইল করার মতো: এটি একটি ছোট ড্রাফট মডেল ব্যবহার করে ক্যান্ডিডেট টোকেন তৈরি করে যা মূল মডেল সমান্তরালে যাচাই করে, কিন্তু যদি অ্যাকসেপটেন্স রেট প্রতি ধাপে প্রায় ০.৫ টোকেনের নিচে নেমে যায়, তাহলে আপনি উপরি যোগ করছেন, কমাচ্ছেন না।

আমার মত: যেসব টিম ফিচার অনুযায়ী কস্ট ড্যাশবোর্ড তৈরি করবে না তারা অন্ধভাবে খরচ করবে। সাশ্রয়গুলো বাস্তব, কিন্তু সেগুলোর জন্য পরিমাপের শৃঙ্খলা প্রয়োজন।

RAG: রিট্রিভালই এখনো সমস্যা

পিডিএফ ভেক্টর ডেটাবেসে ঢেলে দিয়ে তাকে নলেজ বেস বলার প্রবণতা এখন ব্যাপকভাবে অপর্যাপ্ত হিসেবে স্বীকৃত। ২০২৬ সালে এসে, বেশিরভাগ RAG ব্যর্থতার উৎস রিট্রিভাল ধাপেই, জেনারেশন মডেলে নয়। ব্যর্থতার ধরনটি সূক্ষ্ম: সিস্টেম ভুল চাঙ্ক থেকে নেওয়া তথ্যের ভিত্তিতে আত্মবিশ্বাসী-শোনানো উত্তর দেয়, আর ব্যবহারকারীরা তা ধরতে পারেন না।

ডেন্স ভেক্টর সার্চের সাথে BM25 মিলিয়ে হাইব্রিড রিট্রিভাল এবং তার পরে ক্রস-এনকোডার রিরেঙ্কার ব্যবহার করাটাই এখন প্রোডাকশন সিস্টেমের বেসলাইন। নিছক ভেক্টর সার্চ প্রিসিশন-সংবেদনশীল প্রশ্নে তুলনামূলকভাবে দুর্বল। এন্টিটির মধ্যে কাঠামোগত সম্পর্ক আছে এমন ডোমেইনে গ্রাফ-সমৃদ্ধ রিট্রিভাল জনপ্রিয়তা পাচ্ছে। আর নলেজ সোর্স গভর্ন্যান্স প্রশ্নটি, বিশেষত চাঙ্কের তাজা রাখা, ডিডুপ্লিকেশন এবং মান যাচাই কার দায়িত্ব, সেটি একটি পণ্য-সংক্রান্ত সিদ্ধান্ত যা ইঞ্জিনিয়ারিং দলগুলো বারবার পিছিয়ে দিতে থাকে, যতক্ষণ না সমস্যা সামনে এসে দাঁড়ায়।

এজেন্ট ও MCP: যে স্ট্যান্ডার্ড টিকে গেল

Anthropic-এর Model Context Protocol, ২০২৪ সালের শেষ দিকে প্রকাশিত, এখন LLM এজেন্টে টুল সংযুক্ত করার প্রধান মানক হয়ে উঠেছে। OpenAI ২০২৫ সালের মার্চে এটি গ্রহণ করে এবং Assistants API বন্ধ করার ঘোষণা দেয়, যার সানসেট ধার্য ২০২৬ সালের মাঝামাঝি। এই দুটি ঘটনা একসাথে ইকোসিস্টেমকে একটি পথে একত্রিত করতে বাধ্য করেছে। Cursor, Cline এবং বেশিরভাগ গুরুত্বপূর্ণ এজেন্টিক ডেভেলপমেন্ট পরিবেশ এখন MCP-সামঞ্জস্যপূর্ণ টুল সার্ভার প্রত্যাশা করে।

এটি অপারেশনালভাবে গুরুত্বপূর্ণ। একটি মানকীকৃত টুল ইন্টারফেস মানে আপনি টুল কানেক্টর পুনর্লিখন না করেই অন্তর্নিহিত মডেল বদলাতে পারবেন। এর মানে এটাও যে প্রম্পট ইনজেকশন ও টুলের অপব্যবহারের পৃষ্ঠটি এখন অনুমানযোগ্য এবং নিরীক্ষাযোগ্য। আঠারো মাস আগেও এর কোনোটাই সত্যি ছিল না।

অবজার্ভেবিলিটি: আর ঐচ্ছিক নয়

জানুয়ারি ২০২৬-এ Langfuse-কে ClickHouse অধিগ্রহণ করেছে, যা বলে দেয় বাজার কোন দিকে যাচ্ছে: ট্রেসিং পাইপলাইনগুলোর এমন ডেটাবেজ দরকার যা প্রোডাকশন এজেন্টের তৈরি রাইট ভলিউম সামলাতে পারে। এই স্পেসে শীর্ষস্থানীয় প্ল্যাটফর্মগুলো হলো LangSmith (LangChain-নির্ভর স্ট্যাকের জন্য স্বাভাবিক পছন্দ), Langfuse (সেলফ-হোস্টেডের জন্য সেরা বিকল্প), এবং Arize Phoenix (RAG-ভারী রিট্রিভাল ওয়ার্কফ্লোর জন্য সবচেয়ে শক্তিশালী)।

প্রচলিত APM যে প্রশ্নগুলোর উত্তর দিতে পারে না: কোন রিট্রিভাল ধাপটি অপ্রাসঙ্গিক কনটেক্সট ফেরত দিয়েছিল, কেন একটি এজেন্ট পুনরাবৃত্তিমূলক লুপে ঢুকে পড়েছিল, মডেল ভার্সনগুলোর মধ্যে আউটপুটের মান বেসলাইন থেকে বিচ্যুত হচ্ছে কিনা। এই প্রশ্নগুলোর জন্য LLM-নেটিভ ট্রেসিং দরকার যা রিকোয়েস্টগুলোকে LLM কল, রিট্রিভাল ধাপ, টুল ইনভোকেশন এবং এজেন্ট ডিসিশন শাখাগুলো জুড়ে একসাথে অনুসরণ করে, আলাদাভাবে নয়।

হ্যালুসিনেশন: একটি মেট্রিক, বাইনারি নয়

হ্যালুসিনেশন এখনও উচ্চ-ঝুঁকির প্রোডাকশন ডিপ্লয়মেন্টের প্রধান বাধা হিসেবে রয়ে গেছে। ২০২৬ সালের গুরুত্বপূর্ণ পরিবর্তন হলো দলগুলো এটিকে বাইনারি পাস/ফেল হিসেবে দেখা প্রায় ছেড়ে দিয়েছে এবং এটিকে হার হিসেবে পরিমাপ করতে শুরু করেছে। LLM-as-judge ডিটেকশন প্রম্পট ডিজাইনের উপর নির্ভর করে ৬০ থেকে ৭৫ শতাংশ হ্যালুসিনেটেড আউটপুট ধরতে পারে। রিট্রিভাল-গ্রাউন্ডেড কাজে ভালোভাবে ইঞ্জিনিয়ার করা সিস্টেমে হার ২ শতাংশের নিচে নেমে আসে। রানটাইম গার্ডরেলগুলো যা ডেলিভারির আগে আউটপুট পরীক্ষা করে এবং ফ্ল্যাগ করা রেসপন্সগুলো পর্যালোচনার জন্য রাউট করে, সেগুলো এখন স্ট্যান্ডার্ড হয়ে উঠেছে, যদিও ২০০ থেকে ৫০০ মিলিসেকেন্ডের ডিটেকশন লেটেন্সি লেটেন্সি বাজেটে বাস্তব চাপ যোগ করে।

বাস্তব পরামর্শ: প্রথম দিন থেকেই আপনার ইভ্যালুয়েশন পাইপলাইনে একটি হ্যালুসিনেশন স্যাম্পলিং লুপ তৈরি করুন। প্রতিদিন লাইভ প্রোডাকশন ট্রেসের একটি র‍্যান্ডম স্যাম্পল স্কোর করুন। এতে ইউজাররা রিপোর্ট করার আগেই আপনি মডেল ড্রিফট, পুরনো রিট্রিভাল ইনডেক্স এবং প্রম্পট রিগ্রেশন ধরে ফেলতে পারবেন।

এই সবকিছু স্ট্যাককে যেখানে রাখে

মডেল এখন একটি পণ্যমাত্র। ইনফারেন্স ফ্রেমওয়ার্ক, রিট্রিভাল মান, টুল প্রোটোকল, অবজার্ভেবিলিটি স্তর এবং এজেন্টিক কল ভলিউমের ব্যয় শৃঙ্খলাতেই ২০২৬ সালে প্রকৃত ইঞ্জিনিয়ারিং সুবিধা নিহিত। যে দলগুলো এগুলোকে গৌণ বিষয় মনে করে, তারা সমস্যা সামলাতেই ব্যস্ত থাকবে। যে দলগুলো এগুলোকে প্রথম শ্রেণির বিষয় হিসেবে বিবেচনা করে, তারাই নির্ভরযোগ্য পণ্য শিপ করে।