Artificial Intelligence

২০২৬ সালে মাল্টিমোডাল AI: পার্টি ট্রিকস থেকে অবকাঠামোয়

By Anurag Verma•June 7, 2026

২০২৬ সালে মাল্টিমোডাল এআই: পার্টি ট্রিক থেকে অবকাঠামোয়

প্রথমবার যখন আমি একটি ঝাপসা সার্কিট বোর্ডের ছবি একটি মাল্টিমোডাল মডেলে দিয়েছিলাম এবং পাল্টায় পেয়েছিলাম একটি কম্পোনেন্ট-স্তরের ব্যর্থতার বিশ্লেষণ, তখন থেকেই ভিজ্যুয়াল এআইকে আর শুধু ডেমো ফিচার মনে হয়নি। সেটা ছিল দুই বছর আগের কথা। আজ মাল্টিমোডাল এআই, যেখানে একটি মডেল একসাথে টেক্সট, ছবি, অডিও এবং ভিডিও গ্রহণ করতে পারে, গুরুতর এআই অ্যাপ্লিকেশনের জন্য ডিফল্ট আর্কিটেকচার হয়ে উঠেছে, আর এটি কোনো অ্যাড-অন নয়।

এই পরিবর্তন আমার পরিচিত বেশিরভাগ ইঞ্জিনিয়ারের প্রত্যাশার চেয়ে অনেক দ্রুত ঘটেছে। আর এখন আমরা সেই গতির পরিণতির মুখোমুখি, ভালো এবং জটিল দুটোই।

স্ট্যাকটা আসলে এখন কেমন দেখাচ্ছে

২০২৬ সালের মাঝামাঝিতে ব্যবহারিক ডিপ্লয়মেন্টে তিনটি মডেল পরিবার আধিপত্য করছে। OpenAI-এর GPT-5, ২০২৫ সালের আগস্টে প্রকাশিত, একটি রিয়েল-টাইম রাউটার নিয়ে আসে যা স্বয়ংক্রিয়ভাবে কোয়েরিগুলো একটি দ্রুত ইনফারেন্স পাথ এবং একটি চেইন-অব-থট রিজনিং পাথের মধ্যে বিতরণ করে। এর মাল্টিমোডাল হ্যান্ডলিং সত্যিকার অর্থেই নেটিভ, অর্থাৎ ছবি এবং টেক্সট একটি অ্যাডাপ্টার দিয়ে জোড়া লাগানোর বদলে একই টোকেন স্পেস ভাগ করে নেয়। আমি যে বেশিরভাগ প্রোডাক্ট টিমের সাথে কথা বলি তাদের কাছে এটি গ্রাহক-মুখী ফিচারের জন্য ডিফল্ট পছন্দ হিসেবেই থাকে, কারণ API পূর্বানুমানযোগ্য এবং মূল্য নির্ধারণ বেশিরভাগ SaaS মডেলের সাথে মানানসই।

Google-এর Gemini 2.5 Pro, ২০২৫ সালের মার্চে লঞ্চ হয়েছে, এমন কিছু করে যেখানে অন্যরা এখনো পিছিয়ে: এটি নেটিভলি প্রায় এক ঘণ্টা পর্যন্ত ভিডিও প্রসেস করে, যেকোনো ট্রান্সক্রিপ্ট থেকে স্বাধীনভাবে সেই ভিডিওর অডিও ট্র্যাক বোঝে এবং একই কনটেক্সট উইন্ডোতে স্ট্রাকচার্ড ডেটার সাথে মিলিয়ে দেয়। নজরদারি ফুটেজ, রেকর্ড করা মিটিং বা প্রোডাক্ট ওয়াকথ্রু নিয়ে কাজ করে এমন যেকোনো পাইপলাইনের জন্য Gemini 2.5 Pro এখন ব্যবহারিক পছন্দ, এমনকি এর উত্তরসূরি Gemini 3.1 Pro গ্রিনফিল্ড বিল্ডের জন্য প্রোডাকশনে আসতে শুরু করলেও।

অ্যান্থ্রপিকের Claude 4 Sonnet, ডকুমেন্ট-নির্ভর ওয়ার্কফ্লোতে আমার বর্তমান প্রথম পছন্দ, মাল্টি-টার্ন ভিজ্যুয়াল রিজনিং পরিচালনা করে আগের প্রজন্মের মতো প্রসঙ্গ বিচ্যুতি ছাড়াই। আপনি যদি চুক্তিপত্র, আর্থিক বিবৃতি বা ইঞ্জিনিয়ারিং ড্রয়িং প্রক্রিয়া করেন, টার্ন জুড়ে ধারাবাহিকতার পার্থক্য চোখে পড়ার মতো।

ওপেন-সোর্সের দিক থেকে, মালিকানাধীন মডেলগুলোর সাথে ব্যবধান এমন হারে কমছে যা বিদ্যমান খেলোয়াড়দের জন্য অস্বস্তিকর। আলিবাবার Qwen3-VL-235B OCR, ডকুমেন্ট বোঝাপড়া, ভিডিও প্রশ্নোত্তর এবং ২D/৩D স্থানিক গ্রাউন্ডিং কভার করা বেশ কয়েকটি মাল্টিমোডাল বেঞ্চমার্কে GPT-5-কে সমতুল্য বা ছাড়িয়ে যায়। এটি OCR কাজের জন্য ৩২টি ভাষা সমর্থন করে। যে দলের কাছে অন-প্রিমিসেস ২৩৫B প্যারামিটার চালানোর কম্পিউট বাজেট আছে, তারা এখন উচ্চ-ভলিউম ভিজ্যুয়াল ইনফারেন্সের জন্য API ফি দেওয়ার একটি বৈধ বিকল্প পেয়েছে।

এটি আসলে কোথায় ব্যবহৃত হচ্ছে

যে এন্টারপ্রাইজ ডিপ্লয়মেন্টগুলো সাড়া ফেলছে সেগুলো তিন বছর আগে আমি যেখানে পূর্বাভাস দিতাম সেখানে নয়।

ম্যানুফ্যাকচারিং কোয়ালিটি কন্ট্রোল সবচেয়ে স্পষ্ট সাফল্য। মাল্টিমোডাল মডেলগুলো ক্যামেরা ফিড, সেন্সর লগ এবং রক্ষণাবেক্ষণ রেকর্ড একত্রিত করে সমস্যা বড় হওয়ার আগেই অস্বাভাবিকতা চিহ্নিত করে। মডেল শুধু ছবি দেখে না, ছবি এবং টাইম-সিরিজ ডেটা জুড়ে একই সাথে যুক্তি প্রয়োগ করে। এন্টারপ্রাইজ দলগুলো পরিকল্পনা বহির্ভূত ডাউনটাইমে পরিমাপযোগ্য হ্রাসের কথা জানাচ্ছে একক-মোডালিটি পরিদর্শন সিস্টেমের তুলনায়।

কাস্টমার সাপোর্ট অপর এমন ক্ষেত্র যেখানে মাল্টিমোডাল সিস্টেম টেক্সট-কেবল এজেন্টের চেয়ে বাণিজ্যিকভাবে গুরুত্বপূর্ণ উপায়ে ভালো ফলাফল দেয়। একটি সাপোর্ট এজেন্ট যা গ্রাহকের রাউটারের LED প্যাটার্ন দেখতে পারে, স্ক্রিনশটে ত্রুটি কোড পড়তে পারে এবং একই পাসে অ্যাকাউন্টের সার্ভিস ইতিহাস ক্রস-রেফারেন্স করতে পারে, যেকোনো টেক্সট-কেবল ফ্লোর চেয়ে দ্রুত টিকেট সমাধান করে। লেটেন্সি উন্নতি সরাসরি CSAT স্কোরে যোগ হয়।

ডকুমেন্ট ইন্টেলিজেন্স, যা OCR এবং NLP-এর মিলিত প্রথম কিলার অ্যাপ ছিল, সম্পূর্ণরূপে পুনর্গঠিত হয়েছে। আধুনিক মাল্টিমোডাল পাইপলাইন ইনভয়েস, মেডিকেল চার্ট, নিয়ন্ত্রক নথি এবং ইঞ্জিনিয়ারিং ড্রয়িং এমন কাঠামোগত বোঝাপড়ার সাথে প্রক্রিয়া করে, যা পূর্ববর্তী হাইব্রিড সিস্টেমগুলো (OCR পাইপলাইন থেকে ভাষা মডেলে ফিড) অর্জন করতে পারেনি। আর্কিটেকচারটিও সহজ: তিনটির জায়গায় একটি মডেল কল।

২০২৫ সালে AI এজেন্ট বাজার ৭.৬ বিলিয়ন ডলারে পৌঁছেছে এবং সেই প্রবৃদ্ধির বেশিরভাগই মাল্টিমোডাল কনফিগারেশনে। এজেন্টিক ওয়ার্কফ্লো যা কম্পিউটার ইন্টারফেস দেখতে, পড়তে এবং সেখানে কাজ করতে পারে, শিল্পে যাকে কম্পিউটার ইউজ বলা হয়, এখন এমন কোম্পানিগুলোতে প্রোডাকশনে চালু হচ্ছে যেগুলোকে আমি প্রথম দিককার গ্রহণকারী হিসেবে আশা করিনি। বীমা দাবি মূল্যায়নকারী, আইনি নথি পর্যালোচক এবং প্রকিউরমেন্ট দলগুলো প্রথম বাস্তব ব্যবহারকারীদের মধ্যে রয়েছে।

যে সমস্যাগুলো এখনও যায়নি

আমি ব্যর্থতার ধরনগুলো সম্পর্কে সৎ থাকতে চাই, কারণ মাল্টিমোডাল AI-এর হাইপ সাইকেল সেগুলোকে এড়িয়ে যায়।

ভিজ্যুয়াল চ্যানেলে হ্যালুসিনেশন একটি নির্দিষ্ট দিক থেকে টেক্সট চ্যানেলের হ্যালুসিনেশনের চেয়ে খারাপ: এটি ধরা কঠিন। যখন একটি মডেল একটি উদ্ধৃতি তৈরি করে, একজন সতর্ক পাঠক তা লক্ষ্য করেন। কিন্তু যখন একটি মডেল কোনো প্রযুক্তিগত ডায়াগ্রামের একটি উপাদান ভুলভাবে চিহ্নিত করে, বা কোনো ফর্মে হাতে লেখা সংখ্যা ভুল পড়ে, সেই ত্রুটি নীরবে ডাউনস্ট্রিম পাইপলাইনে ছড়িয়ে পড়ে। ২০২৫ সালে প্রকাশিত গবেষণা দেখায় যে ভিশন-ল্যাঙ্গুয়েজ মডেলগুলো উদ্দেশ্যমূলকভাবে প্রশিক্ষিত ডিটেকশন সিস্টেমের তুলনায় সীমিত রিকল এবং অস্থির ক্যালিব্রেশন প্রদর্শন করে, বিশেষত যখন ইনপুট ছবিতে এমন উপাদান থাকে যা দেখতে ট্রেনিং ডিস্ট্রিবিউশনের বস্তুর মতো কিন্তু অর্থগতভাবে আলাদা।

স্থানিক যুক্তি এখনও অসংগত থেকে যাচ্ছে। মডেলগুলো একটি ছবিতে কী আছে তা বোঝার ক্ষেত্রে যতটা দক্ষ, জিনিসগুলো একে অপরের তুলনায় কোথায় আছে বা দৃশ্যটিকে কোন ভৌত সীমাবদ্ধতা নিয়ন্ত্রণ করছে তা বোঝার ক্ষেত্রে ততটা নয়। যে মডেল আত্মবিশ্বাসের সাথে একটি যান্ত্রিক সমাবেশ বর্ণনা করতে পারে, সেটিও বাম-ডান সম্পর্ক ভুল করতে পারে, যা শল্যচিকিৎসা পরিকল্পনা বা রোবোটিক ম্যানিপুলেশনে একটি গুরুতর সমস্যা।

মডালিটি মিসঅ্যালাইনমেন্ট, যেখানে মডেল একটি ইনপুট মডালিটিকে অতিরিক্ত গুরুত্ব দেয় এবং অন্যটিকে কম, এটি একটি দীর্ঘস্থায়ী আর্কিটেকচারাল চ্যালেঞ্জ। একটি মডেলকে ছবির পাশাপাশি বিভ্রান্তিকর ক্যাপশন দিলে টেক্সট প্রায়ই জিতে যায়। এটি প্রতিকূল প্রসঙ্গে আক্রমণের সুযোগ তৈরি করে, যা বেশিরভাগ প্রোডাকশন টিম এখনও সম্পূর্ণরূপে মোকাবেলা করেনি।

আমার সৎ মূল্যায়ন: মাল্টিমোডাল AI উচ্চ-পরিমাণ, সুনির্দিষ্ট কাজের জন্য প্রোডাকশন-প্রস্তুত, যেখানে মানুষের পর্যালোচনা থাকে। কম-পরিমাণ, উচ্চ-ঝুঁকির সিদ্ধান্তের জন্য এটি এখনও নির্ভরযোগ্য নয়, যেখানে একটি ভুলের অপরিবর্তনীয় পরিণতি আছে এবং কেউ নজর রাখছে না।

এটি কোথায় যাবে বলে আমি মনে করি

পরবর্তী উল্লেখযোগ্য অগ্রগতি আরও বেশি মডালিটিতে নয়, বরং কম লেটেন্সি এবং ভালো ক্যালিব্রেশনে। যে মডেল ভিজ্যুয়াল ইনপুট সম্পর্কে অনিশ্চিত হলে তা জানাতে পারে, সেটি সেন্সর ডেটা বা হ্যাপটিক ফিডব্যাক প্রক্রিয়াকারী মডেলের চেয়ে আমার কাছে বেশি মূল্যবান। ভিজ্যুয়াল চ্যানেলে ক্যালিব্রেটেড আত্মবিশ্বাস চিকিৎসা, আইনি এবং আর্থিক প্রয়োগের একটি শ্রেণি উন্মুক্ত করবে, যা বর্তমানে স্বয়ংক্রিয় করা অত্যন্ত ঝুঁকিপূর্ণ।

ওপেন-সোর্স মডেলগুলো ২০২৬ এবং ২০২৭ সালে API প্রদানকারীদের উপর উল্লেখযোগ্য মূল্য চাপ ফেলবে। Qwen3-VL এবং অনুরূপ মডেলগুলো তুলনামূলক বেঞ্চমার্কে বন্ধ বাণিজ্যিক বিকল্পের তুলনায় ইনফারেন্স খরচ ৬০% পর্যন্ত কমিয়েছে। যে দলগুলো নিজেরা হোস্ট করতে পারে, তাদের জন্য অর্থনীতি এখন বারো মাস আগের চেয়ে ইতিমধ্যেই ভিন্ন।

আমি এখন বিশেষভাবে মাল্টিমোডাল ভিত্তির উপর নির্মাণ করছি কারণ টুলিং একটি নির্দিষ্ট সীমা অতিক্রম করেছে। অ্যাবস্ট্রাকশনগুলো এখন যথেষ্ট স্থিতিশীল যে এগুলোর উপর নির্ভর করা যায়। প্রশ্নটা আর মাল্টিমোডাল AI ব্যবহার করব কিনা সেটা নয়। প্রশ্ন হলো আপনার নির্দিষ্ট ডোমেইনে দায়িত্বশীলভাবে এটি ব্যবহার করার জন্য পর্যাপ্ত লেবেলযুক্ত ডেটা এবং মানব পর্যালোচনার সক্ষমতা আপনার আছে কিনা।

২০২৬ সালে মাল্টিমোডাল AI: পার্টি ট্রিকস থেকে অবকাঠামোয়

স্ট্যাকটা আসলে এখন কেমন দেখাচ্ছে

এটি আসলে কোথায় ব্যবহৃত হচ্ছে

যে সমস্যাগুলো এখনও যায়নি

এটি কোথায় যাবে বলে আমি মনে করি

সূত্র