আমার এআই সহকারী যে কোড লিখেছে তা আসলেই সঠিক কিনা আমি কীভাবে জানব?

LLM-গুলো এমন কোড তৈরি করে যা ইউনিট টেস্ট পাস করে কিন্তু কোনো আনুষ্ঠানিক বৈশিষ্ট্য পূরণ করে না। একটি মডেল এমন টেস্ট তৈরি করতে পারে যা নির্মাণগতভাবে পাস করে, যুক্তি সঠিক বলে নয়। ফর্মাল ভেরিফিকেশন টুল বিদ্যমান কিন্তু থিওরেম-প্রুভার সিনট্যাক্সে স্পেসিফিকেশন লেখার প্রয়োজন, যা কার্যত কোনো ডেভেলপারই করেন না। সাম্প্রতিক বেঞ্চমার্কগুলো দেখায় যে ফ্রন্টিয়ার মডেলগুলো এন্ড-টু-এন্ড যাচাইযোগ্য কোড জেনারেশনে মাত্র ৩.২ শতাংশ সাফল্য অর্জন করে, অর্থাৎ যুক্তিসঙ্গত দেখতে কোড এবং প্রমাণিতভাবে সঠিক কোডের মধ্যে ব্যবধান প্রায় সম্পূর্ণ খোলা। এআই-লেখা কোড প্রোডাকশনে পাঠাচ্ছে এমন টিমগুলো টেস্ট কভারেজের উপর বাজি ধরছে যা মডেলগুলো নিজেরাই কারসাজি করতে পারে।