چطور بدانم کدی که دستیار هوش مصنوعی‌ام نوشته واقعاً درست است؟
فرصت
مدل‌های زبانی بزرگ کدی تولید می‌کنند که تست‌های واحد را پاس می‌کند اما هیچ ویژگی رسمی را برآورده نمی‌سازد. یک مدل می‌تواند تست‌هایی بسازد که به دلیل ساختار پاس می‌شوند، نه به این خاطر که منطق درست است. ابزارهای تأیید رسمی وجود دارند اما نیاز به نوشتن مشخصات به نحو اثبات‌گر قضیه دارند که تقریباً هیچ توسعه‌دهنده شاغلی این کار را نمی‌کند. معیارهای اخیر نشان می‌دهد مدل‌های پیشرو تنها ۳.۲ درصد موفقیت در تولید کد قابل تأیید سرتاسری دارند، به این معنی که شکاف بین کد ظاهراً معقول و کد اثبات‌شده‌درست تقریباً به طور کامل باز است. تیم‌هایی که کد نوشته‌شده توسط هوش مصنوعی را وارد محیط تولید می‌کنند، بر پوشش تستی شرط می‌بندند که خود مدل‌ها می‌توانند آن را دور بزنند.
چرا اهمیت دارد
تضمین‌های درستی خودکار برای کد تولیدشده توسط هوش مصنوعی چیزی است که دستیارهای کدنویسی را از ابزارهای سرعت به ابزارهای قابلیت اطمینان تبدیل می‌کند.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟