چرا وقتی بیشتر اهمیت دارد نمی‌توانم به نمره اطمینان یک مدل اعتماد کنم؟
فرصت
مدل‌های زبانی مدرن به طور معمول توکن‌هایی با اطمینان بالا برای پاسخ‌های اشتباه و توکن‌هایی با اطمینان پایین برای پاسخ‌های درست خروجی می‌دهند. شکاف بین احتمال اعلام‌شده و دقت واقعی که خطای کالیبراسیون نامیده می‌شود، در مدل‌های مرزی در یک بررسی ۲۰۲۵ که روش‌های مبتنی بر آنتروپی، لاجیت و اغتشاش را پوشش می‌داد، مستند شده است. عوامل تولید که از این نمرات برای تصمیم‌گیری درباره زمان واگذاری یا امتناع استفاده می‌کنند، کالیبراسیون نادرست را مستقیماً به ارث می‌برند، بنابراین یا با اطمینان کاذب هذیان می‌گویند یا پاسخ‌های صحیح را به طور غیرضروری رد می‌کنند. هیچ پایه آماده‌ای وجود ندارد که سیگنال عدم اطمینان کالیبره‌شده و قابل اقدام را به اندازه کافی ارزان برای اجرا در زمان استنتاج روی هر توکن خروجی در یک پاسخ جریانی ارائه دهد.
چرا اهمیت دارد
کالیبراسیون پایه اعتماد زیر هر تصمیم عاملی است و بدون آن هر آستانه ایمنی پایین‌دستی روی شن بنا شده است.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟