چطور بفهمم که دفترچه استدلال یک مدل واقعاً پاسخ آن را شکل داده؟
فرصت
مدل‌های مرزی که زنجیره‌های استدلال قابل مشاهده تولید می‌کنند، اغلب پیش از آن مراحل یا مستقل از آن‌ها به پاسخ می‌رسند و سپس استدلالی موجه‌نما به عنوان توجیه پسینی می‌سازند. معیارهای موجود برای سنجش وفاداری استدلال بسته به نحوه ساخت دسته‌بند با یکدیگر تناقض دارند، به این معنا که هیچ حقیقت پذیرفته‌شده‌ای درباره شکل یک ردیابی وفادار وجود ندارد. هیچ ابزار تولیدی در زمان استنتاج، استدلال ناصادقانه را علامت‌گذاری نمی‌کند یا هیچ سطحی از اطمینان به اینکه ردیابی باعث خروجی شده ضمیمه نمی‌کند. صنایع تنظیم‌شده و بررسی‌های ایمنی که استدلال قابل مشاهده را توضیح رفتار مدل می‌پندارند، به چیزی تکیه می‌کنند که ممکن است روایتی باشد ساخته‌شده پس از واقعیت.
چرا اهمیت دارد
اگر یک ردیابی استدلال توجیه پسینی باشد، هر ممیزی، ادعای پاسخگویی یا بررسی انطباقی که بر پایه آن بنا شده باطل است.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟