چرا مدل‌ها را روی معیارهای استاندارد آزمایش می‌کنیم اما بر اساس حدس و احساس راهی تولید می‌کنیم؟
فرصت
تیم‌ها مدلی را از روی جدول رتبه‌بندی انتخاب می‌کنند، سپس آن را در محیط تولید با تقریباً هیچ ارزیابی مستمر، ارزان و وظیفه‌محوری اجرا می‌کنند. وقتی کیفیت افت می‌کند، کسی متوجه نمی‌شود تا زمانی که کاربری شکایت کند. ابزار لازم برای سنجش اینکه آیا ویژگی هوش مصنوعی شما هنوز خوب کار می‌کند، برای اکثر سازندگان وجود ندارد.
چرا اهمیت دارد
نمی‌توانید چیزی را که اندازه‌اش نمی‌گیرید اداره کنید و در حال حاضر اکثر ویژگی‌های هوش مصنوعی اندازه‌گیری نمی‌شوند.
نحوه امتیازدهی به فرصت
امتیاز فرصت برداشت شخصی من است، نه یک سنجش دقیق: چقدر درد ایجاد می‌کند، چند بار گریبان می‌گیرد، و چقدر راه‌حل کمی برای آن وجود دارد. امتیاز بالاتر یعنی فکر می‌کنم ساختنش بیشتر ارزش دارد.
چقدر وقتی ظاهر می‌شود دردسر ایجاد می‌کند.
چند بار مردم واقعاً با آن مواجه می‌شوند.
چقدر ابزار مناسب برای آن امروز کمیاب است.
مشکلات بیشتری که ارزش حل کردن دارند
چرا هر اپلیکیشن هوش مصنوعی لحظه‌ای که تب را می‌بندم مرا فراموش می‌کند؟
AIچرا یادگیری یک حوزه جدید هنوز به دانستن اینکه چه بپرسی وابسته است؟
AIچرا یک غیرمتخصص نمی‌تواند آنچه هوش مصنوعی به تازگی به او گفته را تأیید کند؟
AIچرا عامل‌های هوش مصنوعی هیچ خاطره‌ای از اشتباهات خودشان ندارند؟
AIچرا نمی‌توانم آنچه را که مدل واقعاً روی آن آموزش دیده بررسی کنم؟
AIچرا یک همسایه در خوشه استنتاج من می‌تواند آنچه از مدل پرسیدم را بازسازی کند؟