Modelleri kıyaslamalarda test edip neden sezgiyle yayımlıyoruz?
Fırsat
Ekipler bir liderlik tablosundan model seçiyor, ardından bunu üretimde neredeyse hiç sürekli, ucuz ve göreve özgü değerlendirme yapmadan çalıştırıyor. Kalite düştüğünde, bir kullanıcı şikayet edene kadar kimse fark etmiyor. Yapay zeka özelliğinizin hâlâ iyi olup olmadığını gerçekten ölçmeye yarayan araçlar, çoğu geliştirici için eksik.
Neden önemli
Ölçemediğiniz şeyi yönetemezsiniz; şu anda ise yapay zeka özelliklerinin büyük çoğunluğu ölçülmüyor.
Fırsatı nasıl puanlıyorum
Fırsat Puanı benim kendi değerlendirmem, bir ölçüm değil: ne kadar acı verdiği, ne sıklıkla etkisi olduğu ve bugün için ne kadar az çözüm bulunduğu. Daha yüksek puan, inşa etmeye daha değer olduğunu düşündüğüm anlamına gelir.
Ortaya çıktığında ne kadar sorun yarattığı.
İnsanların bununla gerçekte ne sıklıkla karşılaştığı.
Bugün bunun için ne kadar az iyi araç bulunduğu.
Çözmeye değer daha fazla sorun
Neden her yapay zeka uygulaması sekmeyi kapattığım anda beni unutuyor?
AINeden yeni bir alanı öğrenmek hâlâ ne soracağını bilmekle sınırlı?
AIUzman olmayan biri, yapay zekanın söylediklerini neden doğrulayamıyor?
AIYapay zeka ajanları neden kendi hatalarını hatırlamıyor?
AIBir modelin gerçekte neyle eğitildiğini neden denetleyemiyorum?
AINeden çıkarım kümesindeki bir komşu, az önce modele sorduğum soruyu yeniden oluşturabiliyor?