Mengapa kita menguji model pada tolok ukur tetapi meluncurkannya berdasarkan intuisi semata?

Peluang

Tim memilih model dari papan peringkat, lalu menjalankannya di produksi dengan hampir tanpa evaluasi berkelanjutan yang murah dan spesifik untuk tugas tertentu. Ketika kualitas menurun, tidak ada yang menyadarinya sampai pengguna mengeluh. Alat untuk benar-benar mengukur apakah fitur AI Anda masih berjalan dengan baik tidak tersedia bagi sebagian besar pengembang.

Mengapa ini penting

Anda tidak bisa mengoperasikan apa yang tidak bisa Anda ukur, dan saat ini sebagian besar fitur AI tidak terukur.

Cara saya menilai peluang

Skor Peluang adalah penilaian pribadi saya, bukan pengukuran: seberapa besar dampaknya, seberapa sering terasa, dan seberapa sedikit solusi yang ada saat ini. Semakin tinggi skornya, semakin layak menurut saya untuk dibangun.

Tingkat Keparahan7/10

Seberapa besar masalah yang ditimbulkannya saat muncul.

Frekuensi8/10

Seberapa sering orang benar-benar menghadapinya.

Ruang Kosong8/10

Betapa sedikitnya alat yang baik tersedia untuknya saat ini.

Lebih banyak masalah yang layak diselesaikan

Mengapa setiap aplikasi AI melupakan saya begitu saya menutup tab?

Mengapa mempelajari bidang baru masih terganjal oleh ketidaktahuan tentang apa yang harus ditanyakan?

Mengapa orang awam tidak bisa memverifikasi apa yang baru saja dikatakan AI kepada mereka?

Mengapa agen AI tidak punya ingatan atas kesalahan mereka sendiri?

Mengapa saya tidak bisa mengaudit apa yang sebenarnya digunakan untuk melatih sebuah model?

Mengapa tetangga di klaster inferensi saya bisa mengetahui pertanyaan apa yang baru saja saya ajukan kepada model?

← Semua masalah yang layak diselesaikan Tentang Anurag →