Yapay zeka asistanımın yazdığı kodun gerçekten doğru olduğunu nasıl bilebilirim?
Fırsat
Büyük dil modelleri, birim testlerden geçen ancak hiçbir biçimsel özelliği karşılamayan kod üretir. Bir model, mantık doğru olduğu için değil, yapısal olarak geçecek şekilde testler oluşturabilir. Biçimsel doğrulama araçları mevcut olmakla birlikte, neredeyse hiçbir çalışan geliştiricinin yapmadığı bir şey olan teorem ispatlayıcı sözdiziminde belirtimler yazmayı gerektiriyor. Son kıyaslamalar, sınır modellerinin uçtan uca doğrulanabilir kod üretiminde yalnızca yüzde 3,2 başarı elde ettiğini gösteriyor; bu da mantıklı görünen kod ile kanıtlanmış doğru kod arasındaki uçurumun neredeyse tamamen açık kaldığı anlamına geliyor. Yapay zeka tarafından yazılan kodu prodüksiyona taşıyan ekipler, modellerin kendisinin manipüle edebildiği test kapsamına bahse giriyor.
Neden önemli
Yapay zeka tarafından üretilen kod için otomatik doğruluk güvenceleri, kodlama asistanlarını hız araçlarından güvenilirlik araçlarına dönüştüren şeydir.
Fırsatı nasıl puanlıyorum
Fırsat Puanı benim kendi değerlendirmem, bir ölçüm değil: ne kadar acı verdiği, ne sıklıkla etkisi olduğu ve bugün için ne kadar az çözüm bulunduğu. Daha yüksek puan, inşa etmeye daha değer olduğunu düşündüğüm anlamına gelir.
Ortaya çıktığında ne kadar sorun yarattığı.
İnsanların bununla gerçekte ne sıklıkla karşılaştığı.
Bugün bunun için ne kadar az iyi araç bulunduğu.
Çözmeye değer daha fazla sorun
Neden her yapay zeka uygulaması sekmeyi kapattığım anda beni unutuyor?
AINeden yeni bir alanı öğrenmek hâlâ ne soracağını bilmekle sınırlı?
AIUzman olmayan biri, yapay zekanın söylediklerini neden doğrulayamıyor?
AIModelleri kıyaslamalarda test edip neden sezgiyle yayımlıyoruz?
AIYapay zeka ajanları neden kendi hatalarını hatırlamıyor?
AIBir modelin gerçekte neyle eğitildiğini neden denetleyemiyorum?