İnce ayar yaptığım açık ağırlıklı temel modelin zehirlenmediğini nasıl anlayabilirim?
Fırsat
Önceden eğitilmiş model ağırlıklarına yerleştirilen arka kapılar, tetikleyici örüntüler amaç değiştirme ve kısmi dondurma stratejilerinden sağ çıktığı için tam parametre ince ayarı, adaptör eğitimi ve RLHF güncellemelerinde varlığını sürdürür. Bu tetikleyiciler standart davranışsal güvenlik testlerine ve kıyaslama değerlendirmesine karşı görünmezdir. Bunları tespit etmek, ortalama ince ayar uygulayıcısının hiç çalıştırmadığı beyaz kutu ağırlık analizi gerektirir; büyük model merkezleri ise bir kontrol noktası genel indirmeye açılmadan önce zorunlu tarama uygulamaz. Güvenliği ihlal edilmiş bir temel model üzerine üretim sistemi inşa eden bir kuruluş, tetikleyici dağıtımda ateşlenene kadar bir şeylerin yanlış gittiğine dair hiçbir sinyal almaz.
Neden önemli
Açık ağırlıklı ince ayar tedarik zincirinin güvenlik kapısı yoktur; başarısızlık modu ise her standart kontrolden sağ çıkan bir arka kapıdır.
Fırsatı nasıl puanlıyorum
Fırsat Puanı benim kendi değerlendirmem, bir ölçüm değil: ne kadar acı verdiği, ne sıklıkla etkisi olduğu ve bugün için ne kadar az çözüm bulunduğu. Daha yüksek puan, inşa etmeye daha değer olduğunu düşündüğüm anlamına gelir.
Ortaya çıktığında ne kadar sorun yarattığı.
İnsanların bununla gerçekte ne sıklıkla karşılaştığı.
Bugün bunun için ne kadar az iyi araç bulunduğu.
Çözmeye değer daha fazla sorun
Neden her yapay zeka uygulaması sekmeyi kapattığım anda beni unutuyor?
AINeden yeni bir alanı öğrenmek hâlâ ne soracağını bilmekle sınırlı?
AIUzman olmayan biri, yapay zekanın söylediklerini neden doğrulayamıyor?
AIModelleri kıyaslamalarda test edip neden sezgiyle yayımlıyoruz?
AIYapay zeka ajanları neden kendi hatalarını hatırlamıyor?
AIBir modelin gerçekte neyle eğitildiğini neden denetleyemiyorum?