Günümüz webinde eğitilen modeller, yapay zeka web içeriğinin daha fazlasını yazdıkça neden giderek daha kötü hale geliyor?

Web artık sınır modelleri için birincil eğitim korpusu konumundadır ve hiçbir dağıtımlı filtrenin güvenilir biçimde yakalayamadığı yapay zeka tarafından üretilmiş metinlerle çoktan doymuş durumdadır. 2024'ten 2026'ya kadar yayımlanan araştırmalar, bir eğitim çalışmasında sentetik verinin yüzde birinin küçük bir kesrinin bile ardışık nesiller boyunca dağılımsal çöküşü tetiklediğini, çıktı çeşitliliğini daralttığını ve kuyruk performansını bozduğunu göstermektedir. Geri besleme döngüsü yapısaldır: bu yıl eğitilen modeller, gelecek yılın eğitim çalışması için korpusu kirleten içerikler üretir. Kaynak düzeyi izin listeleri, filigran filtreleri ve sentetik veri doğrulayıcıları gibi önerilen azaltma önlemlerinin her biri atlatma vektörlerine sahiptir ve hiçbiri web tarayıcısı ölçeğinde dağıtıma alınmamıştır. Yapay zeka tarafından üretilen eğitim verilerini bir modele girmeden önce tespit etmeye ve karantinaya almaya yönelik üzerinde uzlaşılmış bir protokol mevcut değildir.