Mengapa teks yang dihasilkan oleh model sumber terbuka tidak dapat ditelusuri kembali secara andal?
Peluang
Penyedia model tertutup dapat menyematkan tanda air statistik ke dalam teks yang dihasilkan pada saat inferensi, sehingga konten dapat dikaitkan dengan model tertentu setelah fakta terjadi. Model sumber terbuka memberi pengguna akses penuh ke prosedur dekoding, sehingga tanda air yang disisipkan pada saat pembuatan dapat dihapus dengan memodifikasi beberapa baris kode sampling. Pemberian tanda air secara pasca-hoc pada teks yang sudah dihasilkan gagal menghadapi serangan parafrase. Menyematkan penanda pada bobot model dapat bertahan dari beberapa serangan, tetapi tidak dari fine-tuning, yang dapat dilakukan oleh siapa saja yang menjalankan bobot lokal dalam hitungan satu sore. Per akhir 2025, tidak ada skema yang memberikan penandaan asal-usul yang praktis dan tahan penghapusan untuk output dari model bobot terbuka, dan komunitas penelitian mengakui bahwa masalah ini masih terbuka.
Mengapa ini penting
Tanpa tanda air untuk model terbuka, asal-usul teks yang dihasilkan AI hanya dapat dilacak ketika pembuatnya memilih untuk bekerja sama.
Cara saya menilai peluang
Skor Peluang adalah penilaian pribadi saya, bukan pengukuran: seberapa besar dampaknya, seberapa sering terasa, dan seberapa sedikit solusi yang ada saat ini. Semakin tinggi skornya, semakin layak menurut saya untuk dibangun.
Seberapa besar masalah yang ditimbulkannya saat muncul.
Seberapa sering orang benar-benar menghadapinya.
Betapa sedikitnya alat yang baik tersedia untuknya saat ini.
Lebih banyak masalah yang layak diselesaikan
Mengapa setiap aplikasi AI melupakan saya begitu saya menutup tab?
AIMengapa mempelajari bidang baru masih terganjal oleh ketidaktahuan tentang apa yang harus ditanyakan?
AIMengapa orang awam tidak bisa memverifikasi apa yang baru saja dikatakan AI kepada mereka?
AIMengapa kita menguji model pada tolok ukur tetapi meluncurkannya berdasarkan intuisi semata?
AIMengapa agen AI tidak punya ingatan atas kesalahan mereka sendiri?
AIMengapa saya tidak bisa mengaudit apa yang sebenarnya digunakan untuk melatih sebuah model?