Mengapa saya baru mengetahui hal-hal berbahaya apa yang bisa dilakukan model saya setelah diluncurkan?

Alat red-teaming otomatis seperti GCG, AutoDAN, dan PAIR melaporkan tingkat keberhasilan serangan sebesar 5 hingga 15 persen dan memberikan rasa aman yang semu. Red-teaming manual multi-giliran pada model yang sama menemukan kegagalan hingga 75 persen dalam kategori yang sama. Kesenjangan ini berarti peningkatan kemampuan berbahaya di bidang seperti panduan sintesis senjata biologi atau siber ofensif terlewatkan pada tahap pra-deployment otomatis dan baru ditemukan di lapangan. Lab-lab frontier menjalankan evaluasi manual mereka sendiri di bawah kerangka kerja seperti RSP milik Anthropic dan TaskDev milik METR, tetapi metodologinya tidak terdokumentasi dan tidak terstandarisasi sehingga tidak ada dua lab yang menjalankan tes yang sebanding. Panduan red-teaming agen AI dari NIST masih berupa garis besar beranotasi pada awal 2026, dengan publikasi penuh yang diperkirakan pada akhir 2026 hingga 2027.