Modelimin neler yapabileceğini neden yalnızca piyasaya çıktıktan sonra öğreniyorum?

GCG, AutoDAN ve PAIR gibi otomatik kırmızı takım araçları yüzde 5 ila 15 arasında saldırı başarı oranı bildirerek yanıltıcı bir güvenlik hissi yaratmaktadır. Aynı modeller üzerinde çok turlu insan kırmızı takımı, aynı kategorilerde yüzde 75'e varan oranlarda başarısızlık tespit etmektedir. Bu fark, biyolojik silah sentezi rehberliği veya saldırgan siber operasyonlar gibi alanlardaki tehlikeli kapasite artışının otomatik dağıtım öncesi aşamada gözden kaçırıldığı ve bunun yerine sahada keşfedildiği anlamına gelmektedir. Sınır modelleri geliştiren laboratuvarlar, Anthropic'in RSP'si ve METR'nin TaskDev çerçevesi gibi yapılar kapsamında kendi manuel değerlendirmelerini yürütmektedir; ancak metodoloji yeterince belgelenmemiş ve standartlaştırılmamış olduğundan iki laboratuvar karşılaştırılabilir testler gerçekleştirememektedir. NIST'in yapay zeka ajanı kırmızı takım rehberi, 2026'nın başında hâlâ açıklamalı bir taslak halindeydi; tam yayının 2026 sonu ile 2027 arasında gerçekleşmesi bekleniyor.