Perché scopro cosa può fare di pericoloso il mio modello solo dopo che è stato distribuito?

Opportunità

Strumenti automatizzati di red-teaming come GCG, AutoDAN e PAIR riportano tassi di successo degli attacchi dal 5 al 15 percento e offrono una falsa sensazione di sicurezza. Il red-teaming umano multi-turno sugli stessi modelli trova vulnerabilità fino al 75 percento delle volte nelle stesse categorie. Il divario significa che potenziamenti di capacità pericolose in aree come la sintesi di bioarmi o il cyber offensivo vengono mancati nella fase automatizzata di pre-deployment e scoperti sul campo. I laboratori frontier eseguono le proprie valutazioni manuali nell'ambito di framework come RSP di Anthropic e TaskDev di METR, ma la metodologia è sufficientemente priva di documentazione e standardizzazione da rendere impossibile il confronto tra i test di due laboratori diversi. Le linee guida di NIST per il red-teaming degli agenti AI erano ancora una bozza annotata all'inizio del 2026, con la pubblicazione completa prevista tra la fine del 2026 e il 2027.

Perché è importante

Una capacità emergente pericolosa scoperta dopo il deployment in un modello ampiamente distribuito è un problema di ordine completamente diverso rispetto a una rilevata prima del rilascio.

Come valuto l'opportunità

L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.

Gravità10/10

Quanto dolore provoca quando si manifesta.

Frequenza6/10

Quanto spesso le persone ci si imbattono davvero.

Spazio bianco8/10

Quanti pochi strumenti validi esistono oggi per affrontarlo.

Altri problemi che vale la pena risolvere

Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?

Perché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?

Perché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?

Perché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?

Perché gli agenti AI non hanno memoria dei propri errori?

Perché non posso verificare su cosa è stato effettivamente addestrato un modello?

← Tutti i problemi che vale la pena risolvere Su Anurag →