Come faccio a sapere che il modello base open-weight che sto mettendo a punto non è stato avvelenato?
Opportunità
Le backdoor impiantate nei pesi di un modello pre-addestrato persistono attraverso il fine-tuning a parametri completi, il training con adapter e gli aggiornamenti RLHF, perché i pattern di attivazione sopravvivono alle strategie di modifica degli obiettivi e di congelamento parziale. Questi trigger sono invisibili ai test di sicurezza comportamentale standard e alla valutazione su benchmark. Rilevarli richiede un'analisi white-box dei pesi che il professionista medio del fine-tuning non esegue mai, e i principali hub di modelli non applicano alcuna scansione obbligatoria prima che un checkpoint venga reso scaricabile pubblicamente. Un'organizzazione che costruisce un sistema in produzione su un modello base compromesso non riceve alcun segnale che qualcosa non vada, fino a quando il trigger si attiva in deployment.
Perché è importante
La supply chain del fine-tuning open-weight non prevede alcun controllo di sicurezza, e la modalità di guasto è una backdoor che sopravvive a ogni verifica standard.
Come valuto l'opportunità
L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.
Quanto dolore provoca quando si manifesta.
Quanto spesso le persone ci si imbattono davvero.
Quanti pochi strumenti validi esistono oggi per affrontarlo.
Altri problemi che vale la pena risolvere
Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?
AIPerché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?
AIPerché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?
AIPerché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?
AIPerché gli agenti AI non hanno memoria dei propri errori?
AIPerché non posso verificare su cosa è stato effettivamente addestrato un modello?