Perché non posso fidarmi del punteggio di confidenza di un modello nei momenti più critici?
Opportunità
I moderni modelli linguistici producono abitualmente token ad alta confidenza su risposte errate e token a bassa confidenza su risposte corrette. Il divario tra la probabilità dichiarata e l'accuratezza effettiva, detto errore di calibrazione, è stato documentato sui modelli frontier in un'indagine del 2025 che copre metodi basati su entropia, logit e perturbazione. Gli agenti in produzione che usano questi punteggi per decidere quando rimandare o astenersi ereditano direttamente la miscalibrazione, quindi o allucinano avanzando con falsa certezza o rifiutano inutilmente risposte corrette. Nessuna primitiva pronta all'uso fornisce un segnale di incertezza calibrato e operativo abbastanza economico da eseguire al momento dell'inferenza su ogni token di output in una risposta in streaming.
Perché è importante
La calibrazione è la primitiva di fiducia alla base di ogni decisione agentiva, e senza di essa ogni soglia di sicurezza a valle poggia su fondamenta instabili.
Come valuto l'opportunità
L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.
Quanto dolore provoca quando si manifesta.
Quanto spesso le persone ci si imbattono davvero.
Quanti pochi strumenti validi esistono oggi per affrontarlo.
Altri problemi che vale la pena risolvere
Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?
AIPerché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?
AIPerché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?
AIPerché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?
AIPerché gli agenti AI non hanno memoria dei propri errori?
AIPerché non posso verificare su cosa è stato effettivamente addestrato un modello?