Por que não posso confiar na pontuação de confiança de um modelo quando ela mais importa?

Modelos de linguagem modernos rotineiramente produzem tokens de alta confiança em respostas erradas e tokens de baixa confiança em respostas corretas. A diferença entre a probabilidade declarada e a precisão real, chamada de erro de calibração, foi documentada em modelos de fronteira em uma pesquisa de 2025 que abrange métodos baseados em entropia, logit e perturbação. Agentes em produção que usam essas pontuações para decidir quando delegar ou se abster herdam diretamente a descalibração, então ou alucinam com falsa certeza ou recusam respostas corretas desnecessariamente. Nenhum primitivo pronto oferece um sinal de incerteza calibrado e acionável barato o suficiente para rodar no tempo de inferência em cada token de saída em uma resposta em streaming.