Pourquoi ne puis-je pas faire confiance au score de confiance d'un modèle quand cela compte le plus ?

Les modèles de langage modernes produisent régulièrement des tokens à haute confiance sur des réponses erronées et des tokens à faible confiance sur des réponses correctes. L'écart entre la probabilité annoncée et la précision réelle, appelé erreur de calibration, a été documenté sur les modèles frontières dans une étude de 2025 couvrant les méthodes basées sur l'entropie, les logits et la perturbation. Les agents en production qui utilisent ces scores pour décider quand différer ou s'abstenir héritent directement de cette mauvaise calibration, si bien qu'ils hallucinent avec une fausse certitude ou refusent inutilement des réponses correctes. Aucune primitive prête à l'emploi ne fournit un signal d'incertitude calibré et actionnable, suffisamment peu coûteux pour être exécuté à l'inférence sur chaque token de sortie dans une réponse en streaming.