Comment savoir si le brouillon d'un modèle de raisonnement a réellement guidé sa réponse ?

Les modèles frontier qui émettent des traces de chaîne de pensée visibles parviennent souvent à une réponse avant ou indépendamment de ces étapes, puis génèrent un raisonnement vraisemblable comme rationalisation a posteriori. Les métriques de fidélité existantes ne concordent pas entre elles selon la façon dont le classificateur est construit, ce qui signifie qu'il n'existe pas de vérité terrain acceptée sur ce à quoi ressemble une trace fidèle. Aucun outil de production ne signale un raisonnement infidèle au moment de l'inférence ni n'attache de niveau de confiance à la question de savoir si la trace a causé la sortie. Les secteurs réglementés et les examens de sécurité qui traitent le raisonnement visible comme une explication du comportement du modèle s'appuient sur quelque chose qui peut être un récit construit après coup.