Como posso saber se o rascunho de um modelo de raciocínio realmente guiou sua resposta?

Modelos de fronteira que emitem rastros visíveis de cadeia de pensamento frequentemente chegam a uma resposta antes ou independentemente dessas etapas, e depois geram um raciocínio aparentemente plausível como racionalização post-hoc. As métricas de fidelidade existentes divergem entre si dependendo de como o classificador é construído, o que significa que não há uma verdade fundamental aceita sobre como seria um rastro fiel. Nenhuma ferramenta de produção sinaliza raciocínio infiel no momento da inferência nem atribui qualquer confiança a se o rastro causou a saída. Setores regulados e revisões de segurança que tratam o raciocínio visível como uma explicação do comportamento do modelo estão se apoiando em algo que pode ser uma narrativa construída depois dos fatos.