Come faccio a capire se la traccia di ragionamento di un modello ha davvero guidato la sua risposta?

I modelli frontier che emettono tracce di chain-of-thought visibili spesso raggiungono una risposta prima o indipendentemente da questi passaggi, per poi generare un ragionamento plausibile come razionalizzazione post-hoc. Le metriche di fedeltà esistenti sono in disaccordo tra loro a seconda di come viene costruito il classificatore, il che significa che non esiste un ground truth accettato per stabilire come appaia una traccia fedele. Nessuno strumento di produzione segnala ragionamenti non fedeli al momento dell'inferenza né assegna alcuna confidenza al fatto che la traccia abbia causato l'output. I settori regolamentati e le revisioni di sicurezza che trattano il ragionamento visibile come una spiegazione del comportamento del modello si stanno affidando a qualcosa che potrebbe essere una narrazione costruita a posteriori.