Как понять, действительно ли черновик рассуждений модели повлиял на её ответ?

Передовые модели, генерирующие видимые цепочки рассуждений, зачастую приходят к ответу до или независимо от этих шагов, а затем создают правдоподобно выглядящие умозаключения в качестве апостериорного обоснования. Существующие метрики достоверности противоречат друг другу в зависимости от того, как построен классификатор, что означает отсутствие общепризнанного эталона того, как вообще выглядит достоверная цепочка рассуждений. Ни один промышленный инструмент не помечает недостоверные рассуждения во время инференса и не даёт никакой оценки того, привела ли цепочка к данному результату. Регулируемые отрасли и проверки безопасности, которые рассматривают видимые рассуждения как объяснение поведения модели, опираются на нечто, что может оказаться нарративом, сконструированным постфактум.