为什么在最关键的时刻，我无法信任模型的置信度分数？

现代语言模型经常在错误答案上输出高置信度词元，在正确答案上输出低置信度词元。这种声称概率与实际准确率之间的差距被称为校准误差，已在 2025 年一项涵盖熵、logit 和扰动方法的调查中针对前沿模型进行了记录。使用这些分数来决定何时推迟或弃权的生产代理直接继承了错误校准，因此它们要么以虚假的确定性产生幻觉，要么不必要地拒绝正确答案。目前没有任何开箱即用的原语能够提供校准后的、可操作的不确定性信号，且廉价到可以在推理时对流式响应中的每个输出词元运行。