几个原因可能导致无法精确复现生产环境中的模型输出： **非确定性采样** - `temperature > 0` 意味着每次推理都会进行随机采样。即使使用相同的提示词，输出也会有所不同。 - 将 `temperature` 设为 `0` 可以减少（但不能完全消除）随机性。 **`top_p` 和 `top_k` 采样** - 这些参数会影响采样分布，同样引入随机性。 **模型版本/权重更新** - 即使是相同的模型名称（如 `claude-sonnet-4-6`），Anthropic 也可能对模型权重进行更新，而不一定更改版本标识符。生产环境调用可能命中了不同版本的模型。 **提示词缓存** - 如果生产环境启用了提示词缓存，缓存命中可能与非缓存运行产生微妙差异。 **硬件/基础设施差异** - 不同的 GPU 硬件或浮点运算实现可能导致数值上的细微差异，进而在采样过程中产生不同的结果。 **上下文差异** - 系统提示词、对话历史、工具输出中任何微小的差异都会改变输出结果。 **实践建议：** | 目标 | 方法 | |------|------| | 最大化可复现性 | 设置 `temperature=0`，记录确切的模型 ID，保存完整的请求负载 | | 精确调试 | 记录完整的 API 请求/响应，包括所有参数 | | 版本锁定 | 使用带日期的精确模型 ID（若 API 支持） | 即便如此，由于浮点不确定性和基础设施差异，完全精确的复现在 LLM 中实际上是无法保证的，这与确定性软件有本质区别。