Как понять, что агент стал лучше между версиями, а не просто повезло?

Когда агент выполняет сотни последовательных шагов на протяжении нескольких часов, традиционное A/B-тестирование перестаёт работать: ранний вызов инструмента определяет все последующие решения, делая результаты зависимыми от пути выполнения в разных запусках. Запуск достаточного числа независимых испытаний для получения надёжного сигнала требует столько же вычислительных ресурсов, что и обучение. Отрасль прибегает к косвенным метрикам — таким как частота успешных шагов и точность вызовов инструментов, — которые заведомо не коррелируют с итоговыми результатами на реальных задачах. Аудит 445 опубликованных LLM-бенчмарков в 2025 году зафиксировал систематические нарушения конструктной валидности: размытые определения задач, повторно используемые датасеты с коротким горизонтом и отсутствие статистических тестов — всё это усугубляется по мере роста горизонта задач. Команды, разрабатывающие агентные продукты, выпускают их на основе ручных выборочных проверок, поскольку принципиальной воспроизводимой методологии оценки агентов с длинным горизонтом не существует.