Como sei que meu agente melhorou entre versões e não apenas teve sorte?

Quando um agente executa centenas de etapas sequenciais ao longo de horas, a avaliação tradicional A/B se desfaz porque uma chamada de ferramenta inicial molda cada escolha subsequente, tornando os resultados dependentes do caminho percorrido entre execuções. Realizar experimentos independentes suficientes para obter sinal confiável custa tanto processamento quanto o treinamento em si. A área recorre a métricas proxy, como taxa de sucesso por etapa e precisão de chamadas de ferramentas, que comprovadamente não se correlacionam com os resultados finais em trabalho real. Uma auditoria de 2025 sobre 445 benchmarks publicados de LLM documentou falhas de validade de construto em escala: definições de tarefas vagas, conjuntos de dados de curto horizonte reutilizados e ausência de testes estatísticos, todos os quais se tornam mais graves à medida que o horizonte da tarefa aumenta. Equipes que constroem produtos agênticos lançam com base em verificações manuais pontuais porque não existe uma metodologia de avaliação principiada e reproduzível para agentes de longo horizonte.