How do I know my agent got better between versions and did not just get lucky?
Oportunidade
When an agent takes hundreds of sequential steps over hours, traditional A/B evaluation breaks down because an early tool call shapes every subsequent choice, making outcomes path-dependent across runs. Running enough independent trials to get reliable signal costs as much compute as training. The field defaults to proxy metrics such as step success rate and tool call accuracy that demonstrably do not correlate with end-task outcomes on real work. A 2025 audit of 445 published LLM benchmarks documented construct-validity failures at scale: vague task definitions, repurposed short-horizon datasets, and missing statistical tests, all of which become more severe as task horizon grows. Teams building agentic products ship on manual spot-checks because no principled, reproducible evaluation methodology for long-horizon agents exists.
Por que importa
Without a reliable way to measure whether an agent got better, you cannot systematically improve agents that are already deployed in high-stakes tasks.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que testamos modelos em benchmarks mas os lançamos em produção no achismo?
AIPor que agentes de IA não têm memória dos próprios erros?
AIPor que não consigo auditar em que um modelo foi realmente treinado?