Who audits the experiment when the experimenter is the model itself?
Oportunidade
Autonomous AI systems are being deployed across biology, materials science, and software engineering to design experiments, run them, and write findings with minimal human review per step. A 2026 survey of AI scientist systems found that only 38 percent release the seeds or execution traces needed for a reviewer to reproduce a run, and exactly one of nine fully autonomous systems has been externally validated. There is no mechanism to verify that the steps a model reports match what was actually executed, or that its statistical summaries correctly reflect the underlying data. Human spot-checking does not scale to the volume these systems now produce.
Por que importa
Scientific findings compound through citation, so one convincing but unverifiable AI result can corrupt downstream research faster than any correction process can catch.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que testamos modelos em benchmarks mas os lançamos em produção no achismo?
AIPor que agentes de IA não têm memória dos próprios erros?
AIPor que não consigo auditar em que um modelo foi realmente treinado?