Skip to content
AI

Who audits the experiment when the experimenter is the model itself?

80

Kans

Autonomous AI systems are being deployed across biology, materials science, and software engineering to design experiments, run them, and write findings with minimal human review per step. A 2026 survey of AI scientist systems found that only 38 percent release the seeds or execution traces needed for a reviewer to reproduce a run, and exactly one of nine fully autonomous systems has been externally validated. There is no mechanism to verify that the steps a model reports match what was actually executed, or that its statistical summaries correctly reflect the underlying data. Human spot-checking does not scale to the volume these systems now produce.

Waarom het belangrijk is

Scientific findings compound through citation, so one convincing but unverifiable AI result can corrupt downstream research faster than any correction process can catch.

Hoe ik de kans beoordeel

De Opportunity Score is mijn eigen inschatting, geen meting: hoe ernstig het pijn doet, hoe vaak het toeslaat, en hoe weinig er vandaag de dag bestaat om het op te lossen. Hoger betekent dat ik denk dat het meer de moeite waard is om te bouwen.

Ernst8/10

Hoeveel pijn het veroorzaakt wanneer het zich voordoet.

Frequentie6/10

Hoe vaak mensen er daadwerkelijk tegenaan lopen.

Witruimte9/10

Hoe weinig goede tools er vandaag de dag voor bestaan.

Meer problemen die het oplossen waard zijn