Why do models trained on today's web get progressively worse as AI writes more of it?
Oportunidade
The web is now the primary training corpus for frontier models and is already saturated with AI-generated text that no deployed filter reliably catches. Research published across 2024 to 2026 shows that even a fraction of a percent of synthetic data in a training run triggers distributional collapse over successive generations, narrowing output diversity and degrading tail performance. The feedback loop is structural: models trained this year produce content that contaminates the corpus for next year's training run. Proposed mitigations such as source-level allowlists, watermark filters, and synthetic-data verifiers each have bypass vectors and none has been deployed at web-crawler scale. There is no agreed protocol for identifying and quarantining AI-generated training data before it enters a model.
Por que importa
A degrading shared training corpus sets a ceiling on every model built from public data, and that ceiling gets lower with each generation.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que testamos modelos em benchmarks mas os lançamos em produção no achismo?
AIPor que agentes de IA não têm memória dos próprios erros?
AIPor que não consigo auditar em que um modelo foi realmente treinado?