Почему модели, обученные на современном вебе, становятся всё хуже по мере того, как ИИ пишет всё больше его контента?

Веб сегодня является основным обучающим корпусом для передовых моделей и уже насыщен текстом, сгенерированным ИИ, который ни один развёрнутый фильтр не улавливает надёжно. Исследования, опубликованные с 2024 по 2026 год, показывают, что даже доля процента синтетических данных в обучающем прогоне вызывает коллапс распределения в последующих поколениях, сужая разнообразие выходных данных и снижая производительность на хвостах. Петля обратной связи носит структурный характер: модели, обученные в этом году, производят контент, который загрязняет корпус для обучающего прогона следующего года. Предложенные меры противодействия, такие как списки разрешений на уровне источников, фильтры водяных знаков и верификаторы синтетических данных, имеют векторы обхода, и ни одна из них не была развёрнута в масштабах веб-краулеров. Не существует согласованного протокола для идентификации и карантина данных, сгенерированных ИИ, до их попадания в модель.