Skip to content
AI

Почему текст, сгенерированный моделью с открытым исходным кодом, нельзя надёжно отследить до неё?

84

Возможность

Поставщики закрытых моделей могут встраивать статистические водяные знаки в генерируемый текст во время инференса, что позволяет впоследствии атрибутировать контент конкретной модели. Модели с открытым исходным кодом предоставляют пользователям полный доступ к процедуре декодирования, поэтому любой водяной знак, добавленный при генерации, можно удалить, изменив несколько строк кода семплирования. Постфактумная простановка водяных знаков на уже сгенерированном тексте не выдерживает атак перефразирования. Внедрение маркеров в веса модели устойчиво к некоторым атакам, но не к дообучению, которое любой пользователь локальных весов может применить за несколько часов. По состоянию на конец 2025 года ни одна схема не обеспечивает практичной, устойчивой к удалению маркировки происхождения для вывода моделей с открытыми весами, и исследовательское сообщество признаёт, что проблема остаётся нерешённой.

Почему это важно

Без водяных знаков для открытых моделей происхождение сгенерированного ИИ текста поддаётся отслеживанию лишь тогда, когда генератор сам решает сотрудничать.

Как я оцениваю возможность

Оценка возможности отражает моё личное суждение, а не точное измерение: насколько проблема болезненна, как часто она встречается и насколько мало существует решений сегодня. Чем выше оценка, тем более достойной реализации я считаю эту задачу.

Серьёзность8/10

Насколько серьёзные проблемы это создаёт.

Частота8/10

Как часто люди с этим сталкиваются.

Пробелы9/10

Насколько мало хороших инструментов для этого существует сегодня.

Ещё задачи, достойные решения