Почему текст, сгенерированный моделью с открытым исходным кодом, нельзя надёжно отследить до неё?
Возможность
Поставщики закрытых моделей могут встраивать статистические водяные знаки в генерируемый текст во время инференса, что позволяет впоследствии атрибутировать контент конкретной модели. Модели с открытым исходным кодом предоставляют пользователям полный доступ к процедуре декодирования, поэтому любой водяной знак, добавленный при генерации, можно удалить, изменив несколько строк кода семплирования. Постфактумная простановка водяных знаков на уже сгенерированном тексте не выдерживает атак перефразирования. Внедрение маркеров в веса модели устойчиво к некоторым атакам, но не к дообучению, которое любой пользователь локальных весов может применить за несколько часов. По состоянию на конец 2025 года ни одна схема не обеспечивает практичной, устойчивой к удалению маркировки происхождения для вывода моделей с открытыми весами, и исследовательское сообщество признаёт, что проблема остаётся нерешённой.
Почему это важно
Без водяных знаков для открытых моделей происхождение сгенерированного ИИ текста поддаётся отслеживанию лишь тогда, когда генератор сам решает сотрудничать.
Как я оцениваю возможность
Оценка возможности отражает моё личное суждение, а не точное измерение: насколько проблема болезненна, как часто она встречается и насколько мало существует решений сегодня. Чем выше оценка, тем более достойной реализации я считаю эту задачу.
Насколько серьёзные проблемы это создаёт.
Как часто люди с этим сталкиваются.
Насколько мало хороших инструментов для этого существует сегодня.
Ещё задачи, достойные решения
Почему каждое приложение ИИ забывает меня, как только я закрываю вкладку?
AIПочему освоение новой области по-прежнему упирается в умение задавать правильные вопросы?
AIПочему неспециалист не может проверить то, что только что сказал ему ИИ?
AIПочему мы тестируем модели на бенчмарках, а выпускаем их на интуиции?
AIПочему у ИИ-агентов нет памяти о собственных ошибках?
AIПочему я не могу проверить, на каких данных на самом деле обучалась модель?