Как убедиться, что базовая модель с открытыми весами, которую я дообучаю, не была скомпрометирована?
Возможность
Бэкдоры, внедрённые в веса предобученной модели, сохраняются через полноценное дообучение всех параметров, обучение адаптеров и обновления RLHF, поскольку паттерны-триггеры выживают при стратегиях смены целевой функции и частичного замораживания. Эти триггеры невидимы для стандартных поведенческих тестов безопасности и оценки на бенчмарках. Их обнаружение требует анализа весов методом белого ящика, который рядовой практик дообучения никогда не проводит, а крупные хабы моделей не применяют обязательного сканирования перед тем, как чекпойнт становится доступным для публичного скачивания. Организация, создающая производственную систему на основе скомпрометированной базовой модели, не получит никакого сигнала о проблеме до момента срабатывания триггера в процессе эксплуатации.
Почему это важно
В цепочке поставок дообучения моделей с открытыми весами нет контрольной точки безопасности, а режим отказа представляет собой бэкдор, который переживает любую стандартную проверку.
Как я оцениваю возможность
Оценка возможности отражает моё личное суждение, а не точное измерение: насколько проблема болезненна, как часто она встречается и насколько мало существует решений сегодня. Чем выше оценка, тем более достойной реализации я считаю эту задачу.
Насколько серьёзные проблемы это создаёт.
Как часто люди с этим сталкиваются.
Насколько мало хороших инструментов для этого существует сегодня.
Ещё задачи, достойные решения
Почему каждое приложение ИИ забывает меня, как только я закрываю вкладку?
AIПочему освоение новой области по-прежнему упирается в умение задавать правильные вопросы?
AIПочему неспециалист не может проверить то, что только что сказал ему ИИ?
AIПочему мы тестируем модели на бенчмарках, а выпускаем их на интуиции?
AIПочему у ИИ-агентов нет памяти о собственных ошибках?
AIПочему я не могу проверить, на каких данных на самом деле обучалась модель?