Почему я узнаю о том, на что способна моя модель в опасных сценариях, только после её выпуска?
Возможность
Автоматизированные инструменты red-teaming, такие как GCG, AutoDAN и PAIR, сообщают об успешности атак от 5 до 15 процентов и создают ложное ощущение безопасности. Многоходовой ручной red-teaming на тех же моделях выявляет сбои в 75 процентах случаев по тем же категориям. Этот разрыв означает, что опасное расширение возможностей в таких областях, как синтез биологического оружия или наступательные кибератаки, упускается на автоматизированном этапе перед развёртыванием и обнаруживается уже в реальных условиях. Передовые лаборатории проводят собственные ручные оценки в рамках таких фреймворков, как RSP от Anthropic и TaskDev от METR, однако методология настолько не задокументирована и не стандартизирована, что ни одни две лаборатории не проводят сопоставимых тестов. Руководство NIST по red-teaming агентов ИИ в начале 2026 года всё ещё представляло собой аннотированный набросок, а полная публикация ожидается в конце 2026 или в 2027 году.
Почему это важно
Опасная эмерджентная способность, обнаруженная после развёртывания в широко распространённой модели, представляет собой проблему совершенно иного порядка, чем та, что была выявлена до выпуска.
Как я оцениваю возможность
Оценка возможности отражает моё личное суждение, а не точное измерение: насколько проблема болезненна, как часто она встречается и насколько мало существует решений сегодня. Чем выше оценка, тем более достойной реализации я считаю эту задачу.
Насколько серьёзные проблемы это создаёт.
Как часто люди с этим сталкиваются.
Насколько мало хороших инструментов для этого существует сегодня.
Ещё задачи, достойные решения
Почему каждое приложение ИИ забывает меня, как только я закрываю вкладку?
AIПочему освоение новой области по-прежнему упирается в умение задавать правильные вопросы?
AIПочему неспециалист не может проверить то, что только что сказал ему ИИ?
AIПочему мы тестируем модели на бенчмарках, а выпускаем их на интуиции?
AIПочему у ИИ-агентов нет памяти о собственных ошибках?
AIПочему я не могу проверить, на каких данных на самом деле обучалась модель?