Почему мы тестируем модели на бенчмарках, а выпускаем их на интуиции?
Возможность
Команды выбирают модель по таблице лидеров, а затем запускают её в продакшн почти без непрерывной, доступной и задаче-специфичной оценки. Когда качество падает, никто этого не замечает, пока не пожалуется пользователь. Инструментов для реального измерения того, работает ли ваша ИИ-функция так же хорошо, как прежде, большинству разработчиков попросту не хватает.
Почему это важно
Нельзя управлять тем, что нельзя измерить, а большинство ИИ-функций сегодня не измеряется.
Как я оцениваю возможность
Оценка возможности отражает моё личное суждение, а не точное измерение: насколько проблема болезненна, как часто она встречается и насколько мало существует решений сегодня. Чем выше оценка, тем более достойной реализации я считаю эту задачу.
Насколько серьёзные проблемы это создаёт.
Как часто люди с этим сталкиваются.
Насколько мало хороших инструментов для этого существует сегодня.
Ещё задачи, достойные решения
Почему каждое приложение ИИ забывает меня, как только я закрываю вкладку?
AIПочему освоение новой области по-прежнему упирается в умение задавать правильные вопросы?
AIПочему неспециалист не может проверить то, что только что сказал ему ИИ?
AIПочему у ИИ-агентов нет памяти о собственных ошибках?
AIПочему я не могу проверить, на каких данных на самом деле обучалась модель?
AIПочему обучающие данные не содержат машиночитаемой записи о том, давал ли кто-либо согласие?