Why does my AI write code that is correct in isolation but insecure in my system?
Возможность
AI coding assistants generate code that is syntactically valid and functionally correct at the function level but have no model of the security invariants of the surrounding system: the trust boundaries, IAM policies, data classification, and threat model that make a pattern safe or dangerous in a specific codebase. The result is structurally valid code that exposes tokens in logs, omits row-level access checks, or misconfigures permissions in ways an engineer familiar with the system would catch immediately. CVE-2025-48757 is a concrete case where an AI tool generated database schemas without row-level security, silently exposing 170 production applications. Research shows AI-assisted commits leak secrets at more than twice the rate of human-only commits. No current assistant ingests or reasons about a codebase's existing security model before generating code.
Почему это важно
Security context unawareness produces a class of vulnerabilities that pass every syntax check and unit test but are trivially exploitable once deployed.
Как я оцениваю возможность
Оценка возможности отражает моё личное суждение, а не точное измерение: насколько проблема болезненна, как часто она встречается и насколько мало существует решений сегодня. Чем выше оценка, тем более достойной реализации я считаю эту задачу.
Насколько серьёзные проблемы это создаёт.
Как часто люди с этим сталкиваются.
Насколько мало хороших инструментов для этого существует сегодня.
Ещё задачи, достойные решения
Почему каждое приложение ИИ забывает меня, как только я закрываю вкладку?
AIПочему освоение новой области по-прежнему упирается в умение задавать правильные вопросы?
AIПочему неспециалист не может проверить то, что только что сказал ему ИИ?
AIПочему мы тестируем модели на бенчмарках, а выпускаем их на интуиции?
AIПочему у ИИ-агентов нет памяти о собственных ошибках?
AIПочему я не могу проверить, на каких данных на самом деле обучалась модель?