Why does my AI write code that is correct in isolation but insecure in my system?

Opportunità

AI coding assistants generate code that is syntactically valid and functionally correct at the function level but have no model of the security invariants of the surrounding system: the trust boundaries, IAM policies, data classification, and threat model that make a pattern safe or dangerous in a specific codebase. The result is structurally valid code that exposes tokens in logs, omits row-level access checks, or misconfigures permissions in ways an engineer familiar with the system would catch immediately. CVE-2025-48757 is a concrete case where an AI tool generated database schemas without row-level security, silently exposing 170 production applications. Research shows AI-assisted commits leak secrets at more than twice the rate of human-only commits. No current assistant ingests or reasons about a codebase's existing security model before generating code.

Perché è importante

Security context unawareness produces a class of vulnerabilities that pass every syntax check and unit test but are trivially exploitable once deployed.

Come valuto l'opportunità

L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.

Gravità9/10

Quanto dolore provoca quando si manifesta.

Frequenza8/10

Quanto spesso le persone ci si imbattono davvero.

Spazio bianco8/10

Quanti pochi strumenti validi esistono oggi per affrontarlo.

Altri problemi che vale la pena risolvere

Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?

Perché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?

Perché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?

Perché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?

Perché gli agenti AI non hanno memoria dei propri errori?

Perché non posso verificare su cosa è stato effettivamente addestrato un modello?

← Tutti i problemi che vale la pena risolvere Su Anurag →