Por que só descubro o que meu modelo é capaz de fazer de perigoso depois que ele é lançado?
Oportunidade
Ferramentas automatizadas de red-teaming como GCG, AutoDAN e PAIR relatam taxas de sucesso de ataque de 5 a 15 por cento e transmitem uma falsa sensação de segurança. O red-teaming humano de múltiplos turnos nos mesmos modelos encontra falhas em até 75 por cento das vezes nas mesmas categorias. Essa lacuna significa que o aumento perigoso de capacidades em áreas como orientação para síntese de bioarmas ou ofensiva cibernética está sendo ignorado na fase automatizada de pré-implantação e descoberto apenas no campo. Laboratórios de fronteira realizam suas próprias avaliações manuais sob frameworks como o RSP da Anthropic e o TaskDev da METR, mas a metodologia é suficientemente não documentada e não padronizada para que nenhum dois laboratórios realizem testes comparáveis. As diretrizes de red-teaming para agentes de IA do NIST ainda eram um esboço anotado no início de 2026, com publicação completa prevista para o final de 2026 a 2027.
Por que importa
Uma capacidade emergente perigosa descoberta após a implantação em um modelo amplamente distribuído é um problema de ordem completamente diferente de uma detectada antes do lançamento.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que testamos modelos em benchmarks mas os lançamos em produção no achismo?
AIPor que agentes de IA não têm memória dos próprios erros?
AIPor que não consigo auditar em que um modelo foi realmente treinado?