Por que o texto gerado por um modelo de código aberto não pode ser rastreado de forma confiável até sua origem?
Oportunidade
Provedores de modelos fechados podem incorporar marcas d'água estatísticas no texto gerado no momento da inferência, permitindo que o conteúdo seja atribuído a um modelo específico após o fato. Modelos de código aberto concedem aos usuários acesso completo ao procedimento de decodificação, portanto qualquer marca d'água inserida durante a geração pode ser removida com a modificação de poucas linhas de código de amostragem. A inserção de marcas d'água post-hoc em texto já gerado é vulnerável a ataques de paráfrase. Incorporar marcadores nos pesos do modelo resiste a alguns ataques, mas não ao ajuste fino, que qualquer pessoa executando pesos locais pode aplicar em uma tarde. No final de 2025, nenhum esquema oferecia marcação de proveniência prática e resistente à remoção para saídas de modelos de pesos abertos, e a comunidade de pesquisa reconhece que o problema permanece em aberto.
Por que importa
Sem marca d'água para modelos abertos, a proveniência de textos gerados por IA só é rastreável quando o gerador opta por cooperar.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que testamos modelos em benchmarks mas os lançamos em produção no achismo?
AIPor que agentes de IA não têm memória dos próprios erros?
AIPor que não consigo auditar em que um modelo foi realmente treinado?