Por que não consigo auditar em que um modelo foi realmente treinado?
Oportunidade
Os modelos absorvem toda a internet e depois respondem sem nenhuma forma de rastrear de onde veio uma afirmação ou um comportamento. Para qualquer coisa regulada, ou qualquer disputa sobre direitos autorais ou viés, o conjunto de treinamento é uma caixa-preta. Não há maneira prática de perguntar a um modelo o que ele aprendeu e obter uma resposta honesta.
Por que importa
Não é possível governar ou confiar plenamente em um sistema cujas entradas são invisíveis.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que testamos modelos em benchmarks mas os lançamos em produção no achismo?
AIPor que agentes de IA não têm memória dos próprios erros?
AIWhy does training data carry no machine-readable record of whether anyone consented?