Por que testamos modelos em benchmarks mas os lançamos em produção no achismo?
Oportunidade
As equipes escolhem um modelo de um leaderboard e o colocam em produção com quase nenhuma avaliação contínua, barata e específica para a tarefa. Quando a qualidade cai, ninguém percebe até um usuário reclamar. As ferramentas para realmente medir se o seu recurso de IA ainda está bom faltam para a maioria dos desenvolvedores.
Por que importa
Você não pode operar o que não consegue medir, e hoje a maioria dos recursos de IA não é medida.
Como avalio a oportunidade
A Pontuação de Oportunidade é minha própria leitura, não uma medição: o quanto dói, com que frequência aparece e o quanto pouco existe para resolvê-lo hoje. Quanto maior, mais vale a pena construir, na minha opinião.
O quanto de dor causa quando aparece.
Com que frequência as pessoas realmente se deparam com isso.
O quanto pouco de boas ferramentas existe para isso hoje.
Mais problemas que merecem ser resolvidos
Por que todo aplicativo de IA me esquece no momento em que fecho a aba?
AIPor que aprender uma nova área ainda depende de saber o que perguntar?
AIPor que uma pessoa sem especialização não consegue verificar o que uma IA acabou de dizer?
AIPor que agentes de IA não têm memória dos próprios erros?
AIPor que não consigo auditar em que um modelo foi realmente treinado?
AIPor que os dados de treinamento não carregam nenhum registro legível por máquina sobre se alguém consentiu?