Pourquoi ne puis-je pas vérifier sur quoi un modèle a réellement été entraîné ?

Opportunity

Les modèles absorbent l'intégralité d'internet puis répondent sans qu'il soit possible de retracer l'origine d'une affirmation ou d'un comportement. Pour tout ce qui est réglementé, ou tout litige portant sur le droit d'auteur ou les biais, le jeu de données d'entraînement est une boîte noire. Il n'existe aucun moyen pratique de demander à un modèle ce dont il s'est nourri et d'obtenir une réponse honnête.

Why it matters

On ne peut pas gouverner ni faire pleinement confiance à un système dont les données d'entrée sont invisibles.

Comment j'évalue l'opportunité

The Opportunity Score is my own read, not a measurement: how much it hurts, how often it bites, and how little exists to solve it today. Higher means I think it is more worth building.

Gravité7/10

How much pain it causes when it shows up.

Fréquence6/10

How often people actually run into it.

Espace libre8/10

How little good tooling exists for it today.

D'autres problèmes qui méritent d'être résolus

Pourquoi chaque application IA m'oublie-t-elle dès que je ferme l'onglet ?

Pourquoi apprendre un nouveau domaine est-il encore conditionné par le fait de savoir quoi demander ?

Pourquoi un non-expert ne peut-il pas vérifier ce qu'une IA vient de lui dire ?

Pourquoi teste-t-on les modèles sur des benchmarks mais les déploie-t-on à l'instinct ?

Pourquoi les agents IA n'ont-ils aucun souvenir de leurs propres erreurs ?

Pourquoi un document empoisonné peut-il exfiltrer silencieusement tout ce que mon assistant sait sur moi ?

← Tous les problèmes qui méritent d'être résolus About Anurag →