Warum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
Möglichkeit
Teams wählen ein Modell aus einem Leaderboard und betreiben es dann in der Produktion mit kaum kontinuierlicher, günstiger, aufgabenspezifischer Evaluation. Wenn die Qualität nachlässt, bemerkt es niemand, bis sich ein Nutzer beschwert. Die Werkzeuge, um tatsächlich zu messen, ob ein KI-Feature noch gut funktioniert, fehlen den meisten Entwicklern.
Warum es wichtig ist
Was man nicht messen kann, kann man nicht steuern, und derzeit sind die meisten KI-Features ungemessen.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?
AIWarum enthalten Trainingsdaten keinen maschinenlesbaren Nachweis darüber, ob jemand seine Einwilligung gegeben hat?