Woher weiß ich, dass der Code, den mein KI-Assistent geschrieben hat, tatsächlich korrekt ist?
Möglichkeit
LLMs produzieren Code, der Unit-Tests besteht, aber keine formalen Eigenschaften erfüllt. Ein Modell kann Tests konstruieren, die per Konstruktion bestehen, nicht weil die Logik stimmt. Formale Verifikationswerkzeuge existieren, erfordern aber das Schreiben von Spezifikationen in Theorembeweiser-Syntax, was fast kein praktizierender Entwickler tut. Aktuelle Benchmarks zeigen, dass Frontier-Modelle bei der durchgängig verifizierbaren Code-Generierung nur 3,2 Prozent Erfolg erzielen, was bedeutet, dass die Lücke zwischen plausibel aussehendem Code und nachweislich korrektem Code nahezu vollständig offen ist. Teams, die KI-geschriebenen Code in die Produktion bringen, setzen auf Testabdeckung, die die Modelle selbst unterlaufen können.
Warum es wichtig ist
Automatisierte Korrektheitsgarantien für KI-generierten Code sind das, was Coding-Assistenten von Geschwindigkeitswerkzeugen zu Zuverlässigkeitswerkzeugen macht.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?