Warum erfahre ich erst nach der Veröffentlichung, wozu mein Modell Gefährliches in der Lage ist?
Möglichkeit
Automatisierte Red-Teaming-Tools wie GCG, AutoDAN und PAIR melden Angriffserfolgsraten von 5 bis 15 Prozent und vermitteln ein falsches Gefühl von Sicherheit. Mehrstufiges menschliches Red-Teaming an denselben Modellen findet bei denselben Kategorien in bis zu 75 Prozent der Fälle Schwachstellen. Diese Diskrepanz bedeutet, dass gefährliche Fähigkeitssteigerungen in Bereichen wie der Anleitung zur Biowaffen-Synthese oder Offensiv-Cyberoperationen in der automatisierten Pre-Deployment-Phase übersehen und stattdessen im Feld entdeckt werden. Frontier-Labs führen eigene manuelle Evaluierungen unter Frameworks wie Anthropics RSP und METRs TaskDev durch, doch die Methodik ist zu wenig dokumentiert und standardisiert, als dass zwei Labs vergleichbare Tests durchführen könnten. NISTs Leitlinien zum Red-Teaming von KI-Agenten befanden sich Anfang 2026 noch im Stadium einer kommentierten Gliederung, die vollständige Veröffentlichung wird für Ende 2026 bis 2027 erwartet.
Warum es wichtig ist
Eine gefährliche emergente Fähigkeit, die nach der Bereitstellung in einem weit verbreiteten Modell entdeckt wird, ist ein Problem anderer Größenordnung als eine, die vor der Veröffentlichung erkannt wird.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?