Why do I only find out what dangerous things my model can do after it ships?
Möglichkeit
Automated red-teaming tools such as GCG, AutoDAN, and PAIR report attack success rates of 5 to 15 percent and give a false sense of safety. Multi-turn human red-teaming on the same models finds failures up to 75 percent of the time on the same categories. The gap means that dangerous capability uplift in areas like bioweapon synthesis guidance or offensive cyber is being missed at the automated pre-deployment stage and found in the field instead. Frontier labs run their own manual evaluations under frameworks like Anthropic's RSP and METR's TaskDev, but the methodology is undocumented and non-standardized enough that no two labs run comparable tests. NIST's AI agent red-teaming guidance was still an annotated outline in early 2026, with full publication expected late 2026 to 2027.
Warum es wichtig ist
A dangerous emergent capability discovered post-deployment in a widely distributed model is a different order of problem than one caught before release.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?