Why can I not reproduce the exact output my model gave in production?
Möglichkeit
Even at temperature zero, the same prompt sent to the same model twice can return different tokens. A January 2026 arXiv paper traced the root cause to dynamic batching: GPU reduction kernels change their internal arithmetic tree when batch size changes, and floating-point addition is not associative, so two requests processed under different batch sizes take different numerical paths and diverge. Serving infrastructure has no obligation to record or expose the batch context that produced a given output. This makes it impossible to replay a failed inference, write a regression test that pins exact behavior, or reconstruct what a model actually said during a production incident. The only solution demonstrated so far imposes a 61 percent throughput cost.
Warum es wichtig ist
Deterministic replay is the minimum bar for treating a model call as an auditable computation rather than a black box you trust but cannot inspect.
Wie ich die Chance bewerte
Der Opportunity Score ist meine persönliche Einschätzung, keine Messung: wie stark es schmerzt, wie oft es auftritt und wie wenig heute existiert, um es zu lösen. Ein höherer Wert bedeutet, dass ich es für lohnender halte, es umzusetzen.
Wie viel Schmerz es verursacht, wenn es auftritt.
Wie oft Menschen tatsächlich darauf stoßen.
Wie wenig gute Werkzeuge dafür heute existieren.
Weitere lösungswürdige Probleme
Warum vergisst mich jede KI-App in dem Moment, in dem ich den Tab schließe?
AIWarum setzt das Erlernen eines neuen Fachgebiets immer noch voraus, die richtigen Fragen zu kennen?
AIWarum kann eine fachfremde Person nicht überprüfen, was eine KI ihr gerade gesagt hat?
AIWarum testen wir Modelle an Benchmarks, aber bringen sie nach Bauchgefühl in die Produktion?
AIWarum haben KI-Agenten kein Gedächtnis für ihre eigenen Fehler?
AIWarum kann ich nicht nachprüfen, womit ein Modell tatsächlich trainiert wurde?