Perché non riesco a riprodurre esattamente l'output che il mio modello ha prodotto in produzione?

Opportunità

Anche a temperatura zero, lo stesso prompt inviato due volte allo stesso modello può restituire token diversi. Un articolo arXiv del gennaio 2026 ha individuato la causa profonda nel dynamic batching: i kernel di riduzione GPU modificano il loro albero aritmetico interno al variare della dimensione del batch, e l'addizione in virgola mobile non è associativa, quindi due richieste elaborate con batch size diversi percorrono percorsi numerici differenti e divergono. L'infrastruttura di serving non ha l'obbligo di registrare né di esporre il contesto del batch che ha prodotto un determinato output. Questo rende impossibile ripetere un'inferenza fallita, scrivere un test di regressione che fissi il comportamento esatto, o ricostruire ciò che un modello ha effettivamente detto durante un incidente in produzione. L'unica soluzione dimostrata finora comporta un costo del 61 percento in termini di throughput.

Perché è importante

Il replay deterministico è il requisito minimo per trattare una chiamata a un modello come un calcolo verificabile anziché come una scatola nera di cui ci si fida ma che non si può ispezionare.

Come valuto l'opportunità

L'Opportunity Score è la mia valutazione personale, non una misurazione: quanto fa male, con quale frequenza colpisce e quanto poco esiste per risolverlo oggi. Un punteggio più alto significa che lo ritengo più degno di essere sviluppato.

Gravità8/10

Quanto dolore provoca quando si manifesta.

Frequenza9/10

Quanto spesso le persone ci si imbattono davvero.

Spazio bianco8/10

Quanti pochi strumenti validi esistono oggi per affrontarlo.

Altri problemi che vale la pena risolvere

Perché ogni app AI mi dimentica nel momento in cui chiudo la scheda?

Perché imparare un nuovo campo dipende ancora dal sapere cosa chiedere?

Perché una persona non esperta non riesce a verificare ciò che un'AI le ha appena detto?

Perché testiamo i modelli sui benchmark ma li rilasciamo a sensazione?

Perché gli agenti AI non hanno memoria dei propri errori?

Perché non posso verificare su cosa è stato effettivamente addestrato un modello?

← Tutti i problemi che vale la pena risolvere Su Anurag →