Pourquoi le texte généré par un modèle open source ne peut-il pas être retracé de manière fiable jusqu'à sa source ?

Les fournisseurs de modèles fermés peuvent intégrer des filigranes statistiques dans le texte généré au moment de l'inférence, ce qui permet d'attribuer le contenu à un modèle spécifique après coup. Les modèles open source donnent aux utilisateurs un accès complet à la procédure de décodage, de sorte que tout filigrane appliqué lors de la génération peut être supprimé en modifiant quelques lignes de code d'échantillonnage. Le filigranage a posteriori de textes déjà générés échoue face aux attaques par paraphrase. L'intégration de marqueurs dans les poids du modèle résiste à certaines attaques, mais pas au fine-tuning, que quiconque disposant des poids locaux peut effectuer en une après-midi. Fin 2025, aucun schéma ne fournit un marquage de provenance pratique et résistant à la suppression pour les sorties des modèles à poids ouverts, et la communauté de recherche reconnaît que le problème reste ouvert.