Skip to content
AI

Wie erkenne ich, ob das Open-Weight-Basismodell, das ich fine-tune, nicht vergiftet wurde?

83

Opportunity

In vortrainierten Modellgewichten eingebettete Backdoors bleiben durch vollständiges Parameter-Fine-Tuning, Adapter-Training und RLHF-Updates bestehen, da die Triggermuster Strategien zum Verschieben des Optimierungsziels und zum teilweisen Einfrieren der Gewichte überleben. Diese Trigger sind für Standard-Verhaltens-Sicherheitstests und Benchmark-Evaluierungen unsichtbar. Ihre Erkennung erfordert eine White-Box-Gewichtsanalyse, die der durchschnittliche Fine-Tuning-Anwender nie durchführt, und große Modell-Hubs wenden vor der öffentlichen Bereitstellung eines Checkpoints kein obligatorisches Scanning an. Eine Organisation, die ein Produktionssystem auf einem kompromittierten Basismodell aufbaut, erhält kein Signal, dass etwas nicht stimmt, bis der Trigger im Deployment ausgelöst wird.

Why it matters

Die Open-Weight-Fine-Tuning-Lieferkette hat kein Sicherheitsgateway, und das Fehlerszenario ist eine Backdoor, die jeden Standardcheck übersteht.

Wie ich die Chance bewerte

The Opportunity Score is my own read, not a measurement: how much it hurts, how often it bites, and how little exists to solve it today. Higher means I think it is more worth building.

Schweregrad9/10

How much pain it causes when it shows up.

Häufigkeit7/10

How often people actually run into it.

Whitespace8/10

How little good tooling exists for it today.

Weitere lösungswürdige Probleme