Hoe weet ik dat het open-weight basismodel dat ik fine-tune niet vergiftigd is?
Kans
Backdoors die in vooraf getrainde modelgewichten zijn geplant, overleven volledige parameter fine-tuning, adapter-training en RLHF-updates, omdat de triggerpatronen bestand zijn tegen doelverschuiving en gedeeltelijke bevriezingsstrategieën. Deze triggers zijn onzichtbaar voor standaard gedragsbeveiligingstests en benchmarkevaluaties. Het detecteren ervan vereist white-box gewichtsanalyse die de gemiddelde fine-tuning-beoefenaar nooit uitvoert, en grote modelhubs passen geen verplichte scan toe voordat een checkpoint openbaar beschikbaar wordt gesteld. Een organisatie die een productiesysteem bouwt op een gecompromitteerd basismodel heeft geen signaal dat er iets mis is totdat de trigger tijdens de implementatie afgaat.
Waarom het belangrijk is
De open-weight fine-tuning-toeleveringsketen heeft geen beveiligingspoort, en de faalwijze is een backdoor die elke standaardcontrole overleeft.
Hoe ik de kans beoordeel
De Opportunity Score is mijn eigen inschatting, geen meting: hoe ernstig het pijn doet, hoe vaak het toeslaat, en hoe weinig er vandaag de dag bestaat om het op te lossen. Hoger betekent dat ik denk dat het meer de moeite waard is om te bouwen.
Hoeveel pijn het veroorzaakt wanneer het zich voordoet.
Hoe vaak mensen er daadwerkelijk tegenaan lopen.
Hoe weinig goede tools er vandaag de dag voor bestaan.
Meer problemen die het oplossen waard zijn
Waarom vergeet elke AI-app mij op het moment dat ik het tabblad sluit?
AIWaarom is het leren van een nieuw vakgebied nog steeds afhankelijk van weten wat je moet vragen?
AIWaarom kan een niet-expert niet verifiëren wat een AI hem zojuist heeft verteld?
AIWaarom testen we modellen op benchmarks maar brengen we ze op de markt op gevoel?
AIWaarom hebben AI-agenten geen geheugen voor hun eigen fouten?
AIWaarom kan ik niet controleren waarop een model daadwerkelijk is getraind?