Skip to content
AI

ฉันจะรู้ได้อย่างไรว่า base model แบบ open-weight ที่กำลัง fine-tune อยู่นั้นไม่ได้ถูกฝัง backdoor ไว้?

83

โอกาส

backdoor ที่ฝังไว้ใน weight ของโมเดลที่ผ่านการฝึกล่วงหน้าจะคงอยู่ตลอดการ fine-tune แบบ full-parameter การฝึก adapter และการอัปเดต RLHF เนื่องจาก pattern ของ trigger รอดผ่านกลยุทธ์การเปลี่ยน objective และการแช่แข็งบางส่วน trigger เหล่านี้มองไม่เห็นในการทดสอบความปลอดภัยเชิงพฤติกรรมมาตรฐานและการประเมิน benchmark การตรวจจับต้องใช้การวิเคราะห์ weight แบบ white-box ซึ่งผู้ปฏิบัติงาน fine-tune ทั่วไปไม่เคยดำเนินการ และ model hub รายใหญ่ไม่มีการสแกนบังคับก่อนที่ checkpoint จะพร้อมให้ดาวน์โหลดสาธารณะ องค์กรที่สร้างระบบในโปรดักชันบน base model ที่ถูกบุกรุกไม่มีสัญญาณใดๆ ว่ามีบางอย่างผิดปกติจนกว่า trigger จะทำงานในระหว่างการใช้งานจริง

ทำไมถึงสำคัญ

ห่วงโซ่อุปทานการ fine-tune แบบ open-weight ไม่มีจุดตรวจสอบด้านความปลอดภัย และโหมดความล้มเหลวคือ backdoor ที่รอดผ่านการตรวจสอบมาตรฐานทุกรูปแบบ

วิธีที่ผมให้คะแนนโอกาส

คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า

ความรุนแรง9/10

ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว

ความถี่7/10

ความถี่ที่คนจริงๆ เจอมัน

ช่องว่าง8/10

ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน

ปัญหาอื่นที่น่าแก้ไข