ฉันจะรู้ได้อย่างไรว่า base model แบบ open-weight ที่กำลัง fine-tune อยู่นั้นไม่ได้ถูกฝัง backdoor ไว้?
โอกาส
backdoor ที่ฝังไว้ใน weight ของโมเดลที่ผ่านการฝึกล่วงหน้าจะคงอยู่ตลอดการ fine-tune แบบ full-parameter การฝึก adapter และการอัปเดต RLHF เนื่องจาก pattern ของ trigger รอดผ่านกลยุทธ์การเปลี่ยน objective และการแช่แข็งบางส่วน trigger เหล่านี้มองไม่เห็นในการทดสอบความปลอดภัยเชิงพฤติกรรมมาตรฐานและการประเมิน benchmark การตรวจจับต้องใช้การวิเคราะห์ weight แบบ white-box ซึ่งผู้ปฏิบัติงาน fine-tune ทั่วไปไม่เคยดำเนินการ และ model hub รายใหญ่ไม่มีการสแกนบังคับก่อนที่ checkpoint จะพร้อมให้ดาวน์โหลดสาธารณะ องค์กรที่สร้างระบบในโปรดักชันบน base model ที่ถูกบุกรุกไม่มีสัญญาณใดๆ ว่ามีบางอย่างผิดปกติจนกว่า trigger จะทำงานในระหว่างการใช้งานจริง
ทำไมถึงสำคัญ
ห่วงโซ่อุปทานการ fine-tune แบบ open-weight ไม่มีจุดตรวจสอบด้านความปลอดภัย และโหมดความล้มเหลวคือ backdoor ที่รอดผ่านการตรวจสอบมาตรฐานทุกรูปแบบ
วิธีที่ผมให้คะแนนโอกาส
คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า
ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว
ความถี่ที่คนจริงๆ เจอมัน
ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน
ปัญหาอื่นที่น่าแก้ไข
ทำไมแอป AI ทุกตัวถึงลืมฉันทันทีที่ฉันปิดแท็บ
AIทำไมการเรียนรู้สาขาใหม่ยังต้องผ่านด่านของการรู้ว่าจะถามอะไร
AIทำไมคนที่ไม่ใช่ผู้เชี่ยวชาญถึงไม่สามารถตรวจสอบสิ่งที่ AI บอกพวกเขาได้
AIทำไมเราถึงทดสอบโมเดลด้วย benchmark แต่ส่งมันออกไปบนความรู้สึก?
AIทำไม AI agent ถึงไม่มีความทรงจำเกี่ยวกับความผิดพลาดของตัวเอง?
AIทำไมฉันถึงตรวจสอบไม่ได้ว่าโมเดลถูกเทรนด้วยข้อมูลอะไรกันแน่?