Làm sao tôi biết mô hình nền open-weight mà tôi đang fine-tune chưa bị đầu độc?

Cơ hội

Các backdoor được cài vào trọng số mô hình đã được huấn luyện trước sẽ tồn tại qua quá trình fine-tuning toàn tham số, huấn luyện adapter và cập nhật RLHF, vì các mẫu kích hoạt vẫn sống sót qua các chiến lược thay đổi mục tiêu và đóng băng một phần. Những trigger này vô hình với các bài kiểm tra an toàn hành vi tiêu chuẩn và đánh giá benchmark. Phát hiện chúng đòi hỏi phân tích trọng số white-box mà những người thực hành fine-tuning thông thường không bao giờ thực hiện, và các hub mô hình lớn không áp dụng quét bắt buộc trước khi một checkpoint được công khai để tải xuống. Một tổ chức xây dựng hệ thống sản xuất trên một mô hình nền bị xâm phạm sẽ không có bất kỳ tín hiệu nào cho thấy có gì sai cho đến khi trigger kích hoạt trong quá trình triển khai.

Tại sao quan trọng

Chuỗi cung ứng fine-tuning open-weight không có cổng kiểm tra bảo mật, và kiểu thất bại ở đây là một backdoor có thể vượt qua mọi kiểm tra tiêu chuẩn.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng9/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất7/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng8/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết

Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?

Tại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?

Tại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?

Tại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?

Tại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?

Tại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?

← Tất cả các vấn đề đáng giải quyết Về Anurag →