Tại sao tôi chỉ biết những điều nguy hiểm mà mô hình của mình có thể làm sau khi nó được phát hành?

Cơ hội

Các công cụ red-teaming tự động như GCG, AutoDAN và PAIR báo cáo tỷ lệ thành công tấn công từ 5 đến 15 phần trăm và tạo ra cảm giác an toàn giả tạo. Red-teaming thủ công nhiều lượt trên cùng các mô hình phát hiện lỗi lên đến 75 phần trăm số lần trên cùng các hạng mục. Khoảng cách này có nghĩa là các khả năng nguy hiểm trong các lĩnh vực như hướng dẫn tổng hợp vũ khí sinh học hay tấn công mạng đang bị bỏ sót ở giai đoạn tự động trước triển khai và chỉ được phát hiện sau khi ra thực địa. Các phòng lab hàng đầu chạy đánh giá thủ công theo các khung như RSP của Anthropic và TaskDev của METR, nhưng phương pháp chưa được ghi lại và thiếu chuẩn hóa đến mức không có hai phòng lab nào thực hiện các bài kiểm tra có thể so sánh được. Hướng dẫn red-teaming agent AI của NIST vẫn còn là một phác thảo có chú thích vào đầu năm 2026, với dự kiến xuất bản đầy đủ vào cuối năm 2026 đến 2027.

Tại sao quan trọng

Một khả năng mới nổi nguy hiểm được phát hiện sau triển khai trong một mô hình được phân phối rộng rãi là vấn đề thuộc một cấp độ khác so với khi được phát hiện trước khi phát hành.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng10/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất6/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng8/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết

Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?

Tại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?

Tại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?

Tại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?

Tại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?

Tại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?

← Tất cả các vấn đề đáng giải quyết Về Anurag →