Tại sao các mô hình được huấn luyện trên web ngày nay ngày càng trở nên kém hơn khi AI viết nhiều nội dung hơn trên đó?

Cơ hội

Web hiện là kho dữ liệu huấn luyện chính cho các mô hình tiên tiến và đã bão hòa với văn bản do AI tạo ra mà không có bộ lọc nào được triển khai có thể phát hiện đáng tin cậy. Các nghiên cứu được công bố từ năm 2024 đến 2026 cho thấy ngay cả một phần nhỏ phần trăm dữ liệu tổng hợp trong một lần huấn luyện cũng có thể kích hoạt sự sụp đổ phân phối qua các thế hệ kế tiếp, thu hẹp sự đa dạng đầu ra và làm giảm hiệu suất ở phần đuôi. Vòng phản hồi mang tính cấu trúc: các mô hình được huấn luyện năm nay tạo ra nội dung làm ô nhiễm kho dữ liệu cho lần huấn luyện năm sau. Các biện pháp giảm thiểu được đề xuất như danh sách cho phép theo nguồn, bộ lọc watermark và trình xác minh dữ liệu tổng hợp đều có các vector vượt qua và chưa cái nào được triển khai ở quy mô web crawler. Không có giao thức nào được thống nhất để nhận diện và cách ly dữ liệu huấn luyện do AI tạo ra trước khi nó được đưa vào mô hình.

Tại sao quan trọng

Một kho dữ liệu huấn luyện chung đang suy giảm đặt ra giới hạn trần cho mọi mô hình được xây dựng từ dữ liệu công khai, và giới hạn đó ngày càng thấp hơn với mỗi thế hệ.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng8/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất8/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng8/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết

Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?

Tại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?

Tại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?

Tại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?

Tại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?

Tại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?

← Tất cả các vấn đề đáng giải quyết Về Anurag →