เหตุใดโมเดลที่ฝึกบนเว็บในปัจจุบันจึงแย่ลงเรื่อยๆ เมื่อ AI เขียนเนื้อหาบนเว็บมากขึ้น?

ปัจจุบันเว็บคือคลังข้อมูลฝึกหลักสำหรับโมเดลชั้นนำและเต็มไปด้วยข้อความที่ AI สร้างขึ้นซึ่งไม่มีตัวกรองที่ใช้งานอยู่จริงใดคัดกรองได้อย่างน่าเชื่อถือ งานวิจัยที่ตีพิมพ์ระหว่างปี 2024 ถึง 2026 แสดงให้เห็นว่าแม้แต่เพียงเสี้ยวเปอร์เซ็นต์ของข้อมูล synthetic ในการฝึกครั้งหนึ่งก็ก่อให้เกิด distributional collapse ข้ามรุ่น ทำให้ความหลากหลายของผลลัพธ์แคบลงและประสิทธิภาพในกรณีหางลดลง วงจรป้อนกลับนี้เป็นเชิงโครงสร้าง โมเดลที่ฝึกในปีนี้ผลิตเนื้อหาที่ปนเปื้อนคลังข้อมูลสำหรับการฝึกปีหน้า มาตรการบรรเทาที่เสนอ เช่น allowlists ระดับแหล่งที่มา ตัวกรองลายน้ำ และตัวตรวจสอบข้อมูล synthetic ต่างมีช่องโหว่ในการหลบเลี่ยงและไม่มีมาตรการใดถูกนำไปใช้ในระดับ web-crawler ยังไม่มีโปรโตคอลที่ตกลงกันได้สำหรับการระบุและกักกันข้อมูลฝึกที่ AI สร้างขึ้นก่อนที่จะเข้าสู่โมเดล