ทำไมฉันถึงตรวจสอบไม่ได้ว่าโมเดลถูกเทรนด้วยข้อมูลอะไรกันแน่?
โอกาส
โมเดลดูดซับอินเทอร์เน็ตทั้งหมด แล้วก็ตอบโดยไม่มีทางติดตามว่าการอ้างหรือพฤติกรรมนั้นมาจากไหน สำหรับสิ่งที่อยู่ภายใต้การกำกับดูแล หรือข้อพิพาทเรื่องลิขสิทธิ์และความลำเอียง ชุดข้อมูลการเทรนก็คือกล่องดำ ไม่มีวิธีปฏิบัติใดที่จะถามโมเดลว่ามันเรียนรู้มาจากอะไรแล้วได้คำตอบที่ซื่อสัตย์
ทำไมถึงสำคัญ
คุณไม่สามารถกำกับดูแลหรือไว้วางใจระบบที่ inputs ของมันมองไม่เห็นได้อย่างเต็มที่
วิธีที่ผมให้คะแนนโอกาส
คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า
ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว
ความถี่ที่คนจริงๆ เจอมัน
ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน
ปัญหาอื่นที่น่าแก้ไข
ทำไมแอป AI ทุกตัวถึงลืมฉันทันทีที่ฉันปิดแท็บ
AIทำไมการเรียนรู้สาขาใหม่ยังต้องผ่านด่านของการรู้ว่าจะถามอะไร
AIทำไมคนที่ไม่ใช่ผู้เชี่ยวชาญถึงไม่สามารถตรวจสอบสิ่งที่ AI บอกพวกเขาได้
AIทำไมเราถึงทดสอบโมเดลด้วย benchmark แต่ส่งมันออกไปบนความรู้สึก?
AIทำไม AI agent ถึงไม่มีความทรงจำเกี่ยวกับความผิดพลาดของตัวเอง?
AIทำไมเพื่อนบ้านบน inference cluster ของฉันถึงสามารถสร้างคำถามที่ฉันถามโมเดลขึ้นมาใหม่ได้?