ทำไม AI agent ถึงไม่มีความทรงจำเกี่ยวกับความผิดพลาดของตัวเอง?
โอกาส
Agent จะทำผิดพลาดเดิมในวันอังคารเหมือนกับที่เคยทำในวันจันทร์ เพราะไม่มีอะไรส่งต่อบทเรียน เรามีหน่วยความจำสำหรับข้อเท็จจริง แต่แทบไม่มีเลยสำหรับความล้มเหลว Agent ที่ไม่สามารถเรียนรู้จากสิ่งที่ผิดพลาดก็เหมือนเด็กฝึกงานที่เป็นโรคความจำเสื่อม
ทำไมถึงสำคัญ
Agent จะได้รับความไว้วางใจให้ทำงานจริงได้ก็ต่อเมื่อมันพัฒนาตัวเองได้ดีขึ้นอย่างสม่ำเสมอตามกาลเวลา
วิธีที่ผมให้คะแนนโอกาส
คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า
ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว
ความถี่ที่คนจริงๆ เจอมัน
ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน
ปัญหาอื่นที่น่าแก้ไข
ทำไมแอป AI ทุกตัวถึงลืมฉันทันทีที่ฉันปิดแท็บ
AIทำไมการเรียนรู้สาขาใหม่ยังต้องผ่านด่านของการรู้ว่าจะถามอะไร
AIทำไมคนที่ไม่ใช่ผู้เชี่ยวชาญถึงไม่สามารถตรวจสอบสิ่งที่ AI บอกพวกเขาได้
AIทำไมเราถึงทดสอบโมเดลด้วย benchmark แต่ส่งมันออกไปบนความรู้สึก?
AIทำไมฉันถึงตรวจสอบไม่ได้ว่าโมเดลถูกเทรนด้วยข้อมูลอะไรกันแน่?
AIทำไมเพื่อนบ้านบน inference cluster ของฉันถึงสามารถสร้างคำถามที่ฉันถามโมเดลขึ้นมาใหม่ได้?