ทำไมเราถึงทดสอบโมเดลด้วย benchmark แต่ส่งมันออกไปบนความรู้สึก?
โอกาส
ทีมงานเลือกโมเดลจาก leaderboard แล้วรันมันใน production โดยแทบไม่มีการประเมินแบบต่อเนื่อง ราคาถูก และเฉพาะงาน เมื่อคุณภาพเริ่มตก ไม่มีใครสังเกตจนกว่าผู้ใช้จะร้องเรียน เครื่องมือที่วัดได้จริงว่าฟีเจอร์ AI ของคุณยังดีอยู่หรือไม่นั้นยังขาดแคลนสำหรับนักพัฒนาส่วนใหญ่
ทำไมถึงสำคัญ
คุณไม่สามารถดำเนินการสิ่งที่วัดไม่ได้ และตอนนี้ฟีเจอร์ AI ส่วนใหญ่ยังไม่ได้ถูกวัด
วิธีที่ผมให้คะแนนโอกาส
คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า
ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว
ความถี่ที่คนจริงๆ เจอมัน
ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน
ปัญหาอื่นที่น่าแก้ไข
ทำไมแอป AI ทุกตัวถึงลืมฉันทันทีที่ฉันปิดแท็บ
AIทำไมการเรียนรู้สาขาใหม่ยังต้องผ่านด่านของการรู้ว่าจะถามอะไร
AIทำไมคนที่ไม่ใช่ผู้เชี่ยวชาญถึงไม่สามารถตรวจสอบสิ่งที่ AI บอกพวกเขาได้
AIทำไม AI agent ถึงไม่มีความทรงจำเกี่ยวกับความผิดพลาดของตัวเอง?
AIทำไมฉันถึงตรวจสอบไม่ได้ว่าโมเดลถูกเทรนด้วยข้อมูลอะไรกันแน่?
AIทำไมข้อมูลการฝึก AI จึงไม่มีบันทึกที่เครื่องอ่านได้ว่ามีผู้ใดยินยอมหรือไม่?