ฉันจะรู้ได้อย่างไรว่า agent ของฉันดีขึ้นระหว่างเวอร์ชัน ไม่ใช่แค่โชคดี?

เมื่อ agent ดำเนินขั้นตอนต่อเนื่องหลายร้อยขั้นตอนเป็นชั่วโมง การประเมินแบบ A/B แบบดั้งเดิมจะล้มเหลว เพราะการเรียก tool ในช่วงแรกกำหนดทิศทางของทุกการตัดสินใจที่ตามมา ทำให้ผลลัพธ์ขึ้นอยู่กับเส้นทางในแต่ละครั้งที่รัน การทดลองอิสระให้เพียงพอเพื่อให้ได้สัญญาณที่เชื่อถือได้นั้นใช้ compute มากพอ ๆ กับการฝึกโมเดล แวดวงนี้จึงหันไปพึ่งตัวชี้วัดแทน เช่น อัตราความสำเร็จต่อขั้นตอน และความแม่นยำในการเรียก tool ซึ่งพิสูจน์แล้วว่าไม่สัมพันธ์กับผลลัพธ์ของงานจริง การตรวจสอบ benchmark LLM ที่ตีพิมพ์ 445 รายการในปี 2025 พบปัญหาความถูกต้องเชิง construct อย่างกว้างขวาง ทั้งนิยามงานที่คลุมเครือ ชุดข้อมูลระยะสั้นที่ถูกนำมาใช้ผิดวัตถุประสงค์ และการขาดการทดสอบทางสถิติ ซึ่งทั้งหมดนี้รุนแรงขึ้นเมื่อระยะเวลาของงานยาวนานขึ้น ทีมที่พัฒนาผลิตภัณฑ์ agentic จึงต้องส่งมอบโดยอาศัยการตรวจสอบด้วยตนเองแบบสุ่ม เพราะไม่มีวิธีการประเมินที่มีหลักการและทำซ้ำได้สำหรับ agent ที่มีระยะงานยาว