Why does the model I use for evaluation prefer the model it came from?
โอกาส
LLM-as-judge has become the default way to run quality evaluations at scale, but judges from the same model family rate their own outputs 10 to 25 percent higher than equivalent outputs from a different family. Multiple 2025 and 2026 papers confirm the bias holds across position, verbosity, and rubric-constrained formats, and simple mitigations like panel voting reduce but do not eliminate it. Existing measurement frameworks cannot separate genuine quality differences from stylistic self-matching, so the effect cannot be corrected without first being cleanly isolated. Any team using the incumbent model to evaluate a replacement is running an evaluation with a structural thumb on the scale.
ทำไมถึงสำคัญ
The entire AI improvement loop depends on honest quality signals, and a biased evaluator corrupts that signal at the source without raising any alert.
วิธีที่ผมให้คะแนนโอกาส
คะแนนโอกาสเป็นมุมมองส่วนตัวของผม ไม่ใช่การวัดผล โดยดูว่ามันเจ็บปวดแค่ไหน บ่อยแค่ไหนที่มันกัดกิน และมีทางแก้อยู่น้อยเพียงใดในปัจจุบัน คะแนนสูงกว่าหมายความว่าผมคิดว่าคุ้มค่าแก่การสร้างมากกว่า
ความเจ็บปวดที่มันก่อขึ้นเมื่อปรากฏตัว
ความถี่ที่คนจริงๆ เจอมัน
ความขาดแคลนของเครื่องมือที่ดีสำหรับมันในปัจจุบัน
ปัญหาอื่นที่น่าแก้ไข
ทำไมแอป AI ทุกตัวถึงลืมฉันทันทีที่ฉันปิดแท็บ
AIทำไมการเรียนรู้สาขาใหม่ยังต้องผ่านด่านของการรู้ว่าจะถามอะไร
AIทำไมคนที่ไม่ใช่ผู้เชี่ยวชาญถึงไม่สามารถตรวจสอบสิ่งที่ AI บอกพวกเขาได้
AIทำไมเราถึงทดสอบโมเดลด้วย benchmark แต่ส่งมันออกไปบนความรู้สึก?
AIทำไม AI agent ถึงไม่มีความทรงจำเกี่ยวกับความผิดพลาดของตัวเอง?
AIทำไมฉันถึงตรวจสอบไม่ได้ว่าโมเดลถูกเทรนด้วยข้อมูลอะไรกันแน่?