Skip to content
AI

Why does the model I use for evaluation prefer the model it came from?

81

Cơ hội

LLM-as-judge has become the default way to run quality evaluations at scale, but judges from the same model family rate their own outputs 10 to 25 percent higher than equivalent outputs from a different family. Multiple 2025 and 2026 papers confirm the bias holds across position, verbosity, and rubric-constrained formats, and simple mitigations like panel voting reduce but do not eliminate it. Existing measurement frameworks cannot separate genuine quality differences from stylistic self-matching, so the effect cannot be corrected without first being cleanly isolated. Any team using the incumbent model to evaluate a replacement is running an evaluation with a structural thumb on the scale.

Tại sao quan trọng

The entire AI improvement loop depends on honest quality signals, and a biased evaluator corrupts that signal at the source without raising any alert.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng8/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất9/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng7/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết