Tại sao tôi không thể tin vào điểm tin cậy của mô hình khi điều đó quan trọng nhất?
Cơ hội
Các mô hình ngôn ngữ hiện đại thường xuyên xuất ra các token có độ tin cậy cao cho các câu trả lời sai và các token có độ tin cậy thấp cho các câu trả lời đúng. Khoảng cách giữa xác suất được công bố và độ chính xác thực tế, gọi là lỗi hiệu chỉnh, đã được ghi nhận trên các mô hình tiên tiến trong một khảo sát năm 2025 bao gồm các phương pháp dựa trên entropy, logit và nhiễu loạn. Các agent sản xuất sử dụng các điểm số này để quyết định khi nào nên hoãn lại hoặc từ chối sẽ kế thừa trực tiếp sự lệch hiệu chỉnh, vì vậy chúng hoặc tiếp tục ảo giác với sự chắc chắn giả tạo hoặc từ chối các câu trả lời đúng một cách không cần thiết. Không có primitive sẵn có nào cung cấp tín hiệu không chắc chắn được hiệu chỉnh, có thể hành động đủ rẻ để chạy tại thời điểm suy luận trên mỗi token đầu ra trong một phản hồi phát trực tiếp.
Tại sao quan trọng
Hiệu chỉnh là primitive tin cậy nằm dưới mọi quyết định của agent, và nếu không có nó, mọi ngưỡng an toàn ở phía sau đều đứng trên nền cát.
Cách tôi đánh giá cơ hội
Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.
Mức độ phiền toái nó gây ra khi xuất hiện.
Tần suất mọi người thực sự gặp phải nó.
Có rất ít công cụ tốt để xử lý nó hiện nay.
Thêm các vấn đề đáng giải quyết
Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?
AITại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?
AITại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?
AITại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?
AITại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?
AITại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?