Tại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?

Cơ hội

Các nhóm chọn mô hình từ bảng xếp hạng, rồi chạy nó trong môi trường production gần như không có đánh giá liên tục, rẻ tiền và theo từng tác vụ. Khi chất lượng suy giảm, không ai nhận ra cho đến khi có người dùng phàn nàn. Công cụ để thực sự đo lường xem tính năng AI của bạn có còn tốt không vẫn còn thiếu với hầu hết các nhà phát triển.

Tại sao quan trọng

Bạn không thể vận hành thứ bạn không đo lường được, và ngay lúc này hầu hết các tính năng AI đều chưa được đo lường.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng7/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất8/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng8/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết

Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?

Tại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?

Tại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?

Tại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?

Tại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?

Why does my agent ace every leaderboard but fail when it actually matters?

← Tất cả các vấn đề đáng giải quyết Về Anurag →