Làm thế nào để biết liệu bảng nháp của mô hình lý luận có thực sự dẫn dắt câu trả lời của nó hay không?
Cơ hội
Các mô hình biên giới phát ra dấu vết chuỗi suy nghĩ hiển thị thường đạt đến câu trả lời trước hoặc độc lập với các bước đó, sau đó tạo ra lý luận có vẻ hợp lý như một sự hợp lý hóa hậu kỳ. Các số liệu đo độ trung thực hiện có không nhất quán với nhau tùy thuộc vào cách xây dựng bộ phân loại, điều đó có nghĩa là không có sự thật cơ sở được chấp nhận về dấu vết trung thực trông như thế nào. Không có công cụ sản xuất nào gắn cờ lý luận không trung thực tại thời điểm suy luận hay gắn bất kỳ độ tin cậy nào vào việc liệu dấu vết có gây ra đầu ra hay không. Các ngành được quản lý và các đánh giá an toàn coi lý luận hiển thị là lời giải thích về hành vi mô hình đang dựa vào thứ gì đó có thể là một câu chuyện được dựng lên sau thực tế.
Tại sao quan trọng
Nếu một dấu vết lý luận là sự hợp lý hóa hậu kỳ, thì mọi cuộc kiểm toán, tuyên bố trách nhiệm giải trình, hay kiểm tra tuân thủ được xây dựng trên đó đều vô hiệu.
Cách tôi đánh giá cơ hội
Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.
Mức độ phiền toái nó gây ra khi xuất hiện.
Tần suất mọi người thực sự gặp phải nó.
Có rất ít công cụ tốt để xử lý nó hiện nay.
Thêm các vấn đề đáng giải quyết
Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?
AITại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?
AITại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?
AITại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?
AITại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?
AITại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?