Tại sao tôi không thể biết quy trình AI của mình sẽ tốn bao nhiêu trước khi đưa vào vận hành?

Cơ hội

Chi tiêu suy luận AI doanh nghiệp tăng 3,2 lần vào năm 2025 dù giá mỗi token giảm khoảng 1.000 lần, được thúc đẩy bởi các vòng lặp agent, lạm phát cửa sổ ngữ cảnh và các agent giám sát luôn hoạt động. Một agent hoạt động sai ở mức $0,06 mỗi lần gọi thử lại 1.000 lần mỗi phút tạo ra $86.400 chi tiêu trong một ngày. Các công cụ FinOps đám mây hiện có không áp dụng được vì chi phí suy luận là hàm của độ dài đầu vào ngữ nghĩa, khuếch đại lệnh gọi công cụ và độ sâu vòng lặp, không yếu tố nào trong số đó được biết tại thời điểm lập kế hoạch. Không có công cụ tiêu chuẩn nào để ước tính chi phí trước sản xuất của các quy trình LLM, và các CFO không thể mô hình hóa suy luận AI như một dòng ngân sách có thể dự đoán được.

Tại sao quan trọng

Nếu không có mô hình chi phí mà bạn có thể tin tưởng trước khi phát hành, mọi sản phẩm AI đều là một canh bạc ngân sách hơn là một hoạt động kinh doanh.

Cách tôi đánh giá cơ hội

Điểm Cơ Hội là đánh giá riêng của tôi, không phải một phép đo chính xác: mức độ gây khó chịu, tần suất xuất hiện và sự khan hiếm của giải pháp hiện có. Điểm càng cao, tôi càng cho rằng vấn đề đó càng đáng để xây dựng.

Mức độ nghiêm trọng8/10

Mức độ phiền toái nó gây ra khi xuất hiện.

Tần suất9/10

Tần suất mọi người thực sự gặp phải nó.

Khoảng trắng8/10

Có rất ít công cụ tốt để xử lý nó hiện nay.

Thêm các vấn đề đáng giải quyết

Tại sao mọi ứng dụng AI đều quên tôi ngay khi tôi đóng tab?

Tại sao việc học một lĩnh vực mới vẫn bị chặn bởi việc phải biết hỏi gì?

Tại sao người không chuyên không thể xác minh điều một AI vừa nói với họ?

Tại sao chúng ta kiểm tra mô hình trên các bảng xếp hạng nhưng lại triển khai chúng dựa trên cảm tính?

Tại sao các AI agent không có trí nhớ về lỗi lầm của chính mình?

Tại sao tôi không thể kiểm tra dữ liệu mà một mô hình thực sự được huấn luyện trên đó?

← Tất cả các vấn đề đáng giải quyết Về Anurag →