Reading Your AI Bill Before It Reads You

Hóa đơn AI đầu tiên là một bất ngờ. Cái thứ hai là một vấn đề. Cái thứ ba là một cuộc họp với tài chính.

Kịch bản này ở khắp nơi. Đội xây tính năng AI, ước tính chi phí từ bản demo, rồi triển khai. Demo dùng năm request. Production dùng năm nghìn. Prompt của demo ngắn. Prompt của production mang toàn bộ ngữ cảnh. Demo chạy một buổi chiều. Production chạy cả tháng. Hóa đơn đến, và nó không phải hóa đơn ai đã lập ngân sách.

Hóa đơn AI khác hóa đơn đám mây ở một điểm quan trọng: chi phí gắn với công việc, và công việc gắn với thiết kế. Mỗi prompt, mỗi ngữ cảnh, mỗi lần retry, mỗi lần gọi model là một dòng mục có dấu vân tay của bạn. Hóa đơn không phải bí ẩn. Nó là tấm gương. Học cách đọc nó chính là khác biệt giữa vận hành AI và bị AI vận hành.

Kinh tế đơn vị của một request

Hóa đơn AI được xây từ đơn vị: chi phí của một request. Và chi phí của một request được xây từ những thứ bạn kiểm soát.

Lựa chọn model là đòn bẩy lớn nhất. Model tiên tiến tốn nhiều hơn mỗi token so với model nhỏ — đôi khi gấp mười lần. Kỷ luật phân tầng trước đây áp dụng ở đây: request mà model nhỏ xử lý tốt là request đang trả giá vé hạng nhất. Hóa đơn là nơi quyết định đó hiện ra.

Độ dài ngữ cảnh là đòn bẩy ẩn. Mỗi request mang theo ngữ cảnh — prompt hệ thống, lịch sử, tài liệu, cuộc trò chuyện. Ngữ cảnh bị tính phí ở mỗi request, kể cả khi nó không thay đổi. Request mang ngữ cảnh năm nghìn token tốn năm nghìn token đầu vào ở mỗi lần gọi, và đội không để ý kích thước ngữ cảnh là đang trả tiền cho cùng một hành lý ở mỗi chuyến bay.

Kịch bản retry là hệ số nhân thầm lặng. Tích hợp retry khi thất bại, agent lặp đến khi hài lòng, pipeline chạy lại cả lô khi một mục lỗi — mỗi lần retry là một request giá đầy đủ. Một hệ thống trông rẻ theo từng request có thể đắt theo từng tác vụ hoàn thành nếu các lần retry bị che giấu.

Đơn vị là request, và request là một quyết định: model, ngữ cảnh, retry. Đọc được đơn vị, hóa đơn thôi là bất ngờ.

Chi phí theo tác vụ, không theo request

Hóa đơn hiển thị request. Kinh doanh quan tâm tác vụ. Khoảng cách giữa hai thứ là nơi kinh tế học thực sự nằm.

Request là đơn vị thô. Tác vụ là kết quả hoàn thành — ticket được giải quyết, đơn hàng được xử lý, báo cáo được tạo. Một tác vụ có thể tốn một request hoặc mười, tùy thiết kế. Agent đốt mười request để xong một tác vụ không rẻ hơn workflow làm trong hai. Nó chỉ trông đẹp hơn ở số lượng request.

Chỉ số quan trọng là chi phí trên mỗi tác vụ hoàn thành, và đó là con số nên nằm trên dashboard cạnh năm tín hiệu kia. Chi phí theo tác vụ là con số hướng về kinh doanh — con số trả lời “AI này thực sự tốn bao nhiêu để làm việc.” Nó cũng là con số bắt được các vấn đề thiết kế mà số request che giấu: ngữ cảnh phình to, bão retry, model quá đắt cho tác vụ.

Những rào chắn chặn bất ngờ

Hóa đơn được quản lý bằng các rào chắn, và chúng có cùng hình dạng với rào chắn của bất kỳ ngân sách nào khác.

Cảnh báo ngân sách đến trước. Một ngưỡng cho chi tiêu hằng tháng, với cảnh báo khi tốc độ chi vượt qua nó. Cảnh báo kích hoạt trước hóa đơn, không phải sau. Ngưỡng không phải giới hạn — nó là tín hiệu cho thấy chi tiêu đang hành xử khác kế hoạch, và hành xử khác biệt chính là thông tin.

Trần theo tác vụ đến thứ hai. Một chi phí tối đa cho mỗi tác vụ, được thực thi ở tầng thiết kế. Tác vụ sắp đốt qua trần sẽ thất bại nhanh thay vì để đồng hồ chạy. Trần là phiên bản kỹ thuật của ngân sách — nó chặn sự vượt tầm trước khi chạm tới hóa đơn.

Đánh giá chi phí hằng quý đến thứ ba. Cùng nhịp đánh giá với đánh giá sức khỏe dữ liệu: đi qua chi phí theo tác vụ theo từng loại tác vụ, tìm các tác vụ có chi phí đơn vị trôi lên, và sửa nguyên nhân. Đánh giá là nơi rào chắn được tinh chỉnh và bài học được rút ra — tác vụ đã nhảy lên một tầng, ngữ cảnh đã phình, kịch bản retry đã xuất hiện.

Câu hỏi định hình lại hóa đơn

Khi hóa đơn AI tiếp theo đến, hãy hỏi một câu trước khi phản ứng: cái này đã mua được gì?

Hóa đơn mua được các tác vụ hoàn thành với chi phí hợp lý theo tác vụ là hóa đơn tốt, bất kể tổng là bao nhiêu. Hóa đơn mua được các request không thành kết quả — các retry, các vòng lặp, các ngõ cụt — là hóa đơn tệ, bất kể tổng là bao nhiêu. Tổng là tiêu đề. Chi phí trên mỗi tác vụ hoàn thành mới là sự thật.

Hóa đơn AI là thứ đọc được. Lựa chọn model, kích thước ngữ cảnh, kịch bản retry, chi phí theo tác vụ, và các rào chắn bắt được sự trôi. Hãy xây kinh tế đơn vị vào thiết kế, đặt chi phí theo tác vụ lên dashboard, và hóa đơn thôi là bất ngờ hằng tháng, trở thành thứ nó thực sự là: phiếu điểm cho thiết kế AI của bạn. Đọc nó, tinh chỉnh nó, và hóa đơn sẽ làm điều nó phải làm — nói cho bạn biết hệ thống đang lãng phí tiền ở đâu, trước cả bộ phận tài chính.

Nghĩ rằng lập luận này phù hợp với sự kiện của bạn? Hãy kể cho tôi về hội trường — lịch có chọn lọc.