Đo kết quả công việc, không chỉ câu trả lời
Tự động hóa quy trình bằng AI là việc giao cho tác nhân AI hoàn thành một chuỗi nhiệm vụ doanh nghiệp từ yêu cầu ban đầu đến những thay đổi chính xác trong các ứng dụng liên quan. Vì vậy, mô hình AI phù hợp không nhất thiết là mô hình đứng đầu ở bài kiểm tra kiến thức tổng quát; nó phải làm đúng việc trong quy trình cụ thể. AutomationBench đã tham gia Specialized Intelligence Index (SII), bộ chỉ số tập hợp các benchmark do người làm thực tế xây dựng để so sánh mô hình trên công việc chuyên biệt; đây là một trong 32 đối tác mới trong đợt bổ sung này.
Điểm đáng chú ý là bài kiểm tra đo xem tác nhân có hoàn thành toàn bộ quy trình kinh doanh trong bán hàng, tiếp thị, vận hành, hỗ trợ, tài chính và nhân sự hay không. Cách tiếp cận này lấp khoảng trống của benchmark phổ biến vốn thường kiểm tra trả lời câu hỏi, giải đố hoặc viết mã. Điểm cao ở những bài đó chưa đủ để chứng minh mô hình có thể xử lý tự động hóa quy trình doanh nghiệp đáng tin cậy.
Bài kiểm tra đầu-cuối phơi bày lỗi khó nhận ra
AutomationBench mô phỏng một doanh nghiệp nhỏ với CRM, hộp thư, bảng tính và hồ sơ hỗ trợ, trải trên 47 ứng dụng. Tác nhân nhận một yêu cầu ngắn, tương tự việc nhân viên vận hành có thể nhận qua Slack, rồi phải tự tìm thông tin và thực hiện các bước cần thiết mà không hỏi lại. Trong một tình huống, tác nhân phải cập nhật thương vụ của Meridian Corp, nhưng CRM có ba tài khoản tên gần giống nhau; bảng tính có dữ liệu cũ lẫn mới, còn quy tắc thông báo cho nhóm nào lại nằm trong email.
Đây là kiểu phức tạp thường bị điểm số năng lực chung che khuất: chọn đúng bản ghi, tìm quy tắc ở đúng nguồn và cập nhật nhiều ứng dụng mà không tác động nhầm đối tượng. Benchmark kiểm tra trạng thái thực tế sau khi chạy, thay vì tin vào lời tác nhân tự báo cáo. Một tác vụ chỉ đạt khi mọi điều kiện đều được đáp ứng; làm gần đúng vẫn là sai trong quy trình có thể ảnh hưởng khách hàng hoặc đồng nghiệp.
Bảng xếp hạng dựa trên 657 tác vụ được giữ kín để mô hình không thể học thuộc đáp án. Theo kết quả được công bố, Gemini 4 Argon dẫn đầu với 51,3%, còn Claude Sonnet 5.5 đạt 44,7%. Những con số này hữu ích để sàng lọc, nhưng không nên bị hiểu thành bảo đảm rằng mô hình sẽ phù hợp với mọi quy trình của doanh nghiệp.
Chọn theo độ khó và rủi ro của tác vụ
Chỉ số chuẩn hóa giúp đội ngũ đối chiếu mô hình trước khi đưa vào tự động hóa, nhưng thứ hạng không thể thay thế việc xác định yêu cầu của từng quy trình. Với một bước riêng lẻ như phân loại phiếu hỗ trợ hoặc trích xuất thông tin từ email, mô hình ít tốn kém hơn thường có thể đáp ứng. Khi tác nhân cần tìm bản ghi qua nhiều ứng dụng rồi thực hiện hành động, chọn mô hình ở nhóm đầu bảng có thể đáng cân nhắc hơn.
Chi phí cũng cần được đặt cạnh chất lượng hoàn thành thay vì xem như một con số độc lập. GPT-6 Sol đạt khoảng 80% hiệu suất của GPT-6 Astra với chi phí cho mỗi tác vụ bằng khoảng một phần sáu; Claude Sonnet 5.5 cũng vượt Claude Opus 5.5 trong kết quả được nêu, đồng thời có chi phí thấp hơn. Đây là lý do doanh nghiệp nên thử nghiệm trên tác vụ của mình, thay vì mặc định mô hình đắt hơn luôn tốt hơn.
Với quy trình chạm đến khách hàng hoặc tiền bạc, đừng để mô hình vừa quyết định vừa tự xác nhận. Hãy thêm bước tìm lại bản ghi sau hành động AI và một bộ lọc dừng luồng nếu dữ liệu không được cập nhật như mong đợi. Đây là biện pháp kiểm soát thiết thực hơn việc dựa hoàn toàn vào điểm benchmark.
Đưa benchmark vào quy trình tuyển chọn mô hình
Đánh giá mô hình AI nên bắt đầu bằng cách chia quy trình thành các loại việc: xử lý một đầu vào đơn lẻ, tra cứu dữ liệu nhiều nguồn hay cập nhật hệ thống có rủi ro cao. Sau đó, dùng benchmark để chọn ứng viên và chạy thử trên những ví dụ thật của doanh nghiệp, kiểm tra từng kết quả đầu-cuối thay vì chỉ đọc phần giải thích do mô hình tạo ra. Như vậy, chỉ số chung trở thành công cụ tham khảo có thể hành động, chứ không phải bảng xếp hạng để chọn theo quán tính.
Khi có mô hình mới, có thể thay nó vào bước AI trong luồng hiện tại bằng một lần chuyển đổi, rồi chạy trên một số tình huống thực tế trước khi quyết định chuyển hẳn. Doanh nghiệp cũng có thể xem bảng xếp hạng đầy đủ, cách AutomationBench được đặt cạnh các benchmark khác trong SII và tài liệu phương pháp của bộ kiểm tra. Kết luận nên dựa trên độ chính xác, chi phí vận hành và mức rủi ro mà quy trình chấp nhận được. Chọn đúng mô hình là chọn mô hình hoàn tất đúng công việc cần giao, không phải mô hình có danh tiếng lớn nhất.
