Bốn phép so sánh cho thấy điểm benchmark cao hơn chưa chắc đáng giá

Điểm số cao hơn không tự động đồng nghĩa với lựa chọn tốt hơn

So sánh mô hình AI là cách cân đối năng lực đo bằng benchmark với giá, độ dài đầu ra và kết quả trên chính khối lượng công việc của bạn. Trong bốn cặp dưới đây, mô hình dẫn điểm không phải lúc nào cũng tạo ra giá trị tốt hơn: có cặp đáng trả thêm để xử lý tác vụ mở, nhưng cũng có cặp mà phương án rẻ hơn đạt điểm ngang ngửa hoặc nhỉnh hơn.

Kimi K3.1 Pro đạt 55 điểm, cao hơn DeepSeek V4.1 Flash 39 điểm đúng 16 điểm; đổi lại, DeepSeek rẻ hơn 13 lần cho đầu vào và 17 lần cho đầu ra trên mỗi token. Khoảng cách chi phí mỗi tác vụ nhỏ hơn: DeepSeek rẻ hơn 4,4 lần, một phần vì mô hình nhanh hơn và tạo đầu ra dài hơn. DeepSeek còn thắng trên xdev-bench-hard ở pass@3, đạt 85,7% so với 81,0% của Kimi. Đây là lý do điểm benchmark AI không nên được đọc tách rời khỏi loại công việc: một prompt có tiêu chí kiểm tra rõ ràng có thể ưu tiên mô hình tiết kiệm, còn agent phải tự quyết bước tiếp theo có thể cần năng lực cao hơn.

Kimi và Terra: trả thêm cho năng lực, hay chọn giá thấp hơn?

GPT-6.1 Terra đạt 48 điểm, thấp hơn Kimi K3.1 Pro 55 điểm, trong khi giá token của Terra chỉ bằng một nửa. Với công việc lặp lại, phạm vi hẹp và có thể chấm tự động, đây là đánh đổi dễ chấp nhận: mức tiết kiệm có thể quan trọng hơn bảy điểm trên bảng xếp hạng. Nhưng với quy trình mở, cần viết mã hoặc cần giảm phụ thuộc nhà cung cấp, Kimi có lợi thế về năng lực và trọng số mở được hứa hẹn.

Kimi cũng dẫn trên OSWorld 2.1: đạt 79,6% so với 74,2% của Terra, chênh 5,4 điểm. Tuy vậy, giới hạn đầu ra khiến hai mô hình không thay thế hoàn toàn cho nhau. Terra tối đa 128.000 token, còn Kimi cho phép 943.718 token; với trò chuyện thông thường, khác biệt này ít đáng kể, nhưng tạo nội dung dài hoặc xử lý bản ghi lớn có thể phải chia nhỏ việc trên Terra. Vì vậy, chi phí token AI thấp hơn chỉ là một phần quyết định: hãy tính cả khả năng hoàn tất tác vụ trong một lần gọi.

MiMo và Step 5: một điểm chênh, chín lần chi phí

MiMo V2.6 Pro đạt 30 điểm, nhỉnh hơn Step 5 Preview với 29 điểm, nhưng chi phí mỗi tác vụ của MiMo thấp hơn khoảng chín lần. Trong bài đánh giá lập trình FrontierCode 2.0, khoảng cách còn rõ hơn: MiMo đạt 24%, gấp đôi mức 12% của Step 5 Preview. Cặp này cho thấy điểm tổng hợp gần nhau không đảm bảo hiệu suất ngang nhau ở tác vụ cụ thể; nếu lập trình là trọng tâm, dữ liệu chuyên biệt nghiêng về MiMo.

Cả hai đều có cửa sổ ngữ cảnh một triệu token và xử lý hình ảnh lẫn văn bản. MiMo còn nhận âm thanh và video, trong khi Step 5 Preview hỗ trợ video nhưng không được nêu là có đầu vào âm thanh. Giấy phép MIT của MiMo cũng tạo thuận lợi cho người muốn dùng trọng số mở; Step 5 Preview đi kèm giấy phép riêng của nhà phát triển. Dù vậy, đừng mặc định lợi thế một điểm của MiMo sẽ lặp lại trên mọi tác vụ. Hãy thử với dữ liệu và quy trình của mình trước khi chuyển hẳn.

Buy if / Skip if

• Buy the DeepSeek V4.1 Flash if tác vụ được mô tả rõ trong một prompt, có thể kiểm tra bằng bộ xác nhận và bạn muốn dành ngân sách cho nhiều lần thử.
• Skip the DeepSeek V4.1 Flash if agent phải tự chẩn đoán lỗi, chọn bước tiếp theo và phục hồi sau khi công cụ thất bại; khi đó khoảng cách năng lực với Kimi có thể đáng để trả thêm.
• Buy the GPT-6.1 Terra if công việc có phạm vi giới hạn, lặp lại và cần giảm chi phí token so với Kimi.
• Skip the GPT-6.1 Terra if bạn cần đầu ra rất dài trong một lần gọi, khả năng chạy độc lập với nhà cung cấp hoặc kết quả tốt hơn trên tác vụ máy tính để bàn.
• Buy the MiMo V2.6 Pro if bạn ưu tiên chi phí mỗi tác vụ thấp, lập trình là trọng tâm hoặc cần đầu vào âm thanh.
• Skip the MiMo V2.6 Pro if thử nghiệm trên chính khối lượng công việc của bạn không xác nhận lợi thế của nó; đổi mô hình thường dễ hơn đổi cả quy trình.
• Buy the Step 5 Preview if các bài thử riêng của bạn cho thấy cách xử lý agent của nó phù hợp hơn với công việc thực tế.
• Skip the Step 5 Preview if MiMo cho kết quả tương đương hoặc tốt hơn trong tác vụ của bạn mà chi phí thấp hơn.