Mô hình AI đa phương thức nhỏ: Chọn đọc ảnh hay xử lý âm thanh?

Chọn theo việc cần làm, không theo số tham số

Mô hình AI đa phương thức nhỏ là mô hình gọn có thể xử lý nhiều loại dữ liệu, chẳng hạn văn bản, hình ảnh hoặc âm thanh, với mức tài nguyên phù hợp để triển khai trên thiết bị hay trong sản phẩm. Nếu ưu tiên đọc hóa đơn, biểu mẫu, biểu đồ và ảnh chụp màn hình, MiniCPM-V 4.7 1B là lựa chọn thuyết phục hơn: nó dẫn điểm trên các benchmark thị giác được công bố, có cửa sổ ngữ cảnh lớn hơn và giấy phép Apache-2.0. Nếu sản phẩm cần nghe âm thanh rồi trả lời bằng giọng nói, LFM3-Omni-2B là lựa chọn trong cặp này có thể đảm nhiệm cả hai. Hai mô hình vì thế không phải đối thủ đồng chức năng: một mô hình đọc ảnh chuyên sâu, còn mô hình kia chia năng lực giữa nhìn, nghe và nói.

Các thông số cốt lõi cho thấy vì sao số tham số không đủ để quyết định. MiniCPM dành thiết kế cho thị giác và cho phép chọn mức nén token ảnh; LFM3-Omni phân bổ tài nguyên cho nhiều phương thức. Bộ nhớ dưới đây là mức BF16 được nêu trong tài liệu; khi triển khai, lượng tử hóa, phần cứng và phần mềm phục vụ cũng ảnh hưởng đến mức sử dụng thực tế.

Đọc tài liệu: MiniCPM dẫn điểm, nhưng thiết lập có ý nghĩa

Ở các bộ benchmark thị giác mà cả hai thẻ mô hình cùng công bố, MiniCPM-V 4.7 1B vượt LFM3-Omni-2B: OCRBench đạt 86,1 so với 80,6; MMStar 69,5 so với 55,67; MMMU 56,9 so với 42,44; MathVista 74,3 so với 62,5. Khoảng cách này có ý nghĩa với tác vụ đọc ảnh như OCR, biểu mẫu, hóa đơn, biểu đồ và giao diện dày đặc. Tuy nhiên, điểm OCRBench nổi bật của MiniCPM được đo ở chế độ dùng token thị giác 4×, đổi thêm tính toán để giữ nhiều chi tiết hơn. LFM3-Omni giới hạn ảnh ở 2.048 token, một lựa chọn hợp lý cho mô hình phải dành năng lực cho âm thanh và video, nhưng là giới hạn khi đọc trang nhiều chi tiết.

Vì vậy, không nên xem các điểm số như phép so sánh tuyệt đối giữa hai thiết kế. Chúng phản ánh cấu hình, ngân sách token và mục tiêu khác nhau; hơn nữa, các đánh giá trong nguồn đều do nhà cung cấp thực hiện, chưa được tái tạo độc lập. Với pipeline tài liệu, lợi thế ngữ cảnh 262.144 token của MiniCPM cũng đáng kể khi cần xử lý đầu vào dài. Nhưng nếu chỉ cần mô tả cảnh ở tốc độ và chi phí tính toán thấp hơn, cấu hình nén ảnh mạnh hơn có thể phù hợp hơn là luôn chọn mức giữ chi tiết cao.

Âm thanh và benchmark: đừng gộp các tác vụ khác nhau

Khác biệt rõ nhất không nằm ở bảng thị giác: MiniCPM-V 4.7 1B không có đường đầu vào âm thanh, đầu ra giọng nói hay khả năng xử lý âm thanh trong video. LFM3-Omni-2B nhận âm thanh 16 kHz và có thể trả lời bằng giọng nói 24 kHz, nên phù hợp hơn cho trợ lý có camera và micrô hoặc sản phẩm cần gộp nhận dạng giọng nói, mô hình ngôn ngữ và tổng hợp tiếng nói trong một checkpoint. Đổi lại, nó không có lợi thế đọc tài liệu của MiniCPM theo các điểm số được công bố. Nếu sản phẩm chỉ cần OCR, phần năng lực âm thanh của LFM3-Omni có thể là ngân sách mô hình không cần thiết.

Cũng cần tách LFM3-VL-2B khỏi so sánh này: đây là mô hình thị giác khác, không phải LFM3-Omni-2B. Trên bộ 62 benchmark do nhà cung cấp báo cáo, LFM3-VL-2B đạt trung bình 71,4 khi bật chế độ suy luận, nhưng còn 62,1 khi tắt. Chênh lệch đặc biệt lớn ở toán và suy luận logic: 68,8 so với 41,0; trong khi hiểu giao diện GUI ít thay đổi, 83,1 so với 81,5. Do đó, một điểm benchmark thị giác không tự động dự báo hiệu năng khi chạy chế độ ít độ trễ hoặc khi cấu hình suy luận khác. So sánh mô hình cũng cần khớp đúng loại tác vụ và điều kiện đánh giá.

Triển khai, giấy phép và lựa chọn cuối cùng

Khả năng tích hợp có thể quyết định lựa chọn trước cả một vài điểm benchmark. MiniCPM-V 4.7 1B dùng Apache-2.0 và có nhiều tùy chọn lượng tử hóa được nêu như GGUF, AWQ, GPTQ, FP8, INT4 và BitsAndBytes; đây là lợi thế cho nhóm muốn thử trên các bộ tăng tốc hoặc cấu hình triển khai khác nhau. LFM3-Omni-2B dùng LFM Open License v1.0, vì vậy cần kiểm tra điều khoản phù hợp với sản phẩm, nhất là khi thương mại hóa. Nguồn cũng nêu khả năng triển khai LFM3-Omni trên thiết bị với mức bộ nhớ khoảng 4,3 GB BF16, nhưng không nên suy ra rằng mọi phần cứng hay ngăn xếp suy luận đều sẽ đạt cùng tốc độ.

Một số kết quả liên quan khác không nên dùng để xếp hạng trực tiếp cặp này. Chẳng hạn, LFM3-VL-2B đạt trung bình 71,4 so với 57,6 của LFM2.5-VL-3B trên bộ đánh giá của nhà cung cấp, nhưng LFM2.5-VL-3B không hỗ trợ chế độ suy luận; cách thiết lập đó làm phép so sánh khác với phép thử cùng chế độ. Hơn nữa, dữ liệu công bố không tạo thành một bảng đối đầu độc lập, đồng nhất cho mọi tác vụ. Hãy thử đúng đầu vào, chế độ suy luận, định dạng trọng số và điều kiện cấp phép của sản phẩm dự kiến trước khi chốt.

• Buy the MiniCPM-V 4.7 1B if sản phẩm chủ yếu đọc ảnh, tài liệu, biểu mẫu, hóa đơn, biểu đồ hoặc ảnh chụp màn hình.
• Buy the LFM3-Omni-2B if thiết bị cần nghe âm thanh và trả lời thành tiếng trong một mô hình.
• Skip the MiniCPM-V 4.7 1B if trải nghiệm bắt buộc nhận âm thanh hoặc phát giọng nói trực tiếp.
• Skip the LFM3-Omni-2B if ưu tiên hàng đầu là OCR tài liệu dài và cần cửa sổ ngữ cảnh lớn hơn.
• Buy the MiniCPM-V 4.7 1B if Apache-2.0 và nhiều lựa chọn lượng tử hóa phù hợp hơn với yêu cầu tích hợp của bạn.
• Skip the LFM3-Omni-2B if điều khoản LFM Open License v1.0 không phù hợp với kế hoạch thương mại của sản phẩm.