TorchNeuron và TorchTPU: đòn tấn công trực diện vào thế độc quyền CUDA
TorchNeuron của Amazon và TorchTPU của Google là hai backend PyTorch mới cho phép doanh nghiệp chạy mô hình trên chip Trainium và TPU chỉ bằng thay đổi cấu hình, qua đó tạo ra lựa chọn Nvidia CUDA alternative trong AI hardware acceleration mà không cần viết lại mã, giúp giảm chi phí kỹ sư và phá vỡ sự phụ thuộc lâu năm vào GPU Nvidia. Điểm mấu chốt: đây không chỉ là hai thư viện tiện lợi, mà là chiến dịch phần mềm có tính chiến lược. Ngày 19/10, Amazon công bố TorchNeuron, công cụ cho phép chạy mô hình PyTorch trên chip AI Trainium mà không cần chỉnh sửa mã nguồn. Một ngày sau, Google phát hành TorchTPU như một dự án PyTorch mã nguồn mở, mang lại đường đi native để chạy ứng dụng PyTorch trên Tensor Processing Units mà không cần viết lại mã. Khi khoảng 85% nhà nghiên cứu và lập trình viên AI đang dùng PyTorch, việc biến PyTorch thành cầu nối rời bỏ Nvidia là đòn đánh vào đúng điểm yếu: sự khóa chặt hệ sinh thái chứ không phải sức mạnh silicon.
TorchNeuron: PyTorch Trainium chip và cuộc chơi thời gian của đội ngũ phát triển
TorchNeuron Amazon được thiết kế xoay quanh một sự thật khó chịu: với nhiều doanh nghiệp, bao gồm cả startup, chi phí lớn nhất không phải là chip mà là thời gian của đội ngũ phát triển. Trước đây, khi chuyển mô hình sang một dòng chip mới, các nhà phát triển thường phải mất nhiều tháng để viết lại và kiểm thử mã; với TorchNeuron, quá trình này được rút gọn xuống còn việc thay đổi một thiết lập. Đó là sự khác biệt giữa "không thể rời Nvidia" và "có thể thử Trainium ngay tuần này". TorchNeuron cho phép chạy mã PyTorch trên PyTorch Trainium chip mà không cần viết lại mã, hiện hỗ trợ Trainium2 và Trainium3. Về bản chất, nó biến Trainium thành một thiết bị nữa trong PyTorch, thay vì một nền tảng xa lạ đòi hỏi toolchain riêng. Amazon cũng nhấn mạnh rằng nếu việc chuyển đổi giữa các dòng chip trở nên dễ dàng hơn, cạnh tranh giữa các nhà sản xuất chip có thể gia tăng, qua đó góp phần giảm chi phí phát triển. Đây là thông điệp rõ ràng: họ không chỉ bán phần cứng, họ đang bán tự do lựa chọn.
TorchTPU: TPU Google backend native và bước chuyển khỏi PyTorch/XLA
Nếu TorchNeuron là lời tuyên chiến từ phía Amazon, TorchTPU là câu trả lời đầy tham vọng của Google. TorchTPU được mô tả là một native PyTorch stack xây dựng riêng cho Google TPUs, phát hành mã nguồn mở trên GitHub. Quan trọng hơn, đây là TPU Google backend chính thức của PyTorch: tài liệu PyTorch hiện tuyên bố rõ ràng rằng PyTorch/XLA đã bị deprecate, và các workload TPU mới nên được xây dựng trên TorchTPU, trong khi triển khai PyTorch/XLA hiện tại sẽ được kỳ vọng chuyển dần sang. Google nói rằng ứng dụng PyTorch hiện có có thể chuyển sang TPU thông qua thay đổi cấu hình thay vì viết lại, một tuyên bố được lặp lại trong tài liệu PyTorch. Điều này biến TPUs thành lựa chọn native bên cạnh GPU và CPU trong PyTorch, thay vì một "vũ trụ song song" như trước. Đáng chú ý, TorchTPU là kết quả hợp tác mã nguồn mở giữa Google và đội PyTorch của Meta, nhằm tạo ra một backend native và có nguyên tắc cho Google TPUs. Khi hai ông lớn cùng chạm tay vào backend này, thông điệp gửi tới cộng đồng là: TPU không còn là ngoại lệ, mà là công dân hạng nhất trong hệ sinh thái PyTorch.
Phá vỡ lock-in CUDA: cuộc chiến không nằm ở FLOPS mà ở chi phí chuyển đổi
Trong nhiều năm, việc chuyển workload AI khỏi GPU Nvidia đồng nghĩa với việc vật lộn với mã phụ thuộc CUDA, kernel tùy biến và danh sách dài các rắc rối tương thích. Kết quả là lock-in CUDA trở thành vấn đề trung tâm của ngành: doanh nghiệp không bị khóa bởi hiệu năng, mà bởi chi phí chuyển đổi. Đó là động lực khiến các nhà cung cấp đám mây tìm cách nới lỏng quyền kiểm soát của Nvidia đối với phát triển AI, và cũng là bối cảnh mà TorchNeuron và TorchTPU xuất hiện sát nhau chỉ trong hai ngày. Theo một ước tính, PyTorch hiện đang là nền tảng của khoảng 85% ứng dụng AI chạy thực tế. Khi Amazon và Google biến PyTorch thành lớp tương thích cho chip riêng, họ tấn công trực diện vào thói quen "mặc định chọn Nvidia". Thay vì cố đánh bại Nvidia bằng hiệu năng thô, họ muốn làm cho con đường thay thế đủ rẻ về thời gian kỹ sư để doanh nghiệp cân nhắc. Software-level competition dưới dạng các công cụ như TorchTPU và TorchNeuron thêm một trục áp lực mới: nhắm thẳng vào thói quen lập trình đã giữ cho hệ sinh thái CUDA bám dính gần hai thập kỷ.
Tác động tới doanh nghiệp AI: linh hoạt hạ tầng, giảm chi phí và tương lai đa chip
Từ góc nhìn doanh nghiệp, điều quan trọng nhất không phải là logo trên chip, mà là khả năng linh hoạt hạ tầng mà không đốt cháy ngân sách kỹ sư. TorchNeuron và TorchTPU biến việc "thử chip khác" từ dự án kéo dài nhiều tháng thành thao tác cấu hình. Khi chi phí chuyển đổi giảm, cạnh tranh giữa các nhà sản xuất chip AI có cơ hội tăng lên, kéo theo áp lực giảm giá dịch vụ và mở rộng lựa chọn triển khai cho doanh nghiệp. Amazon cho biết họ đang phối hợp với cộng đồng PyTorch để cải thiện mã nguồn, nhằm tránh việc nền tảng này bị phụ thuộc vào một loại chip cụ thể. Về phía Google, tài liệu PyTorch đã vạch ra lộ trình: workload TPU mới đi thẳng vào TorchTPU, còn triển khai PyTorch/XLA cũ sẽ dần dịch chuyển. Tương lai hợp lý là một thế giới đa chip, nơi PyTorch trở thành lớp trừu tượng trung lập, còn doanh nghiệp chọn hạ tầng dựa trên giá, hiệu năng và vị trí dữ liệu, thay vì bị trói vào một hệ sinh thái duy nhất. Nếu developer inertia – quán tính của lập trình viên – có thể bị vượt qua, Nvidia sẽ phải cạnh tranh trên một sân chơi bình đẳng hơn, và đó là tin tốt cho mọi công ty xây dựng hạ tầng AI.
