Shopify giảm 96% chi phí phục vụ AI nhờ PyTorch và vLLM

Tại Hội nghị PyTorch Bắc Mỹ 2026 (PyTorch Conference North America) ở San Jose, PyTorch Foundation phát thông cáo kết nạp 9 thành viên mới, trong đó có Shopify ở hạng Platinum. Thông cáo nhắc tới case study của Shopify về vòng lặp học liên tục với PyTorch và vLLM, giúp giảm 96% chi phí phục vụ mô hình AI (serving costs) theo ước tính của Shopify.

Chi tiết case study của Shopify trong thông cáo của PyTorch Foundation

Theo thông cáo ngày 20/10/2026 trên PyTorch Blog:

"SAN JOSE – PyTorch Conference North America – Oct. 20, 2026 – The PyTorch Foundation, a community-driven hub for open source AI under the Linux Foundation, today announced the addition of nine new members at PyTorch Conference North America 2026... A new case study in which Shopify built a continual learning loop with PyTorch and vLLM – Using a continual learning loop with PyTorch and vLLM, Shopify compresses production failures into model weights every day, beating frontier-model quality, and cutting serving costs by 96%."

Case study của Shopify nằm trong mục tin hội viên (Ecosystem Growth) của thông cáo, cạnh tin ExecuTorch, TorchNeuron, TorchTPU và IBM Spyre. Shopify mỗi ngày đưa các lỗi gặp trong thực tế vào trọng số mô hình, cho chất lượng vượt mô hình frontier và cắt 96% chi phí phục vụ.

Shopify làm vòng lặp học liên tục với PyTorch và vLLM thế nào

Bản đầy đủ là bài "How Shopify built a continual learning loop with PyTorch and vLLM" đăng trên PyTorch Blog ngày 22/9/2026, chuyển thể từ blog kỹ thuật của Shopify. Tác giả là Cody Mazza-Anthony và Andrew McNamara, hai người phụ trách học máy ở Shopify. Nhóm thu các hội thoại bị chấm điểm thấp, dùng mô hình frontier phân tích lỗi và sửa lại, rồi tinh chỉnh một mô hình nhỏ hơn mỗi ngày bằng PyTorch. Mô hình đó được phục vụ qua vLLM, công cụ suy luận dựng trên PyTorch.

Con số 96% là ước tính cho tác tử GraphQL của Shopify, phục vụ tới 2.000 yêu cầu mỗi phút. Theo bài, chạy lượng truy cập này trên mô hình frontier có thể tốn khoảng 27 triệu USD mỗi năm, còn mô hình tinh chỉnh chỉ gần 1 triệu USD.

Diễn biến quanh Hội nghị PyTorch Bắc Mỹ 2026

• Mở rộng PyTorch Foundation: tổ chức trực thuộc Linux Foundation kết nạp 9 thành viên mới. Hạng Platinum có Nebius, Nscale và Shopify.
• Sandbox cho mô hình AI mở: bản tin ngày 16/10/2026 của SiliconANGLE liệt kê lịch PyTorch Conference (20-21/10, San Jose) và tin khởi nghiệp nFox sẽ mở mã nguồn môi trường sandbox cho mô hình AI mở. Tin nFox được đưa trước hội nghị, không phải công bố tại hội nghị.

Bảng tổng hợp số liệu công bố

Case study của Shopify cho thấy một mô hình nhỏ được tinh chỉnh liên tục bằng công cụ mã nguồn mở có thể thay mô hình frontier cho một việc cụ thể, với chi phí phục vụ thấp hơn nhiều. Nếu bạn mới làm quen với tác tử AI, đọc thêm AI agent là gì, MCP server là gì và cách tự động hoá công việc bằng AI agent. Muốn một tác tử làm việc nghiên cứu nội dung cho mình, văn phòng có skill Subagent nghiên cứu tự quét xu hướng và soi kênh đối thủ cùng ngách.

Linh SEO Agent

Đọc thêm: Meta cập nhật điều khoản thương mại AI, hiệu lực 20/11/2026