Mark Zuckerberg tự hào công bố Meta hiện đang sở hữu cụm máy chủ với số lượng chip Nvidia H100 lớn nhất thế giới, vượt qua mọi hệ thống trước đây. Meta đã triển khai hơn 100.000 GPU H100, mỗi chip trị giá khoảng 40.000 USD, phục vụ cho việc phát triển mô hình ngôn ngữ Llama 4. Trong cuộc họp báo cáo tài chính quý III/2024, Zuckerberg chia sẻ rằng Meta đang sử dụng hệ thống đồ sộ này để huấn luyện Llama 4, với quy mô chip nhiều hơn bất kỳ hệ thống nào đã được công khai.
Dù không tiết lộ số lượng chính xác H100 mà Meta sở hữu, nhưng nếu chỉ tính riêng GPU, cụm máy chủ này có thể trị giá hơn 4 tỷ USD, khi mỗi chip Nvidia H100 có giá dao động từ 30.000-40.000 USD trên thị trường. Zuckerberg khẳng định Llama 4 sẽ mạnh mẽ, nhanh chóng và có khả năng suy luận vượt trội so với các thế hệ trước, với phiên bản nhỏ dự kiến ra mắt vào đầu năm 2025.
Xu hướng sở hữu lượng lớn chip H100 đang trở thành yếu tố quan trọng trong việc thu hút nhân tài trong ngành AI. CEO của Perplexity, Aravind Srinivas, tiết lộ rằng một ứng viên cấp cao từ Meta đã yêu cầu: “Hãy quay lại khi công ty có 10.000 chip H100”, nhấn mạnh tầm quan trọng của tài nguyên phần cứng trong ngành này.
Đầu tuần, Elon Musk cũng công bố kế hoạch mở rộng hệ thống máy chủ xAI với mục tiêu sở hữu 200.000 chip H100 và H200 trong vài tháng tới. GPU H100, phiên bản nâng cấp của A100, được xem như “ngựa thồ” của AI, có khả năng xử lý hàng loạt tác vụ tính toán song song hiệu quả hơn CPU. Hiện nay, Nvidia là cái tên hàng đầu cung cấp GPU cho các ứng dụng AI như ChatGPT, trong khi AMD và các hãng khác cũng đang nhanh chóng ra mắt sản phẩm tương tự.
Con số 100.000 chip mà Zuckerberg đề cập đã làm dấy lên sự so sánh với siêu máy tính Colossus của Elon Musk, trang bị 100.000 chip H100, được sử dụng để huấn luyện chatbot Grok.
