Ông trùm AI – Elon Musk mới đây đã có một tiết lộ đặc biệt về cụm máy chủ AI mạnh nhất thế giới và sẽ được hoàn tất quá trình huấn luyện vào tháng 12 năm nay.
Huấn luyện mô hình AI mới
Mới đây, tài khoản X (Twitter) của tỷ phú Elon Musk đã đăng tải về những thông tin và hình ảnh khởi động “cluster huấn luyện mô hình AI mạnh nhất hành tinh” do team xAI của ông nghiên cứu và tạo ra. Theo ông nhận định AI này sẽ mạnh nhất thế giới nếu xét trên mọi thước đo.
Được biết cụm siêu máy tính này có tên gọi là Memphis Supercluster đã bắt đầu khởi động để huấn luyện mô hình ngôn ngữ do xAI phát triển, dự án này sẽ được phát chế thông qua 100 nghìn GPU Nvidia H100 làm mát bằng chất lỏng, thông qua cầu nối đơn RDMA để kết nối với nhau.
Để có thể nhận biết được sức mạnh của siêu máy này, 100 nghìn GPU H100 bên trong Memphis Supercluster của xAI và Elon Musk hoàn toàn “bỏ xa” sức mạnh của các GPU thuộc hệ thống siêu máy tính nằm trong danh sách top 500 hiện tại. Ví dụ như hệ thống siêu máy tính mạnh nhất thế giới đang thuộc về AMD với Frontier có 37.888 GPU, tiếp theo là Aurora thuộc Intel với 60.000 GPY,…. Tất cả đều chưa đạt ngưỡng xấp xỉ tuyệt đối với Memphis Supercluster của Musk.
Thông tin bên lề
Trước đó gần 3 tháng, đã có nhiều bên đưa tin về tham vọng của Elon Musk khi ông muốn mở ra một siêu nhà máy điện toán trước mùa thu năm 2025. Ông cũng đã từng sở hữu những siêu nhà máy (gigafactory) sản xuất xe điện Tesla như ở Thượng Hải (Trung Quốc) hay Texas và Nevada (Mỹ).
Cùng thời gian đó, ông đã cùng các cộng sự thuộc team xAI bắt đầu vào công việc lên thiết kế và xây dựng cụm supercluster để huấn luyện các mô hình AI. Elon Musk đã đầu tư chuyên về những mẫu GPU Nvidia H100, nhiều người cho rằng ông không đủ kiên nhẫn để chờ đợi mẫu H200 ra mắt.
Sự ra mắt này của Memphis Supercluster có thể dễ khiến mọi người nhầm lẫn đây chính là một siêu nhà máy điện toán AI theo ý định của Elon Musk nhưng sẽ được chào sân sớm. Nhưng thật ra, Memphis Supercluster chỉ là một hệ thống nhỏ của toàn bộ siêu nhà máy nghiên cứu và vận hành AI mà ông muốn xây dựng.
Theo bài viết được trang xAI đăng tải trên trang mạng xã hội X, có thông tìn những cụm máy chủ là được Supermicro cung cấp. Chính CEO của Supermicro, Charles Liang cũng đã bình luận vào bài đăng của Elon Musk để chúc mừng và rất hào hứng khi được làm việc chung để phát triển cụm siêu máy tính Memphis.
Ông Elon Musk có giải thích thêm về cụm siêu máy tính này, với supercluster với 100 nghìn GPU H100 này sẽ được dùng “huấn luyện mô hình AI mạnh nhất hành tinh.” Dựa trên những tuyên bố trước đó, rất có thể hệ thống này sẽ được dùng để huấn luyện Grok 3. Hệ thống này dự kiến sẽ hoàn tất quá trình huấn luyện vào khoảng tháng 12 năm nay.
