Intel ra mắt Xeon 6 và bộ tăng tốc AI Gaudi 3, tuyên bố sẽ mang đến tỉ lệ giá/hiệu năng gấp đôi so với Nvidia H100

Intel gọi đích danh NVIDIA trong thông báo của mình, nói rằng Gaudi 3 có tỉ lệ giá/hiệu năng gấp đôi so với H100 khi thực hiện suy luận trên mô hình LLaMa 2 70B.

Intel mới đây đã ra mắt vi xử lý Xeon 6 mới cùng với bộ tăng tốc AI Gaudi 3. Intel Xeon 6 có lõi hiệu suất (P-core) có thể tăng gấp đôi hiệu suất hình ảnh AI và bộ tăng tốc AI Gaudi 3 có tốc độ xử lý cao hơn tới 20%. Đặc biệt, Intel gọi đích danh Nvidia trong thông báo của mình, nói rằng Gaudi 3 có tỉ lệ giá/hiệu năng gấp đôi so với H100 khi thực hiện suy luận trên mô hình LLaMa 2 70B.

Bộ tăng tốc AI Intel Gaudi 3

Gaudi 3 sử dụng hai chiplet chứa 64 nhân xử lý tensor (TPC, cấu trúc MAC 256x256 với bộ tích lũy FP32), 8 công cụ nhân ma trận (matrix multiplication engine, viết tắt là MME) và bộ nhớ đệm SRAM 96MB với băng thông 19,2 TB/giây.

Ngoài ra, Gaudi 3 tích hợp 24 cổng Ethernet 200 Gb và 14 bộ xử lý đa phương tiện — có khả năng xử lý H.265, H.264, JPEG và VP9 để hỗ trợ xử lý hình ảnh. Bộ xử lý đi kèm với 128GB bộ nhớ HBM2E cung cấp băng thông 3,67 TB/giây.

Gaudi 3 của Intel mang đến những cải tiến lớn khi so với Gaudi 2, vốn chỉ có 24 TPC, hai MME và 96GB bộ nhớ HBM2E. Tuy nhiên, có vẻ như Intel đã đơn giản hóa cả TPC và MME vì bộ xử lý Gaudi 3 chỉ hỗ trợ các phép toán ma trận FP8 cũng như các phép toán ma trận và vector BFloat16 (tức là không còn FP32, TF32 và FP16 nữa).

Intel cho biết Gaudi 3 có thể cung cấp tới 1856 TFLOPS ma trận BF16/FP8 cũng như tới 28,7 TFLOPS vector BF16 ở mức TDP khoảng 600W. So với H100 của Nvidia, ít nhất là trên lý thuyết, Gaudi 3 cung cấp hiệu suất ma trận BF16 thấp hơn một chút (1.856 so với 1.979 TFLOPS), hiệu suất ma trận FP8 bằng một nửa (1.856 so với 3.958 TFLOPS) và hiệu suất vector BF16 thấp hơn đáng kể (28,7 so với 1.979 TFLOPS).

Tuy nhiên, quan trọng hơn thông số kỹ thuật lý thuyết sẽ là hiệu suất thực tế của Gaudi 3. Nó cần phải cạnh tranh với dòng Instinct MI300 của AMD cũng như bộ xử lý H100 và B100/B200 của Nvidia. Hiệu quả thực tế vẫn cần phải chờ xem, vì rất nhiều thứ phụ thuộc vào phần mềm và các yếu tố khác. Hiện tại, Intel công bố một số slide tuyên bố rằng Gaudi 3 có thể mang lại lợi thế đáng kể về tỉ lệ giá/hiệu năng so với H100 của Nvidia.

Đầu năm nay, Intel nói rằng một bộ tăng tốc dựa trên tám Gaudi 3 trên một bo mạch chủ sẽ có giá 125.000 USD, nghĩa là mỗi Gaudi 3 sẽ có giá khoảng 15.625 USD. Ngược lại, một card Nvidia H100 hiện đang có giá 30.678 USD, vì vậy Intel dường như có lợi thế lớn về giá so với đối thủ cạnh tranh. Tuy nhiên, với những lợi thế về hiệu suất có thể rất lớn do GPU của Nvidia mang lại, vẫn còn phải xem liệu Intel có thể duy trì được lợi thế của mình so với đối thủ hay không.

Ông Justin Hotard, Phó Chủ tịch Điều hành kiêm Tổng Giám đốc Nhóm Trung tâm Dữ liệu và Trí tuệ Nhân Tạo tại Intel, chia sẻ: "Nhu cầu ngày càng lớn về AI dẫn đến một sự chuyển đổi lớn trong lĩnh vực trung tâm dữ liệu. Ngành công nghệ đang đòi hỏi có nhiều lựa chọn hơn về phần cứng, phần mềm và các công cụ phát triển. Với Xeon 6 tích hợp P-core và bộ tăng tốc AI Gaudi 3, Intel đang hỗ trợ một hệ sinh thái mở để các doanh nghiệp có thể triển khai mọi ứng dụng tốt hơn, cả về hiệu năng xử lý, khả năng sử dụng điện, và tính bảo mật."

Intel Xeon 6

Về phần Xeon 6, Intel cho biết vi xử lý này được thiết kế để chạy các ứng dụng đòi hỏi sức mạnh tính toán cao với hiệu quả sử dụng điện vượt trội, Xeon 6 mang đến hiệu năng gấp đôi so với thế hệ tiền nhiệm. Dòng vi xử lý mới của Intel có số lượng nhân nhiều hơn, băng thông bộ nhớ gấp đôi và khả năng tăng tốc AI được tích hợp trong mọi nhân.

Xeon 6 được thiết kế để đáp ứng các yêu cầu về hiệu năng của AI từ các thiết bị vùng biên đến trung tâm dữ liệu và môi trường đám mây. Thông qua mối quan hệ hợp tác chiến lược với Intel, Google Cloud có thể cung cấp giải pháp với hiệu năng và sự linh hoạt theo nhu cầu của doanh nghiệp, bao gồm cả những giải pháp tích hợp Intel Xeon 6 với P-core trong tương lai.

Có vẻ như tối ưu giá thành chính là mục tiêu cuối cùng của Intel, công ty cho biết việc triển khai AI trên quy mô lớn đòi hỏi doanh nghiệp phải cân nhắc đến nhiều yếu tố, như các tùy chọn triển khai có đủ linh hoạt để đáp ứng nhu cầu, tỉ lệ hiệu năng trên giá thành có thực sự cạnh tranh, và các công nghệ AI có thể sử dụng được. Hạ tầng x86 mạnh mẽ và hệ sinh thái mã nguồn mở rộng lớn của Intel hỗ trợ các doanh nghiệp xây dựng các hệ thống AI mang lại giá trị cao với tổng chi phí sở hữu và hiệu năng trên mỗi watt điện được tối ưu. Đáng chú ý, 73% các máy chủ tăng tốc bằng GPU đều sử dụng Intel Xeon làm CPU chính.

Bộ tăng tốc AI Gaudi 3 của Intel sẽ có trên IBM Cloud và Intel Tiber Developer Cloud. Ngoài ra, hệ thống dựa trên Intel Xeon 6 và Gaudi 3 sẽ có mặt trên sản phẩm của các đối tác Dell, HPE và Supermicro vào quý 4, với các hệ thống từ Dell và Supermicro sẽ được giao vào tháng 10 và các máy từ Supermicro sẽ được giao vào tháng 12.