Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch trong hành động

Mellanox (NVIDIA Mellanox) MQM9790-NS2F Công tắc InfiniBand đang hoạt động – Tối ưu hóa kết nối có độ trễ thấp cho các cụm RDMA/HPC/AI

Khi các cụm đào tạo AI có quy mô từ hàng nghìn đến hàng chục nghìn GPU, độ trễ mạng và kiểm soát tắc nghẽn trở thành yếu tố quyết định trong việc sử dụng điện toán hiệu quả. Một tổ chức nghiên cứu AI hàng đầu thế giới gần đây đã triển khaiMellanox (NVIDIA Mellanox) MQM9790-NS2Fchuyển sang củng cố cơ sở siêu máy tính thế hệ tiếp theo, hỗ trợ các mô hình ngôn ngữ quy mô lớn, mô phỏng động lực phân tử và học sâu phân tán. Bài viết này xem xét việc triển khai trong thế giới thực, trình bày chi tiết cách bộ chuyển đổi InfiniBand này biến đổi việc truyền tải RDMA, giao tiếp HPC và các kết cấu đào tạo song song dữ liệu AI.

Bối cảnh & Thách thức: Từ thỏa hiệp Ethernet đến mệnh lệnh kết nối không mất dữ liệu

Ban đầu, tổ chức này dựa vào kết cấu Ethernet 100GbE với RoCEv2. Tuy nhiên, khi các nút GPU của họ tăng lên hơn 1.200 máy chủ (mỗi máy chủ có 8× GPU NVIDIA H100), họ đã gặp phải tình trạng bế tắc PFC dai dẳng, việc điều chỉnh ECN phức tạp và thỉnh thoảng bị rớt gói khiến quá trình đào tạo bị đình trệ. Những sự cố này đã kéo dài thời gian hoàn thành công việc trung bình lên hơn 35% và tiêu tốn đáng kể nỗ lực kỹ thuật trong việc khắc phục sự cố mạng. Cơ sở hạ tầng hiện tại không còn có thể cung cấp độ trễ xác định ở mức micro giây và thông lượng không bị tắc nghẽn cần thiết cho các hoạt động tập thể cắt giảm toàn bộ và tất cả thành tất cả.

Giải pháp & Triển khai:Công tắc InfiniBand MQM9790-NS2Fnhư xương sống vải

Sau khi đánh giá nhiều phương án, nhóm đã chọnNVIDIA Mellanox MQM9790-NS2Flà khối xây dựng cốt lõi cho kiến ​​trúc cột sống lá hai tầng mới. Mỗi giá đỡ lá được trang bị haiMQM9790-NS2F 400Gb/s NDR OSFP 64 cổngchuyển mạch, cung cấp 64 cổng OSFP trên mỗi đơn vị và tổng công suất chuyển mạch là 25,6 Tb/s. Tốc độ NDR 400 Gb/s trên mỗi cổng, kết hợp với tính năng chuyển mạch xuyên suốt và định tuyến thích ứng, mang lại độ trễ từ cổng này đến cổng khác ở mức dưới 600 ns – một yêu cầu quan trọng đối với khối lượng công việc đòi hỏi nhiều GPU của họ. Việc triển khai đã thúc đẩyGiải pháp chuyển mạch InfiniBand MQM9790-NS2Fđược tích hợp với phần sụn NVIDIA Quantum‑2, đảm bảo hoạt động liền mạchTương thích MQM9790-NS2Fhoạt động với bộ điều hợp ConnectX‑7 và DPU BlueField‑3 hiện có.

Các lựa chọn triển khai chính bao gồm:

• Cấu trúc liên kết:Cây mỡ không chặn với bộ thu phát quang 64 cổng OSFP đến 400G, cho phép băng thông chia đôi hoàn toàn cho tất cả các nút GPU.
• Sự quản lý:NVIDIA UFM (Trình quản lý vải hợp nhất) để đo từ xa theo thời gian thực, phát hiện tắc nghẽn và định tuyến lại đường dẫn chủ động.
• Giảm tải tập thể:SHARPv3 được kích hoạt để tăng tốc các hoạt động giảm thiểu toàn bộ, giảm tải giao tiếp từ CPU chủ.

Để đảm bảo quá trình chuyển đổi suôn sẻ, nhóm đã tham khảo ý kiến ​​củaBảng dữ liệu MQM9790-NS2FVàThông số kỹ thuật MQM9790-NS2Fđể xác nhận các yêu cầu về nguồn và cáp. Hệ số dạng 1U và nguồn điện dự phòng vừa khít với mật độ giá hiện tại của chúng, đồng thời các cổng OSFP hỗ trợ cả cáp DAC và mô-đun quang, mang lại sự linh hoạt cho việc mở rộng trong tương lai.

Kết quả và lợi ích được đo lường – Lợi ích có thể định lượng được về hiệu suất và hiệu quả

Sau khi triển khai và tối ưu hóa đầy đủ, tổ chức đã ghi lại những cải tiến đáng kể trên nhiều khía cạnh:

Ngoài những con số thô, nhóm đã báo cáo tình trạng gián đoạn liên quan đến tắc nghẽn gần như bằng 0, giúp đơn giản hóa đáng kể các hoạt động của mạng. Tính năng đo từ xa và định tuyến thích ứng được tích hợp sẵn củaNVIDIA Mellanox MQM9790-NS2Fcho phép cân bằng tải tự động trên tất cả 64 cổng OSFP, loại bỏ việc điều chỉnh ECN thủ công. Hơn nữa,Công tắc InfiniBand MQM9790-NS2Fcung cấp hiệu suất xác định ngay cả khi mức sử dụng liên kết dưới 95% – một kỳ tích không thể thực hiện được với thiết lập Ethernet trước đây của họ.

Tổ chức này cũng lưu ý rằngGiá MQM9790-NS2F, khi được khấu hao trong vòng đời 5 năm, được bù đắp bằng mức tiêu thụ điện năng giảm trên mỗi cổng (≈1,5W trên mỗi cổng 400G) và chi phí cáp thấp hơn do mật độ cổng cao hơn. Với tính sẵn có chung hiện đã trưởng thành, họ xác nhận rằngCần bán MQM9790-NS2Fthông qua các kênh được ủy quyền giúp việc mua sắm trở nên đơn giản vàBảng dữ liệu MQM9790-NS2Fđã cung cấp tất cả các chi tiết cài đặt và tuân thủ cần thiết.

Tóm tắt & Triển vọng – Kế hoạch chi tiết cho cơ sở hạ tầng AI thế hệ tiếp theo

Việc áp dụng cácMellanox (NVIDIA Mellanox) MQM9790-NS2Ftrong cụm HPC/AI quy mô lớn này chứng tỏ rằng kết cấu InfiniBand được xây dựng có mục đích không còn là điều xa xỉ mà là điều cần thiết đối với các tổ chức vượt qua ranh giới của AI và điện toán khoa học. Bằng cách cung cấp độ trễ nhất quán dưới micro giây, truyền tải RDMA không tổn hao và khả năng tăng tốc điện toán trong mạng,MQM9790-NS2F 400Gb/s NDR OSFP 64 cổngswitch trao quyền cho các trung tâm dữ liệu để đạt được khả năng mở rộng gần tuyến tính lên tới hàng chục nghìn GPU.

Trong tương lai, nhóm có kế hoạch mở rộng kết cấu với các tính năng bổ sungCông tắc InfiniBand MQM9790-NS2Fcác đơn vị để hỗ trợ khối lượng công việc cấp exascale sắp tới, bao gồm lập mô hình khí hậu và bộ gen. cácTương thích MQM9790-NS2Fhệ sinh thái với các thế hệ NVIDIA tương lai đảm bảo bảo vệ đầu tư. Đối với các kiến ​​trúc sư và nhà quản lý CNTT đánh giá các nâng cấp tương tự, trường hợp thực tế này xác nhận rằngGiải pháp chuyển mạch InfiniBand MQM9790-NS2Fcung cấp một lộ trình đã được chứng minh, hiệu quả về mặt chi phí để kết nối mạng cụm hiệu suất cao, độ trễ thấp – một yếu tố hỗ trợ quan trọng cho thập kỷ đổi mới AI tiếp theo.