NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Giải pháp kỹ thuật

Tài liệu kỹ thuật này được thiết kế cho các kiến trúc sư mạng, kỹ sư tiền bán hàng và lãnh đạo vận hành. Tài liệu tập trung vào — một switch InfiniBand NDR 400Gb/s — và cung cấp hướng dẫn chi tiết về thiết kế kiến trúc, công nghệ chính, triển khai và mở rộng, cũng như vận hành và giám sát, đặc biệt cho việc tối ưu hóa kết nối độ trễ thấp cho các cụm RDMA/HPC/AI.

1. Bối cảnh dự án & Phân tích yêu cầu

Các khối lượng công việc đào tạo AI và HPC hiện đại đang thúc đẩy các cụm từ hàng nghìn đến hàng chục nghìn GPU. Trong các môi trường như vậy, kết nối mạng đã trở thành một nút thắt cổ chai chính. Các fabric Ethernet truyền thống gặp khó khăn với độ trễ đuôi và chi phí CPU, trong khi các triển khai InfiniBand cũ có thể thiếu mật độ cổng và băng thông đầy đủ. Các yêu cầu chính bao gồm độ trễ chuyển mạch dưới micro giây, chuyển tiếp tốc độ đường truyền đầy đủ mà không mất gói tin, hỗ trợ RDMA hiệu quả và khả năng mở rộng liền mạch lên hàng trăm switch. NVIDIA Mellanox MQM9790-NS2F trực tiếp đáp ứng các nhu cầu này với khả năng NDR 400Gb/s và các tính năng tính toán trong mạng tiên tiến.

2. Thiết kế kiến trúc mạng & hệ thống tổng thể

Kiến trúc được đề xuất áp dụng cấu trúc liên kết Fat-Tree hai lớp (còn gọi là Clos gấp), cân bằng băng thông phân đôi, chi phí và khả năng mở rộng. Ở lớp lá, các máy chủ GPU được trang bị bộ điều hợp ConnectX-7 NDR kết nối với các switch lá. Ở lớp trục, các đơn vị switch InfiniBand MQM9790-NS2F cung cấp kết nối không chặn giữa các lá. Thiết kế này đảm bảo băng thông phân đôi đầy đủ: bất kỳ switch lá nào cũng có thể giao tiếp với bất kỳ switch lá nào khác ở tốc độ dây. Đối với các cụm quy mô lớn, có thể triển khai cấu trúc liên kết ba lớp (lá-trục-siêu trục), hỗ trợ lên đến hàng chục nghìn nút GPU.

• Switch lá: Các mẫu 64 cổng OSFP, mỗi cổng kết nối với 32 máy chủ (hai cổng) cộng với các đường lên đến trục.
• Lớp trục: Các switch MQM9790-NS2F 400Gb/s NDR 64 cổng OSFP
• , với mỗi cổng hoạt động như một đường lên từ một lá. Thiết kế không chặn hoàn toàn yêu cầu số cổng trục bằng số lượng switch lá.Quản lý mạng con:

Một trình quản lý mạng con chuyên dụng hoặc dự phòng xử lý tính toán đường đi, định tuyến thích ứng và chuyển đổi dự phòng.

3. Vai trò & Tính năng chính của NVIDIA Mellanox MQM9790-NS2F trong giải pháp MQM9790-NS2F

• mang lại một số khả năng quan trọng:Hiệu suất tốc độ đường truyền NDR 400Gb/s:
• Mỗi cổng OSFP trong số 64 cổng hoạt động ở chế độ song công đầy đủ 400Gb/s, cung cấp dung lượng chuyển mạch tổng cộng 51,2Tb/s.Độ trễ cực thấp & định tuyến thích ứng:
• Chuyển mạch cắt giúp độ trễ từ cổng đến cổng dưới 130ns. Định tuyến thích ứng cân bằng động lưu lượng trên nhiều đường dẫn, tránh các điểm nóng.Tính toán trong mạng (SHARPv3):
• Hỗ trợ tổng hợp và giảm quy mô phân cấp, giảm tải các phép toán tập thể khỏi CPU/GPU và giảm di chuyển dữ liệu tới 10 lần.Thiết kế gốc RDMA:
• RDMA tăng tốc phần cứng cho phép truy cập bộ nhớ GPU trực tiếp, loại bỏ sự tham gia của CPU và giảm đáng kể chi phí giao tiếp.Hệ thống đo lường & QoS toàn diện:

Kiểm soát tắc nghẽn chi tiết, giám sát bộ đệm và phân loại luồng đảm bảo hiệu suất xác định cho các khối lượng công việc hỗn hợp. mang lại một con đường rõ ràng để xây dựng các fabric có độ trễ thấp, băng thông cao cho các cụm RDMA/HPC/AI đòi hỏi khắt khe. Mật độ 64 cổng 400Gb/s, chuyển mạch dưới micro giây và khả năng tính toán trong mạng trực tiếp giải quyết các thách thức về khả năng mở rộng và hiệu suất của các khối lượng công việc hiện đại. Bằng cách áp dụng kiến trúc được nêu trên — cấu trúc liên kết Fat-Tree, switch trục NDR và hoạt động gốc RDMA — các tổ chức có thể đạt được khả năng mở rộng GPU tuyến tính, giảm thời gian hoàn thành công việc hơn 30% và đơn giản hóa việc quản lý fabric. Để lập kế hoạch chi tiết, hãy tham khảo bảng dữ liệu MQM9790-NS2F

, switch cũng hỗ trợ nguồn điện và quạt có thể thay nóng, cổng quản lý dự phòng và bộ chẩn đoán đầy đủ, làm cho nó phù hợp với môi trường sản xuất 7x24.

4. Khuyến nghị triển khai & mở rộng (với cấu trúc liên kết điển hình)Một cụm 2.048 GPU điển hình có thể được xây dựng bằng 64 switch lá và 32 switch trục. Mỗi lá kết nối với 32 máy chủ GPU (hai cổng) và cung cấp 32 đường lên đến trục. Lớp trục bao gồm các đơn vị tương thích MQM9790-NS2F

chạy quang NDR hoặc cáp DAC. Để mở rộng lên 8.192 GPU, một lớp siêu trục được thêm vào, kết nối nhiều pod.

• Khi mở rộng, hãy xem xét các điều sau:Cáp và quang học: Sử dụng DAC OSFP-to-OSFP cho các liên kết trong rack ngắn, và cáp chia OSFP-to-4xOSFP hoặc mô-đun quang cho khoảng cách xa hơn. Xác minh khả năng tương thích với thông số kỹ thuật MQM9790-NS2F
• liên quan đến phạm vi và ngân sách năng lượng.Kích thước mạng con:
• Một trình quản lý mạng con duy nhất có thể xử lý tới 2.000 nút; vượt quá con số đó, hãy triển khai nhiều mạng con hoặc sử dụng thiết kế trình quản lý mạng con phân tán.Dự phòng: Giải pháp switch InfiniBand MQM9790-NS2F

hỗ trợ chuyển đổi dự phòng không gián đoạn với cấu hình SM phù hợp.

5. Vận hành, giám sát, khắc phục sự cố & tối ưu hóa

• Vận hành hiệu quả đòi hỏi khả năng hiển thị và tự động hóa. Các phương pháp sau đây được khuyến nghị:Giám sát:
• Sử dụng Fabric Manager và API đo lường của NVIDIA để theo dõi lỗi cổng, nhiệt độ, mức tiêu thụ điện và mức sử dụng liên kết. Đặt cảnh báo cho lỗi CRC hoặc lỗi ký hiệu vượt quá ngưỡng.Khắc phục sự cố: MQM9790-NS2F
• cung cấp bộ đếm trên mỗi cổng, biểu đồ phân bố bộ đệm và nhật ký tắc nghẽn. Trong trường hợp suy giảm hiệu suất, hãy kiểm tra cấu hình định tuyến thích ứng, đảm bảo tất cả các liên kết fabric là đối xứng và xác minh rằng việc tổng hợp SHARP đã được bật cho các tập hợp được hỗ trợ.Tối ưu hóa: chính thức và hướng dẫn tương thích. Để thảo luận về thiết kế tùy chỉnh hoặc nhận giá MQM9790-NS2F

so với các đánh đổi hiệu suất khi lập kế hoạch bổ sung dung lượng — thường thì việc nâng cấp trục mang lại ROI tốt hơn so với việc thêm nhiều lá.Đối với các tổ chức đang đánh giá MQM9790-NS2F để bán

, hãy đảm bảo rằng ngăn xếp phần mềm của bạn (ví dụ: NCCL, OpenMPI) hỗ trợ các tính năng NDR như SHARPv3 và giảm phần cứng.

6. Tóm tắt & Đánh giá giá trị Giải pháp switch InfiniBand MQM9790-NS2F mang lại một con đường rõ ràng để xây dựng các fabric có độ trễ thấp, băng thông cao cho các cụm RDMA/HPC/AI đòi hỏi khắt khe. Mật độ 64 cổng 400Gb/s, chuyển mạch dưới micro giây và khả năng tính toán trong mạng trực tiếp giải quyết các thách thức về khả năng mở rộng và hiệu suất của các khối lượng công việc hiện đại. Bằng cách áp dụng kiến trúc được nêu trên — cấu trúc liên kết Fat-Tree, switch trục NDR và hoạt động gốc RDMA — các tổ chức có thể đạt được khả năng mở rộng GPU tuyến tính, giảm thời gian hoàn thành công việc hơn 30% và đơn giản hóa việc quản lý fabric. Để lập kế hoạch chi tiết, hãy tham khảo bảng dữ liệu MQM9790-NS2F chính thức và hướng dẫn tương thích. Để thảo luận về thiết kế tùy chỉnh hoặc nhận giá MQM9790-NS2F