Tài liệu tham khảo kỹ thuật chuyển mạch InfiniBand của NVIDIA Mellanox MQM8790-HS2F

May 27, 2026

Sách trắng kỹ thuật này dành cho các kiến trúc sư mạng, kỹ sư bán hàng trước và các lãnh đạo hoạt động.NVIDIA Mellanox MQM8790-HS2FChuyển đổi InfiniBand, nó cung cấp một tham chiếu chi tiết để thiết kế, triển khai,và vận hành các loại vải hiệu suất cao phục vụ đào tạo AI quy mô lớn và mô phỏng HPC, tập trung vào tăng tốc RDMA và truyền thông chậm nhất định.

1. Xét nghiệm về dự án và các yêu cầu

Các khối lượng công việc AI và HPC hiện đại đang thúc đẩy các cụm GPU hướng tới hàng chục ngàn nút.thể hiện sự không nhất quán về hiệu suất trong các mô hình nội bộ và bị tổn thất CPU cao hơnCác yêu cầu chính cho các kết nối liên kết cụm thế hệ tiếp theo bao gồm:

Thời gian trễ điểm đến điểm dưới microsecond cho các hoạt động tập thể đồng bộ
Giao thông không mất mát, không bị tắc nghẽn để ngăn chặn những người tụt đuôi
Tải tải đầy đủ xử lý truyền thông từ lõi CPU / GPU
Topology fat-tree hoặc dragonfly+ có thể mở rộng với băng thông không chặn
Đường di chuyển hiệu quả về chi phí từ quang học 100G/200G hiện có

Để giải quyết những nhu cầu này,MQM8790-HS2F InfiniBand switchcung cấp 200Gb / s HDR mỗi cổng, 40 cổng QSFP56 mỗi đơn vị, và hỗ trợ gốc cho RDMA và điện toán trong mạng.Giải pháp này được xây dựng đặc biệt cho các môi trường mà hiệu quả kết nối trực tiếp chuyển thành thời gian hoàn thành công việc và TCO.

2Thiết kế kiến trúc mạng và hệ thống tổng thể

Các topology vật lý được khuyến cáo cho các cụm AI/HPC sử dụngNVIDIA Mellanox MQM8790-HS2Flà một cây chất béo hai hoặc ba cấp (còn được gọi là xương sống lá). Mỗi công tắc lá kết nối với máy chủ GPU thông qua các liên kết HDR hoặc HDR100, trong khi các công tắc xương sống cung cấp kết nối lưới đầy đủ giữa lá.Một cấu hình GPU 800 điển hình sử dụng:

20 công tắc lá: mỗiMQM8790-HS2F 200Gb/s HDR 40 cổng QSFP56phục vụ tối đa 20 máy chủ (các kết nối hai đường ray)
4 công tắc cột sống: kết nối hoàn toàn với lá bằng cách sử dụng 200Gb / s uplinks
Tỷ lệ không chặn 1: 1 ở mỗi cấp

Đối với các cụm lớn hơn (2.000 + GPU), kiến trúc ba cấp thêm một lớp siêu xương sống.Tất cả quản lý vải được xử lý bởi Subnet Manager (SM) hoặc chạy trên một bộ điều khiển chuyên dụng hoặc được nhúng trong firmware chuyển đổi cho vải nhỏ hơn.

3. Vai trò và các tính năng chính của NVIDIA Mellanox MQM8790-HS2F trong giải pháp

Trong kiến trúc này,MQM8790-HS2Fphục vụ như cả yếu tố lá và cột sống.

HDR 200Gb/s trên mỗi cổng:Điện tích chuyển mạch hai chiều đầy đủ với tổng công suất chuyển mạch không chặn 16Tb / s
Đường dẫn thích nghi (AR):Phân phối giao thông năng động trên nhiều con đường để tránh các điểm nóng, rất quan trọng đối với hiệu quả của cây mỡ
SHARPv2 (Scalable Hierarchical Aggregation and Reduction Protocol):Dùng các hoạt động tập thể (All-Reduce, Reduce-Scatter) trực tiếp vào mạng chuyển mạch, giảm thời gian không hoạt động của GPU
Kiểm soát tắc nghẽn:Kiểm soát dòng chảy hạt mịn với các cơ chế FECN / BECN đảm bảo vải không mất mát
Mật độ cổng cao:40 cổng QSFP56 cho mỗi khung 1U, đơn giản hóa bố trí giá đỡ và giảm sự phức tạp của cáp giữa giá đỡ

Các kỹ sư có thể tham khảo cácMQM8790-HS2FvàThông số kỹ thuật MQM8790-HS2Fnền tảng cũng được thiết kế để cung cấp các số liệu chi tiết về điện năng, nhiệt và độ trễ.MQM8790-HS2F tương thíchvới một loạt các HDR, HDR100, và thậm chí EDR quang học, cho phép nâng cấp dần dần.

4. Đề xuất triển khai và mở rộng quy mô (với Topology điển hình)

Đối với một cụm AI 1000-GPU cân bằng, trình tự triển khai sau đây được khuyến cáo:

Bước 1: Lớp lá:Cài đặt 25xMQM8790-HS2FKết nối mỗi máy chủ GPU (8 GPU cho mỗi máy chủ) thông qua hai cổng HDR đến hai lá khác nhau để tăng cường dư thừa và băng thông.
Bước 2: Lớp cột sống:Xây dựng 8xNVIDIA Mellanox MQM8790-HS2FKết nối mỗi lá với mỗi xương sống bằng cách sử dụng các liên kết 200Gb / s (40 liên kết lên mỗi lá, nhưng thường là một tập hợp con đủ để duy trì tỷ lệ chặn ≤1: 1).
Bước 3 Ứng dụng quản lý mạng con:Chạy các phiên bản SM dư thừa trên hai máy chủ nhẹ hoặc sử dụng SM nhúng cho các cụm dưới 2.000 cổng.
Bước 4 Đặt phân vùng:Sử dụng phân vùng InfiniBand để cô lập dòng lưu lượng sản xuất, phát triển và lưu trữ trên cùng một cấu trúc vật lý.

Để mở rộng lên 2.500+ GPU, thêm một lớp siêu xương sống bằng cách sử dụng các đơn vị MQM8790-HS2F bổ sung và tăng mật độ liên kết lên xương sống.MQM8790-HS2F Giải pháp chuyển đổi InfiniBandquy mô tuyến tính mà không cần thiết kế lại lõi.

5. Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

Hoạt động hàng ngày của một loại vải được xây dựng trênMQM8790-HS2Fcác chuyển đổi được quản lý thông qua NVIDIA® Fabric Manager và MLNX‐OS. Các thực tiễn chính bao gồm:

Giám sát:Sử dụng `ibdiagnet` để xác nhận topology, `perfquery` cho các bộ đếm cảng, và bảng điều khiển Grafana với các nhà xuất khẩu Prometheus để đo từ xa theo thời gian thực (sử dụng liên kết, lỗi biểu tượng, dấu hiệu tắc nghẽn).
Phần mềm và phần mềm:Duy trì firmware phù hợp trên tất cả các công tắc.MQM8790-HS2Fcho khả năng tương thích phiên bản.
Giải quyết sự cố:Các vấn đề phổ biến: liên kết lật, MTU không phù hợp hoặc cấu hình phân vùng sai được phân lập nhanh chóng bằng cách sử dụng `ibstatus`, `smpquery` và switch syslog.
Tối ưu hóa:Điều chỉnh ngưỡng định tuyến thích nghi và tham số kiểm soát tắc nghẽn dựa trên hồ sơ khối lượng công việc. Đối với đào tạo AI quy mô lớn, kích hoạt SHARP trên các thư viện MPI có thể áp dụng (ví dụ: NCCL với plugin SHARP).

Khi lập kế hoạch ngân sách hoặc mở rộng, yêu cầuGiá MQM8790-HS2Fbáo giá từ các đối tác được ủy quyền và xác minhMQM8790-HS2F để bánTính tương thích của nền tảng với cáp QSFP56 hiện có làm giảm rủi ro mua sắm.

6. Tóm lại & Đánh giá giá trị

CácMQM8790-HS2Fkhông chỉ là một chuyển đổi nó là một khối xây dựng cơ bản cho các mô HPC và AI xác định, chậm trễ thấp.và SHARP tính toán trong mạng trực tiếp giải quyết các điểm đau chính của kết nối cluster hiện đạiSo với các giải pháp Ethernet 200G thay thế, hệ sinh thái InfiniBand cung cấp:

Chi phí CPU thấp hơn (RDMA thực sự với tải trọng vận chuyển phần cứng)
Độ trễ định đoạt ở quy mô microsecond dưới tải thực tế
Quản lý mô đơn giản hóa với Quản lý Subnet tập trung
Tính khả năng mở rộng được chứng minh đến hàng chục ngàn điểm cuối

Đối với các tổ chức xây dựng hoặc mở rộng các cụm GPU, áp dụngNVIDIA Mellanox MQM8790-HS2Fcó nghĩa là đạt được FLOPS hiệu quả cao hơn cho mỗi đô la, giảm thời gian hoàn thành công việc và đảm bảo tương lai cho kết nối liên kết cho các nâng cấp HDR200 thế hệ tiếp theo (400Gb / s).bao gồm cả hoàn chỉnhThông số kỹ thuật MQM8790-HS2Fvà ma trận cáp, có sẵn thông qua cổng thông tin đối tác NVIDIA.