Mellanox (NVIDIA Mellanox) MQM8790-HS2F Giải pháp kỹ thuật chuyển đổi InfiniBand

Giải pháp Kỹ thuật Bộ chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) MQM8790-HS2F | Tối ưu hóa Kết nối Độ trễ thấp cho các Cụm RDMA/HPC/AI

Bối cảnh Dự án và Phân tích Yêu cầu

Khi việc đào tạo mô hình lớn AI và tính toán khoa học HPC mở rộng quy mô lớn hơn, thách thức cốt lõi đối với các cụm tính toán đã chuyển từ sức mạnh tính toán của một nút sang hiệu quả giao tiếp giữa các nút. Mạng RDMA đóng vai trò là xương sống truyền tải cho các hoạt động tập thể, truy cập lưu trữ và lưu lượng kiểm tra, và hành vi của chúng trực tiếp quyết định hiệu suất sử dụng tổng thể của cụm.

Các yêu cầu điển hình trong các dự án này bao gồm:

• Băng thông cao trên mỗi nút: Máy chủ GPU ngày càng yêu cầu 200Gb/s trở lên để theo kịp khối lượng công việc đào tạo đa GPU.
• Độ trễ thấp có thể dự đoán được: AllReduce và đồng bộ hóa tham số nhạy cảm với độ trễ đuôi, không chỉ độ trễ trung bình.
• Khả năng mở rộng: Mạng lưới phải phát triển từ hàng chục nút lên hàng trăm hoặc hàng nghìn mà không cần thiết kế lại cấu trúc liên kết.
• Khả năng quản lý: Các nhóm vận hành cần khả năng hiển thị dữ liệu đo từ xa và tắc nghẽn để cô lập các nút chậm và các liên kết cấu hình sai.

MQM8790-HS2F được định vị để đáp ứng các yêu cầu này với tư cách là một nền tảng bộ chuyển mạch InfiniBand HDR 200Gb/s.

Thiết kế Kiến trúc Hệ thống và Mạng Tổng thể

Kiến trúc được đề xuất là một cây béo hai tầng không chặn, với một lớp xương sống được xây dựng từ các bộ chuyển mạch MQM8790-HS2F và một lớp lá kết nối các nút tính toán và lưu trữ. Thiết kế này cung cấp băng thông đông-tây đồng nhất và sự đa dạng đường đi có thể dự đoán được, điều cần thiết cho các mẫu lưu lượng RDMA.

Các quyết định kiến trúc chính bao gồm:

• HDR đầu cuối: Các nút tính toán được trang bị bộ điều hợp ConnectX-6 hoặc ConnectX-7 kết nối ở tốc độ 200Gb/s với các bộ chuyển mạch lá, tạo thành một đường dẫn đầu cuối tương thích MQM8790-HS2F.
• Dung lượng xương sống: Mỗi bộ chuyển mạch MQM8790-HS2F 200Gb/s HDR 40 cổng QSFP56 cung cấp 40 cổng ở tốc độ 200Gb/s, cho phép phân bổ liên kết lên và liên kết xuống linh hoạt dựa trên mục tiêu quá tải.
• Mạng lưới lưu trữ: Lưu trữ song song và các mục tiêu NVMe-over-Fabrics có thể được đặt trên các nhóm lá chuyên dụng để cô lập lưu lượng lưu trữ khỏi lưu lượng đào tạo.
• Mặt phẳng quản lý: Quản lý ngoài băng và thu thập dữ liệu đo từ xa được tách biệt khỏi mặt phẳng dữ liệu để tránh can thiệp.

Vai trò của Bộ chuyển mạch Mellanox (NVIDIA Mellanox) MQM8790-HS2F và Các Tính năng Chính

Trong giải pháp này, MQM8790-HS2F của Mellanox (NVIDIA Mellanox) đóng vai trò là phần tử chuyển mạch xương sống, tổng hợp lưu lượng lá và cho phép tính toán trong mạng. Vai trò của nó không chỉ giới hạn ở việc chuyển tiếp: nó còn giảm chi phí giao tiếp tập thể và cải thiện hiệu quả mạng lưới.

Các đặc điểm kỹ thuật cốt lõi bao gồm:

• 40 cổng HDR × 200Gb/s: Thông lượng tổng hợp lên tới 16Tb/s trong một yếu tố hình thức 1U, với hỗ trợ thích ứng cho tốc độ HDR, EDR và FDR.
• Tính toán trong mạng SHARP: Tải các hoạt động AllReduce và các hoạt động tập thể liên quan lên bộ chuyển mạch, giảm sự tham gia của GPU và CPU.
• Định tuyến thích ứng: Giảm thiểu các điểm nóng và cải thiện cân bằng tải trên nhiều đường dẫn.
• Kiểm soát tắc nghẽn: Hỗ trợ DCQCN và các cơ chế liên quan để giữ cho độ trễ ổn định dưới tải.
• Hệ sinh thái phần mềm: Được quản lý bởi MLNX-OS và giám sát thông qua UFM và NetQ.

Các kiến trúc sư nên xem lại bảng dữ liệu MQM8790-HS2F và thông số kỹ thuật MQM8790-HS2F về chi tiết nguồn, làm mát và phân chia cổng trước khi hoàn thiện bố cục giá đỡ. Để lập ngân sách, giá MQM8790-HS2F và các tùy chọn MQM8790-HS2F để bán nên được xác nhận với kênh mua sắm, vì giá cả thay đổi theo quy mô và cấu hình.

Khuyến nghị Triển khai và Mở rộng

Để triển khai ban đầu, một bộ chuyển mạch InfiniBand MQM8790-HS2F duy nhất có thể đóng vai trò vừa là xương sống vừa là lõi trong một cụm nhỏ, kết nối tới 40 nút ở tốc độ 200Gb/s. Khi cụm phát triển, các bộ chuyển mạch xương sống bổ sung được thêm vào và mạng lưới chuyển sang thiết kế hai tầng đầy đủ với sự tách biệt lá-xương sống.

Hướng dẫn mở rộng:

• Kỷ luật cáp: Tiêu chuẩn hóa các loại quang QSFP56 và DAC/AOC để đơn giản hóa việc dự phòng và giảm rủi ro tương thích.
• Phân chia cổng: Sử dụng phân tách 2×100Gb/s khi không yêu cầu 200Gb/s trên mỗi nút, cải thiện hiệu quả cổng.
• Mục tiêu quá tải: Lập kế hoạch tỷ lệ xương sống-lá dựa trên các mẫu bùng nổ khối lượng công việc thay vì chỉ băng thông lý thuyết đỉnh.
• Nguồn và làm mát: Xác nhận dung lượng nguồn trên mỗi giá đỡ so với mức tiêu thụ định mức của bộ chuyển mạch trước khi mở rộng quy mô.

Giám sát Vận hành, Khắc phục sự cố và Tối ưu hóa

Khả năng hiển thị hoạt động là rất quan trọng để duy trì độ trễ thấp ở quy mô lớn. Giải pháp bộ chuyển mạch InfiniBand MQM8790-HS2F nên được tích hợp với UFM để giám sát toàn bộ mạng lưới và NetQ để thu thập dữ liệu đo từ xa và xác thực.

Các thực hành được khuyến nghị bao gồm:

• Giám sát bộ đếm trên mỗi cổng cho các lỗi, loại bỏ và sự kiện tắc nghẽn.
• Theo dõi các ứng cử viên nút chậm bằng dữ liệu đo từ xa thay vì chỉ dựa vào lỗi cấp công việc.
• Xác thực tính nhất quán của firmware trên tất cả các bộ chuyển mạch và bộ điều hợp để tránh các vấn đề tương thích.
• Xem xét cấu hình SHARP định kỳ, vì các cây tổng hợp được cấu hình sai có thể làm giảm hiệu suất thay vì cải thiện.

Tóm tắt và Đánh giá Giá trị

MQM8790-HS2F cung cấp một nền tảng thực tế cho các cụm RDMA, HPC và AI yêu cầu độ trễ thấp có thể dự đoán được và băng thông cao. Bằng cách kết hợp 40 cổng HDR × 200Gb/s, tính toán trong mạng SHARP và một hệ sinh thái quản lý trưởng thành, NVIDIA Mellanox MQM8790-HS2F giúp các kiến trúc sư thiết kế các mạng lưới có khả năng mở rộng mà không làm giảm hiệu quả.

Từ góc độ giá trị, đóng góp của bộ chuyển mạch nên được đánh giá dựa trên hiệu suất sử dụng cụm, thời gian hoàn thành công việc và chi phí vận hành thay vì chỉ số lượng cổng.