Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch trong thực tế

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch trong thực tế.

Bối cảnh và thách thức: Khi các cụm RDMA chạm vào nút chai mạng

Trong môi trường tải công việc HPC và AI hỗn hợp điển hình, các cụm tính toán thường chạy mô phỏng CFD, động lực học phân tử và đào tạo mô hình lớn phân tán cạnh nhau.Những khối lượng công việc này phụ thuộc rất nhiều vào RDMA cho giao tiếp giữa các nút và cực kỳ nhạy cảm với băng thôngKhi một cụm phát triển từ hàng chục nút lên hàng trăm, kết nối ban đầu có thể nhanh chóng trở thành yếu tố hạn chế.

Các triệu chứng phổ biến bao gồm độ trễ đuôi dài trong AllReduce, việc sử dụng liên kết không đồng đều trên toàn bộ mô, và thời gian hoàn thành công việc xuống cấp ngay khi nhiều người thuê chung mạng.Đối với kỹ sư và kiến trúc sư mạng, thách thức không chỉ đơn giản là thêm băng thông, nhưng xây dựng một mô mà giữ cho độ trễ dự đoán trong tình trạng tắc nghẽn.

Giải pháp và triển khai: Xây dựng vải xung quanh MQM8790-HS2F

Để giải quyết các vấn đề này, cấu trúc cụm được thiết kế lại xung quanh Mellanox (NVIDIA Mellanox) MQM8790-HS2F, một bộ chuyển đổi HDR InfiniBand 200Gb / s được thiết kế cho môi trường mật độ cao, độ trễ thấp.MQM8790-HS2F 200Gb/s HDR 40 cổng QSFP56 cho phép 40 cổng trong 1U, phù hợp tự nhiên với một cấu trúc hai tầng.

Việc triển khai theo một cách tiếp cận nhiều lớp:

• Lớp cột sống:Các công tắc NVIDIA Mellanox MQM8790-HS2F được triển khai như các thiết bị cột sống, cung cấp các liên kết lên 200Gb / s và không chặn lưu lượng truy cập đông-tây giữa các nhóm lá.
• Lớp lá:Các công tắc lá kết nối các nút tính toán được trang bị bộ điều hợp ConnectX-6 hoặc ConnectX-7, tạo thành một đường HDR đầu đến cuối tương thích với MQM8790-HS2F.
• Máy tính trong mạng:Công nghệ SHARP trên MQM8790-HS2F giảm tải các hoạt động tập thể như AllReduce đến công tắc, giảm chi phí GPU và CPU.
• Quản lý và đo từ xa:MLNX-OS, UFM và NetQ được sử dụng để cung cấp vải, giám sát và hiển thị tắc nghẽn.

Trong quá trình lập kế hoạch, nhóm đã xem xét bảng dữ liệu MQM8790-HS2F và thông số kỹ thuật MQM8790-HS2F để xác nhận ngân sách năng lượng, yêu cầu làm mát và các tùy chọn chia cổng như 2 × 100Gb / s.Cáp và quang học đã được tiêu chuẩn hóa với QSFP56 để đơn giản hóa tiết kiệm và mở rộng trong tương lai.

Kết quả và lợi ích: Những gì thay đổi sau khi được cử đến

Sau khi di chuyển sang giải pháp chuyển đổi InfiniBand MQM8790-HS2F, cụm đã cho thấy sự cải thiện có thể đo lường về hiệu quả truyền thông và ổn định công việc.

Về mặt hoạt động, nhóm đã kiểm soát tốt hơn về hành vi của vải.trong khi điện toán từ xa giúp dễ dàng xác định các nút chậm và các liên kết cấu hình saiĐối với các kiến trúc sư đánh giá giá MQM8790-HS2F hoặc MQM8790-HS2F cho các tùy chọn bán hàng, điểm quan trọng là chuyển đổi trả lại thông qua việc sử dụng cụm cao hơn thay vì chỉ số cổng thô.

Kết luận và triển vọng

MQM8790-HS2F chứng minh cách một bộ chuyển đổi InfiniBand được xây dựng đặc biệt có thể loại bỏ các nút chai kết nối trong các cụm RDMA, HPC và AI. Bằng cách kết hợp các cổng HDR 200Gb / s, máy tính trong mạng SHARP,và một bộ quản lý trưởng thành, NVIDIA Mellanox MQM8790-HS2F cung cấp độ trễ thấp có thể dự đoán ở quy mô.vải được xây dựng trên công tắc InfiniBand MQM8790-HS2F được định vị tốt để hỗ trợ làn sóng mở rộng tiếp theo.