Thiết bị chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 trong sản xuất

Các doanh nghiệp và tổ chức nghiên cứu mở rộng đào tạo AI và mô phỏng HPC thường phải đối mặt với một nút thắt chung: độ trễ và tắc nghẽn do mạng gây ra làm lãng phí chu kỳ tính toán GPU.Nghiên cứu trường hợp triển khai này kiểm tra cách một phòng thí nghiệm nghiên cứu AI cỡ trung bình đã biến đổi hiệu suất cụm của nó bằng cách sử dụngMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Chuyển đổi InfiniBand, đạt được vải độ trễ thấp xác định cho các khối lượng công việc song song.

Bối cảnh & Thách thức: Khi Ethernet trở thành nút thắt

Sản phẩm Ethernet 100Gb hiện có của phòng thí nghiệm liên tục cho thấy sự tăng độ trễ đuôi trong các hoạt động giảm tất cả, gây ra thời gian không hoạt động của GPU lên đến 25% trong các công việc đào tạo quy mô lớn.Các công tắc cũ của họ thiếu kiểm soát tắc nghẽn RDMA và khả năng tính toán trong mạngCác kiến trúc sư cần một giải pháp có thể cung cấp độ trễ dưới microsecond, vận chuyển không mất mát và khả năng mở rộng liền mạch cho một backbone NDR 400Gb / s mở rộng. Sau khi đánh giá nhiều lựa chọn,nhóm đã chọn920-9B210-00FN-0D0là khối xây dựng cốt lõi cho mô InfiniBand mới của họ.

Giải pháp và triển khai: Xây dựng một mô AI chậm trễ

Việc triển khai tập trung vào920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRSwitch, đóng vai trò là xương sống cho 32 máy chủ GPU.

• Hỗ trợ RDMA đầy đủ:Loại bỏ kernel-bypass overhead bằng cách sử dụng lớp vận chuyển độc quyền của NVIDIA.
• Đường dẫn thích nghi:Tăng cân bằng giao thông năng động trên nhiều con đường để tránh các điểm nóng.
• SHARPv3 tổng hợp trong mạng:Bỏ tải các hoạt động tập thể từ các CPU chủ đến mặt phẳng dữ liệu chuyển đổi.

Các kỹ sư tham khảoBảng dữ liệu 920-9B210-00FN-0D0và920-9B210-00FN-0D0 thông số kỹ thuậtđể xác nhận khả năng tương thích với các bộ điều hợp ConnectX-7 hiện có.920-9B210-00FN-0D0 tương thíchhệ sinh thái cho phép một thay thế drop-in cho các công tắc cột sống trước đây mà không cần thay đổi cáp.920-9B210-00FN-0D0 InfiniBand switch OPN(số phần đặt hàng) đơn giản hóa quy trình mua sắm và RMA.

Kết quả & Lợi ích: Lợi ích có thể đo lường cho HPC và AI

Sau khi di cư đếnNVIDIA Mellanox 920-9B210-00FN-0D0- dựa trên vải, phòng thí nghiệm ghi nhận những cải thiện sau đây trong thời gian đánh giá 30 ngày:

Đối với các nhà quản lý CNTT đánh giá tổng chi phí sở hữu,Giá 920-9B210-00FN-0D0đã được bù đắp bằng một 40% giảm trong cluster năng lượng không hoạt động và nhanh hơn công việc thông thông lượng.920-9B210-00FN-0D0 để bánkênh thông qua các nhà phân phối được ủy quyền cũng cung cấp hỗ trợ vòng đời 5 năm quan trọng cho quy hoạch cơ sở hạ tầng HPC dài hạn.

Tóm lại & triển vọng: Một kế hoạch cho các cụm AI thế hệ tiếp theo

Phòng thí nghiệm nghiên cứu đã chuẩn hóa920-9B210-00FN-0D0 Giải pháp OPN chuyển đổi InfiniBandNhìn về phía trước, nhóm dự định mở rộng từ 32 đến 256 cổng NDR bằng cách sử dụng cùng một nền tảng chuyển đổi, tận dụng kiến trúc không chặn và kiểm soát tắc nghẽn.Đối với các kiến trúc sư thiết kế các loại vải RDMA chậm,NVIDIA Mellanox 920-9B210-00FN-0D0cung cấp một nền tảng đã được chứng minh, sẵn sàng sản xuất để loại bỏ sự không thể đoán trước của mạng từ các cụm prototyping AI nhỏ đến triển khai HPC exascale.