Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Công tắc InfiniBand đang hoạt động: Tối ưu hóa kết nối có độ trễ thấp

Trong quá trình đào tạo AI trong thế giới thực và triển khai điện toán hiệu năng cao, độ trễ mạng và chi phí hoạt động của CPU thường trở thành những kẻ giết người thầm lặng đối với khả năng mở rộng. Bản tóm tắt ứng dụng này xem xét cách một tổ chức nghiên cứu cỡ trung giải quyết những thách thức chính xác này bằng cách triển khaiMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0Công tắc InfiniBand làm kết cấu cốt lõi cho cụm nghiên cứu dựa trên GPU của họ.

Cấu trúc Ethernet RoCE 100Gb/s kế thừa của tổ chức gặp phải độ trễ không thể đoán trước do các cơn bão PFC (Kiểm soát luồng ưu tiên) và khả năng xử lý tắc nghẽn không hiệu quả. Khi kích thước mô hình AI của họ tăng từ 10 tỷ lên hơn 50 tỷ tham số, các hoạt động giao tiếp tập thể (Giảm toàn bộ, Tất cả thành tất cả) đã tiêu tốn gần 45% tổng thời gian lặp lại. Họ cần một loại vải không mất dữ liệu, có độ trễ thấp, có thể tận dụng tối đa RDMA trong khi vẫn duy trì khả năng mở rộng hiệu suất tuyến tính. Việc tìm kiếm nhanh chóng tập trung vào920-9B110-00FH-0D0là khối xây dựng hứa hẹn nhất.

Nhóm đã chọn các920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/giây HDRswitch đóng vai trò là xương sống của lớp cột sống, kết nối 64 nút GPU trên bốn giá đỡ. Sử dụng920-9B110-00FH-0D0 Công tắc InfiniBand OPNđặt hàng, họ đã triển khai hai thiết bị chuyển mạch cột sống dự phòng với 40 cổng HDR mỗi cổng, đạt được tỷ lệ đăng ký quá mức 1:1 không chặn. Việc triển khai tận dụng Định tuyến thích ứng và SHARPv2 (Giao thức tổng hợp và giảm thiểu phân cấp có thể mở rộng) — các tính năng được ghi lại đầy đủ trongBảng dữ liệu 920-9B110-00FH-0D0— để giảm tải các hoạt động tập thể trực tiếp lên cơ cấu chuyển mạch. Để tương thích, nhóm nghiên cứu đã xác nhận rằngTương thích 920-9B110-00FH-0D0hệ sinh thái bao gồm bộ điều hợp HDR ConnectX-6 hiện có của họ và quang học QSFP56 tiêu chuẩn.

Đo từ xa sau khi triển khai cho thấy những cải tiến đáng kể. Độ trễ đầu cuối giữa hai nút GPU bất kỳ giảm từ 3,2µs (RoCE) xuống dưới 1,1µs, với độ giật giảm 80%. Giảm tải SHARPv2 trênNVIDIA Mellanox 920-9B110-00FH-0D0giảm 57% thời gian hoàn thành All-Reduce đối với các tác vụ 512-GPU. Bảng sau đây tóm tắt các số liệu chính:

Ngoài số liệu thô,Giải pháp OPN chuyển mạch InfiniBand 920-9B110-00FH-0D0giảm độ phức tạp hoạt động. Bằng cách sử dụng NVIDIA UFM (Trình quản lý vải hợp nhất), nhóm đã đạt được khả năng hiển thị kết cấu theo thời gian thực, tối ưu hóa đường dẫn tự động và cảnh báo tắc nghẽn chủ động — những khả năng không có trong quá trình triển khai Ethernet trước đây của họ. cácThông số kỹ thuật 920-9B110-00FH-0D0cũng cho phép vận hành tiết kiệm điện: khung 1U chỉ tiêu thụ 180W khi đầy tải, giảm mức đóng góp PUE của chúng.

Đối với các tổ chức đánh giá các nâng cấp tương tự,Giá 920-9B110-00FH-0D0so sánh thuận lợi với các bộ chuyển mạch Ethernet 200Gb/s tương đương khi tính đến chi phí sử dụng NIC thấp hơn và loại bỏ giấy phép Ethernet lossless đắt tiền. Danh sách nhiều nhà phân phối hiện nayCần bán 920-9B110-00FH-0D0với thời gian thực hiện dưới bốn tuần. Phân tích ROI của nhóm cho thấy thời gian hoàn vốn là 9 tháng hoàn toàn nhờ cải tiến việc sử dụng GPU.

Việc triển khai đã xác nhận rằngNVIDIA Mellanox 920-9B110-00FH-0D0mang lại lời hứa về độ trễ dưới micro giây, băng thông chia đôi đầy đủ và hiệu suất gốc RDMA. Đối với các kiến ​​trúc sư thiết kế cụm AI hoặc hệ thống HPC thế hệ tiếp theo, công tắc này đại diện cho một khối xây dựng đã được kiểm chứng và sẵn sàng sản xuất. Khi khối lượng công việc tiếp tục mở rộng theo hướng exascale, các giải pháp được xây dựng xung quanh920-9B110-00FH-0D0sẽ vẫn đi đầu trong thiết kế kết nối hiệu suất cao.