Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch đang hoạt động – Tối ưu hóa kết nối có độ trễ thấp

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch trong hành động

Một trung tâm siêu máy tính khu vực gần đây đã thực hiện một nâng cấp lớn cho cơ sở hạ tầng máy tính AI của mình,mở rộng từ 64 đến 256 GPU NVIDIA A100 để hỗ trợ đào tạo mô hình ngôn ngữ quy mô lớn và khối lượng công việc trình tự genTuy nhiên, mạng RoCEv2 100GbE hiện có đã trở thành một nút thắt liên tục ̇ các cơn bão PFC thường xuyên, độ trễ đuôi không thể đoán trước,và tinh chỉnh ECN phức tạp tiêu tốn nỗ lực kỹ thuật đáng kể và kéo dài thời gian hoàn thành công việc hơn 40%. Nghiên cứu trường hợp này xem xét cách trung tâm triển khaiMellanox 920-9B110-00FH-0D0Chuyển đổi InfiniBand để chuyển đổi cấu trúc của nó, cung cấp kết nối liên kết độ trễ thấp xác định cho các ứng dụng RDMA chuyên sâu.

Bối cảnh & Thách thức

Kiến trúc ban đầu của trung tâm sử dụng hai công tắc 100GbE với RoCEv2, kết nối máy chủ GPU và hệ thống tệp song song.đầu tiên, PFC (Priority Flow Control) bế tắc xảy ra hàng ngày, buộc phải thiết lập lại bằng tay; thứ hai, tất cả các hoạt động giảm tập thể đã trải qua độ trễ đuôi vượt quá 200 μs, làm chậm trực tiếp việc sử dụng GPU;thứ ba, khắc phục sự cố yêu cầu kiểm tra gói sâu, tốn thời gian và hiếm khi kết luận.Không thể cung cấp cho những người không mất mát, cấu trúc xác định cần thiết cho khối lượng công việc AI thế hệ tiếp theo.

Giải pháp và triển khai920-9B110-00FH-0D0 InfiniBand Switch OPNnhư New Backbone

Sau khi đánh giá nhiều lựa chọn, trung tâm đã chọnNVIDIA Mellanox 920-9B110-00FH-0D0chuyển đổi, dựa trên920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRNền tảng. Việc triển khai sử dụng một topology fat-tree hai cấp: bốn920-9B110-00FH-0D0chuyển đổi như lá (mỗi kết nối 64 nút GPU thông qua các liên kết 200G) và hai đơn vị bổ sung như cột sống, cung cấp băng thông phân vùng đầy đủ.,sử dụng920-9B110-00FH-0D0 tương thíchCác quyết định triển khai chính bao gồm:

• Cáp:Các mô-đun quang học HDR 200G cho khoảng cách xương sống lên đến 100 mét, với DAC thụ động cho các kết nối trong giá đỡ.
• Quản lý:NVIDIA UFM (Unified Fabric Manager) cho phát hiện cấu trúc tự động, chính sách định tuyến thích nghi và đo từ xa theo thời gian thực.
• Thả hàng tập thể:SHARPv2 cho phép tăng tốc tất cả các hoạt động giảm, giảm tải công việc từ các CPU chủ và giảm trò chuyện mạng.

Nhóm tham khảo920-9B110-00FH-0D0vàCác thông số kỹ thuật 920-9B110-00FH-0D0để xác nhận các yêu cầu về năng lượng và làm mát ✓ bộ chuyển đổi có yếu tố hình dạng 1U và mật độ 200G mỗi cổng phù hợp với các giá đỡ hiện có mà không cần thay đổi cơ sở hạ tầng bổ sung.920-9B110-00FH-0D0 Giải pháp OPN chuyển đổi InfiniBandcũng đơn giản hóa mua sắm, với OPN chính xác (số phần đặt hàng) đảm bảo cấu hình chính xác.

Kết quả đo lường & Lợi ích

Sau hai tuần triển khai và xác nhận, trung tâm đã ghi nhận sự cải thiện đáng kể trên các chỉ số hiệu suất chính.Bảng dưới đây tóm tắt các số liệu trước và sau cho một công việc đào tạo đại diện 256 GPU (trình luyện trước BERT lớn):

Ngoài các con số, nhóm báo cáo rằngNVIDIA Mellanox 920-9B110-00FH-0D0cung cấp một loại vải không thả gói, loại bỏ hoàn toàn các can thiệp thủ công trước đây cần thiết cho phục hồi PFC.920-9B110-00FH-0D0 InfiniBand switch OPNcung cấp cho nhân viên hoạt động tầm nhìn chi tiết về tắc nghẽn mỗi dòng chảy và sử dụng đường dẫn, cho phép lập kế hoạch năng lực chủ động.Giá 920-9B110-00FH-0D0đã chứng minh hiệu quả về chi phí so với nâng cấp lên chuyển đổi NDR 400G, làm cho nó phù hợp lý tưởng với ngân sách trung bình của trung tâm.

Tóm lại & triển vọng Một con đường đã được chứng minh để kết nối liên kết chậm

Kinh nghiệm của trung tâm siêu máy tính chứng minh rằngMellanox 920-9B110-00FH-0D0cung cấp một sự thay thế thực tế, hiệu suất cao cho cả các loại vải Ethernet gặp khó khăn và các giải pháp cao cấp tốn kém. Bằng cách cung cấp tốc độ truyền HDR 200 Gb / s, độ trễ trung bình dưới 10 μs,và vận chuyển RDMA không mất mát, việc chuyển đổi cho phép các tổ chức phát hành tiềm năng đầy đủ của các khoản đầu tư GPU của họ ¢ tăng tốc thời gian để hiểu về khối lượng công việc AI và HPC.

Nhìn về phía trước, trung tâm có kế hoạch mở rộng mô hình của nó đến 512 GPU sử dụng cùng một920-9B110-00FH-0D0 Giải pháp OPN chuyển đổi InfiniBand, mở rộng quy mô bằng cách thêm các công tắc lá bổ sung trong khi vẫn duy trì cơ sở hạ tầng cột sống hiện có.Khả năng tương thích của Switch với các bộ điều hợp NVIDIA trong tương lai (bao gồm cả ConnectX‐7) đảm bảo một con đường nâng cấp trơn truĐối với các tổ chức đánh giá các nâng cấp tương tự,Các thông số kỹ thuật 920-9B110-00FH-0D0và920-9B110-00FH-0D0cung cấp tất cả các tham số thiết kế cần thiết và các đơn vị có sẵn (920-9B110-00FH-0D0 để bánthông qua các kênh được ủy quyền).

Việc triển khai thế giới thực này xác nhận rằng920-9B110-00FH-0D0là nhiều hơn một sản phẩm ¢ nó là một công cụ đã được chứng minh cho các mạng cụm hiệu quả cao, có độ trễ thấp, sẵn sàng đáp ứng các yêu cầu của thập kỷ tới của AI và máy tính khoa học.