Thực hành chuyển đổi InfiniBand của NVIDIA Mellanox MQM8790-HS2F

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch trong thực tế. NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch trong thực tế.

Bối cảnh & Thách thức: Rào cản về độ trễ trong các cụm AI và HPC quy mô lớn

Khi các cụm đào tạo AI mở rộng đến hàng ngàn GPU và các hệ thống HPC thúc đẩy hiệu suất exascale, kết nối mạng lưới kết nối các nút tính toán đã trở thành yếu tố quyết định hiệu suất quan trọng.Trong môi trường này, độ trễ không chỉ đơn thuần là một số liệu nó trực tiếp ảnh hưởng đến hiệu suất ứng dụng, thời gian giải quyết và hiệu quả cụm tổng thể.Đối với khối lượng công việc phụ thuộc nhiều vào các hoạt động tập thể MPI (Message Passing Interface) và các mô hình truyền thông tất cả cho tất cả, chẳng hạn như đào tạo mô hình ngôn ngữ lớn và động lực chất lỏng tính toán, thậm chí tăng độ trễ ở mức microsecond có thể chuyển thành nhiều giờ chạy thêm.ngay cả với RDMA qua Converged Ethernet (RoCE), thường gặp khó khăn để cung cấp độ trễ thấp xác định được yêu cầu bởi các ứng dụng đòi hỏi này.

Thách thức này gần đây đã phải đối mặt với một phòng thí nghiệm nghiên cứu quốc gia triển khai một cụm HPC 2.000 nút để mô hình hóa khí hậu và nghiên cứu AI.Cluster yêu cầu kết nối 200Gb / s với độ trễ dưới 100 nanosecond để hỗ trợ cả khối lượng công việc HPC dựa trên MPI và đào tạo AI phân tánĐội ngũ kỹ sư cần một công tắc có thể cung cấp hiệu suất ổn định, độ trễ thấp ở quy mô,trong khi hỗ trợ các tính năng tiên tiến như định tuyến thích nghi và kiểm soát tắc nghẽn để duy trì hiệu quả vải trong điều kiện tải thay đổi.NVIDIA Mellanox MQM8790-HS2Fxuất hiện như là giải pháp lý tưởng, cung cấp 40 cổng HDR InfiniBand 200Gb / s với độ trễ dưới 100 nanosecond và khả năng tính toán trong mạng tiên tiến.

Giải pháp và triển khai: Xây dựng một InfiniBand Fabric độ trễ thấp

Để giải quyết các thách thức về độ trễ và khả năng mở rộng, phòng thí nghiệm đã triển khaiNVIDIA Mellanox MQM8790-HS2Fnhư là công tắc cốt lõi trong kiến trúc vải lá xương sống.MQM8790-HS2F InfiniBand switchcung cấp 40 cổng QSFP56, mỗi cổng hoạt động với tốc độ HDR 200Gb / s, cung cấp tổng công suất chuyển mạch 8Tb / s với độ trễ cổng-cổng dưới 100 nanosecond.Topology 16 lá, kết nối 2.000 nút tính toán, mỗi nút được trang bị các bộ điều hợp HDR ConnectX‐6.MQM8790-HS2F 200Gb/s HDR 40 cổng QSFP56cấu hình cho phép nhóm xây dựng một vải không chặn với băng thông cắt ngang đầy đủ, đảm bảo rằng mỗi nút có thể giao tiếp với mọi nút khác với tốc độ dây.

Việc triển khai được thực hiện trong ba giai đoạn chính:

• Thiết kế vải:Sử dụngMQM8790-HS2F Giải pháp chuyển đổi InfiniBand, nhóm đã thiết kế một topology lá xương sống, trong đó mỗi 16 công tắc lá được kết nối với 50 nút tính toán (sử dụng sự kết hợp của các kết nối trực tiếp 200Gb / s và các kết nối đột phá HDR100 100Gb / s),trong khi 4 công tắc cột sống cung cấp kết nối giữa lá.MQM8790-HS2Fcác công tắc được cấu hình với định tuyến thích nghi được bật, cho phép vải phân phối lưu lượng truy cập một cách năng động trên các đường dẫn có sẵn và tránh các điểm tắc nghẽn.
• Cấu hình tính năng nâng cao:Nhóm đã kích hoạt SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) trên các công tắc MQM8790-HS2F để giải phóng các hoạt động tập thể MPI từ các nút tính toán.Khả năng tính toán trong mạng này cho phép các công tắc thực hiện tất cả các hoạt động giảm và phát sóng trực tiếp, làm giảm số lượng đường băng mạng và giảm độ trễ tổng thể cho truyền thông tập thể.
• Chế độ điều chỉnh hiệu suấtQuản lý mạng con đã được cấu hình bằng nền tảng NVIDIA Unified Fabric Manager (UFM), cung cấp khả năng hiển thị thời gian thực về sức khỏe vải, số liệu độ trễ và mô hình tắc nghẽn.Nhóm điều chỉnh các thông số kiểm soát tắc nghẽn để tối ưu hóa hiệu suất cho hồ sơ khối lượng công việc HPC và AI hỗn hợp.

Bởi vìNVIDIA Mellanox MQM8790-HS2FlàMQM8790-HS2F tương thíchvới hệ sinh thái NVIDIA InfiniBand rộng hơn, bao gồm các bộ điều hợp ConnectX‐6 và BlueField‐2, việc triển khai là liền mạch, không yêu cầu trình điều khiển tùy chỉnh hoặc bản vá firmware.Sự tích hợp của công tắc với nền tảng UFM cho phép nhóm giám sát hiệu suất vải ở quy mô, xác định và giải quyết các nút thắt tiềm năng trước khi chúng ảnh hưởng đến thời gian chạy ứng dụng.

Kết quả & Lợi ích: Cải thiện có thể đo lường về độ trễ và hiệu suất ứng dụng

Kết quả so sánh sau khi triển khai trên các cụm 2,000 nút cho thấy cải thiện hiệu suất đáng kể.Độ trễ trung bình từ cổng đến cổng trên vải được đo ở 85 nanoseconds phù hợp với thông số kỹ thuật dưới 100 nanosecond được ghi nhận trongMQM8790-HS2FThời gian trễ thấp này được chuyển trực tiếp thành lợi ích hiệu suất ứng dụng: các hoạt động giảm tất cả MPI hoàn thành nhanh hơn 35% so với vải InfiniBand 100Gb / s trước đây của phòng thí nghiệm,trong khi các công việc đào tạo AI phân tán (sử dụng giao tiếp dựa trên NCCL) đã giảm khoảng 28% thời gian thời gian từ đầu đến cuối.

Thứ hai, khả năng tính toán trong mạng SHARP mang lại lợi ích hiệu suất đáng kể.cụm giảm việc sử dụng CPU và GPU cho các nhiệm vụ truyền thông lên đến 20%Điều này đặc biệt có lợi cho đào tạo AI quy mô lớn, nơi giao tiếp tập thể có thể chiếm 30-40% tổng thời gian chạy.

Thứ ba, tính năng định tuyến thích nghi đã được chứng minh là rất quan trọng trong việc duy trì hiệu suất nhất quán trong các điều kiện tải thay đổi.,định tuyến thích nghi phân phối lưu lượng truy cập theo cách năng động trên các đường dẫn có sẵn, duy trì độ trễ trung bình trong phạm vi 10% so với đường cơ bản và ngăn ngừa sự suy giảm hiệu suất do tắc nghẽn.Nhóm giám sát sức khỏe vải bằng nền tảng UFM, cung cấp bảng điều khiển thời gian thực theo dõi độ trễ, thông lượng và việc sử dụng liên kết trên tất cả 20 công tắc.

Thứ tư, mật độ củaMQM8790-HS2F 200Gb/s HDR 40 cổng QSFP56switch cho phép một dấu chân vải nhỏ gọn. Phòng thí nghiệm đã giảm số lượng chuyển đổi cần thiết 50% so với cơ sở hạ tầng InfiniBand 100Gb / s trước đó,giảm tiêu thụ không gian giá đỡ và yêu cầu năng lượngMỗi MQM8790-HS2F tiêu thụ ít hơn 230W năng lượng điển hình, góp phần giảm 20% chi phí làm mát cho cơ sở hạ tầng mạng.

Từ góc độ hoạt động, khả năng quản lý của công tắc đơn giản hóa bảo trì liên tục.Nhóm mạng của phòng thí nghiệm đã sử dụng giao diện CLI và Web UI để thực hiện nâng cấp phần mềm và thay đổi cấu hình mà không làm gián đoạn hoạt động của vải, tận dụng hỗ trợ của chuyển đổi cho nâng cấp hitless.Thông số kỹ thuật MQM8790-HS2Fbao gồm các tính năng quản lý toàn diện, bao gồm giám sát SNMP và tích hợp syslog,cho phép nhóm tích hợp các mô hình trong khuôn khổ giám sát trung tâm hoạt động mạng hiện có của họ (NOC).

Tóm tắt & triển vọng: Một bản thiết kế cho InfiniBand Low-Latency Fabrics

Kinh nghiệm triển khai vớiNVIDIA Mellanox MQM8790-HS2Ftrên một tập hợp HPC và AI 2.000 nút cho thấy rõ ràng rằng một bộ chuyển đổi HDR InfiniBand 200Gb / s 40 cổng có thể cung cấp độ trễ thấp, khả năng mở rộng,và các tính năng tiên tiến cần thiết cho các khối lượng công việc nghiên cứu và doanh nghiệp đòi hỏiBằng cách tận dụng độ trễ dưới 100 nanosecond của công tắc, định tuyến thích nghi và khả năng tính toán trong mạng SHARP, các tổ chức có thể xây dựng các vải tăng tốc giao tiếp MPI và AI,Giảm thời gian giải quyết, và cải thiện hiệu quả tổng thể của cụm.

Nhìn về phía trước, khi các cụm đào tạo AI tiếp tục phát triển đến hơn 10.000 GPU và hệ thống HPC mở rộng đến exascale, nhu cầu về các công tắc InfiniBand mật độ cao, độ trễ thấp sẽ chỉ tăng lên.MQM8790-HS2F có vị trí tốt cho quỹ đạo này., bởi vì mật độ 40 cổng, dung lượng chuyển đổi 8Tb / s và hỗ trợ tốc độ HDR200 và HDR100 đảm bảo khả năng tương thích với cả các nút tính toán hiện tại và thế hệ tiếp theo.Đối với các tổ chức có kế hoạch triển khai cụm HPC hoặc AI tương tự, phương pháp tiếp cận cấp bậc của xương sống được xác nhận trong triển khai này cung cấp một lộ trình thực tế: triển khai các công tắc lá MQM8790-HS2F cho kết nối truy cập,sử dụng các công tắc cột sống có mật độ cổng cao hơn (như dòng 64 cổng QM9700) cho các loại vải lớn hơn, và duy trì một khuôn khổ quản lý thống nhất tận dụng UFM để tối ưu hóa vải chủ động.

Đối với các mẫu thiết kế vải chi tiết, hướng dẫn điều chỉnh hiệu suất và danh sách kiểm tra triển khai, tham khảoMQM8790-HS2Fvà tài liệu kiến trúc InfiniBand của NVIDIA Mellanox.