NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch Giải pháp kỹ thuật

NVIDIA Mellanox MQM8790-HS2F Giải pháp kỹ thuật chuyển đổi InfiniBand.

1. Xét nghiệm về dự án và các yêu cầu

Khi các cụm đào tạo trí tuệ nhân tạo (AI) mở rộng đến hàng ngàn GPU và các hệ thống tính toán hiệu suất cao (HPC) thúc đẩy hiệu suất exascale,vải mạng kết nối các nút tính toán đã trở thành một yếu tố quyết định hiệu suất quan trọngTrong các môi trường này, độ trễ không chỉ đơn thuần là một số liệu nó trực tiếp ảnh hưởng đến hiệu suất ứng dụng, thời gian giải quyết và hiệu quả cụm tổng thể.Đối với khối lượng công việc phụ thuộc rất nhiều vào các hoạt động tập thể MPI (Message Passing Interface) và các mô hình truyền thông tất cả cho tất cả, động lực học chất lỏng tính toán, và mô phỏng hóa học lượng tử thậm chí tăng độ trễ ở mức microsecond có thể chuyển thành nhiều giờ chạy thêm.ngay cả với RDMA qua Converged Ethernet (RoCE), thường gặp khó khăn để cung cấp thời gian trễ thấp và hoạt động không bị tắc nghẽn theo yêu cầu của các ứng dụng đòi hỏi này.

Thách thức này được khuếch đại bởi ba xu hướng đồng thời. Thứ nhất, quy mô ngày càng tăng của các mô hình AI (nay vượt quá hàng nghìn tỷ tham số) đòi hỏi sự song song lớn trên hàng ngàn GPU,yêu cầu một loại vải có thể duy trì thông lượng cao với biến thể độ trễ tối thiểuThứ hai, sự hội tụ của khối lượng công việc HPC và AI có nghĩa là một fabric duy nhất phải hỗ trợ hiệu quả cả các mô hình truyền thông dựa trên MPI và các hoạt động tập thể GPU dựa trên NCCL.Hiệu quả hoạt động đòi hỏi vải có thể quản lý được ở quy mô, với khả năng giám sát toàn diện và tối ưu hóa tự động.Một giải pháp kỹ thuật có cấu trúc được yêu cầu một giải pháp sử dụng một công tắc InfiniBand hiệu suất cao với chuyển tiếp chậm, quản lý tắc nghẽn tiên tiến và tăng tốc tính toán trong mạng để cung cấp hiệu suất dự đoán ở quy mô lớn.

2Thiết kế kiến trúc mạng / hệ thống chung

Kiến trúc được đề xuất áp dụng một topology xương sống sử dụngNVIDIA Mellanox MQM8790-HS2FChuyển đổi như lớp lá, kết nối với các chuyển đổi cột sống mật độ cổng cao hơn (như loạt QM9700 với 64 cổng 400Gb / s NDR) cho vải quy mô lớn.Kiến trúc được thiết kế để hỗ trợ giao tiếp không chặn với băng thông cắt ngang đầy đủ, đảm bảo rằng bất kỳ nút tính toán nào cũng có thể liên lạc với bất kỳ nút nào khác với tốc độ dây mà không có tranh chấp.

Trong một triển khai điển hình cho một cụm 2.000 nút, kiến trúc bao gồm:

• Lớp lá:20MQM8790-HS2F InfiniBand switchCác đơn vị, mỗi đơn vị có 40 cổng QSFP56 hoạt động ở tốc độ HDR 200Gb/s.Mỗi công tắc lá kết nối với 50 nút tính toán (sử dụng sự kết hợp của 200Gb / s kết nối trực tiếp và 100Gb / s HDR100 đột phá qua cáp QSFP56 đến 2 × QSFP56).
• Cột sống:4 công tắc QM9700 (hoặc các công tắc mật độ cao tương đương), mỗi công tắc có 64 cổng 400Gb/s NDR, cung cấp kết nối giữa các lá.
• Các nút tính toán:Mỗi nút được trang bị một hoặc nhiều bộ chuyển đổi ConnectX-6 HDR hoặc ConnectX-7 NDR, được kết nối với các công tắc lá thông qua các cáp đồng thụ động hoặc quang hoạt động.
• Mạng quản lý:Một mạng Ethernet ngoài băng tần riêng biệt để quản lý chuyển đổi, tích hợp với nền tảng NVIDIA Unified Fabric Manager (UFM) để giám sát và tối ưu hóa vải tập trung.

Kiến trúc tận dụngMQM8790-HS2F 200Gb/s HDR 40 cổng QSFP56cấu hình để cung cấp tổng công suất chuyển đổi lá 8Tb / s mỗi công tắc. Việc sử dụng HDR100 breakout cho phép các tùy chọn kết nối linh hoạt:mỗi cổng 200Gb/s có thể hỗ trợ một điểm cuối 200Gb/s hoặc hai điểm cuối 100Gb/s, chứa các nút tính toán khác nhau với tốc độ giao diện khác nhau.

3. Vai trò và các tính năng chính của NVIDIA Mellanox MQM8790-HS2F trong giải pháp

Trong kiến trúc này,MQM8790-HS2Fphục vụ như là bộ chuyển đổi nền tảng, cung cấp kết nối băng thông cao, độ trễ thấp cho các nút tính toán trong khi hỗ trợ các tính năng tiên tiến cần thiết cho khối lượng công việc HPC và AI.Các tính năng kỹ thuật chính của nó rất quan trọng đối với sự thành công của giải pháp tổng thể:

• Tạm thời từ cổng này sang cổng khác dưới 100 nanosecond:Cung cấp độ trễ thấp xác định cần thiết cho các tập thể MPI nhạy cảm với độ trễ và các hoạt động giảm tất cả.
• 40 cổng HDR InfiniBand 200Gb/s:Cung cấp tổng công suất chuyển đổi 8Tb / s trong một yếu tố hình thức 1U nhỏ gọn, tối đa hóa mật độ cổng và giảm tiêu thụ không gian giá.
• Hỗ trợ SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):Cho phép tăng tốc tính toán trong mạng cho các hoạt động tập thể MPI, giảm tải trọng đến 20% khối lượng công việc truyền thông từ CPU / GPU.
• Đường dẫn thích nghi:Phân phối lưu lượng truy cập một cách năng động trên các đường dẫn vải có sẵn dựa trên các số liệu tắc nghẽn thời gian thực, tối ưu hóa thông lượng và giảm thiểu biến thể độ trễ.
• Kiểm soát tắc nghẽn:Thực hiện các cơ chế quản lý tắc nghẽn tiên tiến (bao gồm kiểm soát dòng chảy ở cấp gói và thông báo tắc nghẽn) để ngăn chặn các điểm nóng mạng làm suy giảm hiệu suất.
• Hỗ trợ thoát HDR100:Cho phép mỗi cổng 200Gb / s được cấu hình thành hai cổng 100Gb / s độc lập, cung cấp tính linh hoạt triển khai cho môi trường tốc độ hỗn hợp.
• Giao diện quản lý toàn diện:Hỗ trợ Quản lý Subnet (SM) phù hợp với IBTA, SNMP, CLI, Web UI và tích hợp với UFM để quản lý vải tập trung.
• Hiệu quả năng lượng:Tiêu thụ điện thông thường dưới 230W, góp phần giảm yêu cầu làm mát và cải thiện PUE.

Những đặc điểm này được ghi chép đầy đủ trongMQM8790-HS2F, bao gồm đường cong hiệu suất chi tiết, thông số kỹ thuật nhiệt và bản vẽ cơ học để tích hợp vào các công cụ bố trí giá đỡ.

4. Đề xuất triển khai và mở rộng quy mô (với mô tả topology điển hình)

Đối với việc triển khai ban đầu, chúng tôi khuyên bạn nên một chiến lược mở rộng mô-đun dựa trên kiến trúc cấp pods.hỗ trợ khoảng 400 nút tính toán với băng thông phân vùng đầy đủ.MQM8790-HS2F Giải pháp chuyển đổi InfiniBandcho phép mở rộng quy mô từng bước bằng cách thêm các pods khi khả năng tính toán tăng lên, với lớp cột sống cung cấp kết nối giữa các pods cho một mô thống nhất.

Topology điển hình cho một pod duy nhất (400 nút tính toán):

• Chuyển đổi lá:4 × MQM8790-HS2F, mỗi cổng có 40 cổng với tốc độ 200Gb / s. 36 cổng mỗi trang được sử dụng để kết nối nút tính toán (hỗ trợ tối đa 72 nút mỗi trang sử dụng HDR100 breakout),trong khi 4 cổng mỗi lá được sử dụng cho các đường nối lên cột sống.
• Chuyển cột sống:2 × QM9700 (hoặc tương đương 64-cổng NDR chuyển mạch), mỗi kết nối với tất cả 4 chuyển mạch lá thông qua 400Gb / s uplinks (sử dụng 4 × 200Gb / s QSFP56 để QSFP-DD cáp).
• Các nút tính toán:400 nút, mỗi nút được kết nối với một công tắc lá thông qua một kết nối HDR100 200Gb/s hoặc 100Gb/s.

Tăng quy mô vượt quá một khoang duy nhất:

• Thêm thêm các pods (mỗi một với 4 switch MQM8790-HS2F) theo yêu cầu của dung lượng tính toán.
• Kết nối pods thông qua một lớp cột sống cao hơn (superspine) bằng cách sử dụng các công tắc QM9700 hoặc NDR bổ sung.
• Duy trì sự nhất quán của vải bằng cách sử dụngMQM8790-HS2Ftrên tất cả các vị trí lá, đảm bảo độ trễ và quản lý đồng nhất trên toàn bộ vải.

Khi triển khaiMQM8790-HS2Ftrong chế độ thoát HDR100, áp dụng các hướng dẫn dây cáp sau:

Đối với các loại vải quy mô lớn vượt quá 2.000 nút, chúng tôi khuyên bạn nên sử dụng khả năng mô phỏng vải của UFM để xác nhận thiết kế cấu trúc và hành vi tắc nghẽn trước khi triển khai.

5. Hoạt động và bảo trì: Giám sát, khắc phục sự cố và tối ưu hóa

Chu kỳ hoạt động của vải InfiniBand dựa trên MQM8790-HS2F đòi hỏi một cách tiếp cận có hệ thống để giám sát, khắc phục sự cố và tối ưu hóa.Chúng tôi khuyên bạn nên triển khai nền tảng NVIDIA UFM như là công cụ quản lý và giám sát trung tâm, cung cấp khả năng hiển thị thời gian thực về hiệu suất vải, số liệu độ trễ và mô hình tắc nghẽn.

Các số liệu giám sát chính để theo dõi:

• Độ trễ ở mức cổng:Độ trễ từ đầu đến cuối trên toàn bộ mô, với cảnh báo cho các cổng vượt quá ngưỡng trễ.
• Sản lượng và sử dụng:Tổng và thông lượng mỗi cổng, xác định các liên kết chưa được sử dụng hoặc quá sử dụng.
• Chỉ số tắc nghẽn:Gạt gói, tạm dừng khung hình, và các sự kiện thông báo tắc nghẽn.
• Sức khỏe của vải:Tình trạng liên kết, bộ đếm lỗi, và đo nhiệt độ/năng lượng.

Giao thức khắc phục sự cố cho các vấn đề phổ biến:

1. Sự suy giảm độ trễ:Sử dụng các công cụ phân tích độ trễ của UFM để xác định đường dẫn hoặc cổng cụ thể có độ trễ tăng; kiểm tra sự tắc nghẽn hoặc cấu hình sai của định tuyến thích nghi.
2. Lỗi liên kết hoặc giảm:Kiểm tra kết nối vật lý (cáp, quang học) và bộ đếm lỗi cổng; xác minh rằngMQM8790-HS2F tương thíchcáp và quang học được sử dụng cho cácThông số kỹ thuật MQM8790-HS2F.
3. Các vấn đề quản lý mạng con:Kiểm tra rằng Subnet Manager (SM) đang chạy và topology fabric được phát hiện chính xác; kiểm tra các sự kiện chuyển đổi SM.

Các khuyến nghị tối ưu hóa:

• Điều chỉnh định tuyến thích nghi:Điều chỉnh các thông số thuật toán định tuyến dựa trên các mô hình giao thông quan sát được sử dụng UFM để mô phỏng các chính sách định tuyến khác nhau trước khi áp dụng chúng vào vải sản xuất.
• Cấu hình điều khiển tắc nghẽn:Enable and tune congestion control mechanisms (such as packet pacing and priority flow control) based on workload characteristics — AI training benefits from more aggressive congestion control compared to HPC workloads.
• Bản cập nhật phần mềm và phần mềm:Thông thường cập nhật firmware và phần mềm UFM để truy cập cải tiến hiệu suất và các tính năng mới.
• Kiểm tra theo định kỳ các loại vải:Thực hiện kiểm toán thường xuyên về dây cáp, điện và làm mát để đảm bảo độ tin cậy hoạt động ở quy mô lớn.

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MQM8790-HS2F- dựa trên giải pháp kỹ thuật cung cấp một phương pháp toàn diện, xác nhận thực địa để tối ưu hóa kết nối liên kết độ trễ thấp trong các cụm RDMA / HPC / AI.Bằng cách tận dụng 40 cổng của bộ chuyển đổi 200Gb / s HDR InfiniBand, độ trễ dưới 100 nanosecond, tính toán trong mạng SHARP, và khả năng định tuyến thích nghi,các tổ chức có thể xây dựng các loại vải cung cấp hiệu suất dự đoán ở quy mô trong khi đơn giản hóa quản lý và giảm chi phí hoạt động.

Các chỉ số giá trị chính từ các triển khai so sánh bao gồm:

• Giảm độ trễ:Độ trễ cổng đến cổng dưới 100 nanosecond làm giảm thời gian hoàn thành tập thể MPI lên đến 35% so với vải thế hệ trước.
• Tốc độ ứng dụng:SHARP trong mạng tính toán offload làm giảm CPU / GPU giao tiếp overhead lên đến 20%, tăng tốc AI thời gian đào tạo epoch bởi 25 ≈ 30%.
• Hiệu quả của vải:Đường dẫn thích nghi và kiểm soát tắc nghẽn duy trì hiệu suất nhất quán dưới tải thay đổi, giảm độ biến đổi hiệu suất lên đến 60%.
• Việc đơn giản hóa hoạt động:Tích hợp UFM cung cấp khả năng hiển thị và tự động hóa toàn diện, giảm MTTR cho các sự cố vải lên đến 50%.
• Hiệu quả chi phí:CácGiá MQM8790-HS2Fkết hợp với mật độ cổng cao của nó mang lại chi phí thấp hơn cho mỗi cổng so với các giải pháp InfiniBand thay thế, đồng thời giảm không gian giá và yêu cầu năng lượng.

Đối với các kiến trúc sư mạng và các lãnh đạo kỹ thuật, MQM8790-HS2F cung cấp một nền tảng có thể mở rộng, hiệu suất cao cho các cụm HPC và AI thế hệ tiếp theo.Giải pháp đặc biệt được khuyến cáo cho các tổ chức triển khai môi trường tăng tốc GPU quy mô lớn, cũng như các trung tâm HPC truyền thống nâng cấp từ 100Gb/s lên 200Gb/s. Khi InfiniBand tiếp tục phát triển hướng tới NDR (400Gb/s) và XDR (800Gb/s),Hỗ trợ của MQM8790-HS2F cho HDR100 breakout đảm bảo khả năng tương thích với cơ sở hạ tầng hiện có trong khi cung cấp một con đường di chuyển rõ ràng đến tốc độ trong tương lai.

Đối với các mẫu thiết kế vải chi tiết, hướng dẫn điều chỉnh hiệu suất và danh sách kiểm tra triển khai, tham khảoMQM8790-HS2Fvà tài liệu kiến trúc InfiniBand của NVIDIA Mellanox.