NVIDIA Mellanox 920-9B110-00FH-0D0 Tài liệu tham khảo kỹ thuật: Kết nối liên kết chậm tối ưu cho RDMA / HPC / AI

NVIDIA Mellanox 920-9B110-00FH-0D0 Tài liệu tham khảo kỹ thuật: Kết nối liên kết độ trễ thấp tối ưu cho các cụm RDMA / HPC / AI ở tốc độ HDR 200Gb / s

1. Xét nghiệm về dự án và các yêu cầu

Khi các cụm HPC và AI tiếp tục mở rộng quy mô, khối lượng công việc mô phỏng khoa học và đào tạo phân tán đòi hỏi băng thông, độ trễ và khả năng mở rộng mạng ngày càng nghiêm ngặt. not every cluster requires 400Gb/s NDR infrastructure—a significant number of production environments are already standardized on 200Gb/s HDR and seek performance improvements within a controlled budgetCác yêu cầu điển hình bao gồm:

• Đảm định độ trễ thấp:Truyền thông tập thể MPI phải duy trì sự chậm trễ từ cảng đến cảng dưới microsecond, ngăn chặn sự trễ đuôi tác động đến sự hội tụ đào tạo.
• Vải không mất mát:Zero packet giảm dưới tình trạng tắc nghẽn để đảm bảo hiệu quả RDMA và tránh sự sụp đổ hiệu suất.
• Tải tải trong mạng:Bán tải các hoạt động tập thể như All-Reduce vào cấu trúc mạng để giải phóng các tài nguyên CPU / GPU của máy chủ.
• Khả năng mở rộng trơn tru:Hỗ trợ mở rộng không chặn từ hàng trăm đến hàng ngàn nút, với khả năng tương thích với các cáp HDR và máy thu quang hiện có.

Để đáp ứng các yêu cầu này, giải pháp này áp dụngNVIDIA Mellanox 920-9B110-00FH-0D0như là khối xây dựng cốt lõi một bộ chuyển đổi HDR InfiniBand 200Gb / s cân bằng hiệu suất, mật độ và hiệu quả chi phí cho việc triển khai quy mô trung bình đến lớn.

2Thiết kế kiến trúc mạng tổng thể

Giải pháp được đề xuất sử dụng một cấu trúc xương sống lá hai tầng, cung cấp một vải có thể mở rộng, không chặn với độ trễ dự đoán và dây cáp đơn giản.mỗi rack tính toán được trang bị một920-9B110-00FH-0D0 InfiniBand switch OPN(Số phần đặt hàng), cung cấp 40 cổng kết nối HDR 200Gb / s đến máy chủ GPU thông qua đồng (DAC) hoặc cáp quang hoạt động (AOC) nối trực tiếp OSFP-OSFP.một lớp thứ hai của các công tắc MQM8790-HS2F920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR- Kết nối tất cả các công tắc lá, tạo ra một vải cây mỡ băng thông đầy đủ.

Đối với các cụm lớn hơn hơn 1.500 nút, một kiến trúc đóng gấp ba cấp có thể được thực hiện,với 920-9B110-00FH-0D0 phục vụ như cả lá và xương sống để duy trì hiệu suất nhất quán trên tất cả các cấpBảng sau tóm tắt các tham số mở rộng chính cho một vải HDR 2 tầng được xây dựng xung quanh công tắc này:

3. Vai trò & Đặc điểm chính của NVIDIA Mellanox 920-9B110-00FH-0D0

Trong kiến trúc này,NVIDIA Mellanox 920-9B110-00FH-0D0phục vụ như là yếu tố chuyển đổi cơ bản, cung cấp một số khả năng quan trọng:

• 40 cổng HDR 200Gb/s:Mỗi cổng OSFP hỗ trợ hai chiều 200Gb / s với sửa lỗi phía trước (FEC) cho kết nối mở rộng đáng tin cậy.
• SHARPv2 tích hợp (Protocol tổng hợp và giảm phân cấp có thể mở rộng):Giảm tải các hoạt động truyền thông tập thể, giảm độ trễ MPI All-Reduce lên đến 30% trong khối lượng công việc HPC điển hình.
• Đường dẫn thích nghi và kiểm soát tắc nghẽn:Định hướng lại giao thông để tránh các điểm nóng, đảm bảo hiệu suất dự đoán trong các mô hình giao thông đối nghịch.
• Điện đo tiên tiến:Các bộ đếm theo dòng chảy và theo cổng, cùng với việc giám sát việc sử dụng bộ đệm, cung cấp tầm nhìn sâu về sức khỏe vải.

Theo920-9B110-00FH-0D0, bộ chuyển đổi cung cấp độ trễ cắt giảm dưới 200ns và hỗ trợ lên đến 8,0 Tb / s tổng công suất chuyển đổi.Các thông số kỹ thuật 920-9B110-00FH-0D0cũng làm nổi bật các nguồn cung cấp điện hai lần dư thừa và các mô-đun quạt có thể thay thế bằng nhiệt, đảm bảo tính sẵn sàng 99,999% cho khối lượng công việc quan trọng.

4. Các khuyến nghị triển khai và khả năng mở rộng

Đối với các tổ chức có kế hoạch áp dụng920-9B110-00FH-0D0 Giải pháp OPN chuyển đổi InfiniBand, các hướng dẫn triển khai sau đây được khuyến cáo:

• Chiến lược dây cáp:Sử dụng cáp OSFP-to-OSFP DAC cho các kết nối trong giá đỡ (tối đa 3m) và AOC hoặc máy thu quang cho các liên kết giữa giá đỡ và lá xương sống (tối đa 100m).920-9B110-00FH-0D0 tương thíchtheo ma trận tương thích NVIDIA.
• Sự thừa:Sử dụng ít nhất hai công tắc cột sống cho mỗi lá để loại bỏ các điểm thất bại duy nhất.
• Quản lý phần mềm:Đảm bảo tất cả các công tắc chạy các phiên bản firmware NVIDIA giống hệt nhau. Sử dụng tính năng nâng cấp firmware tự động của UFM để cập nhật liên tục mà không mất thời gian hoạt động.
• Đường dẫn mở rộng:Đối với các cụm vượt quá 1.600 nút, chuyển đổi sang topology đóng gấp ba cấp hoặc tận dụng dragonfly + với định tuyến thích nghi.920-9B110-00FH-0D0 hỗ trợ tối đa 64 công tắc trong một mô duy nhất dưới một quản lý mạng con duy nhất.

Khi tính toán tổng chi phí sở hữu, tính đến số lượng giảm các tầng chuyển mạch và dây cáp đơn giản so với các lựa chọn thay thế có đường radix thấp hơn.Giá 920-9B110-00FH-0D0mỗi đơn vị cao hơn so với các bộ chuyển mạch EDR (100Gb / s), chi phí mỗi cổng thấp hơn đáng kể so với NDR, làm cho nó trở thành lựa chọn tối ưu cho việc triển khai HDR có ý thức về chi phí.

5. Hoạt động, giám sát & khắc phục sự cố

Quản lý hiệu quả của một vải HDR đòi hỏi một khuôn khổ giám sát và khắc phục sự cố toàn diện.NVIDIA Mellanox 920-9B110-00FH-0D0Dây từ vải, cung cấp:

• Hiển thị topology:Khám phá tự động và biểu diễn đồ họa của tất cả các công tắc, liên kết và điểm cuối.
• Bảng điều khiển hiệu suất:Xem thời gian thực về việc sử dụng cảng, tỷ lệ lỗi và chỉ số tắc nghẽn.
• Cảnh báo chủ động:Cảnh báo dựa trên ngưỡng đối với sự suy giảm liên kết, sự bất thường về nhiệt độ và sự cố nguồn điện.
• Phạm vi cô lập:Các luồng công việc khắc phục sự cố được hướng dẫn để xác định các cáp, máy thu hoặc cổng chuyển đổi bị lỗi.

Để khắc phục sự cố tiên tiến, tận dụng các công cụ chẩn đoán tích hợp của công tắc, bao gồm các thử nghiệm lặp lại và phân tích BER (tỷ lệ lỗi bit),để xác nhận tính toàn vẹn của liên kết trước khi triển khai khối lượng công việc sản xuấtCác vấn đề phổ biến gặp phải trong các triển khai ban đầu bao gồm định tuyến kém tối ưu do tốc độ liên kết không bằng nhau hoặc các loại cáp không phù hợp.Cho phép định tuyến thích nghi và xác minh rằng tất cả các liên kết đang hoạt động ở tốc độ 200Gb / s (với FEC được bật) giải quyết phần lớn các bất thường về hiệu suất.920-9B110-00FH-0D0 InfiniBand switch OPNcũng hỗ trợ các cấu hình quản lý mạng con dư thừa, đảm bảo cấu hình lại fabric xảy ra mà không cần can thiệp thủ công trong trường hợp lỗi nút quản lý.

6. Tóm lại & Đánh giá giá trị

Các920-9B110-00FH-0D0cung cấp một đề xuất giá trị hấp dẫn cho các tổ chức xây dựng hoặc mở rộng các cụm HPC và AI dựa trên HDR. Nó cung cấp 40 cổng HDR 200Gb / s với độ trễ dưới 200ns, SHARPv2 offload,và quản lý cấp doanh nghiệp tất cả trong một nền tảng 1U hiệu quả về chi phíCác điểm giá trị chính bao gồm:

• Hiệu suất:Giảm đến 35% thời gian hoàn thành công việc cho khối lượng công việc liên lạc chuyên sâu thông qua SHARPv2 giảm tải và định tuyến thích nghi.
• Hiệu quả chi phí:TCO thấp hơn so với các lựa chọn thay thế NDR, với chi phí mỗi cổng được tối ưu hóa cho việc triển khai HDR.
• Dễ dàng hoạt động:Tích hợp sâu với UFM để quản lý thống nhất, giám sát chủ động và chuyển đổi tự động.
• Bảo vệ đầu tư:Hoàn toàn tương thích với các cáp HDR, quang học và bộ đống phần mềm hiện có, cho phép nâng cấp từng giai đoạn mà không làm gián đoạn sản xuất.

Đối với các tổ chức đánh giá920-9B110-00FH-0D0 để bánthông qua các đối tác kênh của NVIDIA, chúng tôi khuyên bạn nên xem xét chi tiết920-9B110-00FH-0D0và tham gia với một kiến trúc sư giải pháp được chứng nhận để xác nhận thiết kế cho khối lượng công việc cụ thể và quy mô yêu cầu của bạn.NVIDIA Mellanox 920-9B110-00FH-0D0sẵn sàng sản xuất ngay hôm nay, cung cấp một nền tảng kết nối cân bằng, hiệu suất cao cho thế hệ tiếp theo của HPC và đổi mới AI.