NVIDIA Mellanox 920-9B110-00FH-0D0 Giải pháp kỹ thuật chuyển đổi InfiniBand

NVIDIA Mellanox 920-9B110-00FH-0D0 Giải pháp kỹ thuật chuyển đổi InfiniBand để tối ưu hóa kết nối liên kết độ trễ thấp cho RDMA, HPC và các cụm AI

Phân tích nền tảng và yêu cầu của dự án

Các trung tâm dữ liệu hiện đại hỗ trợ đào tạo AI, mô phỏng HPC và lưu trữ phân tán phải đối mặt với áp lực kép về băng thông và độ trễ ở lớp mạng.trong khi liên lạc giữa các nút đuôi độ trễ và jitter trở thành yếu tố hạn chế cho hiệu quả cụm tổng thểĐối với nhiều tổ chức, câu hỏi thực tế không phải là có nên áp dụng 400Gb / s NDR, nhưng làm thế nào để xây dựng một kết cấu HDR đã được chứng minh, hiệu quả về chi phí mà vẫn cung cấp hiệu suất xác định.

Các yêu cầu điển hình cho một dự án như vậy bao gồm vận chuyển RDMA độ trễ thấp, hành vi vải không mất mát, khả năng tương thích ngược với cơ sở hạ tầng EDR và FDR hiện có và đường dẫn mở rộng rõ ràng.NVIDIA Mellanox 920-9B110-00FH-0D0 được định vị để đáp ứng các yêu cầu này như một bộ chuyển đổi HDR InfiniBand 200Gb / s trong gia đình NVIDIA Quantum.

Thiết kế kiến trúc mạng và hệ thống tổng thể

Kiến trúc được đề xuất là một cấu trúc InfiniBand hai tầng được xây dựng trên các liên kết HDR 200Gb / s.trong khi các công tắc cột sống cung cấp kết nối giữa lá và sự đa dạng đườngThiết kế này giữ cho số lượng hop thấp và đảm bảo băng thông không chặn cho giao thông đông-tây, chiếm ưu thế trong khối lượng công việc HPC và AI.

Ở lớp điểm cuối, bộ chuyển đổi kênh máy chủ hoạt động trong chế độ RDMA, cho phép chuyển bộ nhớ sang bộ nhớ mà không cần sự can thiệp của CPU.và tăng tốc tập thểQuản lý và giao thông đo từ xa chia sẻ cùng một cơ sở hạ tầng vật lý nhưng được cô lập thông qua các chính sách QoS để giám sát không can thiệp vào khối lượng công việc sản xuất.

Các nguyên tắc thiết kế chính bao gồm:

• Topology phẳng để giảm thiểu độ trễ và đơn giản hóa việc khắc phục sự cố
• Liên kết không chặn hoặc quá mức đăng ký thấp giữa các cấp
• HDR nhất quán từ đầu đến cuối, với khả năng tương thích ngược EDR/FDR khi cần thiết
• Các đường dẫn dư thừa cho khả năng sẵn có cao và cân bằng tải
• Quản lý InfiniBand tiêu chuẩn cho tính nhất quán hoạt động

Vai trò và các tính năng chính của NVIDIA Mellanox 920-9B110-00FH-0D0

NVIDIA Mellanox 920-9B110-00FH-0D0 phục vụ như là khối xây dựng cốt lõi của vải này.nó cung cấp 40 cổng QSFP56 và 16Tb / s công suất chuyển mạch không chặn trong một yếu tố hình thức 1UMật độ này hỗ trợ các vai trò lá gốc cao và đơn giản hóa cáp trong giá dày đặc.

Đối với các nhóm xem xét các thông số kỹ thuật 920-9B110-00FH-0D0, công tắc hỗ trợ RDMA, MPI và NVIDIA SHARP để hoạt động tập thể.Kiểm soát tắc nghẽn tiên tiến và định tuyến thích nghi nhắm mục tiêu các vấn đề về độ trễ đuôi và các vấn đề liên tục trong đào tạo AI và khối lượng công việc MPI. Chuyển đổi InfiniBand 920-9B110-00FH-0D0 OPN cũng tích hợp với các công cụ quản lý InfiniBand tiêu chuẩn, giảm đường cong học tập hoạt động.

Khi lên kế hoạch một giải pháp OPN chuyển đổi InfiniBand 920-9B110-00FH-0D0, các kiến trúc sư nên xác nhận các thành phần tương thích 920-9B110-00FH-0D0, bao gồm cáp QSFP56, bộ điều hợp kênh chủ,và các phiên bản firmwareXem lại trang dữ liệu 920-9B110-00FH-0D0 sớm trong giai đoạn thiết kế giúp xác nhận các yêu cầu về năng lượng, làm mát và không gian kệ trước khi mua sắm.

Các khuyến nghị triển khai và mở rộng quy mô

Một triển khai điển hình bắt đầu với một module thí điểm từ 32 đến 64 nút tính toán được kết nối với một cặp chuyển đổi lá 920-9B110-00FH-0D0.duy trì băng thông không chặn giữa láCách tiếp cận tăng dần này cho phép xác nhận độ trễ và thông lượng trước khi triển khai toàn diện.

Để mở rộng quy mô, hãy giữ cho vải đối xứng: thêm dung lượng lá và cột sống theo từng bước phù hợp để tỷ lệ đăng ký quá mức vẫn có thể dự đoán.Quản lý cáp và đánh dấu cảng nên được chuẩn hóa ngay từ đầu, bởi vì việc triển khai QSFP56 mật độ cao trở nên khó duy trì nếu bố cục vật lý không nhất quán.

Bảng dưới đây tóm tắt một sự xem xét thiết kế hai cấp đại diện:

Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

Thành công hoạt động phụ thuộc vào khả năng hiển thị.Chúng nên được thu thập liên tục và tương quan với dữ liệu lên lịch công việc, do đó, khâu hồi quy hiệu suất có thể được theo dõi đến các phân đoạn vải cụ thể hơn là đoán.

Các kịch bản khắc phục sự cố phổ biến bao gồm các cửa hàng tín dụng, QoS cấu hình sai, và sự không phù hợp firmware giữa các công tắc và bộ điều hợp.xác nhận chính sách định tuyếnCác nỗ lực tối ưu hóa nên tập trung vào độ trễ đuôi thay vì thông lượng trung bình,vì khối lượng công việc HPC và AI nhạy cảm với hành vi trường hợp xấu nhất.

Đối với mua sắm và lập kế hoạch vòng đời, các nhóm thường so sánh giá 920-9B110-00FH-0D0 và 920-9B110-00FH-0D0 cho các tùy chọn bán hàng trên các kênh được ủy quyền.Mức hỗ trợ, và khu vực, vì vậy việc tham gia sớm với các nhà phân phối và đại diện doanh nghiệp NVIDIA được khuyến cáo.

Tóm lại và đánh giá giá trị

NVIDIA Mellanox 920-9B110-00FH-0D0 cung cấp một nền tảng HDR 200Gb / s đã được chứng minh cho kết nối cluster RDMA, HPC và AI.và cho phép vận chuyển chậm không mất mát, nó giải quyết các nút thắt hạn chế hiệu quả cụm trong thế giới thực.nó đại diện cho một khối xây dựng thực tế và có thể mở rộng cho các vải HDR InfiniBand với một con đường rõ ràng về phía trước.