NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Giải pháp kỹ thuật

NVIDIA Mellanox MQM9790-NS2F Giải pháp kỹ thuật chuyển đổi InfiniBand để tối ưu hóa kết nối liên kết độ trễ thấp cho RDMA, HPC và các cụm AI

Phân tích nền tảng và yêu cầu của dự án

Các trung tâm dữ liệu hiện đại hỗ trợ đào tạo mô hình lớn AI, mô phỏng HPC và lưu trữ phân tán đang nhanh chóng di chuyển từ 200Gb / s HDR sang 400Gb / s NDR.Sự căng thẳng cốt lõi cho các kiến trúc sư mạng là mật độ nút GPU tiếp tục tăng, trong khi độ trễ liên lạc giữa các nút và jitter trở thành yếu tố hạn chế cho hiệu quả cụm.Một hop tắc nghẽn hoặc một lớp vải cấu hình sai có thể làm giảm việc sử dụng GPU hiệu quả trên hàng trăm nút.

Các yêu cầu điển hình cho dự án như vậy bao gồm độ trễ thấp nhất định cho các hoạt động tập thể, vận chuyển không mất mát cho RDMA và NVMe qua Fabrics, radix cao để giữ cho vải bằng phẳng,và một con đường nâng cấp rõ ràng bảo vệ đầu tư hiện có. NVIDIA Mellanox MQM9790-NS2F được định vị để đáp ứng các yêu cầu này như một chuyển đổi InfiniBand NDR 400Gb / s trong gia đình Quantum-2.

Thiết kế kiến trúc mạng và hệ thống tổng thể

Kiến trúc được đề xuất là một cấu trúc InfiniBand hai tầng được xây dựng hoàn toàn trên các liên kết NDR.trong khi các công tắc cột sống cung cấp kết nối giữa lá và sự đa dạng đườngThiết kế này giữ cho số lượng hop thấp và đảm bảo băng thông không chặn cho giao thông đông-tây, chiếm ưu thế trong khối lượng công việc AI và HPC.

Ở lớp điểm cuối, bộ điều hợp kênh chủ hoạt động trong chế độ RDMA, cho phép chuyển bộ nhớ sang bộ nhớ mà không cần sự can thiệp của CPU.và tăng tốc tập thểQuản lý và giao thông đo từ xa chia sẻ cùng một cơ sở hạ tầng vật lý nhưng được cô lập thông qua các chính sách QoS, vì vậy việc giám sát không can thiệp vào khối lượng công việc sản xuất.

Các nguyên tắc thiết kế chính bao gồm:

• Topology phẳng để giảm thiểu độ trễ và đơn giản hóa việc khắc phục sự cố
• Liên kết không chặn hoặc quá mức đăng ký thấp giữa các cấp
• NDR nhất quán từ đầu đến cuối để tránh các nút thắt sản xuất hỗn hợp
• Các đường dẫn dư thừa cho khả năng sẵn có cao và cân bằng tải
• Quản lý InfiniBand tiêu chuẩn cho tính nhất quán hoạt động

Vai trò và các tính năng chính của NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F phục vụ như là khối xây dựng của vải này.cho phép các kiến trúc sư thiết kế một mạng lưới phẳng hơn với ít tầng hơnMỗi cổng OSFP có thể hoạt động ở tốc độ NDR, và cấu hình cổng 64 hỗ trợ các vai trò lá và cột sống gốc cao.

Đối với các nhóm xem xét các thông số kỹ thuật MQM9790-NS2F, nền tảng hỗ trợ NVIDIA SHARPv3 để tăng tốc tập thể, kiểm soát tắc nghẽn tiên tiến và định tuyến thích nghi.Các tính năng này trực tiếp nhắm mục tiêu các vấn đề về độ trễ đuôi và các vấn đề liên quan phổ biến trong đào tạo AI và khối lượng công việc MPI. Chuyển đổi InfiniBand MQM9790-NS2F cũng tích hợp với các công cụ quản lý InfiniBand tiêu chuẩn, làm giảm đường cong học tập hoạt động.

Khi lên kế hoạch một giải pháp chuyển đổi InfiniBand MQM9790-NS2F, các kiến trúc sư nên xác nhận các thành phần tương thích MQM9790-NS2F, bao gồm cáp OSFP, bộ điều hợp kênh máy chủ và các phiên bản phần cứng.Xem lại trang dữ liệu MQM9790-NS2F sớm trong giai đoạn thiết kế giúp xác nhận sức mạnh, làm mát, và yêu cầu không gian kệ trước khi mua sắm.

Các khuyến nghị triển khai và mở rộng quy mô

Một triển khai điển hình bắt đầu với một module thí điểm gồm 32 đến 64 nút GPU được kết nối với một cặp chuyển đổi lá MQM9790-NS2F.sử dụng các đơn vị MQM9790-NS2F bổ sung để duy trì băng thông không chặnCách tiếp cận tăng dần này cho phép xác nhận độ trễ và thông lượng trước khi triển khai toàn diện.

Đối với quy mô, thực tiễn được khuyến cáo là giữ cho vải đối xứng: thêm dung lượng lá và cột sống theo từng bước phù hợp để tỷ lệ đăng ký quá mức vẫn có thể dự đoán được.Quản lý cáp và đánh dấu cảng nên được chuẩn hóa ngay từ đầu, bởi vì việc triển khai OSFP mật độ cao có thể trở nên khó duy trì nếu bố cục vật lý không nhất quán.

Bảng dưới đây tóm tắt một sự xem xét thiết kế hai cấp đại diện:

Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

Thành công hoạt động phụ thuộc vào khả năng hiển thị.Chúng nên được thu thập liên tục và tương quan với dữ liệu lên lịch công việc, để các khâu hồi quy hiệu suất có thể được truy xuất đến các phân đoạn vải cụ thể hơn là đoán.

Các kịch bản khắc phục sự cố phổ biến bao gồm các cửa hàng tín dụng, QoS cấu hình sai, và sự không phù hợp firmware giữa các công tắc và bộ điều hợp.xác nhận chính sách định tuyếnCác nỗ lực tối ưu hóa nên tập trung vào độ trễ đuôi thay vì thông lượng trung bình,vì khối lượng công việc AI và HPC nhạy cảm với hành vi trường hợp xấu nhất.

Đối với mua sắm và lập kế hoạch vòng đời, các nhóm thường so sánh giá MQM9790-NS2F và các tùy chọn bán MQM9790-NS2F trên các kênh được ủy quyền. Giá phụ thuộc vào cấu hình, mức hỗ trợ,và khu vực, vì vậy việc tham gia sớm với các nhà phân phối và đại diện doanh nghiệp NVIDIA được khuyến cáo.

NVIDIA Mellanox MQM9790-NS2F cung cấp một nền tảng NDR 400Gb / s cho kết nối cluster RDMA, HPC và AI. Bằng cách giảm các lớp vải, hỗ trợ gia tốc tập thể,và cho phép vận chuyển chậm không mất mát, nó giải quyết các nút thắt hiệu suất hạn chế hiệu quả cụm trong thế giới thực.nó đại diện cho một khối xây dựng thực tế và có thể mở rộng cho các loại vải InfiniBand thế hệ tiếp theo.