NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch trong thực tế｜Tối ưu hóa kết nối độ trễ thấp cho RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch trong thực tế để tối ưu hóa kết nối liên kết độ trễ thấp cho RDMA, HPC và AI Cluster

Trong đào tạo AI hiện đại, mô phỏng HPC và môi trường lưu trữ phân tán, nút chai thực sự hiếm khi là sức mạnh tính toán thô, đó là hiệu quả của kết nối giữa các nút.NVIDIA Mellanox MQM9790-NS2FBài viết này đi qua một kịch bản triển khai đại diện để cho thấy cách MQM9790-NS2F cải thiện RDMA,HPC, và hiệu suất cụm AI thông qua thiết kế vải độ trễ thấp.

Bối cảnh và những thách thức

Một cụm AI nghiên cứu hoặc doanh nghiệp điển hình có thể bao gồm hàng trăm máy chủ GPU, một hệ thống tệp song song và một trình lên lịch công việc phân phối khối lượng công việc MPI và NCCL.mỗi nút có thể tạo ra nhiều lưu lượng truy cập đông-tây hơn một vải HDR 200Gb / s có thể hấp thụ thoải máiCác nhóm thường báo cáo ba điểm khó khăn: tăng độ trễ đuôi trong các hoạt động tập thể, tắc nghẽn lan rộng qua các lớp vải và khó khăn trong việc mở rộng số cổng mà không thêm hop.

Đối với các kiến trúc sư mạng, thách thức không chỉ đơn giản là nâng cấp tốc độ liên kết.Đây là nơi đánh giá MQM9790-NS2F thông số kỹ thuật so với thực tế khối lượng công việc hồ sơ trở nên thiết yếu.

Phương pháp giải pháp và triển khai

Trong kịch bản này, cụm được di chuyển sang một vải lá xương sống NDR 400Gb / s được xây dựng xung quanh công tắc InfiniBand MQM9790-NS2F. Là nền tảng OSFP 64 cổng NDR 400Gb / s MQM9790-NS2F,nó cung cấp radix cao trong một công tắc duy nhất, cho phép thiết kế giảm các lớp vải trong khi duy trì băng thông không chặn.

• Lớp lá: Các công tắc MQM9790-NS2F kết nối các nút GPU và mục tiêu lưu trữ thông qua các liên kết NDR 400Gb / s
• Lớp cột sống: các đơn vị MQM9790-NS2F bổ sung cung cấp kết nối giữa lá và đa dạng đường dẫn
• Tăng tốc tập thể: NVIDIA SHARPv3 dỡ bỏ các hoạt động MPI và NCCL vào vải
• Kiểm soát tắc nghẽn: định tuyến thích nghi và QoS tiên tiến bảo vệ chống lại các điểm nóng và điểm nóng
• Quản lý: các công cụ InfiniBand tiêu chuẩn và đo từ xa để theo dõi sức khỏe vải

Bởi vì công tắc InfiniBand MQM9790-NS2F là một phần của gia đình Quantum-2, nó tương tác với các thực tiễn quản lý InfiniBand hiện có và hệ sinh thái adapter.Các nhóm đánh giá phần cứng tương thích MQM9790-NS2F nên xác minh rằng bộ điều hợp kênh máy chủ, cáp OSFP và mức phần mềm chắc chắn phù hợp với các yêu cầu NDR.Một giải pháp chuyển đổi InfiniBand MQM9790-NS2F của loại này thường được lên kế hoạch cùng với chu kỳ làm mới GPU để tránh các nút thắt thế hệ hỗn hợp.

Kết quả và lợi ích

Sau khi triển khai, sự thay đổi rõ ràng nhất là thời gian hoàn thành công việc cho khối lượng công việc gắn chặt.Các hoạt động tập thể trước đây bị đình trệ vì tắc nghẽn giờ đây hoàn thành với độ trễ đuôi thấp hơn và nhất quán hơnĐộ dày OSFP 64 cổng cũng đơn giản hóa cáp và giảm số lượng chuyển hop giữa hai điểm cuối, có lợi trực tiếp cho hiệu suất RDMA.

Từ quan điểm hoạt động, fabric trở nên dễ lý luận hơn. Ít cấp có nghĩa là ít miền thất bại hơn và khắc phục sự cố đơn giản hơn. Giao thông lưu trữ, bao gồm NVMe trên Fabricschia sẻ cùng một giao thông độ trễ thấp như lưu lượng truy cập máy tínhĐối với các nhà quản lý CNTT, điểm quan trọng là đầu tư ở lớp fabric có thể mở khóa dung lượng đã trả tiền ở lớp tính toán.

Các nhóm mua sắm và lập kế hoạch thường xem xét trang dữ liệu MQM9790-NS2F để xác nhận số cổng, nguồn và bìa làm mát trước khi hoàn thiện thiết kế.Các câu hỏi về giá MQM9790-NS2F và khả năng bán MQM9790-NS2F tốt nhất được hướng đến các nhà phân phối được ủy quyền và đại diện doanh nghiệp NVIDIA, vì giá phụ thuộc vào cấu hình, hỗ trợ và khu vực.

Tóm lại và triển vọng

NVIDIA Mellanox MQM9790-NS2F chứng minh nền tảng NDR 400Gb / s có thể định hình lại hiệu suất cụm AI, HPC và RDMA mà không thêm sự phức tạp của vải.Khi khối lượng công việc tăng và mật độ GPU tăng, chuyển đổi InfiniBand độ trễ thấp sẽ vẫn là một khoản đầu tư nền tảng. Đối với các kiến trúc sư đang lên kế hoạch làm mới vải tiếp theo, MQM9790-NS2F là một khối xây dựng thực tế cho định đoạt,kết nối kết nối công suất cao.