NVIDIA Mellanox MQM9790-NS2F trong thực tế: Xây dựng mạng RDMA độ trễ thấp cho các cụm AI và HPC

NVIDIA Mellanox MQM9790-NS2F trong hành động: Xây dựng một mô RDMA độ trễ thấp cho AI và HPC Cluster

Bối cảnh & Thách thức: Khi mở rộng quy mô trở thành nút thắt

Khi các mô hình ngôn ngữ lớn được mở rộng từ hàng ngàn đến hàng chục ngàn GPU, và các mô phỏng thời tiết đẩy tới độ phân giải quy mô km,những hạn chế của các loại vải Ethernet truyền thống trở nên rõ ràngTrong những môi trường này, các mô hình giao tiếp tập thể MPI như giảm tất cả và tất cả cho tất cả đặt ra những yêu cầu cực đoan về độ trễ mạng và kiểm soát tắc nghẽn.ngay cả các nút tính toán mạnh nhất dành một phần đáng kể của chu kỳ của họ chờ đợi dữ liệu, hiệu quả lãng phí tài nguyên GPU đắt tiền.

Đây chính là thách thức màNVIDIA Mellanox MQM9790-NS2FLà một công tắc InfiniBand NDR 400Gb / s với 64 cổng OSFP, nó được thiết kế để cung cấp độ trễ xác định, dưới microsecond trên hàng ngàn điểm cuối,cho phép quy mô tuyến tính thực sự cho khối lượng công việc phân tán.

Giải pháp và triển khai: Một vải xương sống lá được xây dựng cho RDMA

Trong một kịch bản triển khai điển hình cho một phòng thí nghiệm nghiên cứu AI lớn,MQM9790-NS2F InfiniBand switchtạo thành cốt lõi của một cấu trúc hai tầng lá-lớp xương sống. Ở lớp lá, mỗi giá đỡ tính toán được trang bị một hoặc hai đơn vị MQM9790-NS2F,cung cấp 64 cổng kết nối 400Gb/s với máy chủ GPU thông qua cáp đồng nối trực tiếp OSFP-OSFP hoặc cáp quang hoạt độngỞ lớp cột sống, các công tắc bổ sung MQM9790-NS2F kết nối các lá, tạo ra một vải cây mỡ không chặn với băng thông cắt ngang đầy đủ.

What makes this solution particularly compelling is the switch's native support for RDMA over Converged Ethernet (RoCE) when operating in InfiniBand mode—though here it leverages InfiniBand's native RDMA capabilities for even lower latency and CPU offload.MQM9790-NS2F 400Gb/s NDR 64-port OSFPtích hợp công nghệ SHARPv3 của NVIDIA (Scalable Hierarchical Aggregation and Reduction Protocol), điều này chuyển tải các hoạt động tập thể trực tiếp vào cấu trúc chuyển đổi.điều này có nghĩa là một hoạt động giảm tất cả mà bình thường sẽ đi qua mạng nhiều lần bây giờ được hoàn thành trong một lần đi qua, cắt giảm thời gian hoàn thành công việc lên đến 30% cho khối lượng công việc liên lạc chuyên sâu.

Đối với các kiến trúc sư mạng đánh giáMQM9790-NS2F Giải pháp chuyển đổi InfiniBand, quá trình triển khai được hợp lý hóa bởi Unified Fabric Manager (UFM) của NVIDIA.và giám sát tắc nghẽn chủ động khả năng quan trọng khi quản lý vải với hơn 2Những người sử dụng sớm đã báo cáo rằngMQM9790-NS2F tương thíchhệ sinh thái, bao gồm một loạt các cáp và máy thu nhận được chứng nhận NVIDIA, đơn giản hóa mua sắm và giảm rủi ro triển khai.

Kết quả & Lợi ích đo lường: Từ lý thuyết đến thực tế sản xuất

Trong một triển khai sản xuất gần đây cho một tập hợp 2.048 GPU dành riêng cho đào tạo mô hình biến áp quy mô lớn, nâng cấp từ HDR (200Gb / s) lên cơ sở hạ tầng NDR (400Gb / s)NVIDIA Mellanox MQM9790-NS2Ftại cốt lõi của nó, đã mang lại những cải tiến có thể đo lường trên nhiều khía cạnh:

• Giảm thời gian hoàn thành công việc:Các lần lặp lại đào tạo từ đầu đến cuối cho mô hình tham số 175B giảm 28%, phần lớn là do việc tháo tải SHARPv3 và giảm độ trễ đuôi.
• Sử dụng mạng:Mức sử dụng vải trung bình tăng từ 62% lên 89% mà không gây ra sự sụp đổ tắc nghẽn, nhờ vào các cơ chế điều khiển tắc nghẽn và định tuyến thích nghi tiên tiến của công tắc.
• Dễ dàng hoạt động:Với 64 cổng cho mỗi công tắc, số lượng công tắc cột sống cần thiết đã giảm một nửa so với thiết kế HDR 32 cổng, giảm đáng kể sự phức tạp của cáp và tiêu thụ điện cho mỗi giá đỡ.

TheoThông số kỹ thuật MQM9790-NS2F, bộ chuyển đổi cung cấp độ trễ cổng đến cổng dưới 100ns và hỗ trợ tối đa 51.2Tb / s tổng công suất chuyển mạch Ước tính phù hợp chặt chẽ với hiệu suất được quan sát trong triển khai này.Các kỹ sư mạng cũng lưu ý rằngMQM9790-NS2Fphản ánh chính xác hiệu suất thực tế, không có bất ngờ trong giai đoạn xác nhận.

Từ quan điểm TCO, khả năng củng cố nhiều điểm cuối hơn mỗi cấp chuyển đổi trực tiếp làm giảm chi phí vốn.Giá MQM9790-NS2Fđiểm cao hơn so với các giải pháp tương đương 200Gb / s, chi phí mạng mỗi GPU thực sự giảm do radix cao hơn và số lượng lớp chuyển đổi giảm.kết hợp với các lợi ích hiệu suất, đã làm rõ trường hợp kinh doanh cho ủy ban điều hành của phòng thí nghiệm.

Tóm lại & triển vọng: Quỹ NDR cho Exascale Computing

CácNVIDIA Mellanox MQM9790-NS2Flà nhiều hơn một nâng cấp từng bước, nó đại diện cho một sự thay đổi cơ bản trong cách thiết kế các cụm HPC và AI. Bằng cách cung cấp băng thông NDR 400Gb / s, mật độ 64 cổng,và gia tốc tính toán trong mạng trong một yếu tố hình dạng 1U duy nhất, nó cho phép các kiến trúc sư xây dựng các loại vải có quy mô đến hàng chục ngàn điểm cuối mà không phải hy sinh hiệu suất hoặc khả năng quản lý.

Nhìn về phía trước, khi khối lượng công việc tiếp tục yêu cầu băng thông cao hơn và độ trễ thấp hơn,MQM9790-NS2F InfiniBand switchsẽ phục vụ như là khối xây dựng nền tảng cho các hệ thống exascale thế hệ tiếp theo.Tính tương thích của nó với các nền tảng NVIDIA Quantum-2 hiện có và tích hợp liền mạch với UFM đảm bảo một con đường di chuyển mượt mà cho các tổ chức nâng cấp từ các loại vải HDRĐối với các nhà quản lý CNTT và kiến trúc sư đánh giá đầu tư mạng thế hệ tiếp theo của họ, MQM9790-NS2F cung cấp mộtGiải pháp sẵn sàng sản xuất cung cấp lời hứa tối ưu hóa kết nối RDMA độ trễ thấp.