NVIDIA Mellanox MCX631432AN-ADAB Giải pháp kỹ thuật: RDMA / RoCE Low-Latency Transport & Server Throughput Elevation

Sách trắng kỹ thuật này dành cho các kiến trúc sư mạng, kỹ sư bán hàng trước và các lãnh đạo hoạt động.NVIDIA Mellanox MCX631432AN-ADABBộ chuyển đổi máy chủ cho phép vận chuyển độ trễ thấp dựa trên RDMA / RoCE và cải thiện đáng kể hiệu suất máy chủ trong môi trường trung tâm dữ liệu hiện đại.

Mạng TCP / IP thông thường áp dụng chi phí CPU đáng kể do xử lý giao thức, sao chép dữ liệu và xử lý gián đoạn.Khi mật độ máy chủ tăng và các ứng dụng như lưu trữ phân tán (Ceph, vSAN), cơ sở dữ liệu trong bộ nhớ (Redis, Aerospike), và khung đào tạo AI yêu cầu độ trễ một chữ số microsecond, các ngăn xếp mạng truyền thống trở thành những nút thắt không thể vượt qua.Các yêu cầu chính bao gồm:: độ trễ truy cập lưu trữ dưới 300μs, việc sử dụng CPU dưới 10% cho xử lý mạng, tốc độ thông lượng 25GbE mỗi cổng và tích hợp liền mạch với cơ sở hạ tầng chuyển đổi có khả năng RoCE hiện có.

Kiến trúc được đề xuất áp dụng một topology không chặn xương sống với hỗ trợ RoCE v2. Mỗi nút tính toán hoặc lưu trữ được trang bịNVIDIA Mellanox MCX631432AN-ADABBộ chuyển đổi lá chạy DCQCN (Thông báo tắc nghẽn định lượng trung tâm dữ liệu) để kiểm soát tắc nghẽn từ đầu đến cuối.Các máy điều khiển đòn bẩy PFC (Priority Flow Control) chỉ trên các hàng đợi ưu tiên mất mát, trong khi máy dữ liệu RDMA sử dụng RoCE v2 với định tuyến IP để vượt qua ranh giới lớp 3. Thiết kế này loại bỏ việc chặn đầu dòng và đảm bảo độ trễ xác định trên tối đa 2000 nút.

CácMCX631432AN-ADAB thẻ chuyển đổi Ethernetphục vụ như là điểm cuối quan trọng cho RDMA thả tải.MCX631432AN-ADAB ConnectX-6 Lx cổng kép 25GbE SFP28silicon tích hợp RoCE dựa trên phần cứng, khớp thẻ và lắp ráp gói ngoài thứ tự.Đối với các kiến trúc sư tham chiếuBảng dữ liệu MCX631432AN-ADAB, các loại tải trọng chính bao gồm:

• RoCE v2 phần cứng giảm tải:Di chuyển dữ liệu không sao chép, chậm hơn 600ns.
• FlexFlow điều khiển:Máy phân tích gói có thể lập trình để phân phối luồng hạt.
• Động cơ mã hóa trực tuyến:IPsec / TLS ở tốc độ dòng mà không có sự tham gia của CPU.
• Telemetry & ECN marking:Hiển thị tắc nghẽn thời gian thực thông qua các bộ đếm SPIFFY.

Khi đánh giáMCX631432AN-ADAB thông số kỹ thuật, lưu ý rằng thẻ hỗ trợ cả tốc độ 25GbE và 10GbE, cho phép di chuyển theo giai đoạn.MCX631432AN-ADAB tương thíchhệ sinh thái bao gồm tất cả các nhà cung cấp máy chủ lớn, đơn giản hóa trình độ.

Một cấu trúc hai cấp điển hình cho một cụm 500 nút: mỗi rack chứa 20 máy chủ, mỗi máy được trang bị mộtNVIDIA Mellanox MCX631432AN-ADAB(cả hai cổng đều hoạt động để tăng cường hoặc tổng hợp băng thông).Lớp cột sống sử dụng 100GbE uplinks để duy trì 4Đối với lưu trữ lưu lượng truy cập, dành riêng một cổng cho mỗi bộ chuyển đổi để lưu lượng Ceph backend với RoCE, dành cổng thứ hai cho khối lượng công việc đối mặt với máy tính.Tăng quy mô vượt quá 2000 nút đòi hỏi một thiết kế siêu cột sống ba cấp, với BGP-EVPN cho RoCE đường truyền.MCX631432AN-ADAB giải pháp card adapter Ethernethướng dẫn chi tiết về ma trận dây cáp và ngân sách năng lượng.

Sau khi triển khai, các nhóm hoạt động nên cho phép NVIDIAmlx5ctlvàethtoolđể thống kê cổng thời gian thực. Các số liệu chính để theo dõi: RoCEv2 truyền dừng (chỉ báo bão PFC), tỷ lệ gói được đánh dấu ECN và đọc nhiệt của bộ điều hợp. Để khắc phục sự cố độ trễ đuôi cao,xác nhận rằngCác thông số DCQCN(alpha, beta, và tỷ lệ giảm yếu tố) liên kết với các hồ sơ bộ đệm chuyển đổi.Bảng dữ liệu MCX631432AN-ADABđể giải thích các bộ đếm tiên tiến như "out_of_seq" và "retransmissions"./sys/class/infiniband/mlx5_*/ports/*/counter/Để lập kế hoạch chi phí, các nhóm mua sắm có thể cóGiá MCX631432AN-ADABước tính và kiểm traMCX631432AN-ADAB để bándanh sách thông qua các nhà phân phối được ủy quyền; giá khối lượng có sẵn cho 100 đơn vị đặt hàng.

CácMCX631432AN-ADABcung cấp một đề xuất giá trị hấp dẫn: độ trễ lưu trữ dưới 300μs, ít hơn 5% chi phí CPU cho lưu lượng truy cập tốc độ tuyến 25GbE và giảm tải RoCE v2 hoàn toàn mà không có thay đổi ứng dụng.Bằng cách thay thế các ngăn xếp TCP cũ bằng vận chuyển RDMA, các tổ chức có thể phục hồi tới 30% công suất lõi cho khối lượng công việc quan trọng đối với doanh nghiệp.kiến trúc ConnectX-6 Lx cung cấp các đường ống có thể lập trình vượt trội và độ sâu đo từ xaGiải pháp kỹ thuật này đã được xác nhận trong môi trường sản xuất bao gồm lưu trữ đám mây, mô phỏng HPC và phân tích thời gian thực.NVIDIA Mellanox MCX631432AN-ADABđại diện cho một nền tảng khả thi trong tương lai, hiệu quả về chi phí cho mạng máy chủ có độ trễ thấp và thông lượng cao.