Thực hành ứng dụng: NVIDIA Mellanox MCX631102AN-ADAT – Vận chuyển độ trễ thấp RDMA/RoCE & Tăng cường thông lượng máy chủ

Trong lưu trữ phân tán, máy tính hiệu suất cao và các cụm đào tạo AI, độ trễ mạng và chi phí CPU đã trở thành những nút thắt chính hạn chế hiệu suất máy chủ.Một nhà cung cấp dịch vụ đám mây gần đây đã nâng cấp nền tảng lưu trữ NVMe-oF của mình bằng cách chọnNVIDIA Mellanox MCX631102AN-ADATBằng cách triển khai RDMA qua Converged Ethernet (RoCEv2), họ đạt được giao thông cuối đến cuối chậm và tăng hiệu suất máy chủ đáng kể.Nghiên cứu trường hợp này xem xét cách bộ điều hợp hoạt động trong môi trường sản xuất.

Bối cảnh & Thách thức: TCP/IP Protocol Stack Bottleneck

Cơ sở hạ tầng 25GbE hiện có của nhà cung cấp xử lý lưu lượng lưu trữ bằng cách sử dụng bộ phần mềm TCP / IP truyền thống.CPU sử dụng cho gói đóng gói và giải đóng gói vượt quá 40%, dẫn đến độ trễ lưu trữ trên 200μs và giảm đáng kể dung lượng tính toán trên các máy chủ ứng dụng.giảm nhiễu CPUSau khi đánh giá nhiều lựa chọn, họ đã chọnMCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28như là phần cứng cốt lõi cho việc cải tạo vải lưu trữ của họ.

Giải pháp & triển khai: RDMA / RoCEv2 với Hardware Offloads

Việc triển khai thay thế tất cả các máy chủ lưu trữ đối diện vớiMCX631102AN-ADAT thẻ chuyển đổi Ethernet, chạy trong chế độ không mất mát RoCEv2 (sử dụng ECN và PFC).

• Khả năng SR-IOV và dành riêng các chức năng ảo (VF) cho máy ảo lưu trữ, bỏ qua ngăn xếp mạng hypervisor
• Cấu hình NVMe trên Fabrics (NVMe-oF) với giao thông RDMA, loại bỏ hoàn toàn TCP overhead
• Mức ngưỡng đệm chuyển đổi điều chỉnh cho lưu lượng truy cập RoCE 25GbE không mất mát trên topology lá-lưng

CácMCX631102AN-ADAT thông số kỹ thuật- bao gồm dấu thời gian phần cứng, vận chuyển kết nối động (DCT) và động cơ nhận vectorized - được sử dụng đầy đủ để đảm bảo độ trễ dưới microsecond dự đoán ngay cả dưới tải tổng cộng 50Gbps.

Các lợi ích hoạt động được đo lường và lợi ích hoạt động

Sau khi di cư đếnNVIDIA Mellanox MCX631102AN-ADAT- dựa trên vải, các số liệu sau đây đã được ghi nhận:

Kỹ sư lưu ý rằngGiải pháp thẻ adapter MCX631102AN-ADAT Ethernetcung cấp độ trễ đuôi dự đoán phù hợp với cơ sở dữ liệu phân tích thời gian thực. Ngoài ra, các lõi CPU được giải phóng đã được phân bổ lại cho khối lượng công việc ứng dụng,tăng mật độ thuê chung khoảng 24% trên cùng một máy chủ vật lý.

Khả năng tương thích và tích hợp hệ sinh thái

Khi mở rộng triển khai, nhóm hoạt động xác minh rằng bộ chuyển đổi làMCX631102AN-ADAT tương thíchvới các công cụ chuyển đổi NVIDIA Spectrum hiện có của họ (profile RoCE không mất mát), cũng như các công cụ chuyển đổi ToR của bên thứ ba từ Arista và Cisco với cấu hình DCBX.Bảng dữ liệu MCX631102AN-ADATCác cuộc điều tra hàng loạt ban đầu đã xác nhận rằngGiá MCX631102AN-ADATvẫn cạnh tranh so với SmartNICs cùng loại, với nhiều nhà phân phối liệt kêMCX631102AN-ADAT để bántheo các thỏa thuận tiêu chuẩn về khối lượng.

Tóm lại & triển vọng

Trường hợp sản xuất cho thấy rõ ràng rằngMCX631102AN-ADATcho phép chuyển đổi cơ bản từ các mạng lưu trữ bị ràng buộc bởi TCP sang các vải tăng tốc bởi RDMA mà không cần phải sửa đổi cơ sở hạ tầng 100GbE hoàn toàn.MCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28thiết kế, các tổ chức có thể tăng gấp đôi hiệu quả thông lượng cho khối lượng công việc nhạy cảm với độ trễ trong khi phục hồi nguồn CPU đáng kể.Mô hình triển khai tương tự sẽ mở rộng đến các khung học máy phân tán (NCCL trên RoCE) và các ứng dụng trạng thái dựa trên microservicesĐối với các kiến trúc sư đánh giá nâng cấp 25GbE,NVIDIA Mellanox MCX631102AN-ADATlà một khối xây dựng đã được chứng minh, sản xuất cứng cho các mạng trung tâm dữ liệu hiệu suất cao, độ trễ thấp.