Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter trong hành động: RDMA / RoCE-Driven Low-Latency Transport và Server

Trong môi trường sản xuất thế giới thực lưu trữ cơ sở dữ liệu phân tán, AI inference cluster, và lưu trữ siêu hội tụ,latency jitter và CPU overhead gây ra bởi TCP / IP đống truyền thống đã trở thành nút thắt khó khăn cho mở rộng quy môMột nhóm cơ sở hạ tầng Internet quy mô lớn gần đây đã hoàn thành một nâng cấp mạng toàn diện dựa trênMellanox (NVIDIA Mellanox) MCX623106AN-CDATBộ chuyển đổi máy chủ, tập trung vào việc xác nhận những lợi ích hữu hình của công nghệ RDMA / RoCE cho giao thông chậm và cải thiện hiệu suất máy chủ.Bài viết này giải thích chi tiết triển khai và kết quả chính từ trường hợp thực tế này.

Nhóm đã vận hành một cụm hàng ngàn máy chủ chạy lưu trữ phân tán (Ceph) và hệ thống khuyến nghị thời gian thực.mỗi nút lưu trữ phải xử lý hàng ngàn kết nối TCP đồng thời, tiêu thụ gần 30% tài nguyên CPU trên xử lý giao thức mạng, với độ trễ đọc / ghi từ đầu đến cuối thường vượt quá 200μs.thiếu khả năng thả tải phần cứng, liên tục không đạt được hiệu suất flash cục bộ dự kiến. Nhóm khẩn trương cần một giải pháp chuyển đổi máy chủ có khả năng hỗ trợ RoCEv2, cung cấp tải trọng vận chuyển cấp phần cứng,và đồng thời cung cấp cả thông lượng cao và độ trễ thấp.

Sau khi đánh giá, nhóm đã chọnMCX623106AN-CDATnhư là động cơ mạng cốt lõi. Bộ chuyển đổi này thuộc về gia đình ConnectX-6 Dx. Bằng cách đơn giản thay thế các bộ chuyển đổi 10GbE cũ bằngNVIDIA Mellanox MCX623106AN-CDATtrên mỗi nút và triển khai một cấu hình mạng RoCE không mất mát (DCQCN và PFC), nhóm đặt nền tảng.MCX623106AN-CDAT thẻ chuyển đổi EthernetTrong quá trình triển khai, các kỹ sư tham khảo cácBảng dữ liệu MCX623106AN-CDATcho hướng dẫn về khả năng PCIe 4.0 x16 và cổng kép 100GbE, đảm bảo ngân sách liên kết và tương thích nền.MCX623106AN-CDAT tương thíchkết nối với các công tắc Leaf-Spine hiện có, không yêu cầu thay thế thiết bị mạng cốt lõi.

Việc đánh giá hiệu suất sau khi nâng cấp đã mang lại kết quả đáng chú ý.MCX623106AN-CDAT ConnectX adapter thẻ mạng PCIechứng minh:

• Độ trễ trung bình từ đầu đến cuốigiảm từ 210μs xuống còn 18μs (NVMe trên các hoạt động đọc vải trên RoCEv2);
• Chi phí trên mạng CPUgiảm từ 28% xuống còn 4%, giải phóng các chu kỳ tính toán cho các ứng dụng kinh doanh;
• Công suất hiệu quả trên mỗi nútđạt 98,7 Gbps, chuyển tiếp gần tốc độ đường dây;
• Nhìn chung 4K ngẫu nhiên ghi IOPScủa nhóm Ceph đa nút tăng 3,2 lần.

Người đứng đầu nhóm ghi nhận: "Giải pháp thẻ adapter MCX623106AN-CDAT Ethernetmang lại khả năng RoCE tốc độ tuyến thực sự cho môi trường của chúng tôi. tải công việc hỗn hợp nhạy cảm với độ trễ mà trước đây không thể tưởng tượng được bây giờ có thể cùng tồn tại với các nhiệm vụ nền trên cùng một mặt hàng mạng." Hơn nữa, theo hồ sơ mua sắm,Giá MCX623106AN-CDATtrong trường hợp này giảm tổng chi phí sở hữu (TCO) 40% so với các bộ điều hợp máy gia tốc dựa trên FPGA, vàMCX623106AN-CDAT để bánthông qua các kênh tiêu chuẩn đã rút ngắn đáng kể thời gian dự án.Thông số kỹ thuật MCX623106AN-CDATxác nhận rằng bộ chuyển đổi cung cấp độ trễ dưới 600ns và hiệu suất tốc độ dây trên tất cả các kích thước gói, phù hợp hoàn hảo với yêu cầu của nhóm.

Thực tiễn áp dụng này cho thấy rõ rằngMCX623106AN-CDATkhông chỉ là một bộ chuyển đổi Ethernet hiệu suất cao mà còn là nền tảng để xây dựng các mạng trung tâm dữ liệu có độ trễ thấp và công suất cao.Kiến trúc giảm tải RoCE hoàn chỉnh và động cơ gia tốc phần cứng của nó giải quyết các thách thức cốt lõi của xử lý mạng liên kết với CPU và độ trễ ngăn xếp giao thứcĐối với bất kỳ tổ chức nào muốn mở khóa thông lượng máy chủ, giảm độ trễ truy cập lưu trữ và chuẩn bị cho khối lượng công việc AI và NVMe-oF,Mellanox (NVIDIA Mellanox) MCX623106AN-CDATcung cấp một con đường được chứng minh, sẵn sàng sản xuất.