NVIDIA Mellanox MCX653106A-HDAT hoạt động: đạt được sự đột phá về vận chuyển RDMA / RoCE và thông lượng máy chủ chậm

Trong các môi trường trung tâm dữ liệu hiện đại, bao gồm lưu trữ phân tán, giao dịch tần số cao và các cụm đào tạo AI, vẫn còn hai thách thức dai dẳng:Giảm độ trễ do mạng và tối đa hóa tốc độ truyền tải của máy chủ mà không làm tải CPUỨng dụng này sâu lặn kiểm tra cách một nhà cung cấp cơ sở hạ tầng đám mây hàng đầu giải quyết những vấn đề chính xác này bằng cách triển khaiNVIDIA Mellanox MCX653106A-HDATmáy chủ adapter trên các nút tính toán và lưu trữ của họ.

Bối cảnh & Thách thức

Cơ sở hạ tầng 25GbE hiện có của nhà cung cấp, dựa trên các bộ điều hợp Ethernet tiêu chuẩn với các ngăn xếp TCP / IP dựa trên phần mềm, đã cho thấy những hạn chế rõ ràng.Các khối lượng công việc lưu trữ sử dụng NVMe trên Fabrics đã trải qua các đợt trễ không thể đoán trước (thường vượt quá 50μs), trong khi các cụm cơ sở dữ liệu bị ảnh hưởng bởi việc sử dụng CPU cao lên đến 35% lõi được tiêu thụ bởi xử lý mạng một mình.Nhóm kỹ sư cần một giải pháp có thể cung cấp độ trễ dưới 10μs cho các giao dịch RDMA và hỗ trợ thông lượng 200GbE mà không cần phải sửa chữa kiến trúc hoàn chỉnh.

Sau khi đánh giá nhiều lựa chọn, họ chuyển sangMCX653106A-HDAT Ethernet adapter card, hứa hẹn RoCE (RDMA trên Converged Ethernet) không tải phần cứng và tích hợp liền mạch với cấu trúc xương sống dựa trên Cumulus Linux hiện có của họ.

Phương pháp giải pháp và triển khai

Việc triển khai tập trung vàoMCX653106A-HDAT ConnectX adapter thẻ mạng PCIeMỗi nút tính toán nhận được một bộ chuyển đổi, trong khi các nút lưu trữ được trang bị hai cho sự dư thừa.Các bước thực hiện chính bao gồm:

• Cho phép RoCEv2 với PFC (Kiểm soát dòng chảy ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng) để đảm bảo vận chuyển không mất mát
• Cấu hình SR-IOV để dành riêng các chức năng ảo cho khối lượng công việc cơ sở dữ liệu và lưu trữ ưu tiên cao
• Việc triển khai các thiết bị mới nhấtMCX653106A-HDAT tương thíchngăn xếp trình điều khiển (NVIDIA DOCA 2.5) trên các nút Ubuntu 22.04 LTS
• Thực hiện tăng tốc DPDK dựa trên phần cứng cho các đường xử lý gói

Dựa trênBảng dữ liệu MCX653106A-HDATvà xác nhận trước khi triển khai, nhóm dự đoán độ trễ phần cứng dưới 1μs và lên đến 215 triệu gói hàng mỗi giây (MPPS) cho các giao dịch gói nhỏ ∆metrics hướng dẫn lập kế hoạch công suất của họ.

Kết quả & Lợi ích có thể đo lường

Sau một thử nghiệm kéo dài bốn tuần trên 50 nút sản xuất, nhóm cơ sở hạ tầng đã ghi lại những cải tiến sau đây khi so sánhNVIDIA Mellanox MCX653106A-HDATchống lại các bộ chuyển đổi cũ của họ:

Ngoài số liệu thô, nhóm kỹ sư lưu ý rằngGiải pháp thẻ adapter MCX653106A-HDAT Ethernetloại bỏ các giải pháp điều chỉnh cần thiết trước đây như ngắt kết hợp ngắt và bộ đệm nhận quá lớn.Bộ chuyển đổi phần cứng cho VXLAN và Geneve cũng đơn giản hóa ngăn xếp mạng container của họ, giảm độ trễ pod-to-pod 40% trong môi trường Kubernetes.

Đối với các nhà quản lý CNTT đánh giá chi phí,Giá MCX653106A-HDATso sánh với các giải pháp 200GbE có thể so sánh cho thấy chi phí sở hữu tổng cộng thấp hơn 15-20% khi tính đến tiết kiệm lõi CPU và giảm sử dụng cổng chuyển mạch.MCX653106A-HDAT để báncác yêu cầu từ các nhóm lân cận, bao gồm HPC và phân tích thời gian thực đã được gửi cho chu kỳ mua hàng tiếp theo.

Tóm lại & triển vọng

Việc triển khai xác nhận rằngNVIDIA Mellanox MCX653106A-HDATkhông chỉ là một nâng cấp thông số kỹ thuật mà là một bước nhảy vọt chức năng cho môi trường nhạy cảm với độ trễ và thông lượng.,và kiến trúc GPUDirect sẵn sàng  Các tổ chức có thể đạt được độ trễ quy mô microsecond xác định trong khi phục hồi các chu kỳ CPU cho logic ứng dụng.

Khi đội ngũ cơ sở hạ tầng mở rộng việc triển khai lên 500+ nút,họ cũng đang khám phá mã hóa trực tuyến tích hợp của bộ chuyển đổi (IPsec / TLS) cho bảo mật đa người thuê và PTP (IEEE 1588v2) cho khối lượng công việc dịch vụ tài chínhĐối với các kỹ sư tìm kiếm các cấu hình được xác nhận,MCX653106A-HDAT thông số kỹ thuậtvà các thiết kế tham khảo có sẵn thông qua cổng phát triển DOCA của NVIDIA. trường hợp thực tế này làm rõ một điều:MCX653106A-HDAT ConnectX adapter thẻ mạng PCIecung cấp lời hứa về Ethernet độ trễ thấp, thông lượng cao cho các trung tâm dữ liệu thế hệ tiếp theo.

Để xem xét kỹ thuật sâu hơn, hãy tham khảo quan chứcBảng dữ liệu MCX653106A-HDAThoặc liên hệ với kiến trúc sư giải pháp NVIDIA khu vực của bạn.