Bộ điều hợp máy chủ NVIDIA Mellanox MCX653105A-HDAT đang hoạt động: Máy chủ và vận chuyển có độ trễ thấp RDMA/RoCE

Trong các trung tâm dữ liệu hiện đại, lưu trữ phân tán, máy tính hiệu suất cao (HPC) và các cụm đào tạo AI phải đối mặt với một nút chai chung: mạng.TCP / IP truyền thống đống giới thiệu độ trễ đáng kể và CPU overhead, làm tê liệt hiệu suất ứng dụng ở quy mô. Nghiên cứu trường hợp này kiểm tra cách một nhà cung cấp đám mây cỡ trung bình giải quyết những thách thức chính xác này bằng cách triển khai các ứng dụngNVIDIA Mellanox MCX653105A-HDATBộ chuyển đổi máy chủ để cho phép vận chuyển chậm dựa trên RDMA / RoCE và tăng đáng kể thông lượng máy chủ.

Bối cảnh & Thách thức: Khi mỗi vi giây đều quan trọng

Cơ sở hạ tầng 25GbE hiện có của nhà cung cấp, chạy tiêu chuẩn TCP / IP, đã phải vật lộn để hỗ trợ phần mềm lưu trữ NVMe-over-Fabrics mới của họ.Việc sử dụng CPU trên các nút lưu trữ thường xuyên vượt quá 70% chỉ từ xử lý mạng, và thời gian trễ giữa các nút dao động khoảng 50μs không thể chấp nhận được đối với khối lượng công việc cơ sở dữ liệu nhạy cảm với thời gian trễ.Sự tắc nghẽn mạng gây ra sự gia tăng độ trễ đuôi ảnh hưởng đến SLA ứng dụngHọ cần một giải pháp có thể giảm tải trên mạng, cung cấp độ trễ dưới microsecond và duy trì hiệu suất nhất quán dưới tải.

Giải pháp và triển khai: giới thiệu thẻ mạng PCIe MCX653105A-HDAT ConnectX Adapter

Sau khi đánh giá một số lựa chọn, nhóm đã chọnMCX653105A-HDAT Ethernet adapter cardcho khả năng cổng kép 100GbE và hỗ trợ gốc cho RoCE (RDMA qua Converged Ethernet).NVIDIA Mellanox MCX653105A-HDATđược triển khai trên 120 nút lưu trữ và tính toán, với cấu hình sau:

• RoCE được kích hoạtvới ECN (Thông báo tắc nghẽn rõ ràng) và DCQCN để kiểm soát tắc nghẽn
• NVMe-oF mục tiêu thả tảiđến phần cứng, bỏ qua CPU máy chủ để lưu trữ I / O
• Phân vùngvào các luồng ưu tiên không mất mát cho lưu lượng lưu trữ
• Giám sát từ xasử dụng bộ đếm hiệu suất tích hợp của bộ điều hợp

TheoBảng dữ liệu MCX653105A-HDAT, thẻ hỗ trợ cả giao thức InfiniBand và Ethernet, nhưng nhóm đã chọn RoCEv2 để tích hợp liền mạch với các công tắc Ethernet hiện có của họ.tất cả các mô hình máy chủ chính làMCX653105A-HDAT tương thích, chỉ yêu cầu khe cắm PCIe tiêu chuẩn và firmware cập nhật. Việc triển khai được hoàn thành trong hai cuối tuần với không thời gian ngừng hoạt động, sử dụng các tính năng di chuyển trực tiếp của bộ điều hợp.

Kết quả & Lợi ích: Lợi ích hiệu suất có thể đo lường

Tác động ngay lập tức và đáng kể. Bảng sau tóm tắt các số liệu chính trước và sau khi triển khaiGiải pháp thẻ adapter MCX653105A-HDAT Ethernet:

Ngoài những con số này, nhóm đã ghi nhận các lợi ích hoạt động bổ sung.MCX653105A-HDAT thông số kỹ thuậtbao gồm theo dõi kết nối dựa trên phần cứng và ASAP2 dòng chảy offload, làm giảm East-West giao thông jitter và cho phép mở rộng trơn tru hơn.Giá MCX653105A-HDATđã được biện minh trong vòng sáu tháng bởi chi phí cấp phép lõi CPU giảm và mật độ lưu trữ cao hơn cho mỗi nút.MCX653105A-HDAT để bánthông qua các kênh tiêu chuẩn, làm cho hiệu suất này có thể tiếp cận được với các tổ chức ở mọi quy mô.

Tóm lại & triển vọng: Một nền tảng cho cơ sở hạ tầng thế hệ tiếp theo

Trường hợp này chứng minh rằngMCX653105A-HDAT ConnectX adapter thẻ mạng PCIekhông chỉ là một NIC nhanh hơn ¢ nó là một nền tảng cho máy tính trung tâm dữ liệu thực sự.NVIDIA Mellanox MCX653105A-HDATbiến đổi cách các máy chủ giao tiếp, loại bỏ các giao thức cũ và mở ra toàn bộ tiềm năng của lưu trữ NVMe và các mô bộ nhớ phân tán.

Nhìn về phía trước, nhà cung cấp dự định mở rộng triển khai của họ để bao gồm GPUDirect RDMA cho khối lượng công việc đào tạo AI,cũng như khám phá các tính năng lập trình của bộ chuyển đổi để xử lý gói tùy chỉnhĐối với các kiến trúc sư CNTT và kỹ sư mạng phải đối mặt với những thách thức mở rộng tương tự,MCX653105A-HDAT Ethernet adapter cardcung cấp một con đường đã được chứng minh, sẵn sàng cho tương lai để kết nối mạng trung tâm dữ liệu có độ trễ thấp và công suất cao.