NVIDIA Mellanox MCX653106A-HDAT Server Adapter trong hành động: RDMA / RoCE Low-Latency Transport & Server

Trong các môi trường trung tâm dữ liệu hiện đại—từ lưu trữ phân tán và giao dịch tần suất cao đến các cụm đào tạo AI quy mô lớn—các ngăn xếp giao thức TCP/IP truyền thống đã trở thành một nút thắt cổ chai lớn. Chi phí hoạt động của mạng hạt nhân, sao chép dữ liệu và chuyển đổi ngữ cảnh tiêu tốn tài nguyên CPU đáng kể đồng thời tạo ra độ trễ không thể đoán trước. Nghiên cứu điển hình này xem xét cách một nhà cung cấp cơ sở hạ tầng đám mây hàng đầu vượt qua những thách thức này bằng cách triển khaiNVIDIA Mellanox MCX653106A-HDATNIC máy chủ, đạt được những cải tiến đáng kể về cả độ trễ và thông lượng.

Cơ sở hạ tầng 25GbE hiện có của nhà cung cấp, chạy TCP tiêu chuẩn, đang gặp khó khăn trong việc theo kịp lưu lượng lưu trữ NVMe-oF và khối lượng công việc phân tích thời gian thực. Việc sử dụng CPU trên các nút lưu trữ thường xuyên vượt quá 70% chỉ để xử lý mạng, khiến không đủ khoảng trống cho logic ứng dụng. Độ trễ từ đầu đến cuối giữa các nút điện toán và lưu trữ dao động trong khoảng 50–150 micro giây, gây ra các đợt tăng đột biến về độ trễ cuối ảnh hưởng đến các thỏa thuận cấp dịch vụ. Nhóm kỹ thuật nhận ra rằng cần phải có sự thay đổi cơ bản trong kiến ​​trúc mạng—một sự thay đổi bỏ qua nhân và cho phép truy cập bộ nhớ trực tiếp giữa các điểm cuối.

Sau khi đánh giá nhiều phương án, nhóm đã chọnThẻ bộ chuyển đổi Ethernet MCX653106A-HDATlà nền tảng cho việc làm mới mạng của họ. Được xây dựng trên kiến ​​trúc ConnectX-6, điều nàyMCX653106A-HDAT ConnectX card mạng PCIecung cấp kết nối 100GbE cổng kép với sự hỗ trợ phần cứng riêng cho RoCE (RDMA qua Ethernet hội tụ). Việc triển khai tuân theo cách tiếp cận theo từng giai đoạn:

• Giai đoạn 1:Thay thế các NIC cũ trong các nút lưu trữ (10 nút chạy Ceph) bằng bộ điều hợp mới.
• Giai đoạn 2:Định cấu hình Ethernet không mất dữ liệu bằng DCB (Kiểm soát luồng ưu tiên và ETS) trên cả NIC và bộ chuyển mạch trên cùng.
• Giai đoạn 3:Di chuyển lưu lượng ứng dụng từ ổ cắm TCP sang động từ dựa trên RDMA và NVMe-oF qua RoCE.
• Giai đoạn 4:Mở rộng triển khai để tính toán các nút xử lý phân tích thời gian thực.

Các kỹ sư tư vấnBảng dữ liệu MCX653106A-HDATVàThông số kỹ thuật MCX653106A-HDATđã xác nhận khả năng tương thích hoàn toàn với cơ cấu chuyển đổi Mellanox hiện có và bản phân phối Linux đã triển khai (Ubuntu 22.04 với trình điều khiển MLNX_OFED). cácTương thích MCX653106A-HDAThệ sinh thái tỏ ra toàn diện, không yêu cầu thay đổi phần cứng nào ngoài việc thay thế NIC.

Thử nghiệm sau triển khai cho thấy những cải tiến đáng kể trên tất cả các số liệu chính. Bảng sau đây tóm tắt so sánh trước và sau:

Ngoài những lợi ích về mặt số lượng này, nhóm nghiên cứu còn quan sát thấy một số lợi ích về mặt định tính. cácGiải pháp thẻ bộ điều hợp Ethernet MCX653106A-HDATcho phép di chuyển dữ liệu không sao chép thực sự giữa bộ nhớ ứng dụng và bộ lưu trữ từ xa, loại bỏ các vấn đề cạn kiệt bộ đệm mà trước đây gây ra lỗi không liên tục trong các đợt lưu lượng truy cập. Đối với khối lượng công việc phân tích, việc di chuyển sang RDMA đã giảm 62% thời gian hoàn thành công việc, trực tiếp cải thiện kết quả kinh doanh. Khi đánh giá cácGiá MCX653106A-HDATso với tổng chi phí sở hữu, số lượng nút lưu trữ giảm 30% (do hiệu suất trên mỗi nút cao hơn) mang lại khả năng hoàn vốn trong vòng chín tháng. cácCần bán MCX653106A-HDATthông qua các đối tác của NVIDIA cũng bao gồm quyền truy cập vào khung DOCA, mở khóa khả năng lập trình trong tương lai cho các chức năng mạng tùy chỉnh.

Việc triển khaiNVIDIA Mellanox MCX653106A-HDATđã chuyển đổi cơ sở hạ tầng của nhà cung cấp từ môi trường TCP hạn chế thành kết cấu hiệu suất cao, độ trễ thấp có khả năng hỗ trợ khối lượng công việc hiện đại. Sự kết hợp giữa RoCE không tải phần cứng, giao diện PCIe 4.0 và hệ sinh thái phần mềm toàn diện giải quyết ba nhu cầu quan trọng của các trung tâm dữ liệu ngày nay: giảm độ trễ, tăng thông lượng và cải thiện hiệu suất CPU.

Đối với các kiến ​​trúc sư đánh giá các nâng cấp tương tự, hành trình bắt đầu bằng việc xác minhTương thích MCX653106A-HDATcác thành phần—bao gồm thiết bị chuyển mạch, cáp và hệ điều hành. Chi tiếtBảng dữ liệu MCX653106A-HDATcung cấp các thông số kỹ thuật về điện, nhiệt và cơ khí để lập kế hoạch tích hợp. Khi kết cấu 200GbE trở thành tiêu chuẩn và các cụm đào tạo AI yêu cầu độ trễ thấp hơn bao giờ hết, thìThẻ bộ chuyển đổi Ethernet MCX653106A-HDATsẵn sàng như một giải pháp đã được chứng minh và được tăng cường trong sản xuất. Nhà cung cấp hiện đang mở rộng việc triển khai để bao gồm RDMA trực tiếp GPU cho khối lượng công việc suy luận AI, xác nhận thêm bộ chuyển đổi này là nền tảng của kiến ​​trúc trung tâm dữ liệu hiện đại.