Bộ điều hợp máy chủ NVIDIA Mellanox MCX623106AN-CDAT đang hoạt động

Một nhà cung cấp đám mây cỡ trung gần đây phải đối mặt với một thách thức quen thuộc: các NIC 25GbE cũ của họ không thể theo kịp sự phát triển bùng nổ của khối lượng công việc đào tạo AI phân tán và lưu trữ NVMe-oF. Mức sử dụng CPU thường vượt quá 70% trên các nút lưu trữ do chi phí ngăn xếp TCP/IP truyền thống, trong khi độ trễ cuối trong giờ cao điểm ảnh hưởng đến hiệu suất ứng dụng. Trường hợp thực tế này cho thấy cáchNVIDIA Mellanox MCX623106AN-CDATđã chuyển đổi cơ sở hạ tầng của họ thông qua RDMA và RoCE.

Cụm lưu trữ của nhà cung cấp bao gồm 50 nút Ceph, mỗi nút xử lý cả lưu lượng I/O máy khách và lưu lượng sao chép nội bộ. Với hơn 3.000 ổ NVMe trong phần phụ trợ, ba vấn đề trở nên nghiêm trọng: CPU cao bị gián đoạn khi xử lý mạng, độ trễ không nhất quán trong khối lượng công việc hỗn hợp và bão hòa băng thông đông-tây. Các bộ điều hợp cũ thiếu khả năng giảm tải phần cứng cho RoCE, buộc mọi gói phải đi qua ngăn xếp hạt nhân. Sau khi đánh giáThông số kỹ thuật MCX623106AN-CDATvàBảng dữ liệu MCX623106AN-CDAT, nhóm đã chọnMCX623106AN-CDAT Bộ điều hợp ConnectX Card mạng PCIeđể triển khai thí điểm.

Kiến trúc mới thay thế các bộ điều hợp cũ bằngNVIDIA Mellanox MCX623106AN-CDATtrong tám nút lưu trữ và bốn nút tính toán. cácThẻ bộ chuyển đổi Ethernet MCX623106AN-CDATcó cổng kép 100Gb/s, PCIe 4.0/5.0 và hỗ trợ RoCE gốc. Các bước triển khai chính bao gồm:

• Kích hoạt DCQCN (Thông báo tắc nghẽn lượng tử hóa trung tâm dữ liệu) để kiểm soát tắc nghẽn RoCE
• Phân vùng các miền PFC (Kiểm soát luồng ưu tiên) để cách ly lưu lượng lưu trữ và đào tạo AI
• Nâng cấp kết cấu lên cấu trúc liên kết lá gai Ethernet không mất dữ liệu (ngưỡng bộ đệm 25ms)
• Triển khai NVMe-oF với RDMA để truy cập bộ lưu trữ khối

Công cụ giảm tải ASAP² của bộ điều hợp đã xử lý hơn 90 triệu gói mỗi giây trên các nút lưu trữ, hoàn toàn bỏ qua CPU chủ để di chuyển dữ liệu. cácGiải pháp thẻ bộ điều hợp Ethernet MCX623106AN-CDATcũng cho phép mã hóa nội tuyến mà không bị phạt hiệu suất — một yêu cầu đối với người thuê dịch vụ tài chính của nhà cung cấp.

Sau ba tháng sử dụng sản xuất, nhà cung cấp đã ghi lại những cải tiến đáng kể:

cácThẻ bộ chuyển đổi Ethernet MCX623106AN-CDATcũng đã chứng minh đầy đủTương thích MCX623106AN-CDATvới các thiết bị chuyển mạch Cumulus Linux hiện có của nhà cung cấp và chương trình phụ trợ Ceph BlueStore. Không có xung đột trình điều khiển hoặc chương trình cơ sở nào xảy ra trong quá trình triển khai theo giai đoạn.

Việc triển khai này xác nhận rằngNVIDIA Mellanox MCX623106AN-CDATkhông chỉ là nâng cấp băng thông — về cơ bản nó còn thay đổi hiệu quả của máy chủ thông qua RDMA/RoCE. Bằng cách giảm tải quá trình xử lý mạng và kích hoạt Ethernet không mất dữ liệu, bộ điều hợp đã giảm độ trễ lưu trữ xuống 5 lần, đồng thời giải phóng lõi CPU cho khối lượng công việc ứng dụng. Đối với các nhà quản lý CNTT đánh giáGiá MCX623106AN-CDATvà ROI, nhà cung cấp đã đạt được mức hoàn vốn phần cứng trong vòng bảy tháng nhờ giảm số lượng máy chủ và giảm phí cấp phép.

Khi ngày càng có nhiều tổ chức áp dụng NVMe-oF, RDMA trực tiếp GPU và các dịch vụ vi mô, thìMCX623106AN-CDAT Bộ điều hợp ConnectX Card mạng PCIecung cấp một con đường đã được chứng minh đến các trung tâm dữ liệu có độ trễ thấp, thông lượng cao. Những người tìm kiếmCần bán MCX623106AN-CDATcó thể liên hệ với nhà phân phối NVIDIA Mellanox được ủy quyền. ĐầyThông số kỹ thuật MCX623106AN-CDATvà hướng dẫn triển khai có sẵn trong trang web chính thứcBảng dữ liệu MCX623106AN-CDAT.