Card máy chủ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT hoạt động: Vận chuyển độ trễ thấp RDMA/RoCE và Máy chủ

Card máy chủ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT hoạt động: Vận chuyển độ trễ thấp RDMA/RoCE và Tối ưu hóa thông lượng máy chủ

Bối cảnh & Thách thức: Nút thắt mạng trong Lưu trữ phân tán và Huấn luyện AI

Trong môi trường sản xuất thực tế tại một nhà cung cấp dịch vụ đám mây quy mô vừa, danh mục kinh doanh cốt lõi bao gồm lưu trữ khối phân tán (Ceph) và các nền tảng huấn luyện mô hình AI dựa trên GPU. Khi khối lượng dữ liệu khách hàng tăng trưởng với tốc độ hàng năm hơn 200%, kiến trúc mạng TCP/IP 10GbE cũ dần bộc lộ hai điểm yếu chí mạng. Thứ nhất, độ trễ đồng bộ hóa dữ liệu giữa các nút lưu trữ lên tới 2,5ms, ngăn cản nhóm lưu trữ NVMe phát huy hết tiềm năng hiệu suất của nó. Thứ hai, trong quá trình đồng bộ hóa gradient trong các cụm huấn luyện GPU, thông lượng mạng chỉ đạt được 60% băng thông lý thuyết, với một phần đáng kể tài nguyên CPU bị tiêu thụ bởi ngăn xếp giao thức mạng, làm suy giảm nghiêm trọng hiệu quả lặp huấn luyện. Nhóm kiến trúc khẩn cấp cần một giải pháp giao diện mạng có khả năng giảm độ trễ truyền tải và cải thiện đáng kể thông lượng máy chủ hiệu quả.

Giải pháp & Triển khai: Nâng cấp RoCE với MCX631102AN-ADAT ConnectX-6 Lx

Sau khi đánh giá nhiều phương án thay thế, nhóm đã chọn Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT làm khối xây dựng nền tảng cho sáng kiến ​​hiện đại hóa mạng của họ. Card mạng Ethernet MCX631102AN-ADAT đã được triển khai trên 120 nút lưu trữ và 64 nút tính toán GPU, thay thế các card 10GbE hiện có. Mỗi máy chủ được trang bị cấu hình cổng kép 25GbE SFP28, với một cổng kết nối với mạng RoCE sản xuất và cổng thứ hai dành riêng cho lưu lượng quản lý và sao lưu. Việc triển khai tận dụng hỗ trợ RoCE v2 gốc của card MCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28, loại bỏ nhu cầu về các thiết bị cổng hoặc lớp dịch giao thức bổ sung.

Việc triển khai tuân theo phương pháp tiếp cận theo từng giai đoạn. Trong giai đoạn một, nhóm đã triển khai giải pháp card mạng MCX631102AN-ADAT trên các nút lưu trữ, cho phép NVMe qua Fabrics (NVMe-oF) với vận chuyển RoCE. Điều này ngay lập tức loại bỏ chi phí chồng chéo của ngăn xếp TCP/IP trên các đường dẫn I/O lưu trữ. Trong giai đoạn hai, các nút tính toán GPU đã được nâng cấp, với khả năng GPUDirect Storage của card cho phép bộ nhớ GPU giao tiếp trực tiếp với lưu trữ NVMe từ xa qua mạng RoCE — hoàn toàn bỏ qua sự tham gia của CPU. Toàn bộ việc triển khai đã hoàn thành trong vòng hai tuần, với cơ sở hạ tầng chuyển mạch 25GbE hiện có được giữ nguyên, chứng tỏ tính tương thích MCX631102AN-ADAT tương thích với thiết bị mạng trung tâm dữ liệu tiêu chuẩn.

Kết quả đo lường & Tăng hiệu suất

Những cải thiện về hiệu suất sau khi triển khai NVIDIA Mellanox MCX631102AN-ADAT là rất đáng kể và có thể đo lường ngay lập tức trên nhiều khía cạnh. Bảng sau đây tóm tắt các chỉ số chính trước và sau khi quan sát trong môi trường sản xuất:

Ngoài các chỉ số định lượng, nhóm còn quan sát thấy những cải thiện định tính về sự ổn định hoạt động. Cơ chế kiểm soát tắc nghẽn dựa trên phần cứng trên MCX631102AN-ADAT đã loại bỏ các đợt giảm thông lượng định kỳ trước đây được quan sát thấy trong các sự kiện lưu lượng bùng nổ, cung cấp hiệu suất dự đoán được cho các tác vụ huấn luyện nhạy cảm với độ trễ. Theo thông số kỹ thuật MCX631102AN-ADAT, công cụ điều hướng tiên tiến và khả năng RDMA của card đảm bảo rằng ngay cả với 128 kết nối NVMe-oF đồng thời trên mỗi cổng, hiệu suất tốc độ đường truyền vẫn được duy trì nhất quán.

Từ góc độ tổng chi phí, nhóm kiến trúc đã tính toán rằng giá MCX631102AN-ADAT trên mỗi gigabit thông lượng hiệu quả thấp hơn đáng kể so với việc nâng cấp lên các giải pháp thay thế 40GbE hoặc 100GbE. Khả năng tái sử dụng cáp SFP28 và cơ sở hạ tầng chuyển mạch hiện có đã giảm thêm chi phí vốn, làm cho việc đánh giá MCX631102AN-ADAT để bán trở thành một trường hợp kinh doanh hấp dẫn đối với ban lãnh đạo của nhà cung cấp.

Tóm tắt & Triển vọng: Xây dựng nền tảng mạng sẵn sàng cho tương lai

Việc triển khai sản xuất Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT cho thấy một con đường rõ ràng phía trước cho các tổ chức đang tìm cách mở khóa toàn bộ tiềm năng của cơ sở hạ tầng phân tán của họ. Bằng cách kết hợp vận chuyển độ trễ thấp RDMA/RoCE với các tải phần cứng được tăng tốc, card này loại bỏ hiệu quả mạng như một nút thắt hiệu suất — cho dù đó là cho huấn luyện AI, lưu trữ được định nghĩa bằng phần mềm hay xử lý giao dịch tần suất cao. Kinh nghiệm của nhóm xác nhận rằng card mạng Ethernet MCX631102AN-ADAT mang lại không chỉ những cải thiện về điểm chuẩn, mà còn những lợi ích năng suất hữu hình: thời gian hoàn thành tác vụ huấn luyện GPU giảm trung bình 34%, và các SLA về thời gian phản hồi của cụm lưu trữ luôn được đáp ứng ngay cả trong thời gian tải cao điểm.

Nhìn về phía trước, nhà cung cấp có kế hoạch mở rộng việc triển khai MCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28 sang các vùng khả dụng bổ sung, với các đánh giá ban đầu đã được tiến hành để tích hợp card với DPU BlueField của NVIDIA nhằm tăng khả năng lập trình mạng. Đối với các nhóm kỹ thuật đang đánh giá các bản nâng cấp tương tự, tờ dữ liệu MCX631102AN-ADAT chi tiết cung cấp hướng dẫn toàn diện về ma trận tương thích, các tham số điều chỉnh hiệu suất và kiến trúc tham chiếu. Trường hợp này củng cố một xu hướng rõ ràng của ngành: các card 25GbE thông minh, tải phần cứng như MCX631102AN-ADAT đang nhanh chóng trở thành tiêu chuẩn mới cho các thiết kế trung tâm dữ liệu chú trọng hiệu suất.