Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter Sách trắng kỹ thuật

Tài liệu kỹ thuật này được thiết kế cho các kiến trúc sư mạng, kỹ sư tiền bán hàng và quản lý vận hành. Nó tập trung vào Card mạng máy chủ Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT và minh họa cách xây dựng mạng trung tâm dữ liệu có độ trễ thấp, thông lượng cao bằng công nghệ RDMA/RoCE. Tài liệu bao gồm thiết kế kiến trúc, các tính năng kỹ thuật chính, chiến lược triển khai và mở rộng, cũng như vận hành và giám sát — cung cấp hướng dẫn có thể hành động cho việc triển khai thực tế.

Các trung tâm dữ liệu hiện đại đối mặt với ba thách thức cốt lõi: CPU trở thành nút thắt cổ chai mạng, độ trễ truy cập lưu trữ quá mức và chi phí giao tiếp không kiểm soát được cho các ứng dụng phân tán. Ngăn xếp giao thức TCP/IP truyền thống tiêu tốn hơn 30% tài nguyên CPU cho việc xử lý giao thức và sao chép dữ liệu trong quá trình giao tiếp song song quy mô lớn, làm giảm đáng kể thông lượng máy chủ hiệu quả. Trong khi đó, các ứng dụng như NVMe over Fabrics, các framework học máy phân tán (ví dụ: NCCL) và cơ sở dữ liệu trong bộ nhớ đòi hỏi độ trễ đầu cuối dưới 20 micro giây. Điều cấp thiết cần là một giải pháp bỏ qua kernel và cung cấp khả năng offload truyền tải ở cấp phần cứng — đây chính xác là vấn đề mà MCX623106AN-CDAT kết hợp với công nghệ RoCE giải quyết.

Giải pháp này áp dụng cấu trúc liên kết Spine-Leaf hai lớp. Tất cả các nút tính toán và lưu trữ đều được trang bị card mạng Ethernet NVIDIA Mellanox MCX623106AN-CDAT. Các switch Leaf được cấu hình cho hoạt động RoCE không mất mát, cho phép PFC (Kiểm soát luồng ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng), với một hàng đợi ưu tiên dành riêng cho lưu lượng RoCE. Các nguyên tắc thiết kế chính bao gồm:

• Phân tách mặt phẳng điều khiển và mặt phẳng dữ liệu: Luồng dữ liệu RoCE được xử lý hoàn toàn bằng phần cứng trên card mạng, trong khi các giao thức điều khiển (ví dụ: ARP, DHCP) vẫn đi theo đường truyền truyền thống.
• Mạng hợp nhất: Ethernet mang cả lưu lượng TCP/IP tiêu chuẩn và RoCE, với sự cô lập QoS đạt được thông qua đánh dấu DSCP.
• Quản lý tắc nghẽn đầu cuối: Dựa trên thuật toán DCQCN, thiết lập cơ chế phản hồi vòng kín giữa các card mạng nguồn và các switch.

Card mạng Ethernet MCX623106AN-CDAT đóng vai trò quan trọng trong mỗi nút máy chủ. Thiết kế cổng kép 100GbE của nó có thể kết nối với các switch Leaf khác nhau để dự phòng hoặc cung cấp sự cô lập vật lý giữa lưu lượng lưu trữ và tính toán.

Là thành phần mặt phẳng dữ liệu cốt lõi của giải pháp này, Card mạng PCIe ConnectX MCX623106AN-CDAT mang lại các khả năng quyết định sau:

• Công cụ offload RoCE phần cứng: Xử lý lớp truyền tải (phân đoạn, tái lắp ráp, xác nhận, truyền lại) mà không cần sự can thiệp của CPU máy chủ.
• Offload ConnectX động: Tự động phân phối lưu lượng đa hàng đợi, cải thiện thông lượng trên các máy chủ đa lõi.
• Giao diện máy chủ PCIe 4.0 x16: Băng thông lý thuyết 256Gb/s, đảm bảo không có nút thắt cổ chai cho việc chuyển tiếp tốc độ đường truyền.
• Offload lưu trữ nâng cao: Hỗ trợ tăng tốc phần cứng cho NVMe over Fabrics, bao gồm tra cứu namespace và kiểm tra tính toàn vẹn dữ liệu.

Theo datasheet MCX623106AN-CDAT và thông số kỹ thuật MCX623106AN-CDAT công khai, card mạng này đạt độ trễ từ cổng đến cổng dưới 600 nano giây và hỗ trợ tốc độ xử lý gói lên tới 200 triệu gói mỗi giây. Đối với các nhóm đánh giá chi phí, giá MCX623106AN-CDAT có tính cạnh tranh cao trong số các card mạng RoCE 100GbE tương đương, và MCX623106AN-CDAT để bán có sẵn thông qua các kênh phân phối tiêu chuẩn. Trước khi lựa chọn, nên xác nhận rằng các mẫu máy chủ xuất hiện trong danh sách MCX623106AN-CDAT tương thích — các nền tảng OEM chính thống đều đã được xác thực.

Mô tả Cấu trúc liên kết Điển hình:
Một kiến trúc Clos bao gồm 2 switch Spine và 4 switch Leaf. Mỗi nút máy chủ được trang bị một MCX623106AN-CDAT, với cả hai cổng 100GbE kết nối với hai switch Leaf khác nhau. Các cổng uplink của Leaf kết nối với Spine với tỷ lệ quá tải 4:1. Một VLAN chuyên dụng được sử dụng cho lưu lượng RoCE.

Các Bước Triển khai:

• Bước 1: Lắp đặt vật lý MCX623106AN-CDAT vào khe cắm PCIe 4.0 x16, sau đó cài đặt firmware mới nhất và driver NVIDIA MLNX_OFED.
• Bước 2: Trên các switch, cấu hình PFC (ưu tiên 3 được khuyến nghị) và ECN (đặt Kmin/Kmax) cho lưu lượng RoCE.
• Bước 3: Trên hệ điều hành, bật chế độ RoCEv2 và cấu hình các tham số DCQCN (giá trị ban đầu: α=1, β=1, chu kỳ hẹn giờ 100μs).
• Bước 4: Sử dụng các công cụ ib_write_bw và ib_write_lat để xác minh hiệu suất cơ bản.

Khuyến nghị Mở rộng: Khi cụm vượt quá 500 nút, hãy xem xét bật tính năng kiểm soát luồng (PPC) và bảng ánh xạ QoS của card mạng, đồng thời xem xét sử dụng nhiều ưu tiên RoCE để tránh tắc nghẽn đầu hàng.

Các nhóm vận hành có thể sử dụng các công cụ sau để giám sát tình trạng của giải pháp card mạng Ethernet MCX623106AN-CDAT:

• mlxconfig / mlxfwmanager: Cấu hình các tham số firmware và quản lý nâng cấp firmware.
• ethtool -S: Xem các bộ đếm truyền/nhận RoCE và số lượng khung tạm dừng PFC.
• ibdiagnet: Thực hiện chẩn đoán mạng RoCE toàn diện để phát hiện các cơn bão PFC không cần thiết.
• Telemetry và HIST: Sử dụng các bảng phân phối độ trễ lịch sử tích hợp trên card mạng để xác định các bất thường về độ trễ đuôi.

Khắc phục sự cố phổ biến:

• Thông lượng thấp hơn mong đợi: Kiểm tra trạng thái đàm phán PCIe (nên là Gen4 x16) và đảm bảo MTU được đặt đồng nhất thành 9000 jumbo frames.
• Lỗi kết nối RoCE: Xác minh ánh xạ DSCP và cấu hình VLAN, đảm bảo switch không làm mất các gói được đánh dấu RoCE.
• Sử dụng CPU cao: Điều này có thể cho thấy offload phần cứng chưa được bật; kiểm tra cài đặt offload của ethtool.

Khuyến nghị Tối ưu hóa: Đối với các ứng dụng cực kỳ nhạy cảm với độ trễ (ví dụ: giao dịch tần suất cao, sao chép nhật ký RDMA), hãy xem xét thay đổi loại dịch vụ RoCE từ "connected" sang "datagram" và tắt kiểm soát tắc nghẽn.

Giải pháp RDMA/RoCE dựa trên MCX623106AN-CDAT giảm độ trễ đầu cuối cho các ứng dụng phân tán theo một bậc độ lớn (từ hàng trăm micro giây xuống hàng chục micro giây) mà không cần thay thế cơ sở hạ tầng Ethernet hiện có, đồng thời giải phóng 20-30% tài nguyên tính toán CPU. Đối với các kịch bản như đào tạo AI, lưu trữ siêu hội tụ và phân tích thời gian thực, điều này trực tiếp chuyển thành thời gian hoàn thành công việc ngắn hơn và mật độ máy chủ cao hơn. Là một giải pháp card mạng Ethernet MCX623106AN-CDAT hoàn chỉnh, nó chứng minh rằng "Ethernet không mất mát + smart NIC" là một con đường khả thi để đạt được cả thông lượng cao và độ trễ thấp. Để biết thêm chi tiết kỹ thuật hoặc để có được datasheet MCX623106AN-CDAT, vui lòng tham khảo tài liệu chính thức của NVIDIA hoặc liên hệ với nhóm kiến trúc giải pháp.