Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter hoạt động

Card máy chủ Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT hoạt động | Truyền tải độ trễ thấp RDMA/RoCE & Tối ưu hóa thông lượng máy chủ

Trong kịch bản triển khai kết hợp máy chủ trần linh hoạt và suy luận AI của một công ty Internet quy mô lớn, độ trễ mạng và chi phí CPU đã trở thành những rào cản nghiêm trọng đối với việc mở rộng khả năng sử dụng GPU và hiệu suất lưu trữ. Nhóm cơ sở hạ tầng cần một giải pháp có thể cung cấp độ trễ dưới micro giây cho các tác vụ đào tạo phân tán, đồng thời hỗ trợ lưu lượng lưu trữ NVMe-oF thông lượng cao — tất cả mà không cần nâng cấp tốn kém cơ sở hạ tầng cáp hiện có. Nghiên cứu điển hình này xem xét cách MCX623106AN-CDAT từ Mellanox (NVIDIA Mellanox) đã giải quyết những thách thức này và biến mạng lưới thành một bộ tăng tốc tính toán thực sự.

Bối cảnh & Thách thức: Khi card mạng 25G đạt giới hạn

Môi trường sản xuất bao gồm hơn 1.200 nút tính toán được chia thành hai vùng khả dụng, chạy hỗn hợp các dịch vụ suy luận trực tuyến, đào tạo AI ngoại tuyến và lưu trữ đối tượng phân tán. Các card mạng Ethernet 25G hiện có, mặc dù đủ cho kết nối cơ bản, đã gặp khó khăn dưới các khối lượng công việc đồng thời. Các điểm khó khăn chính bao gồm:

• Sử dụng CPU cao: Xử lý ngăn xếp TCP/IP dựa trên phần mềm tiêu tốn tới 35% lõi CPU trên các nút lưu trữ trong thời gian cao điểm I/O.
• Độ trễ không nhất quán: Độ trễ đuôi (p99) cho các hoạt động all-reduce phân tán thường vượt quá 50μs, gây ra tình trạng sử dụng GPU không đầy đủ trong quá trình đồng bộ hóa tham số.
• Nút thắt cổ chai lưu trữ: Lưu lượng NVMe-oF qua Ethernet bị mất gói tin, gây ra việc gửi lại làm giảm thông lượng hiệu quả gần 40%.

Sau khi đánh giá nhiều giải pháp thay thế — bao gồm InfiniBand độc quyền và các card mạng 25G cạnh tranh — nhóm đã chọn NVIDIA Mellanox MCX623106AN-CDAT vì sự kết hợp độc đáo giữa tăng tốc RoCEv2 dựa trên phần cứng, đường dẫn dữ liệu có thể lập trình và khả năng tương thích nền tảng rộng rãi.

Giải pháp & Phương pháp triển khai

Chiến lược triển khai tập trung vào ba trụ cột: kích hoạt RDMA/RoCE, kích hoạt offload thông minh, và di chuyển dần toàn bộ hệ thống. Mỗi nút tính toán nhận một card mạng Ethernet MCX623106AN-CDAT, thay thế các card mạng thế hệ trước mà không thay đổi cơ sở hạ tầng cáp đồng/sợi quang 25G hiện có.

Về mặt cấu hình, nhóm đã tận dụng tờ dữ liệu MCX623106AN-CDAT để tinh chỉnh các tham số sau:

• Thiết lập RoCEv2 PFC (Kiểm soát luồng ưu tiên): Các lớp lưu lượng không mất mát chuyên dụng đã được định nghĩa cho lưu trữ (NVMe-oF) và giao tiếp tập thể AI, trong khi lưu lượng tốt nhất vẫn nằm trên các hàng đợi bị mất gói tin riêng biệt.
• Kích hoạt offload phần cứng: VXLAN/NVGRE tunnel offload, checksum segmentation và LRO (Large Receive Offload) đã được kích hoạt để giảm sự can thiệp của CPU trên mỗi gói tin.
• Khả năng lập trình sẵn sàng cho DPU: Sử dụng ASAP², nhóm đã triển khai các quy tắc luồng nhẹ để điều hướng lưu lượng lưu trữ trực tiếp đến các điểm cuối đích NVMe-oF, bỏ qua ngăn xếp mạng kernel hoàn toàn.

Việc xác thực khả năng tương thích rất đơn giản — danh sách tương thích MCX623106AN-CDAT bao gồm tất cả các mẫu máy chủ trong hệ thống (Dell PowerEdge R750 và dòng Supermicro Ultra), và các nút Red Hat OpenShift và Ubuntu hiện có đã chấp nhận các trình điều khiển mới mà không gặp sự cố.

Kết quả & Lợi ích có thể đo lường

Sau ba tuần triển khai sản xuất trên 40% hệ thống tính toán, hiệu suất đã được cải thiện rõ rệt. Bảng sau đây tóm tắt các số liệu chính trước và sau:

Ngoài những cải thiện định lượng, nhóm kỹ thuật đã báo cáo một sự thay đổi định tính về sự ổn định hoạt động. Các cơ chế PFC và ECN (Thông báo tắc nghẽn rõ ràng) dựa trên phần cứng đảm bảo rằng lưu lượng lưu trữ gần như không bị mất gói tin, loại bỏ các cơn bão gửi lại liên tiếp đã ảnh hưởng đến SLA ứng dụng trước đây. Hơn nữa, card mạng PCIe adapter MCX623106AN-CDAT ConnectX xử lý mã hóa IPSec tốc độ đường truyền cho lưu lượng sao chép giữa các vùng, cho phép nhóm bảo mật thực thi các chính sách zero-trust mà không cần triển khai các thiết bị mã hóa chuyên dụng.

Tóm tắt & Quan điểm hướng tới tương lai

Việc triển khai này nhấn mạnh rằng giải pháp card mạng Ethernet MCX623106AN-CDAT không chỉ đơn thuần là một bản nâng cấp card mạng gia tăng — nó là một yếu tố chiến lược cho các kiến trúc trung tâm dữ liệu hiện đại. Bằng cách kết hợp RoCEv2 tăng tốc phần cứng, khả năng lập trình linh hoạt và các khả năng offload toàn diện, card mạng này biến đổi hiệu quả một mạng Ethernet tiêu chuẩn thành một lớp cơ sở hạ tầng có độ trễ thấp, hiệu quả cao. Tổ chức CNTT hiện đang lên kế hoạch mở rộng triển khai cho tất cả các nút còn lại và đang tích cực đánh giá thông số kỹ thuật MCX623106AN-CDAT cho các thiết kế Spine-Leaf 50G thế hệ tiếp theo.

Đối với các kiến trúc sư cơ sở hạ tầng và các nhà quản lý CNTT đối mặt với các giới hạn hiệu suất tương tự, MCX623106AN-CDAT mang đến một con đường hấp dẫn, đã được chứng minh. Như một kiến trúc sư cấp cao đã lưu ý: "Chúng tôi đạt được độ trễ tốt hơn so với card mạng 25G trước đây của chúng tôi với chi phí CPU bằng một nửa, và chúng tôi không phải đi lại dây cáp của bất kỳ giá đỡ nào." Với hệ sinh thái tương thích MCX623106AN-CDAT rộng lớn và định vị giá MCX623106AN-CDAT cạnh tranh, card mạng này có vị thế tốt để trở thành lựa chọn mặc định cho các triển khai 25G RoCE — bất kể khối lượng công việc là đào tạo AI, lưu trữ phân tán hay phân tích thời gian thực.