Dự án giải pháp kỹ thuật: Mellanox (NVIDIA) MCX631102AN-ADAT Server Adapter cho truyền RDMA / RoCE chậm

Kiến trúc trung tâm dữ liệu hiện đại đang chịu áp lực liên tục để mang lại hiệu suất cao hơn trong khi vẫn duy trì hiệu quả hoạt động. Sự tăng trưởng theo cấp số nhân của các khối lượng công việc chuyên sâu về dữ liệu — từ phân tích thời gian thực và đào tạo AI đến lưu trữ phân tán và giao dịch tài chính — đã bộc lộ những hạn chế của cơ sở hạ tầng mạng truyền thống. Nút thắt cổ chai chính nằm ở ngăn xếp mạng TCP/IP thông thường, tiêu tốn đáng kể tài nguyên CPU, gây ra độ trễ khó lường và giới hạn thông lượng tổng thể của hệ thống.

Các kiến trúc sư doanh nghiệp đối mặt với một thách thức quan trọng: làm thế nào để mở rộng quy mô hiệu suất mạng mà không làm tăng chi phí và độ phức tạp tương ứng. Giải pháp đòi hỏi một sự thay đổi cơ bản từ mạng tập trung vào CPU sang các mô hình giao tiếp tập trung vào dữ liệu, tăng tốc bằng phần cứng. Tài liệu kỹ thuật này trình bày một giải pháp toàn diện được xây dựng xung quanh Mellanox (NVIDIA) MCX631102AN-ADAT, giải quyết các yêu cầu cốt lõi về truyền tải độ trễ thấp và tăng cường thông lượng máy chủ thông qua công nghệ RDMA/RoCE.

Kiến trúc được đề xuất áp dụng cấu trúc liên kết lá-xương sống (leaf-spine) được tối ưu hóa cho kết nối 25GbE với hỗ trợ RDMA/RoCE. Cốt lõi của thiết kế này là nguyên tắc loại bỏ chi phí CPU liên quan đến mạng trong khi vẫn duy trì tích hợp liền mạch với các khoản đầu tư cơ sở hạ tầng hiện có.

• Lớp Lá (Leaf Layer): Các switch đầu rack được cấu hình với PFC (Kiểm soát luồng ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng) để hỗ trợ lưu lượng RoCE v2 không mất mát
• Lớp Xương sống (Spine Layer): Các switch dung lượng cao cung cấp kết nối mọi-tới-mọi không chặn với các uplink 100GbE
• Lớp Máy chủ (Server Layer): Các nút tính toán và lưu trữ được trang bị card mạng NVIDIA Mellanox MCX631102AN-ADAT ConnectX-6 Lx hai cổng 25GbE SFP28
• Mạng Lưu trữ (Storage Network): Vải (fabric) chuyên dụng hỗ trợ RoCE để truy cập NVMe-oF vào các mảng lưu trữ all-flash

Kiến trúc hỗ trợ nhiều miền khối lượng công việc — bao gồm môi trường ảo hóa, bare-metal và container — thông qua phân đoạn lưu lượng thông minh và các chính sách QoS. Mỗi máy chủ tận dụng khả năng hai cổng của MCX631102AN-ADAT cho cấu hình cân bằng tải chủ động-chủ động hoặc dự phòng chủ động-thụ động.

Card mạng Ethernet MCX631102AN-ADAT đóng vai trò là giao diện quan trọng giữa tài nguyên máy chủ và vải mạng. Card mạng tiên tiến này, được xây dựng trên kiến trúc ConnectX-6 Lx, mang lại nhiều khả năng chuyển đổi:

• Tải RDMA/RoCE dựa trên phần cứng: Card mạng thực hiện tải RoCE v2 đầy đủ trên phần cứng, cho phép truyền dữ liệu trực tiếp từ bộ nhớ này sang bộ nhớ khác mà không cần sự tham gia của CPU. Điều này giảm độ trễ xuống còn vài micro giây trong khi giải phóng các lõi CPU cho xử lý ứng dụng.
• Tối ưu hóa PCIe thông minh: Với giao diện máy chủ PCIe 3.0/4.0 x8, thông số kỹ thuật của MCX631102AN-ADAT cho thấy hỗ trợ thông lượng hai chiều lên đến 50Gb/s, loại bỏ các nút thắt cổ chai PCIe trong các máy chủ hiệu suất cao.
• Hỗ trợ ảo hóa nâng cao: Card mạng cung cấp SR-IOV dựa trên phần cứng với tối đa 512 chức năng ảo, đảm bảo hiệu suất dự đoán được cho môi trường đa người thuê.
• Tăng tốc lưu trữ: Hỗ trợ gốc cho NVMe-oF và iSER cho phép các mẫu truy cập lưu trữ hiệu quả, cần thiết cho cơ sở hạ tầng siêu hội tụ hiện đại.

Cấu hình hai cổng 25GbE SFP28 mang lại sự linh hoạt trong triển khai — các cổng có thể được cấu hình cho các mạng riêng biệt (ví dụ: một cho lưu trữ, một cho tính toán) hoặc tổng hợp để tăng băng thông và khả năng dự phòng.

Việc triển khai thành công giải pháp MCX631102AN-ADAT ConnectX-6 Lx hai cổng 25GbE SFP28 đòi hỏi kế hoạch cẩn thận trên các lớp mạng, máy chủ và ứng dụng. Cách tiếp cận theo giai đoạn sau đây được khuyến nghị:

Đối với các triển khai đa địa điểm, hãy xem xét triển khai RoCE qua mạng L3 bằng cách sử dụng các tính năng nâng cao như QoS dựa trên DSCP và truyền thông báo tắc nghẽn. Giải pháp card mạng Ethernet MCX631102AN-ADAT bao gồm hỗ trợ toàn diện cho các khả năng này.

Duy trì hiệu suất tối ưu đòi hỏi khả năng hiển thị các mẫu lưu lượng RDMA/RoCE và tình trạng card mạng. Các phương pháp sau đây đảm bảo hoạt động đáng tin cậy:

• Giám sát hiệu suất: Sử dụng các Công cụ Mellanox của NVIDIA (mlxtool, ethtool) và các tiện ích Linux tiêu chuẩn để giám sát thống kê cổng, bộ đếm RDMA và lỗi PCIe. Các chỉ số chính bao gồm các gói RoCE bị giảm do tắc nghẽn, khung tạm dừng PFC và các gói được đánh dấu ECN.
• Quản lý Firmware và Driver: Cập nhật thường xuyên đảm bảo quyền truy cập vào các tính năng mới nhất và sửa lỗi. MCX631102AN-ADAT bán qua các kênh được ủy quyền bao gồm quyền truy cập vào kho phần mềm doanh nghiệp của NVIDIA.
• Quản lý tắc nghẽn: Triển khai tinh chỉnh ngưỡng động cho bộ đệm PFC dựa trên các mẫu khối lượng công việc. Đối với các ứng dụng nhạy cảm với độ trễ, hãy cấu hình các nhóm ưu tiên riêng biệt cho lưu lượng RDMA và TCP truyền thống.
• Khung khắc phục sự cố: Phát triển một phương pháp có hệ thống cho các sự cố phổ biến:
  • Sự cố liên kết: Xác minh các mô-đun SFP28, chất lượng cáp và tốc độ đàm phán
  • Kết nối RoCE: Xác thực tính đối xứng cấu hình PFC trên tất cả các switch
  • Suy giảm hiệu suất: Kiểm tra tình trạng cạn kiệt bộ đệm hoặc tắc nghẽn incast

Thông số kỹ thuật toàn diện của MCX631102AN-ADAT bao gồm các khả năng chẩn đoán mở rộng thông qua các bộ đếm phần cứng và thanh ghi gỡ lỗi có thể truy cập thông qua các giao diện quản lý tiêu chuẩn.

Card máy chủ Mellanox (NVIDIA) MCX631102AN-ADAT đại diện cho một khối xây dựng cơ bản cho kiến trúc trung tâm dữ liệu thế hệ tiếp theo. Bằng cách cho phép giao tiếp dựa trên RDMA/RoCE ở mật độ 25GbE, giải pháp này mang lại:

• Giảm 80-90% chi phí CPU liên quan đến mạng, cho phép hợp nhất máy chủ và giảm chi phí cấp phép
• Độ trễ dưới 10 micro giây cho giao tiếp giữa các máy chủ, cho phép các lớp ứng dụng phân tán mới
• Khả năng mở rộng thông lượng tuyến tính theo kích thước cụm, loại bỏ các nút thắt cổ chai mạng truyền thống
• Đầu tư bền vững trong tương lai với khả năng tương thích trên nhiều thế hệ cơ sở hạ tầng máy chủ và lưu trữ

Các tổ chức đang xem xét triển khai có thể nhận thông tin giá MCX631102AN-ADAT chi tiết và tư vấn kỹ thuật từ các đối tác NVIDIA Mellanox được ủy quyền. Kiến trúc đã được chứng minh của giải pháp và hỗ trợ hệ sinh thái rộng lớn làm cho nó trở thành lựa chọn ưu tiên cho các doanh nghiệp chuyển đổi sang các mô hình điện toán tập trung vào dữ liệu.