Hướng dẫn Giải pháp Kỹ thuật: NVIDIA Mellanox MCX623106AN-CDAT cho Tối ưu hóa Độ trễ thấp và Thông lượng RDMA/RoCE

March 11, 2026

Hướng dẫn Giải pháp Kỹ thuật: NVIDIA Mellanox MCX623106AN-CDAT cho Tối ưu hóa Độ trễ thấp và Thông lượng RDMA/RoCE

Kiến trúc trung tâm dữ liệu hiện đại luôn chịu áp lực liên tục phải cung cấp độ trễ thấp hơn và thông lượng cao hơn, đồng thời duy trì hiệu quả CPU cho các khối lượng công việc ứng dụng. Mạng TCP/IP truyền thống, với chi phí giao thức cố hữu, thường không đáp ứng được nhu cầu của tính toán hiệu năng cao (HPC), trí tuệ nhân tạo (AI) và dịch vụ tài chính. Tài liệu kỹ thuật này trình bày một giải pháp toàn diện được xây dựng xung quanh bộ điều hợp máy chủ MCX623106AN-CDAT, tập trung vào việc triển khai RDMA qua Ethernet hội tụ (RoCE) để giảm đáng kể độ trễ và tăng thông lượng máy chủ. Nhằm mục đích cho các kiến trúc sư mạng, kỹ sư tiền bán hàng và quản lý vận hành, tài liệu này phác thảo kiến trúc, chiến lược triển khai và các phương pháp hay nhất về vận hành để tận dụng công nghệ tiên tiến này.

1. Bối cảnh dự án & Phân tích yêu cầu

Thách thức chính mà giải pháp này giải quyết là "thuế dữ liệu" do các ngăn xếp mạng dựa trên nhân áp đặt. Trong các tình huống yêu cầu trao đổi dữ liệu tần số cao — chẳng hạn như lưu trữ phân tán, đào tạo học máy hoặc phân tích thời gian thực — chu kỳ CPU bị lãng phí vào việc xử lý gói tin, tính toán kiểm tra tổng và chuyển đổi ngữ cảnh. Các yêu cầu cốt lõi cho một cơ sở hạ tầng hiện đại hóa bao gồm:

  • Độ trễ cực thấp: Độ trễ ứng dụng đầu cuối phải được giảm thiểu, lý tưởng là trong phạm vi dưới 10 micro giây cho giao tiếp giữa các máy chủ.
  • Tải CPU: Mạng lưới phải xử lý việc di chuyển dữ liệu, giải phóng các lõi xử lý cho các tác vụ chuyên sâu về tính toán.
  • Khả năng mở rộng: Kiến trúc phải hỗ trợ một mạng lưới phẳng, băng thông cao có thể mở rộng từ hàng chục đến hàng nghìn nút mà không làm giảm hiệu suất.
  • Dựa trên tiêu chuẩn: Giải pháp nên tận dụng cơ sở hạ tầng Ethernet hiện có để bảo vệ đầu tư đồng thời giới thiệu các khả năng tiên tiến.

Bộ điều hợp NVIDIA Mellanox MCX623106AN-CDAT nổi lên như là thành phần nền tảng để đáp ứng các yêu cầu nghiêm ngặt này. Là một bộ điều hợp Ethernet MCX623106AN-CDAT hiệu năng cao, nó được thiết kế đặc biệt để cho phép RDMA qua mạng Ethernet tiêu chuẩn.

2. Thiết kế kiến trúc mạng tổng thể

Kiến trúc được đề xuất là một mạng lưới lá-xương sống được thiết kế cho môi trường RoCE không mất mát. Các nguyên tắc chính bao gồm một lõi không chặn với tỷ lệ quá tải đủ và kích hoạt Kiểm soát luồng ưu tiên (PFC) và Thông báo tắc nghẽn rõ ràng (ECN) trên tất cả các thiết bị mạng. Thiết kế tích hợp lưu lượng tính toán, lưu trữ và quản lý trên một mạng lưới Ethernet thống nhất, tốc độ cao.

Trái tim của thiết kế này là các nút máy chủ, mỗi nút được trang bị card mạng PCIe bộ điều hợp MCX623106AN-CDAT ConnectX. Bộ điều hợp này kết nối với các switch lá qua các liên kết 25GbE hoặc 100GbE, tùy thuộc vào mật độ khối lượng công việc. Lớp xương sống cung cấp kết nối toàn bộ lưới giữa các lá, đảm bảo các đường dẫn có độ trễ thấp từ mọi nơi đến mọi nơi. Các đích lưu trữ, chẳng hạn như mảng NVMe-oF, cũng được kết nối với cùng một mạng lưới bằng cách sử dụng các bộ điều hợp tương thích, cho phép truy cập bộ nhớ trực tiếp từ các nút tính toán.

3. Vai trò của NVIDIA Mellanox MCX623106AN-CDAT trong giải pháp

Bộ điều hợp MCX623106AN-CDAT không chỉ đơn thuần là một giao diện mạng; nó là một bộ xử lý dữ liệu (DPU) tiền thân tinh vi xử lý tất cả các khía cạnh của giao tiếp RDMA. Vai trò của nó là đa diện:

  • Công cụ RDMA/RoCE: Phần cứng bộ điều hợp triển khai giao thức RoCEv2, đóng gói các giao dịch RDMA qua UDP/IP. Điều này cho phép giao tiếp có thể định tuyến, độ trễ thấp mà không cần sự tham gia của CPU máy chủ.
  • Tải vận chuyển: Nó quản lý việc thiết lập kết nối, sắp xếp gói tin và vận chuyển đáng tin cậy, trình bày một giao diện bộ nhớ-đến-bộ nhớ đơn giản cho các ứng dụng.
  • Giao diện PCIe Gen4: Với giao diện máy chủ PCIe 4.0 băng thông cao, bộ điều hợp đảm bảo rằng dữ liệu mạng có thể được di chuyển đến và đi từ bộ nhớ hệ thống ở tốc độ đường truyền, ngăn chặn các nút thắt cổ chai nội bộ. Thông số kỹ thuật MCX623106AN-CDAT chi tiết xác nhận khả năng của nó để bão hòa hoàn toàn các liên kết tốc độ cao.

4. Khuyến nghị triển khai & Mở rộng

Việc triển khai thành công đòi hỏi cấu hình cẩn thận cả mạng lưới và các máy chủ đầu cuối. Các bước sau đây được khuyến nghị cho việc triển khai theo giai đoạn:

  • Chuẩn bị mạng lưới: Trước khi triển khai máy chủ, hãy cấu hình tất cả các switch trên đường đi cho RoCE không mất mát. Điều này bao gồm thiết lập PFC (802.1Qbb) cho lớp lưu lượng RoCE và kích hoạt ECN (802.1Qau) để quản lý tắc nghẽn.
  • Cài đặt trình điều khiển và firmware: Cài đặt trình điều khiển NVIDIA WinOF-2 hoặc MLNX_OFED mới nhất để đảm bảo hỗ trợ đầy đủ tính năng cho MCX623106AN-CDAT. Xác minh firmware khớp với phiên bản được chỉ định trong datasheet MCX623106AN-CDAT.
  • Cấu hình Chất lượng dịch vụ (QoS): Triển khai các chính sách QoS để ưu tiên lưu lượng RoCE (ví dụ: giá trị DSCP) và đảm bảo nó không cạnh tranh với lưu lượng TCP thông thường. Một cấu trúc liên kết điển hình bao gồm việc nhóm các nút lưu trữ và tính toán trong cùng một miền RoCE để có hiệu suất tối ưu.
  • Cân nhắc về khả năng mở rộng: Khi mạng lưới phát triển, hãy sử dụng các tính năng nâng cao của bộ điều hợp như "Định tuyến thích ứng RoCE" để duy trì độ trễ thấp trên nhiều đường dẫn. Đảm bảo rằng tất cả các nút mới đều tương thích với MCX623106AN-CDAT với cơ sở hạ tầng switch hiện có.

5. Giám sát vận hành, khắc phục sự cố và tối ưu hóa

Duy trì mạng lưới RDMA đòi hỏi các công cụ và phương pháp cụ thể. NVIDIA cung cấp một bộ công cụ toàn diện để quản lý và giám sát MCX623106AN-CDAT.

  • Công cụ giám sát: Sử dụng Mellanox NEO của NVIDIA hoặc các công cụ tiêu chuẩn như 'mlxlink' và 'mlxconfig' để kiểm tra tính toàn vẹn của liên kết, nhiệt độ và bộ đếm lỗi. Lấy mẫu SNMP có thể theo dõi các thống kê giao diện dành riêng cho lưu lượng RoCE.
  • Các chỉ số chính: Theo dõi các khung tạm dừng PFC, cho biết áp lực bộ đệm trong mạng lưới. Số lượng tạm dừng cao có thể dẫn đến tăng độ trễ và yêu cầu điều chỉnh kích thước bộ đệm hoặc ngưỡng ECN.
  • Cập nhật firmware và trình điều khiển: Thường xuyên kiểm tra các bản cập nhật cho firmware của bộ điều hợp. Các tối ưu hóa hiệu suất và các tính năng mới thường xuyên được thêm vào, nâng cao khả năng của giải pháp card mạng Ethernet MCX623106AN-CDAT.
  • Tinh chỉnh hiệu suất: Điều chỉnh các tham số như điều tiết ngắt và cài đặt gom nhóm để cân bằng độ trễ và mức sử dụng CPU dựa trên hồ sơ ứng dụng cụ thể.

6. Tóm tắt và Đánh giá giá trị

Giải pháp kỹ thuật tập trung vào NVIDIA Mellanox MCX623106AN-CDAT cung cấp một con đường rõ ràng và có thể hành động để đạt được giao tiếp độ trễ thấp dựa trên RDMA/RoCE và tăng thông lượng máy chủ đáng kể. Bằng cách giảm tải xử lý mạng cho phần cứng chuyên dụng và cho phép truy cập bộ nhớ trực tiếp, các tổ chức có thể mở khóa toàn bộ tiềm năng của ứng dụng của họ. Khi xem xét giá MCX623106AN-CDAT so với chu kỳ CPU được tiết kiệm và hiệu suất đạt được, lợi tức đầu tư là rất hấp dẫn. Đối với các doanh nghiệp đang tìm kiếm MCX623106AN-CDAT để bán hoặc lên kế hoạch triển khai mới, bộ điều hợp này nổi bật như một khối xây dựng quan trọng cho các trung tâm dữ liệu thế hệ tiếp theo, hiệu quả cao.