Tài liệu Kỹ thuật Card Máy Chủ NVIDIA Mellanox MCX653106A-HDAT: Truyền tải Độ trễ Thấp RDMA/RoCE & Thông lượng Máy chủ

September 11, 2026

Tài liệu Kỹ thuật Card Máy Chủ NVIDIA Mellanox MCX653106A-HDAT: Truyền tải Độ trễ Thấp RDMA/RoCE & Thông lượng Máy chủ

Sách trắng kỹ thuật Bộ điều hợp máy chủ NVIDIA Mellanox MCX653106A-HDAT | Tối ưu hóa truyền tải độ trễ thấp RDMA/RoCE & Thông lượng máy chủ

1. Bối cảnh dự án & Phân tích yêu cầu

Các khối lượng công việc trung tâm dữ liệu hiện đại — bao gồm trí tuệ nhân tạo, tính toán hiệu năng cao (HPC), cơ sở dữ liệu phân tán và lưu trữ doanh nghiệp — đã làm thay đổi cơ bản các yêu cầu về mạng. Các ngăn xếp mạng truyền thống dựa trên TCP/IP, mặc dù phổ biến, nhưng lại gây ra độ trễ và chi phí CPU quá mức khi mở rộng quy mô. Các ứng dụng như NVMe qua Fabrics (NVMe-oF), đào tạo học máy phân tán và phân tích thời gian thực đòi hỏi độ trễ xác định, dưới 5 micro giây và di chuyển dữ liệu được tăng tốc bằng phần cứng để đạt được hiệu suất tối ưu.

Các kiến trúc sư mạng và trưởng bộ phận cơ sở hạ tầng ngày càng áp dụng RDMA qua Ethernet hội tụ (RoCE) làm phương thức truyền tải được lựa chọn cho các khối lượng công việc quan trọng về hiệu suất này. Tuy nhiên, việc triển khai RoCE thành công phụ thuộc vào khả năng của bộ điều hợp cơ bản trong việc giảm tải xử lý truyền tải, quản lý tắc nghẽn hiệu quả và tích hợp liền mạch với các mạng Ethernet hiện có mà không yêu cầu nâng cấp toàn bộ. Các yêu cầu chính được xác định trên các môi trường doanh nghiệp, đám mây và HPC bao gồm:

  • Độ trễ RDMA đầu cuối dưới 3 micro giây cho các ứng dụng nhạy cảm với độ trễ như giao dịch tần suất cao và cơ sở dữ liệu trong bộ nhớ
  • Thông lượng tổng hợp vượt quá 100 Gb/s mỗi máy chủ để hỗ trợ các nút lưu trữ mật độ cao và các cụm tính toán tăng tốc GPU
  • Giảm tải phần cứng cho GPUDirect để loại bỏ các bản sao bộ nhớ phía máy chủ trong các khối lượng công việc AI và HPC
  • Truyền tải Ethernet không mất mát với PFC và ECN cho hiệu suất xác định, không bị giật
  • Việc đo lường toàn diện và đường dẫn dữ liệu có thể lập trình để hiển thị hoạt động chủ động và khắc phục sự cố

NVIDIA Mellanox MCX653106A-HDAT trực tiếp đáp ứng các yêu cầu này thông qua kiến trúc ConnectX tiên tiến của nó, cung cấp RoCEv2 được tăng tốc bằng phần cứng, quản lý tắc nghẽn nâng cao và một khuôn khổ lập trình toàn diện phù hợp với các môi trường doanh nghiệp và đám mây đòi hỏi khắt khe nhất.

2. Thiết kế kiến trúc mạng & hệ thống tổng thể

Kiến trúc giải pháp được đề xuất sử dụng cấu trúc liên kết lá-xương sống với kết nối 25/50/100GbE ở lớp truy cập máy chủ. Mỗi nút tính toán, lưu trữ hoặc tăng tốc GPU được trang bị Bộ điều hợp mạng PCIe MCX653106A-HDAT ConnectX, cung cấp kết nối dự phòng với các switch đầu giá (ToR). Kiến trúc bao gồm bốn lớp riêng biệt:

  • Cạnh tính toán/lưu trữ: Card mạng Ethernet MCX653106A-HDAT kết nối qua PCIe Gen 4.0 x16 với máy chủ, cung cấp băng thông máy chủ hai chiều lên tới 256 GB/s — đủ để bão hòa hoàn toàn các cổng 100GbE kép trong khi vẫn duy trì khoảng trống cho lưu lượng truy cập đột biến và nâng cấp tốc độ trong tương lai.
  • Mạng lưới: Cổng kép hỗ trợ phương tiện linh hoạt (SFP28 cho 25GbE, QSFP cho 50/100GbE) với cân bằng tải chủ động-chủ động và giảm tải LAG phần cứng. Bộ điều hợp hỗ trợ thông lượng tổng hợp lên tới 200 Gb/s với chuyển đổi dự phòng dựa trên phần cứng.
  • Lớp truyền tải RDMA: RoCEv2 được tăng tốc bằng phần cứng với việc giảm tải hoàn toàn việc phân đoạn, tái lắp ráp, kiểm soát tắc nghẽn và xử lý hoàn thành. Bộ điều hợp hỗ trợ tới 200 triệu tin nhắn mỗi giây (Mpps) với độ trễ dưới micro giây.
  • Quản lý & Đo lường: Quản lý ngoài băng với hỗ trợ Redfish và SNMP đầy đủ, bổ sung bằng đo lường trong băng để giám sát mạng theo thời gian thực và tối ưu hóa hiệu suất.

Thiết kế nhấn mạnh một mạng Ethernet hội tụ, không mất mát, nơi NVIDIA Mellanox MCX653106A-HDAT đóng vai trò là điểm cuối RDMA, cho phép truyền trực tiếp từ bộ nhớ này sang bộ nhớ khác mà không cần sự can thiệp của CPU máy chủ. Kiến trúc hoàn toàn Tương thích MCX653106A-HDAT với cơ sở hạ tầng chuyển mạch Ethernet hiện có, chỉ yêu cầu hỗ trợ PFC và ECN — các tính năng thường có trong các switch trung tâm dữ liệu hiện đại từ tất cả các nhà cung cấp lớn.

3. Vai trò & Tính năng chính của NVIDIA Mellanox MCX653106A-HDAT

MCX653106A-HDAT đóng vai trò trung tâm trong kiến trúc, cung cấp bốn lớp giá trị riêng biệt cùng nhau cho phép mạng có độ trễ thấp, thông lượng cao:

A. Công cụ RDMA được tăng tốc bằng phần cứng
Bộ điều hợp tích hợp một đường ống xử lý gói tin có thể lập trình hoàn toàn, giảm tải các hoạt động truyền tải RoCEv2 — bao gồm phân đoạn, tái lắp ráp, kiểm soát tắc nghẽn và xử lý hoàn thành — hoàn toàn khỏi CPU máy chủ. Theo Datasheet MCX653106A-HDAT, phần cứng hỗ trợ hiệu suất tốc độ dây trên tất cả các kích thước gói tin, với tốc độ tin nhắn tối đa là 200 Mpps và độ trễ đầu cuối dưới micro giây.

B. Giảm tải GPUDirect & NVMe-oF
Một yếu tố khác biệt chính của MCX653106A-HDAT là hỗ trợ tích hợp cho GPUDirect, cho phép di chuyển dữ liệu trực tiếp giữa bộ nhớ GPU và giao diện mạng mà không cần sao chép phía máy chủ — loại bỏ một nút thắt cổ chai quan trọng trong đào tạo AI phân tán. Đối với các khối lượng công việc lưu trữ, bộ điều hợp giảm tải các hoạt động NVMe-oF, biến Ethernet tiêu chuẩn thành một mạng lưu trữ hiệu năng cao với các đặc điểm độ trễ trước đây chỉ có thể đạt được với InfiniBand chuyên dụng.

C. QoS nâng cao & Quản lý tắc nghẽn
Bộ điều hợp cung cấp ưu tiên theo lớp lưu lượng với hỗ trợ hàng đợi ưu tiên nghiêm ngặt, hàng đợi công bằng có trọng số và giới hạn tốc độ. Các tính năng quản lý tắc nghẽn bao gồm đánh dấu ECN dựa trên phần cứng, tạo PFC và khả năng định tuyến thích ứng — tất cả đều có thể cấu hình thông qua Thông số kỹ thuật MCX653106A-HDAT.

D. Bảo mật & Khả năng lập trình
Bộ điều hợp bao gồm gốc tin cậy phần cứng, khởi động an toàn, cập nhật firmware được mã hóa và các giao diện quản lý an toàn. Đường dẫn dữ liệu có thể lập trình của nó hỗ trợ xử lý khớp-hành động linh hoạt, cho phép giảm tải tùy chỉnh và thu thập đo lường mạng trong băng (INT) để hiển thị hoạt động nâng cao.

4. Khuyến nghị triển khai & khả năng mở rộng

Cấu trúc triển khai điển hình

Việc triển khai được đề xuất tuân theo cấu trúc "xương sống-lá" với cấu hình sau:

  • Switch lá: Switch ToR 25/50/100GbE với hỗ trợ RoCEv2, được cấu hình với PFC trên các hàng đợi ưu tiên chuyên dụng (thường là một hoặc hai ưu tiên) và ECN để báo hiệu tắc nghẽn. Khuyến nghị sử dụng khung jumbo (MTU 9000) để có hiệu suất RoCE tối ưu.
  • Nút máy chủ: Mỗi nút được trang bị MCX653106A-HDAT, được kết nối qua dual homing với các switch lá chính và phụ để dự phòng. Giao diện PCIe Gen 4.0 x16 của bộ điều hợp đảm bảo không có nút thắt cổ chai phía máy chủ.
  • Lớp xương sống: Switch 100/400GbE cung cấp kết nối giữa các rack không bị chặn với dung lượng bộ đệm đủ để hấp thụ các đợt bùng nổ nhỏ trên nhiều rack.
  • Tích hợp lưu trữ/tính toán: Đối với các triển khai NVMe-oF, các nút đích sử dụng cùng loại bộ điều hợp để có khả năng RDMA nhất quán. Đối với các cụm AI, hỗ trợ GPUDirect của bộ điều hợp được tận dụng để đồng bộ hóa gradient trên các GPU.

Cân nhắc về khả năng mở rộng

  • Miền tắc nghẽn: Phân vùng mạng thành nhiều vùng quản lý tắc nghẽn (ví dụ: mỗi rack hoặc mỗi cụm) để hạn chế sự lan truyền của PFC. Giới hạn tốc độ trên mỗi cổng của bộ điều hợp giúp cô lập các láng giềng gây nhiễu và duy trì phân bổ băng thông công bằng.
  • Tích hợp điều phối: Bộ điều hợp được hỗ trợ đầy đủ bởi Kubernetes (thông qua trình điều khiển mạng NVIDIA) và OpenStack, cho phép cung cấp tự động và quản lý vòng đời trong môi trường quy mô đám mây.
  • Bảo vệ tương lai: MCX653106A-HDAT hỗ trợ tốc độ 100GbE trở lên, cung cấp khoảng trống cho các nâng cấp mạng trong tương lai mà không cần thay thế bộ điều hợp. Giao diện PCIe Gen 4.0 của nó cũng đảm bảo khả năng tương thích với các nền tảng máy chủ thế hệ tiếp theo.

Đối với các tổ chức đang đánh giá Giá MCX653106A-HDAT, tổng chi phí sở hữu nên bao gồm khoản tiết kiệm từ việc loại bỏ các mạng lưu trữ riêng biệt, giảm phân bổ lõi CPU (thường thu hồi 4-6 lõi mỗi máy chủ) và hiệu quả hoạt động từ quản lý mạng hợp nhất.

5. Vận hành, giám sát, khắc phục sự cố & Tối ưu hóa

Khung giám sát

Giải pháp kết hợp phương pháp quan sát đa cấp:

  • Đo lường cấp bộ điều hợp: MCX653106A-HDAT hiển thị hàng trăm bộ đếm phần cứng thông qua ethtool, sysfs và các công cụ quản lý của NVIDIA. Các chỉ số chính bao gồm thông lượng trên mỗi cổng, khung tạm dừng PFC, gói tin được đánh dấu ECN, sự kiện tắc nghẽn RoCEv2, thống kê hàng đợi hoàn thành RDMA và biểu đồ độ trễ theo luồng.
  • Khả năng hiển thị cấp mạng: Tích hợp với nền tảng quản lý hợp nhất của NVIDIA cung cấp trực quan hóa cấu trúc liên kết, phân tích đường dẫn luồng và phát hiện bất thường trên toàn bộ mạng.
  • Tương quan ứng dụng: Bộ điều hợp cung cấp thống kê hàng đợi và hàng đợi hoàn thành RDMA trên mỗi hàng đợi, cho phép tương quan chính xác hiệu suất mạng với độ trễ giao dịch ở cấp ứng dụng.

Các tình huống khắc phục sự cố phổ biến

Dựa trên kinh nghiệm vận hành với NVIDIA Mellanox MCX653106A-HDAT, các mẫu chẩn đoán sau đây được xác định:

  • Phát hiện bão PFC: Giám sát bộ đếm khung tạm dừng PFC theo ưu tiên — tạm dừng liên tục >5% tốc độ đường truyền cho thấy tắc nghẽn hoặc cấu hình sai. Điều tra nguồn bằng cách sử dụng bộ đếm sử dụng bộ đệm trên mỗi hàng đợi của bộ điều hợp.
  • Gói tin RoCEv2 bị bỏ: Kiểm tra bộ đếm gói tin bị bỏ của bộ điều hợp (rx_discard, tx_discard) và tương quan với các gói tin được đánh dấu ECN để phân biệt giữa các gói tin bị bỏ ở cấp bộ điều hợp và điều tiết ở cấp mạng.
  • Tinh chỉnh hiệu suất: Điều chỉnh các tham số hợp nhất ngắt để cân bằng độ trễ so với mức sử dụng CPU — thường đặt hợp nhất vừa phải cho các khối lượng công việc lưu trữ và hợp nhất tối thiểu cho các ứng dụng giao dịch. Datasheet MCX653106A-HDAT cung cấp hướng dẫn chi tiết về tất cả các tham số có thể điều chỉnh.

Hướng dẫn tối ưu hóa

Để đạt được thông lượng tối đa và độ trễ tối thiểu với Giải pháp bộ điều hợp Ethernet MCX653106A-HDAT, các tối ưu hóa sau đây được khuyến nghị:

  • Bật CRC phần cứng, giảm tải tiêu đề/phân tách dữ liệu và mở rộng quy mô nhận (RSS) để phân phối lưu lượng hiệu quả trên nhiều lõi CPU
  • Cấu hình ngưỡng PFC theo ưu tiên động bằng các công cụ cấu hình bộ đệm dành riêng cho nhà cung cấp của bộ điều hợp, dựa trên hồ sơ khối lượng công việc đã quan sát
  • Bật các tính năng QoS nâng cao của bộ điều hợp, bao gồm giới hạn tốc độ theo lớp lưu lượng và hàng đợi ưu tiên nghiêm ngặt hoặc hàng đợi công bằng có trọng số
  • Đối với các triển khai quy mô lớn, tận dụng hỗ trợ của bộ điều hợp cho 802.1Qaz DCBX để tự động hóa đàm phán PFC và ECN với các switch
  • Sử dụng đường dẫn dữ liệu có thể lập trình của bộ điều hợp để triển khai thu thập đo lường tùy chỉnh hoặc giảm tải xử lý gói tin chuyên dụng phù hợp với yêu cầu ứng dụng cụ thể

6. Tóm tắt & Đánh giá giá trị

Giải pháp kỹ thuật tập trung vào MCX653106A-HDAT từ NVIDIA Mellanox mang lại một con đường rõ ràng để đạt được độ trễ RDMA dưới 3 micro giây và thông lượng tổng hợp vượt quá 100 Gb/s mỗi máy chủ. Card mạng Ethernet MCX653106A-HDAT đóng vai trò là khối xây dựng nền tảng cho các mạng trung tâm dữ liệu hiện đại, hội tụ, hỗ trợ đồng thời các khối lượng công việc đào tạo AI, HPC, lưu trữ doanh nghiệp và phân tích thời gian thực.

Các đề xuất giá trị chính bao gồm:

  • Hợp nhất cơ sở hạ tầng: Loại bỏ nhu cầu về mạng lưu trữ và tính toán riêng biệt bằng cách cho phép Ethernet không mất mát cho tất cả các loại lưu lượng, giảm cả chi phí vốn và chi phí hoạt động
  • Dẫn đầu về hiệu suất: RoCEv2 được giảm tải bằng phần cứng với GPUDirect đảm bảo độ trễ xác định, dưới micro giây ngay cả dưới mức sử dụng 90%+ tốc độ đường truyền — rất quan trọng đối với đào tạo AI, phân tích thời gian thực và giao dịch tần suất cao
  • Hiệu quả hoạt động: Đo lường toàn diện, quản lý tắc nghẽn tự phục hồi và tích hợp điều phối tự động giảm thời gian trung bình để giải quyết (MTTR) và chi phí hoạt động
  • Bảo vệ đầu tư: Giao diện PCIe Gen 4.0 của bộ điều hợp, khả năng lập trình và hỗ trợ cổng đa tốc độ đảm bảo khả năng tương thích với các thế hệ CPU trong tương lai và các mạng tốc độ cao hơn

Đối với các tổ chức đang tích cực đánh giá MCX653106A-HDAT để bán, giải pháp này cung cấp một kiến trúc tham chiếu đã được chứng minh, được xác thực trong môi trường sản xuất trên các dịch vụ tài chính, nhà cung cấp đám mây, chăm sóc sức khỏe và các tổ chức nghiên cứu. Sự kết hợp giữa hiệu suất, khả năng mở rộng và sự trưởng thành trong hoạt động làm cho NVIDIA Mellanox MCX653106A-HDAT trở thành một khoản đầu tư chiến lược cho bất kỳ tổ chức nào cam kết xây dựng cơ sở hạ tầng trung tâm dữ liệu hiệu năng cao, sẵn sàng cho tương lai.