NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Sách trắng kỹ thuật

Tài liệu Kỹ thuật NVIDIA Mellanox MCX631432AN-ADAB | Tối ưu hóa Vận chuyển Độ trễ Thấp RDMA/RoCE & Thông lượng Máy chủ

1. Bối cảnh Dự án & Phân tích Yêu cầu

Kiến trúc trung tâm dữ liệu hiện đại ngày càng được định hình bởi sự hội tụ của điện toán hiệu năng cao, khối lượng công việc trí tuệ nhân tạo và các hệ thống lưu trữ phân tán. Các ứng dụng này chia sẻ một bộ yêu cầu mạng chung: độ trễ cực thấp, tốc độ tin nhắn cao và chi phí CPU tối thiểu cho việc di chuyển dữ liệu. Các ngăn xếp mạng truyền thống dựa trên TCP/IP, mặc dù phổ biến, nhưng lại tạo ra độ trễ đáng kể và chi phí xử lý CPU trở nên cấm kỵ ở quy mô lớn.

Đối với các tổ chức triển khai NVMe qua Fabrics (NVMe-oF), các cụm đào tạo học máy phân tán hoặc các nền tảng giao dịch tài chính nhạy cảm với độ trễ, card giao diện mạng (NIC) đã phát triển từ một thiết bị I/O đơn giản thành một bộ tăng tốc hiệu suất chiến lược. Các yêu cầu chính được xác định trong các triển khai hiện đại bao gồm:

• Độ trễ cấp ứng dụng dưới 5 micro giây thông qua vận chuyển được giảm tải phần cứng
• Thông lượng tổng hợp vượt quá 40 Gb/s mỗi máy chủ để loại bỏ các nút thắt cổ chai lưu trữ
• Hiệu suất xác định với độ lệch độ trễ đuôi tối thiểu dưới tải
• Tích hợp liền mạch với cơ sở hạ tầng Ethernet hiện có mà không cần chuyển mạch độc quyền
• Khả năng đo lường và chẩn đoán toàn diện cho hoạt động chủ động

NVIDIA Mellanox MCX631432AN-ADAB trực tiếp giải quyết các yêu cầu này thông qua kiến trúc ConnectX-6 Lx, cung cấp RoCEv2 (RDMA qua Ethernet hội tụ) được tăng tốc phần cứng với khả năng kiểm soát tắc nghẽn nâng cao và khả năng đường dẫn dữ liệu có thể lập trình.

2. Thiết kế Kiến trúc Mạng & Hệ thống Tổng thể

Kiến trúc giải pháp được đề xuất áp dụng cấu trúc liên kết mạng lá-xương sống với kết nối 25GbE ở lớp truy cập máy chủ. Mỗi nút tính toán hoặc lưu trữ được trang bị MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 adapter, cung cấp các đường dẫn dự phòng kép đến các switch đầu giá đỡ (ToR). Kiến trúc bao gồm:

• Cạnh Máy chủ: Card adapter Ethernet card adapter Ethernet MCX631432AN-ADAB kết nối qua PCIe Gen 4.0 x8 với CPU máy chủ, cung cấp băng thông máy chủ hai chiều lên đến 64 GB/s, hoàn toàn đủ để bão hòa cả hai cổng 25GbE đồng thời.
• Mạng Lưới: Cổng SFP28 25GbE kép cung cấp cân bằng tải chủ động-chủ động hoặc chuyển đổi dự phòng chủ động-thụ động. Adapter hỗ trợ thông lượng tổng hợp lên đến 50 Gb/s với khả năng giảm tải LAG (Link Aggregation) phần cứng.
• Tích hợp Lưu trữ: Đối với các triển khai NVMe-oF, adapter đóng vai trò là điểm cuối RDMA, cho phép truyền dữ liệu trực tiếp từ bộ nhớ sang bộ nhớ với độ trễ dưới micro giây.
• Mặt phẳng Quản lý: Quản lý ngoài băng thông qua giao diện quản lý an toàn của adapter, với hỗ trợ đầy đủ cho giám sát Redfish và SNMP.

Thiết kế nhấn mạnh Ethernet không mất mát thông qua RoCEv2 với Kiểm soát Luồng Ưu tiên (PFC) và Thông báo Tắc nghẽn Rõ ràng (ECN) — đảm bảo rằng giải pháp card adapter Ethernet MCX631432AN-ADAB hoạt động trong một mạng hội tụ, đa giao thức mà không cần cơ sở hạ tầng InfiniBand chuyên dụng.

3. Vai trò & Tính năng Chính của NVIDIA Mellanox MCX631432AN-ADAB

NVIDIA Mellanox MCX631432AN-ADAB đóng vai trò là khối xây dựng nền tảng của giải pháp này, cung cấp ba lớp giá trị riêng biệt:

A. Công cụ Tăng tốc Phần cứng
Adapter tích hợp một đường ống xử lý gói tin có khả năng lập trình cao, giảm tải các hoạt động giao thức vận chuyển — bao gồm phân đoạn, tái lắp ráp và kiểm soát tắc nghẽn RoCE — khỏi CPU máy chủ. Theo datasheet MCX631432AN-ADAB, phần cứng hỗ trợ lên đến 200 triệu tin nhắn mỗi giây (Mpps), đảm bảo rằng ngay cả các kích thước gói tin nhỏ nhất cũng đạt được hiệu suất tốc độ dây.

B. Triển khai RDMA và RoCEv2
MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 triển khai RoCEv2 với vận chuyển được giảm tải hoàn toàn bằng phần cứng. Điều này cho phép:

• Truyền dữ liệu không sao chép trực tiếp giữa các bộ đệm ứng dụng và bộ nhớ từ xa
• Độ trễ một chiều dưới 2 micro giây cho giao tiếp ngang hàng
• Khả năng tương thích hoàn toàn với các switch Ethernet tiêu chuẩn, chỉ yêu cầu hỗ trợ PFC và ECN

C. Đo lường & Khả năng Lập trình Nâng cao
Adapter bao gồm một bộ bộ đếm đo lường cung cấp độ trễ theo luồng, độ sâu hàng đợi và các chỉ số tắc nghẽn — rất quan trọng cho việc quản lý hiệu suất chủ động. thông số kỹ thuật MCX631432AN-ADAB chi tiết đầy đủ các tính năng có thể lập trình, bao gồm xử lý khớp-hành động linh hoạt và hỗ trợ đo lường mạng trong băng (INT).

Đối với các tổ chức đang xem xét triển khai, adapter hoàn toàn tương thích MCX631432AN-ADAB với tất cả các bản phân phối Linux chính (RHEL, Ubuntu, SLES), VMware ESXi và Windows Server, đảm bảo tích hợp liền mạch vào các môi trường không đồng nhất.

4. Khuyến nghị Triển khai & Khả năng Mở rộng

Cấu trúc Triển khai Điển hình

Việc triển khai được đề xuất tuân theo cấu trúc "xương sống-lá" với cấu hình sau:

• Switch Lá: Switch ToR 25GbE với hỗ trợ RoCEv2, được cấu hình với PFC trên các hàng đợi ưu tiên chuyên dụng và ECN để báo hiệu tắc nghẽn
• Nút Máy chủ: Mỗi nút được trang bị MCX631432AN-ADAB, kết nối với một lá chính và một lá phụ để dự phòng
• Lớp Xương sống: Switch xương sống 100GbE hoặc 400GbE cung cấp kết nối liên-giá đỡ không chặn
• Đích Lưu trữ: Nút đích NVMe-oF sử dụng cùng loại adapter để có khả năng RDMA nhất quán

Cân nhắc Khả năng Mở rộng

Giải pháp có thể mở rộng tuyến tính từ một giá đỡ đến hàng nghìn nút. Các nguyên tắc mở rộng chính bao gồm:

• Quản lý Bộ đệm: Sử dụng kiến trúc bộ đệm chia sẻ của adapter (có thể cấu hình lên đến 4 MB mỗi cổng) để hấp thụ các đợt bùng phát tạm thời mà không làm mất gói tin
• Miền Tắc nghẽn: Phân vùng mạng thành nhiều vùng quản lý tắc nghẽn để hạn chế sự lan truyền PFC, sử dụng giới hạn tốc độ mỗi cổng của adapter
• Điều phối Quy mô Đám mây: Adapter được hỗ trợ đầy đủ bởi Kubernetes (thông qua trình điều khiển mạng NVIDIA) và OpenStack, cho phép cung cấp tự động và quản lý vòng đời

Khi đánh giá giá MCX631432AN-ADAB so với tổng chi phí sở hữu, các tổ chức nên tính đến việc loại bỏ cơ sở hạ tầng InfiniBand riêng biệt và giảm đáng kể phân bổ lõi CPU cho các tác vụ mạng — thường thu hồi 2-4 lõi CPU mỗi máy chủ.

5. Vận hành, Giám sát, Khắc phục sự cố & Tối ưu hóa

Khung Giám sát

Giải pháp kết hợp phương pháp quan sát ba cấp:

• Đo lường Cấp Adapter: Card adapter Ethernet card adapter Ethernet MCX631432AN-ADAB hiển thị hơn 200 bộ đếm phần cứng thông qua ethtool, sysfs và các công cụ dành riêng cho nhà cung cấp. Các chỉ số chính bao gồm: thông lượng mỗi cổng, mất gói tin, khung tạm dừng PFC, gói tin được đánh dấu ECN và các sự kiện tắc nghẽn RoCEv2
• Khả năng hiển thị Cấp Mạng Lưới: Tích hợp với nền tảng quản lý hợp nhất của NVIDIA cung cấp trực quan hóa cấu trúc liên kết và phân tích đường dẫn luồng
• Giám sát Hiệu suất Ứng dụng: Adapter cung cấp thống kê hàng đợi và hàng đợi hoàn thành RDMA, cho phép tương quan hiệu suất mạng với độ trễ giao dịch cấp ứng dụng

Các Kịch bản Khắc phục Sự cố Phổ biến

Dựa trên kinh nghiệm vận hành, các mẫu sau đây được xác định bằng cách sử dụng thông số kỹ thuật MCX631432AN-ADAB và dữ liệu đo lường:

• Phát hiện Bão PFC: Giám sát bộ đếm khung tạm dừng PFC theo ưu tiên — tạm dừng liên tục >5% tốc độ đường truyền cho thấy tắc nghẽn hoặc cấu hình sai
• Mất Gói Tin RoCEv2: Kiểm tra bộ đếm mất gói tin của adapter (ví dụ: bộ đếm rx_discard_*) để xác định xem mất gói tin xảy ra ở adapter, switch hay do điều chỉnh ECN
• Tinh chỉnh Hiệu suất: Điều chỉnh các tham số gom ngắt (tốc độ điều tiết ngắt) để đánh đổi mức sử dụng CPU với độ trễ — thường đặt gom ngắt vừa phải cho khối lượng công việc lưu trữ và gom ngắt tối thiểu cho các ứng dụng giao dịch

Hướng dẫn Tối ưu hóa

Để đạt được thông lượng tối đa và độ trễ tối thiểu, các tối ưu hóa sau đây được khuyến nghị dựa trên datasheet MCX631432AN-ADAB:

• Bật các tính năng giảm tải CRC phần cứng và tách tiêu đề/dữ liệu để giảm tiêu thụ băng thông bộ nhớ máy chủ
• Cấu hình ngưỡng PFC theo ưu tiên một cách động dựa trên hồ sơ khối lượng công việc — sử dụng các công cụ cấu hình bộ đệm dành riêng cho nhà cung cấp của adapter
• Bật các tính năng QoS nâng cao của adapter, bao gồm giới hạn tốc độ theo lớp lưu lượng và hàng đợi ưu tiên nghiêm ngặt hoặc hàng đợi công bằng có trọng số
• Đối với các triển khai quy mô lớn, sử dụng hỗ trợ của adapter cho 802.1Qaz Data Center Bridging Exchange (DCBX) để tự động hóa đàm phán PFC và ECN với các switch

6. Tóm tắt & Đánh giá Giá trị

Giải pháp kỹ thuật tập trung vào NVIDIA Mellanox MCX631432AN-ADAB mang lại một con đường rõ ràng để đạt được độ trễ RDMA dưới 10 micro giây đồng thời tăng thông lượng máy chủ lên tới 5-6 lần so với các triển khai TCP/IP 10GbE truyền thống. Các đề xuất giá trị chính bao gồm:

• Đơn giản hóa Cơ sở hạ tầng: Loại bỏ nhu cầu về mạng lưu trữ và tính toán riêng biệt bằng cách cho phép Ethernet không mất mát cho tất cả các loại lưu lượng
• Khả năng Dự đoán Hiệu suất: RoCEv2 được giảm tải phần cứng đảm bảo độ trễ xác định ngay cả dưới mức sử dụng 90%+ tốc độ đường truyền
• Hiệu quả Hoạt động: Đo lường toàn diện và quản lý tắc nghẽn tự phục hồi giảm thời gian trung bình để giải quyết (MTTR) các sự cố mạng
• Bảo vệ Đầu tư: Giao diện PCIe Gen 4.0 và khả năng lập trình của adapter đảm bảo khả năng tương thích với các thế hệ CPU và switch trong tương lai

Đối với các tổ chức đang tích cực đánh giá các tùy chọn MCX631432AN-ADAB để bán, giải pháp này cung cấp một kiến trúc tham chiếu đã được chứng minh, đã được xác thực trong môi trường sản xuất trên các dịch vụ tài chính, nhà cung cấp đám mây và các triển khai lưu trữ doanh nghiệp. Sự kết hợp giữa hiệu suất, khả năng mở rộng và sự trưởng thành trong hoạt động làm cho card adapter Ethernet MCX631432AN-ADAB trở thành một khoản đầu tư chiến lược cho việc chuyển đổi trung tâm dữ liệu hiện đại.