NVIDIA Mellanox MCX631102AN-ADAT Server Adapter Giải pháp kỹ thuật: RDMA / RoCE Low-Latency Transport và Server

Giải pháp kỹ thuật Bộ điều hợp máy chủ NVIDIA Mellanox MCX631102AN-ADAT: Kiến trúc truyền tải độ trễ thấp RDMA/RoCE và Tăng cường thông lượng máy chủ

1. Bối cảnh dự án và Phân tích yêu cầu

Các trung tâm dữ liệu hiện đại đang trải qua một quá trình chuyển đổi cơ bản từ kiến trúc tập trung vào tính toán sang kiến trúc tập trung vào dữ liệu. Khi các mảng lưu trữ NVMe, các cụm huấn luyện AI/ML và các cơ sở dữ liệu phân tán trở nên phổ biến, mạng lưới đã nổi lên như một nút thắt cổ chai quan trọng hạn chế hiệu suất tổng thể của hệ thống. Mạng dựa trên TCP/IP truyền thống áp đặt chi phí CPU đáng kể cho việc xử lý giao thức, gây ra sự biến động độ trễ không thể đoán trước và không tận dụng hết tiềm năng băng thông của các phương tiện hiện đại.

Các yêu cầu chính được xác định trong môi trường doanh nghiệp và đám mây bao gồm:

• Độ trễ dưới mili giây: Các ứng dụng quan trọng như nền tảng giao dịch tài chính và phân tích thời gian thực đòi hỏi giao tiếp độ trễ thấp nhất quán.
• Tải CPU: Việc xử lý giao thức mạng nên tiêu thụ ít hơn 10% tài nguyên CPU trên mỗi nút để bảo toàn năng lực tính toán cho khối lượng công việc ứng dụng.
• Khả năng mở rộng băng thông: Cơ sở hạ tầng phải hỗ trợ 25GbE trên mỗi cổng với lộ trình nâng cấp rõ ràng cho các triển khai 50/100GbE trong tương lai.
• Tích hợp liền mạch: Giải pháp phải tương thích với các nền tảng máy chủ, hệ điều hành và công cụ quản lý hiện có.

NVIDIA Mellanox MCX631102AN-ADAT trực tiếp giải quyết các yêu cầu này thông qua kiến trúc ConnectX-6 Lx, cung cấp RDMA qua Ethernet hợp nhất (RoCE) được tăng tốc phần cứng với truyền dữ liệu không sao chép và khả năng bỏ qua nhân.

2. Thiết kế kiến trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất áp dụng cấu trúc liên kết lá-xương sống được tối ưu hóa cho truyền tải RoCE. Cốt lõi của thiết kế này là giải pháp thẻ bộ điều hợp Ethernet MCX631102AN-ADAT, được triển khai trong mỗi nút máy chủ để cung cấp kết nối 25GbE cổng kép.

Các lớp kiến trúc:

• Nút tính toán/lưu trữ: Mỗi máy chủ được trang bị một hoặc nhiều MCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28, được cấu hình với cả hai cổng hoạt động để có tính sẵn sàng cao và cân bằng tải.
• Lớp lá: Các switch NVIDIA Spectrum-3 cung cấp khả năng chuyển tiếp Ethernet không mất mát, độ trễ thấp với khả năng kiểm soát tắc nghẽn nhận biết RoCE (PFC/ECN).
• Lớp xương sống: Các switch xương sống dung lượng cao kết nối các nút lá với các liên kết lên 100GbE, đảm bảo hiệu suất không bị chặn trên toàn bộ mạng lưới.
• Mặt phẳng quản lý: Mạng quản lý ngoài băng để thu thập số liệu đo lường, điều phối cấu hình và giám sát sức khỏe thông qua NVIDIA DOCA và MLNX-OS.

Thiết kế tích hợp phân đoạn vi mô và cô lập lưu lượng bằng cách sử dụng tải vSwitch dựa trên phần cứng, đảm bảo lưu lượng của người thuê được cô lập mà không ảnh hưởng đến hiệu suất.

3. Vai trò và Tính năng chính của NVIDIA Mellanox MCX631102AN-ADAT trong Giải pháp

Là giao diện mạng nền tảng cho mỗi máy chủ, NVIDIA Mellanox MCX631102AN-ADAT đóng vai trò quan trọng trong việc mang lại các mục tiêu hiệu suất và hiệu quả của kiến trúc tổng thể. Các tính năng kỹ thuật chính cho phép khả năng này bao gồm:

Theo Tờ dữ liệu MCX631102AN-ADAT, bộ điều hợp cũng hỗ trợ mã hóa nội tuyến IPsec và MACsec, đảm bảo bảo mật dữ liệu đang truyền mà không ảnh hưởng đến thông lượng. Thông số kỹ thuật MCX631102AN-ADAT toàn diện xác nhận hỗ trợ cho số liệu đo lường nâng cao — bao gồm bộ đếm luồng, biểu đồ độ trễ và phát hiện tắc nghẽn — rất quan trọng cho việc quản lý mạng chủ động.

4. Khuyến nghị triển khai và mở rộng (với cấu trúc liên kết điển hình)

Đối với các tổ chức có kế hoạch triển khai sản xuất NVIDIA Mellanox MCX631102AN-ADAT, phương pháp tiếp cận theo giai đoạn sau đây được khuyến nghị:

Giai đoạn 1 — Triển khai thử nghiệm (4–8 nút): Bắt đầu với một cụm nhỏ để xác thực cấu hình RoCE, tinh chỉnh các tham số PFC/ECN và đo hiệu suất ứng dụng. Thẻ bộ điều hợp Ethernet MCX631102AN-ADAT nên được cài đặt với trình điều khiển và firmware Mellanox OFED mới nhất để đảm bảo khả năng tương thích tối ưu.

Giai đoạn 2 — Mở rộng Pod (20–50 nút): Mở rộng lên một giá đỡ hoặc pod đầy đủ, triển khai một cặp switch lá với cấu hình Ethernet không mất mát. Kích hoạt quản lý tắc nghẽn dựa trên phần cứng và cấu hình các tham số DCB (Data Center Bridging) theo các phương pháp hay nhất được khuyến nghị.

Giai đoạn 3 — Triển khai trên toàn bộ mạng lưới (100+ nút): Triển khai trên nhiều giá đỡ với các switch xương sống kết nối các nút lá. Triển khai kỹ thuật lưu lượng bằng cách sử dụng khả năng chuyển hướng phần cứng của bộ điều hợp và sử dụng NVIDIA Unified Fabric Manager tương thích với MCX631102AN-ADAT để điều phối và cung cấp tự động.

Mô tả cấu trúc liên kết điển hình: Cấu hình giá đỡ tiêu chuẩn bao gồm 20 máy chủ tính toán/lưu trữ, mỗi máy chủ được trang bị một MCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28. Cổng 1 kết nối với Switch lá A, Cổng 2 kết nối với Switch lá B, cung cấp các đường dẫn dự phòng. Các switch lá liên kết lên các switch xương sống qua 100GbE, tạo thành một mạng lưới CLOS. Cấu trúc liên kết này đảm bảo rằng bất kỳ liên kết hoặc switch đơn lẻ nào bị lỗi sẽ không ảnh hưởng đến tính khả dụng của ứng dụng.

5. Vận hành, Giám sát, Khắc phục sự cố và Tối ưu hóa

Vận hành hiệu quả mạng dựa trên RoCE đòi hỏi các phương pháp giám sát và khắc phục sự cố chuyên biệt. MCX631102AN-ADAT cung cấp các công cụ tích hợp để hỗ trợ các hoạt động này:

• Thu thập số liệu đo lường: Sử dụng các bộ đếm phần cứng của bộ điều hợp để giám sát thông lượng trên mỗi luồng, độ sâu hàng đợi, gói bị bỏ qua và phân phối độ trễ. Dữ liệu này được đưa vào bảng điều khiển giám sát tập trung để hiển thị thời gian thực.
• Phát hiện tắc nghẽn: Giám sát các khung tạm dừng PFC và các gói được đánh dấu ECN để xác định các gói bị gián đoạn ngắn và các điểm nóng lưu lượng. Tờ dữ liệu MCX631102AN-ADAT cung cấp hướng dẫn về cách diễn giải các bộ đếm này.
• Quản lý firmware và trình điều khiển: Cập nhật thường xuyên ngăn xếp trình điều khiển NVIDIA OFED và firmware bộ điều hợp là điều cần thiết cho hiệu suất và bảo mật. Sử dụng khung NVIDIA DOCA để quản lý vòng đời tự động.
• Tinh chỉnh hiệu suất: Các tham số tinh chỉnh chính bao gồm điều chỉnh ngưỡng bộ đệm PFC, đặt giới hạn đánh dấu ECN thích hợp và cấu hình cài đặt điều chỉnh ngắt của bộ điều hợp để cân bằng độ trễ và thông lượng.
• Khắc phục sự cố phổ biến: Hầu hết các sự cố hiệu suất có thể bắt nguồn từ cài đặt DCB bị cấu hình sai, giá trị MTU không khớp hoặc phiên bản trình điều khiển không tương thích. Các công cụ chẩn đoán của bộ điều hợp (ví dụ: mstflint, ethtool và mlxconfig) cung cấp khả năng hiển thị toàn diện về trạng thái hoạt động.

Đối với các tổ chức đánh giá tổng chi phí sở hữu, giá MCX631102AN-ADAT nên được xem xét cùng với khoản tiết kiệm CPU và lợi ích thông lượng. Nhiều doanh nghiệp nhận thấy rằng MCX631102AN-ADAT để bán kết hợp với các switch NVIDIA Spectrum mang lại giải pháp tiết kiệm chi phí nhất cho các triển khai mới.

6. Tóm tắt và Đánh giá giá trị

NVIDIA Mellanox MCX631102AN-ADAT đại diện cho một khoản đầu tư cơ sở hạ tầng chiến lược mang lại giá trị kinh doanh có thể đo lường được trên ba khía cạnh:

Là một giải pháp thẻ bộ điều hợp Ethernet MCX631102AN-ADAT đầu cuối, nó cho phép các tổ chức xây dựng mạng lưới hiệu suất cao, không mất mát, khai thác tối đa tiềm năng của các ứng dụng hiện đại. Cho dù được triển khai trong các trung tâm dữ liệu doanh nghiệp, môi trường nhà cung cấp dịch vụ đám mây hay các cụm HPC nghiên cứu, MCX631102AN-ADAT luôn mang lại độ trễ thấp, thông lượng cao và sự đơn giản trong vận hành mà các kiến trúc sư cơ sở hạ tầng yêu cầu.