Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter Giải pháp kỹ thuật

Giải pháp Kỹ thuật Bộ điều hợp Máy chủ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT: Vận chuyển RDMA/RoCE Độ trễ thấp và Tăng cường Thông lượng Máy chủ – Tài liệu Kỹ thuật Thiết kế

1. Bối cảnh Dự án và Phân tích Yêu cầu

Các trung tâm dữ liệu hiện đại đang trải qua một sự thay đổi cơ bản từ kiến trúc "tập trung vào tính toán" sang "tập trung vào dữ liệu", được thúc đẩy bởi sự tăng trưởng bùng nổ của các khối lượng công việc AI/ML, hệ thống lưu trữ phân tán và các nền tảng phân tích thời gian thực. Trong bối cảnh này, bộ điều hợp mạng không còn là một thành phần kết nối thụ động mà là yếu tố quyết định quan trọng đối với hiệu suất ứng dụng tổng thể. Mạng dựa trên TCP/IP truyền thống, với những hạn chế về bỏ qua nhân (kernel-bypass) và chi phí chồng giao thức, đã trở thành một nút thắt cổ chai chính—tiêu tốn tới 30% chu kỳ CPU trong khi không cung cấp được độ trễ ở mức micro giây và thông lượng tốc độ đường truyền mà các khối lượng công việc thế hệ tiếp theo yêu cầu.

Cụ thể, ba thách thức liên kết với nhau đòi hỏi một phản ứng kiến trúc. Thứ nhất, các hệ thống lưu trữ tận dụng NVMe qua Fabrics (NVMe-oF) yêu cầu độ trễ truy cập dưới 100 micro giây để khai thác tối đa phương tiện flash hiện đại; bất kỳ độ trễ nào do mạng gây ra đều trực tiếp làm suy giảm hiệu suất lưu trữ. Thứ hai, các khung huấn luyện AI phân tán như PyTorch và TensorFlow dựa vào các hoạt động all-reduce thường xuyên trên các cụm GPU, nơi thông lượng mạng và độ rung (jitter) trực tiếp xác định thời gian hoàn thành công việc. Thứ ba, ảo hóa và container hóa tạo ra chi phí đóng gói bổ sung, đòi hỏi phần cứng thông minh để giảm tải nhằm duy trì hiệu suất ở quy mô lớn. Bộ điều hợp máy chủ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT trực tiếp đáp ứng các yêu cầu này, cung cấp một nền tảng được chế tạo riêng cho mạng trung tâm dữ liệu hiệu suất cao, độ trễ thấp.

2. Thiết kế Kiến trúc Mạng và Hệ thống Tổng thể

Giải pháp được đề xuất áp dụng kiến trúc mạng hai tầng spine-leaf được thiết kế để tối đa hóa khả năng của bộ điều hợp Ethernet MCX631102AN-ADAT. Ở tầng lá (leaf), các switch 25GbE SFP28 cung cấp kết nối ToR (Top-of-Rack), với mỗi switch lá hỗ trợ tối đa 48 cổng. Tầng xương sống (spine) bao gồm các switch 100GbE dung lượng cao, cung cấp kết nối mọi-tới-mọi không chặn. Kiến trúc này được tối ưu hóa cho vận chuyển RoCE v2 (RDMA qua Ethernet hội tụ phiên bản 2), sử dụng các cơ chế kiểm soát tắc nghẽn gốc của bộ điều hợp và khả năng PFC (Kiểm soát luồng ưu tiên) để duy trì điều kiện mạng không mất mát.

Mỗi nút tính toán và lưu trữ được trang bị bộ điều hợp MCX631102AN-ADAT ConnectX-6 Lx hai cổng 25GbE SFP28, với các cổng được cấu hình ở chế độ hoạt động-hoạt động (active-active) để cung cấp cả tính sẵn sàng cao và băng thông 50GbE tổng hợp. Máy chủ chủ giao tiếp với bộ điều hợp qua PCIe 4.0 x8, đảm bảo băng thông bus đủ để duy trì lưu lượng tốc độ đường truyền đầy đủ. Từ góc độ phần mềm, kiến trúc tích hợp ngăn xếp trình điều khiển OFED (OpenFabrics Enterprise Distribution) của NVIDIA, cung cấp hỗ trợ RoCE được tối ưu hóa trên các hệ điều hành chính. Đối với các nút lưu trữ, kiến trúc tích hợp các mục tiêu NVMe-oF có thể truy cập trực tiếp qua RoCE, loại bỏ hoàn toàn lớp TCP/IP khỏi đường dẫn dữ liệu.

3. Vai trò và Đặc điểm Chính của MCX631102AN-ADAT trong Giải pháp

NVIDIA Mellanox MCX631102AN-ADAT đóng vai trò là giao diện mạng nền tảng cho cả miền tính toán và lưu trữ, đóng bốn vai trò quan trọng trong kiến trúc tổng thể. Thứ nhất, nó hoạt động như bộ xử lý mặt phẳng dữ liệu chính, tận dụng bộ xử lý chuyển hướng được tăng tốc phần cứng để cung cấp thông lượng 25GbE tốc độ đường truyền trên mỗi cổng cho tất cả các kích thước gói tin—một khả năng đã được xác nhận bởi thông số kỹ thuật MCX631102AN-ADAT, cho thấy độ trễ từ ứng dụng đến ứng dụng dưới 1 micro giây khi kết hợp với các switch hỗ trợ RoCE.

Thứ hai, bộ điều hợp hoạt động như điểm cuối vận chuyển RDMA, giảm tải toàn bộ ngăn xếp giao thức RDMA—bao gồm đăng ký bộ nhớ, dịch địa chỉ và xử lý hoàn thành—khỏi CPU máy chủ. Việc giảm tải này đặc biệt có tác động đối với các khối lượng công việc lưu trữ, giảm mức sử dụng CPU cho các bộ khởi tạo NVMe-oF từ khoảng 18% xuống dưới 3% so với các triển khai chỉ bằng phần mềm. Thứ ba, MCX631102AN-ADAT cung cấp khả năng giảm tải lớp phủ dựa trên phần cứng cho VXLAN và NVGRE, đảm bảo rằng việc đóng gói mạng ảo hóa không làm giảm hiệu suất—một lợi thế quan trọng cho các triển khai đám mây gốc. Thứ tư, bộ điều hợp hỗ trợ SR-IOV (Ảo hóa I/O gốc đơn), cho phép tối đa 256 chức năng ảo trên mỗi cổng để cô lập đa người dùng hiệu quả mà không ảnh hưởng đến thông lượng. Giải pháp bộ điều hợp Ethernet MCX631102AN-ADAT tích hợp liền mạch với công nghệ GPUDirect Storage của NVIDIA, cho phép di chuyển dữ liệu trực tiếp giữa bộ nhớ GPU và các thiết bị lưu trữ NVMe từ xa qua mạng.

Bảng sau đây tóm tắt các thông số kỹ thuật chính liên quan đến kiến trúc giải pháp:

4. Khuyến nghị Triển khai và Mở rộng với Cấu trúc Điển hình

Đối với các triển khai mới (greenfield), chúng tôi đề xuất phương pháp mở rộng ba tầng. Ở tầng cơ sở (quy mô nhỏ: 16–32 nút), một cụm switch lá duy nhất có thể chứa tất cả các nút tính toán và lưu trữ, với mỗi nút được trang bị MCX631102AN-ADAT và cả hai cổng được kết nối với cùng một switch lá để tổng hợp liên kết. Ở tầng trung bình (64–128 nút), kiến trúc nên áp dụng thiết kế spine-leaf hai tầng, với các cổng kép của mỗi nút được kết nối với các switch lá khác nhau để cung cấp cả hiệu suất và khả năng phục hồi. Ở quy mô doanh nghiệp (256+ nút), giải pháp đề xuất triển khai kiến trúc ba tầng với phân đoạn fabric RoCE chuyên dụng, cô lập lưu lượng lưu trữ khỏi lưu lượng tính toán ở lớp mạng và tận dụng tính chất tương thích với MCX631102AN-ADAT với cả các switch 25GbE của NVIDIA Spectrum và của bên thứ ba.

Đối với môi trường hiện có (brownfield), bộ điều hợp cung cấp khả năng tương thích ngược liền mạch với các quang và cáp 10GbE SFP+, cho phép các tổ chức di chuyển dần dần. Tờ dữ liệu MCX631102AN-ADAT cung cấp các ma trận tương thích chi tiết cho các nền tảng máy chủ chính, bao gồm các dòng Dell PowerEdge, HPE ProLiant và Supermicro SuperServer. Việc triển khai bộ điều hợp nên được phối hợp với các bản cập nhật firmware để đảm bảo tất cả các nút chạy cùng phiên bản firmware tối thiểu để có hành vi RoCE nhất quán. Chúng tôi cũng khuyên dùng tính năng lưu trữ cấu hình dựa trên EEPROM của bộ điều hợp để duy trì cài đặt qua các lần khởi động lại hệ thống, giảm chi phí vận hành trong các cửa sổ bảo trì.

5. Vận hành, Giám sát, Khắc phục sự cố và Tối ưu hóa

MCX631102AN-ADAT cung cấp các khả năng đo lường và quản lý toàn diện thông qua các công cụ MLNX_OFED của NVIDIA. Để giám sát, chúng tôi đề xuất triển khai các phương pháp vận hành sau. Thứ nhất, bật bộ đếm luồng dựa trên phần cứng để giám sát mức sử dụng trên mỗi hàng đợi và xác định các điểm nóng—các bộ đếm này có thể truy cập qua mô-đun nhân mlx5_core và có thể được tích hợp với Prometheus hoặc các giải pháp TSDB khác. Thứ hai, sử dụng tính năng giám sát PFC (Kiểm soát luồng ưu tiên) của bộ điều hợp để phát hiện và khắc phục các sự kiện tắc nghẽn mạng trước khi chúng ảnh hưởng đến hiệu suất ứng dụng. Thứ ba, triển khai cảnh báo dựa trên ngưỡng cho nhiệt độ bộ điều hợp và trạng thái liên kết PCIe để xác định trước sự suy giảm phần cứng.

Để khắc phục sự cố, các chẩn đoán nâng cao của bộ điều hợp—bao gồm các bài kiểm tra loopback trên mỗi cổng, nhật ký đào tạo liên kết và thống kê hợp nhất ngắt (interrupt coalescence)—cung cấp khả năng hiển thị chi tiết về các vấn đề hiệu suất. Chúng tôi đề xuất thiết lập một đường cơ sở hoạt động bình thường trong quá trình triển khai ban đầu, ghi lại các chỉ số chính như độ trễ trung bình, thông lượng và mức sử dụng CPU, để làm tài liệu tham khảo cho các so sánh trong tương lai. Khi đánh giá chi phí sở hữu MCX631102AN-ADAT, các tổ chức nên tính đến khoản tiết kiệm vận hành có được từ việc giảm tiêu thụ CPU và quy trình khắc phục sự cố đơn giản hóa.

Các chiến lược tối ưu hóa cho bộ điều hợp Ethernet MCX631102AN-ADAT nên tập trung vào ba lĩnh vực. Trong cấu hình máy chủ, điều chỉnh kích thước tải trọng tối đa (max-payload-size) của PCIe thành 512 byte và bật chế độ điều chỉnh ngắt (interrupt moderation) để cân bằng giữa độ trễ và hiệu quả CPU. Trong mạng, cấu hình các ưu tiên PFC nhất quán trên tất cả các switch và bộ điều hợp—chúng tôi đề xuất dành ưu tiên 3 cho lưu lượng RoCE và ưu tiên 0 cho lưu lượng quản lý. Ở lớp ứng dụng, điều chỉnh độ sâu hàng đợi RDMA với đặc điểm của khối lượng công việc: hàng đợi sâu hơn mang lại lợi ích cho các khối lượng công việc lưu trữ chuyên sâu về thông lượng, trong khi hàng đợi nông hơn giảm độ trễ cho xử lý giao dịch nhạy cảm. thông số kỹ thuật MCX631102AN-ADAT chi tiết cung cấp hướng dẫn cụ thể để điều chỉnh các tham số này trên các nền tảng hệ điều hành khác nhau.

6. Tóm tắt và Đánh giá Giá trị

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT cung cấp một giải pháp kiến trúc giải quyết các thách thức cơ bản của mạng trung tâm dữ liệu hiện đại: cung cấp độ trễ ở mức micro giây, vận chuyển RDMA được tăng tốc phần cứng và thông lượng 25GbE nhất quán—tất cả trong khi giảm chi phí CPU máy chủ. Bằng cách đóng vai trò là giao diện mạng hợp nhất cho các khối lượng công việc tính toán, lưu trữ và AI, bộ điều hợp đơn giản hóa cơ sở hạ tầng đồng thời nâng cao hiệu suất. Giải pháp bộ điều hợp Ethernet MCX631102AN-ADAT giảm mức tiêu thụ CPU liên quan đến mạng khoảng 80%, cải thiện độ trễ truy cập lưu trữ hơn 80% và cung cấp hiệu suất có thể dự đoán được dưới các điều kiện tải khác nhau thông qua quản lý tắc nghẽn dựa trên phần cứng.

Từ góc độ giá trị kinh doanh, bộ điều hợp cho phép các tổ chức tối đa hóa các khoản đầu tư vào switch 25GbE hiện có trong khi cung cấp hiệu suất trước đây chỉ có thể đạt được với các giải pháp 40GbE hoặc 100GbE. Đánh giá MCX631102AN-ADAT để bán liên tục cho thấy ROI tích cực trong vòng 12–18 tháng, được thúc đẩy bởi việc giảm yêu cầu về số lượng máy chủ (do hiệu quả trên mỗi nút cao hơn) và chi phí vận hành thấp hơn. Đối với các tổ chức xây dựng hoặc hiện đại hóa mạng trung tâm dữ liệu, MCX631102AN-ADAT không chỉ là một bản nâng cấp gia tăng, mà là một cải tiến cơ bản về hiệu quả của nền tảng mạng.