Giấy trắng kỹ thuật Bộ điều hợp máy chủ NVIDIA Mellanox MCX556A-ECAT | Vận chuyển độ trễ thấp RDMA/RoCE & Thông lượng máy chủ

Tài liệu Kỹ thuật NVIDIA Mellanox MCX556A-ECAT | Tối ưu hóa Truyền tải Độ trễ Thấp RDMA/RoCE & Thông lượng Máy chủ

1. Bối cảnh Dự án & Phân tích Yêu cầu

Các trung tâm dữ liệu hiện đại đang trải qua một sự chuyển đổi cơ bản được thúc đẩy bởi trí tuệ nhân tạo, điện toán hiệu năng cao (HPC) và phân tích thời gian thực. Các khối lượng công việc này đòi hỏi hiệu suất mạng chưa từng có — không chỉ băng thông thô, mà còn độ trễ xác định, di chuyển dữ liệu hiệu quả CPU và khả năng mở rộng liền mạch. Các bộ điều hợp Ethernet truyền thống, dựa vào ngăn xếp TCP/IP dựa trên phần mềm, đã trở thành một nút thắt cổ chai đáng kể, tiêu tốn 20–30% lõi CPU và gây ra các biến động độ trễ không thể đoán trước làm suy giảm hiệu suất ứng dụng. Đối với các tổ chức hoạt động ở quy mô lớn, sự kém hiệu quả này chuyển thành chi phí cơ sở hạ tầng cao hơn và thời gian thu thập thông tin chậm hơn.

Tài liệu này trình bày một giải pháp kỹ thuật toàn diện tập trung vào bộ điều hợp máy chủ NVIDIA Mellanox MCX556A-ECAT. Được thiết kế cho các doanh nghiệp muốn tối đa hóa lợi tức đầu tư 100GbE của họ, bộ điều hợp Ethernet MCX556A-ECAT Ethernet adapter card cung cấp RDMA qua Ethernet hợp nhất (RoCE) được tăng tốc phần cứng, cho phép truyền tải không mất mát, độ trễ thấp, biến I/O mạng từ một gánh nặng thành một tài sản chiến lược. Giải pháp được kiến trúc đặc biệt để đáp ứng ba mục tiêu cốt lõi: (1) đạt được độ trễ ứng dụng đầu cuối dưới 10μs, (2) giảm chi phí xử lý mạng CPU xuống dưới 5% và (3) cung cấp nền tảng có thể mở rộng, sẵn sàng cho tương lai cho 100GbE và hơn thế nữa.

2. Thiết kế Kiến trúc Mạng & Hệ thống Tổng thể

Kiến trúc được đề xuất áp dụng cấu trúc liên kết lá-xương sống hiệu năng cao với 100GbE làm lớp truy cập máy chủ và các đường lên 400GbE đến xương sống. Cốt lõi của thiết kế này là bộ điều hợp mạng PCIe MCX556A-ECAT ConnectX adapter PCIe network card, được triển khai trong mọi nút tính toán và lưu trữ trên toàn bộ mạng. Kiến trúc được xây dựng dựa trên năm nguyên tắc chính:

• Mạng Ethernet không mất mát: Tận dụng RoCE v2 với PFC (Kiểm soát luồng ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng) trên tất cả các bộ chuyển mạch để loại bỏ việc mất gói tin và đảm bảo độ trễ xác định cho lưu lượng RDMA.
• Tăng tốc phần cứng ở mọi nơi: Tăng tốc xử lý lớp truyền tải — bao gồm tăng tốc checksum, phân đoạn (LSO/LRO), gắn thẻ VLAN và RDMA — cho bộ điều hợp, giải phóng chu kỳ CPU cho logic ứng dụng.
• Dự phòng Hoạt động-Hoạt động: Sử dụng cả hai cổng QSFP28 ở chế độ tổng hợp liên kết (LACP) cho băng thông tổng hợp 200Gb/s và chuyển đổi dự phòng tự động với khả năng phục hồi dưới một giây.
• Phân đoạn lưu lượng: Các lớp lưu lượng chuyên dụng cho lưu trữ (NVMe-oF), tính toán (MPI/RDMA) và lưu lượng quản lý, đảm bảo QoS có thể dự đoán được trên tất cả các khối lượng công việc.
• Mặt phẳng điều khiển có thể mở rộng: Quản lý tập trung thông qua các bộ chuyển mạch NVIDIA Spectrum với tính năng đo từ xa tích hợp và tự động hóa thông qua các API REST và playbook Ansible.

Giải pháp hoàn toàn tương thích MCX556A-ECAT compatible với các nền tảng máy chủ hàng đầu (Dell PowerEdge, HPE ProLiant, Supermicro, Lenovo) và tích hợp liền mạch với các hệ điều hành chính (Linux, Windows Server, VMware ESXi). Đối với lưu trữ, kiến trúc hỗ trợ NVMe-oF qua RoCE, cho phép lưu trữ phân tán được chia sẻ với độ trễ gần bằng ổ NVMe cục bộ.

3. Vai trò & Tính năng Chính của NVIDIA Mellanox MCX556A-ECAT

Là thành phần nền tảng của giải pháp này, NVIDIA Mellanox MCX556A-ECAT đóng ba vai trò quan trọng trong kiến trúc:

Các thông số kỹ thuật chính được trích xuất từ MCX556A-ECAT datasheet bao gồm giao diện máy chủ PCIe 3.0/4.0 x16, khả năng tăng tốc toàn diện (checksum, LSO/LRO, VLAN stripping/insertion, RSS) và đo từ xa nâng cao trên mỗi cổng. Hiệu quả năng lượng của bộ điều hợp (thường dưới 15W) và hỗ trợ hệ điều hành rộng rãi làm cho nó trở thành một khối xây dựng linh hoạt cho các môi trường không đồng nhất. MCX556A-ECAT specifications cũng nêu bật hỗ trợ tương thích 25GbE và 40GbE, mang lại sự linh hoạt trong triển khai cho các môi trường tốc độ hỗn hợp.

4. Khuyến nghị Triển khai & Mở rộng

Đối với các triển khai mới, chúng tôi đề xuất cấu trúc liên kết lá-xương sống hai cấp với truy cập 100GbE và đường lên xương sống 400GbE. Mỗi máy chủ lưu trữ một bộ điều hợp Ethernet MCX556A-ECAT Ethernet adapter card với cả hai cổng QSFP28 được kết nối với các bộ chuyển mạch lá riêng biệt để dự phòng. Mạng RoCE yêu cầu cấu hình QoS nhất quán trên tất cả các bộ chuyển mạch — đặc biệt, PFC trên ưu tiên 3 (cho lưu lượng RDMA) và ưu tiên 4 (cho lưu trữ), với đánh dấu ECN trên cùng các lớp lưu lượng. Chúng tôi đề xuất phân bổ VLAN chuyên dụng cho lưu lượng RoCE, quản lý và lưu trữ để đơn giản hóa việc giám sát và khắc phục sự cố.

Đối với môi trường hiện có với cơ sở hạ tầng 40GbE hiện có, giải pháp bộ điều hợp Ethernet MCX556A-ECAT Ethernet adapter card solution cung cấp một lộ trình di chuyển thuận lợi. Vì bộ điều hợp tương thích ngược với quang QSFP+ 40GbE, cáp hiện có có thể được tái sử dụng trong quá trình nâng cấp dần lên 100GbE. Bộ điều hợp cũng hỗ trợ chuyển mạch Ethernet tiêu chuẩn mà không cần bật RoCE bắt buộc, cho phép các nhóm triển khai phần cứng trước và kích hoạt khả năng RDMA theo từng giai đoạn khi mạng trưởng thành và khối lượng công việc biện minh cho quá trình chuyển đổi.

Việc mở rộng giải pháp vượt quá 50 nút sẽ phát sinh thêm các cân nhắc. Chúng tôi đề xuất triển khai chiến lược quản lý tắc nghẽn RoCE chuyên dụng bằng cách sử dụng các bộ chuyển mạch NVIDIA Spectrum với tính năng đo từ xa tích hợp và điều chỉnh ngưỡng ECN động. Đối với các cụm vượt quá 200 nút, hãy xem xét triển khai bộ điều khiển mạng tập trung (ví dụ: NVIDIA Cumulus NetQ) để duy trì khả năng hiển thị đầu cuối và tính nhất quán cấu hình tự động. MCX556A-ECAT for sale thông qua các đối tác kênh toàn cầu của NVIDIA bao gồm bảo hành toàn diện và hỗ trợ cập nhật firmware, đảm bảo độ tin cậy lâu dài ở quy mô lớn.

5. Vận hành, Giám sát, Khắc phục sự cố & Tối ưu hóa

Vận hành hiệu quả mạng RoCE đòi hỏi một chiến lược giám sát và khắc phục sự cố đa lớp:

• Đo từ xa cấp bộ điều hợp: MCX556A-ECAT specifications bao gồm các bộ đếm trên mỗi cổng cho các khung PFC, gói tin được đánh dấu ECN, khung bị loại bỏ và lỗi liên kết. Sử dụng mlx5cmd, ethtool, hoặc các công cụ firmware NVIDIA để xuất các chỉ số này vào bảng điều khiển Prometheus/Grafana.
• Giám sát cấp bộ chuyển mạch: Giám sát mức sử dụng bộ đệm, số lượng khung tạm dừng, độ sâu hàng đợi và tốc độ đánh dấu ECN trên các bộ chuyển mạch xương sống và lá. Sự gia tăng đột ngột về số lượng khung tạm dừng cho thấy tình trạng tắc nghẽn vi mô có thể yêu cầu điều chỉnh ngưỡng ECN.
• Chỉ số cấp ứng dụng: Đối với các ứng dụng RDMA, theo dõi độ trễ hoàn thành WR (Yêu cầu công việc), các sự kiện tràn CQ (Hàng đợi hoàn thành) và số lượng lỗi QP (Cặp hàng đợi) bằng cách sử dụng các thư viện NVIDIA libibverbs và rdma-core.

Các kịch bản khắc phục sự cố phổ biến và các hành động được đề xuất của chúng:

• Suy giảm hiệu suất RoCE: Xác minh PFC được bật trên tất cả các cổng bộ chuyển mạch và đánh dấu DSCP khớp với cấu hình bộ chuyển mạch. Sử dụng MCX556A-ECAT datasheet để xác thực cài đặt phân bổ bộ đệm so với các giá trị được đề xuất cho hồ sơ khối lượng công việc của bạn.
• Liên kết nhấp nháy hoặc lỗi CRC: Kiểm tra chất lượng cáp QSFP28 và đảm bảo firmware bộ điều hợp đã được cập nhật lên phiên bản mới nhất. Xác minh rằng cáp đáp ứng các thông số kỹ thuật IEEE 802.3bj cho 100GBASE-SR4 hoặc LR4.
• CPU vẫn cao mặc dù đã tăng tốc: Xác nhận rằng RDMA thực sự đang được sử dụng (không quay lại TCP) bằng cách kiểm tra bộ đếm trình điều khiển, nhật ký ứng dụng và trạng thái kết nối.
• Khóa chết PFC hoặc bão hòa tạm dừng: Kiểm tra các ưu tiên được cấu hình sai và đảm bảo rằng PFC chỉ được bật trên các lớp lưu lượng RoCE (không bật trên lưu lượng quản lý hoặc lưu trữ).

Để tối ưu hóa, chúng tôi đề xuất các tham số điều chỉnh sau đây dựa trên xác thực phòng thí nghiệm rộng rãi:

• Tập hợp ngắt (điều tiết): Đặt thành 4–8 μs cho các khối lượng công việc hỗn hợp (kết hợp + lưu trữ) để cân bằng độ trễ và hiệu quả CPU.
• MTU RDMA: Tăng lên 4096 byte cho các khối lượng công việc lưu trữ để giảm chi phí giao thức và cải thiện thông lượng.
• RSS (Mở rộng phía nhận): Cấu hình trên nhiều lõi CPU cho lưu lượng không phải RDMA để phân phối xử lý và tránh bão hòa lõi đơn.
• Ngưỡng ECN: Đặt min-threshold ở 50% bộ đệm và max-threshold ở 80% cho lưu lượng ưu tiên 3, điều chỉnh dựa trên các mẫu tắc nghẽn đã quan sát.

6. Tóm tắt & Đánh giá Giá trị

Giải pháp NVIDIA Mellanox MCX556A-ECAT mang lại giá trị chuyển đổi cho các trung tâm dữ liệu hiện đại. Bằng cách thay thế TCP/IP dựa trên phần mềm bằng RDMA/RoCE được tăng tốc phần cứng, các tổ chức có thể đạt được mức giảm độ trễ cấp ứng dụng từ 5–10 lần, cắt giảm chi phí xử lý mạng CPU hơn 80% và tăng mật độ bộ chứa máy chủ lên 30–50%. Bộ điều hợp Ethernet MCX556A-ECAT Ethernet adapter card cung cấp một con đường hiệu quả về chi phí để áp dụng 100GbE với sự bảo vệ đầu tư thông qua khả năng tương thích ngược với 40GbE và khả năng tăng tốc sẵn sàng cho tương lai cho các khối lượng công việc mới nổi.

Khi đánh giá tổng chi phí sở hữu, MCX556A-ECAT price được bù đắp bởi các khoản tiết kiệm hoạt động đáng kể: giảm số lượng máy chủ (do sử dụng cao hơn), chi phí làm mát thấp hơn (nhờ <15W power draw), and elimination of separate InfiniBand or proprietary RDMA fabrics. The solution is fully MCX556A-ECAT compatible với các hệ sinh thái nguồn mở và doanh nghiệp lớn, bao gồm Kubernetes, Apache Spark, TensorFlow và VMware vSphere, đảm bảo khả năng áp dụng rộng rãi trên các triển khai doanh nghiệp, HPC và đám mây gốc.