Giải pháp kỹ thuật: NVIDIA Mellanox MCX631102AN-ADAT Server Adapter

Sách trắng kỹ thuật này cung cấp một tài liệu tham khảo toàn diện cho các kiến trúc sư mạng, kỹ sư bán hàng trước và các nhà lãnh đạo hoạt động dự định triển khaiNVIDIA Mellanox MCX631102AN-ADATcác bộ điều hợp máy chủ trong môi trường trung tâm dữ liệu hiệu suất cao. Giải pháp tập trung vào việc loại bỏ TCP / IP trên đống, cho phép vận chuyển RDMA / RoCEv2 chậm,và tối đa hóa tốc độ lưu trữ của máy chủ, cơ sở dữ liệu, và khối lượng công việc AI.

1. Xét nghiệm về dự án và các yêu cầu

Kiến trúc trung tâm dữ liệu hiện đại phải đối mặt với ba thách thức hội tụ: tăng trưởng bùng nổ trong lưu lượng truy cập đông-tây, chuyển sang lưu trữ phân tích (NVMe-oF, vSAN),và sự cần thiết phải bảo tồn các chu kỳ CPU cho logic ứng dụng thay vì xử lý mạng. Việc triển khai 25GbE di sản sử dụng TCP / IP truyền thống bị độ trễ đuôi cao (200 ¢ 500μs cho các hoạt động lưu trữ), xử lý lõi quá nhiều cho mỗi gói và thông lượng gói nhỏ không hiệu quả.Yêu cầu cốt lõi là độ trễ thấp, vải không mất mát cho phép truy cập bộ nhớ trực tiếp giữa các máy chủ mà không cần sự can thiệp của CPU, đồng thời duy trì khả năng tương thích với cơ sở hạ tầng Ethernet hiện có.

2Thiết kế kiến trúc mạng và hệ thống tổng thể

Giải pháp được đề xuất áp dụng một cấu hình hai tầng lá-cột sống với cấu hình RoCEv2 không mất mát.

• Lớp vật lý:25GbE kết nối SFP28 từ mỗi máy chủ tính toán / lưu trữ đến chuyển đổi lá, 100GbE hoặc 400GbE liên kết lên từ lá đến cột sống
• Vải kết hợp:Các mô Ethernet được chia sẻ mang cả lưu lượng TCP tiêu chuẩn và dòng chảy không mất mát RoCEv2, sử dụng ưu tiên dựa trên DSCP
• Điều khiển dòng chảy:Kiểm soát luồng ưu tiên (PFC) về ưu tiên không mất mát, đánh dấu ECN cho thông báo tắc nghẽn và đàm phán DCBX
• Bên máy chủ:Các khe cắm PCIe 4.0 x16 dành riêng cho mỗiMCX631102AN-ADAT thẻ chuyển đổi Ethernet, với SR-IOV được bật cho môi trường ảo hóa

Đối với việc triển khai NVMe-oF, mỗi máy chủ lưu trữ lưu trữ haiMCX631102AN-ADAT ConnectX-6 Lx cổng kép 25GbE SFP28Điều chỉnh một cho giao thông ứng dụng front-end và một cho giao thông sao chép và xây dựng lại back-end, đảm bảo cách ly lỗi và tách QoS.

3. Vai trò và các tính năng chính của MCX631102AN-ADAT trong giải pháp

CácMCX631102AN-ADATphục vụ như là thiết bị điểm cuối quan trọng cho phép gia tốc RDMA phía máy chủ.

Đề cập đếnBảng dữ liệu MCX631102AN-ADAT, bộ chuyển đổi cũng cung cấp thời gian đóng dấu phần cứng (đếm thời gian đóng dấu tự do với độ phân giải 1ns), cho phép PTP / SyncE chính xác cho giao dịch tài chính hoặc các ứng dụng cạnh viễn thông.

4. Đề xuất triển khai và mở rộng quy mô (Topology điển hình)

Đối với việc triển khai brownfield, một cách tiếp cận từng giai đoạn được khuyến cáo:

• Giai đoạn 1: nâng cấp tầng lưu trữ:Xây dựngMCX631102AN-ADATtrên tất cả các máy chủ lưu trữ chạy phần mềm mục tiêu NVMe-oF (ví dụ: SPDK, TargeR).
• Giai đoạn 2: Khả năng tính toán:Cài đặt các bộ chuyển đổi trên máy chủ tính toán chạy cơ sở dữ liệu hoặc khung AI (TensorFlow, PyTorch với NCCL). Khả năng thư viện động từ có khả năng RDMA và cấu hình chỉ số GID cho RoCEv2.
• Giai đoạn 3: Xây dựng mạng lưới:Di chuyển khối lượng công việc TCP nhạy cao (phân tích thời gian thực, sidecars microservices) sang RoCE với các loại dịch vụ UC hoặc RC.

Danh sách kiểm tra xác minh topology:

• Tất cả các bộ chuyển đổi lá phải hỗ trợ RoCE không mất mát (PFC + ECN) với không gian đầu đệm đầy đủ
• MTU từ đầu đến cuối ít nhất 2000 byte (tốt nhất là 9000 cho khung lớn)
• Khả năng tiếp cận định tuyến Unicast cho lưu lượng truy cập RoCEv2 (cổng UDP 4791)
• Được xác nhậnMCX631102AN-ADAT tương thíchdanh sách: NVIDIA Spectrum (được ưa thích), Cisco Nexus 9300-EX/FX, Arista 7050X/7050X3 với hồ sơ DCBX

5. Hoạt động và bảo trì ️ Giám sát, khắc phục sự cố và tối ưu hóa

Thành công triển khai sản xuất phụ thuộc vào việc đo từ xa đúng cách và xử lý các trường hợp ngoại lệ chủ động.

• Phát hiện tắc nghẽn:Theo dõi các bộ đếm khung tạm dừng PFC trên mỗi cổng trên các công tắc và các bộ điều chỉnh số liệu thống kê gói được đánh dấu ECN bằng cách sử dụng ethtool -S hoặc mlxlink.
• Đảm bảo độ trễ SLO:triển khai phần cứng theo dõi độ trễ thời gian bằng các công cụ như ucxtrace hoặc mlx5cmd; RTT khỏe mạnh điển hình dưới 10μs trong rack, dưới 30μs trên các cột sống.
• Phân chỉnh phần mềm và trình điều khiển:Sử dụng gói firmware được xác nhận của NVIDIA (xemMCX631102AN-ADAT thông số kỹ thuậtcho số lượng chính xác các bộ phận) và các phiên bản trình điều khiển (mlx5_core ≥ 5,9).
• RMA & Quản lý vòng đời:Khi phân tíchGiá MCX631102AN-ADATso với TCO, bao gồm chu kỳ cập nhật nút 3-5 năm; danh sách các nhà phân phối toàn cầuMCX631102AN-ADAT để bánvới bảo hành nhiều năm.

Đối với khắc phục sự cố, những cạm bẫy phổ biến nhất là: ngưỡng đệm chuyển đổi cấu hình sai (dẫn đến các cơn bão khung tạm dừng), loại GID không phù hợp (tốt hơn là loại GID 2 cho IPv6 RoCEv2),và thiếu khả năng tải phần cứng trong động từ ứng dụng (đảm bảo ibv_reg_mr với quyền truy cập ghi địa phương).

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MCX631102AN-ADATcung cấp một sản xuất cứngGiải pháp thẻ adapter MCX631102AN-ADAT Ethernetcho các tổ chức tìm cách mở khóa hiệu suất tốc độ đường dây chậm thực sự trên cơ sở hạ tầng 25GbE trưởng thành. Bằng cách cho phép RDMA / RoCEv2 hạ tải phần cứng,giải pháp đạt được độ trễ NVMe-oF dưới 20 microsecond, phục hồi > 30% lõi CPU cho khối lượng công việc ứng dụng và duy trì thông lượng tổng cộng 50Gbps với hiệu quả gói nhỏ trước đây chỉ đạt được trên các bộ chuyển đổi 100GbE.Đối với các kiến trúc sư lập kế hoạch các cụm lưu trữ siêu hội tụ hoặc AI greenfield,MCX631102AN-ADATđại diện cho một công cụ chiến lược cung cấp hồ sơ độ trễ của InfiniBand với sự đơn giản hoạt động của Ethernet.