NVIDIA Mellanox MCX4121A-ACAT Server Adapter Giải pháp kỹ thuật: Xây dựng một RDMA / RoCE độ trễ thấp

NVIDIA Mellanox MCX4121A-ACAT Server Adapter Giải pháp kỹ thuật: Xây dựng một lớp truy cập trung tâm dữ liệu RDMA / RoCE độ trễ thấp, thông lượng cao

Trọng tâm giải pháp:MCX4121A-ACATThương hiệu: NVIDIA Mellanox. Trọng tâm công nghệ: RDMA / RoCE Giao thông chậm và tối ưu hóa thông lượng máy chủ

1. Xét nghiệm về dự án và các yêu cầu

Khi các trung tâm dữ liệu doanh nghiệp tiếp tục tiến hóa hướng tới kiến trúc đám mây lai, đào tạo mô hình AI quy mô lớn và hệ thống lưu trữ phân tán,Lớp truy cập máy chủ đã trở thành một nút thắt quan trọng ảnh hưởng đến hiệu suất ứng dụng tổng thể. Các bộ điều hợp 10GbE truyền thống và TCP/IP giao thức ngăn xếp đấu tranh để cung cấp xác định độ trễ thấp và thông lượng cao cần thiết cho khối lượng công việc hiện đại.ba điểm đau cốt lõi đã xuất hiện: chi phí CPU quá mức từ xử lý giao thức mạng, độ trễ đuôi không thể đoán trước trong truy cập lưu trữ phân tán và khả năng mở rộng hạn chế cho môi trường ảo hóa và container.

CácNVIDIA Mellanox MCX4121A-ACATđược thiết kế để giải quyết những thách thức này bằng cách cung cấp một giải pháp truy cập 25GbE trưởng thành, hiệu suất cao. Các yêu cầu chính được giải quyết trong giải pháp kỹ thuật này bao gồm:Độ trễ RDMA dưới 5μs cho khối lượng lưu trữ và khối lượng công việc AI, giảm tải phần cứng của các giao thức TCP/RDMA để giảm sử dụng CPU lên đến 40%, tương thích liền mạch với cơ sở hạ tầng chuyển đổi 10GbE/25GbE hiện có,và hỗ trợ cho các công nghệ ảo hóa hiện đại bao gồm SR-IOV và VirtIO.

2Thiết kế kiến trúc mạng và hệ thống tổng thể

Kiến trúc được đề xuất tận dụng một cấu trúc tiêu chuẩn với một lớp vận chuyển RoCEv2 chuyên dụng.vớiMCX4121A-ACAT Ethernet adapter cardphục vụ như là khối xây dựng nền tảng cho tất cả các nút tính toán và lưu trữ.

Kiến trúc bao gồm các thành phần chính sau:

• Lớp truy cập máy chủMỗi máy chủ tính toán và lưu trữ được trang bị một hoặc hai bộ chuyển đổi MCX4121A-ACAT, cung cấp kết nối cổng kép 25GbE cho các công tắc lá.Kết hợp liên kết (LACP) và chuyển đổi lỗi hoạt động / chờ được cấu hình cho sự dư thừa.
• Vải vỏ lá:Một tập hợp các công tắc có khả năng RoCEv2 (ví dụ: NVIDIA Spectrum) tạo thành mô xương sống lá, với PFC và ECN được kích hoạt để đảm bảo vận chuyển RoCE không mất mát trên toàn bộ mạng.
• Vải lưu trữ:Các mục tiêu NVMe-oF được triển khai trên các máy chủ lưu trữ chuyên dụng, tận dụng RDMA để truy cập bộ nhớ trực tiếp và bỏ qua chi phí trên TCP / IP của lõi.
• Quản lý và dàn nhạc:Quản lý thống nhất thông qua NVIDIA NetQ hoặc các công cụ đo từ xa của bên thứ ba cung cấp khả năng hiển thị thời gian thực về sức khỏe vải và hiệu suất RDMA.

CácMCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28thiết kế đảm bảo rằng máy chủ có thể được đặt ở hai bộ chuyển đổi lá độc lập, loại bỏ các điểm thất bại duy nhất trong khi cung cấp cân bằng tải cho cả lưu lượng RDMA và lưu lượng Ethernet thông thường.

3. Vai trò & Đặc điểm chính của NVIDIA Mellanox MCX4121A-ACAT

CácNVIDIA Mellanox MCX4121A-ACATlà nền tảng của giải pháp này, cung cấp RDMA tăng tốc phần cứng và khả năng tháo tải tiên tiến.Bảng dữ liệu MCX4121A-ACATvàMCX4121A-ACAT, bộ chuyển đổi tích hợp các công nghệ chính sau:

CácMCX4121A-ACAT tương thíchhệ sinh thái bao gồm các nền tảng máy chủ chính (Dell, HPE, Lenovo, Supermicro, vv), hệ điều hành (Linux, Windows, VMware ESXi) và các nhà cung cấp chuyển đổi, đảm bảo tích hợp liền mạch mà không cần khóa nhà cung cấp.Sự tương thích rộng lớn này cho phépGiải pháp thẻ adapter MCX4121A-ACAT Ethernetđược áp dụng trong các môi trường doanh nghiệp khác nhau.

4. Đề xuất triển khai và khả năng mở rộng (bao gồm cả topology điển hình)

Đối với các tổ chức đánh giáMCX4121A-ACAT để báncác lựa chọn và lập kế hoạch triển khai của họ, chúng tôi khuyến cáo một cách tiếp cận theo giai đoạn phù hợp với tăng tải công việc:

• Giai đoạn 1 (Phương pháp thí điểm ✓ Nhóm suy luận AI):Lắp đặt hai bộ chuyển đổi MCX4121A-ACAT cho mỗi máy chủ suy luận AI (được đặt ở hai nơi với các công tắc lá khác nhau).Thiết lập RoCEv2 với PFC / ECN và xác nhận hiệu suất bằng cách sử dụng MLNX_OFED của NVIDIA hoặc ngăn xếp trình điều khiển trong hộp.
• Giai đoạn 2 (Sự mở rộng Pod)Mở rộng triển khai đến 48-96 nút tính toán và 8-16 máy chủ lưu trữ. Khả năng tải mục tiêu / khởi tạo NVMe-oF trên các nút lưu trữ được chỉ định. Sử dụng tổng hợp liên kết (bonding) để mở rộng băng thông.
• Giai đoạn 3 (Multi-Rack / Multi-Data Center):Mở rộng kết nối RDMA qua các giá đỡ bằng cách sử dụng cùng một vải RoCEv2. Đối với giữa các trang web, hãy xem xét các liên kết DCI được mã hóa bởi MACsec trong khi vẫn giữ giao thông RDMA.

Một cấu trúc điển hình cho một AI/HPC pod cỡ trung bình sẽ bao gồm: 16 máy chủ tính toán (mỗi máy tính có hai bộ chuyển đổi MCX4121A-ACAT cho tổng băng thông 2 × 25GbE = 50GbE hiệu quả),4 máy chủ lưu trữ (mục tiêu NVMe-oF)Lớp cột sống bao gồm 2-4 công tắc công suất cao.Các bộ điều chỉnh được cấu hình với SR-IOV để phân bổ các chức năng ảo chuyên dụng cho khối lượng công việc AI chứa, đảm bảo hiệu suất và cách ly dự đoán.

5. Giám sát hoạt động, khắc phục sự cố và tối ưu hóa

CácNVIDIA Mellanox MCX4121A-ACATbao gồm các công cụ hoạt động toàn diện để hợp lý hóa quản lý hàng ngày.

• Telemetry thời gian thực:Sử dụng NVIDIA NetQ, PerfSONAR hoặc điện đo trực tuyến dựa trên gNMI để theo dõi việc sử dụng cổng, lỗi CRC, tạm dừng PFC và các sự kiện đánh dấu ECN.Các số liệu này rất quan trọng để xác định các điểm nóng tắc nghẽn ảnh hưởng đến hiệu suất RDMA.
• Quản lý trình điều khiển và phần mềm cố định:Thông thường cập nhật trình điều khiển (MLNX_OFED hoặc trình điều khiển Linux trong hộp) và điều chỉnh phần mềm vạn phần mềm cho các phiên bản ổn định mới nhất.Bảng dữ liệu MCX4121A-ACATcho các phiên bản phần mềm cố định được khuyến cáo và sửa lỗi được biết đến.
• Chế độ điều chỉnh hiệu suấtĐiều chỉnh ngưỡng PFC và mức đánh dấu ECN dựa trên hồ sơ khối lượng công việc. Đối với khối lượng công việc lưu trữ, ưu tiên lưu lượng RDMA với các lớp ưu tiên cao hơn (ví dụ: CoS 3).điều chỉnh ngắt kết hợp và kích thước bộ đệm để tối ưu hóa thông lượng.
• Phân biệt lỗi:Sử dụng chẩn đoán tích hợp của bộ điều hợp (ví dụ: ethtool, mlxlink) để xác định các vấn đề về lớp liên kết.kiểm tra khung tạm dừng PFC và bộ đếm ECN để xác định chính xác các nguồn tắc nghẽn.

Nó cũng được khuyến cáo để thiết lập một đường cơ sở của RDMA độ trễ và thông lượng bằng cách sử dụng các công cụ như perftest (ib_write_bw, ib_read_bw) sau khi triển khai ban đầu.Mức cơ bản này phục vụ như một điểm chuẩn cho các so sánh hiệu suất trong tương lai và lập kế hoạch năng lực.

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MCX4121A-ACATcung cấp một giải pháp toàn diện, hiệu quả về chi phí cho việc xây dựng các mạng truy cập trung tâm dữ liệu có độ trễ thấp, công suất cao.Giá MCX4121A-ACATso với tổng chi phí sở hữu, lợi ích rõ ràng: giảm sử dụng CPU (tự do tài nguyên cho khối lượng công việc ứng dụng),Hiệu suất ứng dụng được cải thiện (lên đến 2x thông lượng cho lưu trữ và khối lượng công việc AI), và chi phí hoạt động thấp hơn (quản lý giám sát và phát hiện lỗi chủ động).

Các bài học quan trọng từ giải pháp kỹ thuật này bao gồm:

• CácMCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28cung cấp một đường truy cập 25GbE chắc chắn trong tương lai với khả năng tương thích hoàn toàn với 10GbE / 1GbE.
• RDMA / RoCEv2 offload, kết hợp với mạng PFC / ECN, cung cấp độ trễ dưới 5μs và sự can thiệp của CPU gần bằng không cho lưu trữ và lưu lượng AI.
• MởMCX4121A-ACAT tương thíchHệ sinh thái đảm bảo tích hợp liền mạch giữa các môi trường máy chủ, lưu trữ và chuyển đổi khác nhau.
• Giải pháp có thể mở rộng quy mô từ các cụm thí điểm nhỏ đến triển khai đa giá đỡ quy mô lớn, làm cho nó phù hợp cho cả trung tâm dữ liệu doanh nghiệp và các nhà cung cấp dịch vụ đám mây.

Đối với các tổ chức sẵn sàng hiện đại hóa cơ sở hạ tầng truy cập máy chủ của họ,NVIDIA Mellanox MCX4121A-ACATđại diện cho một đầu tư chiến lược về hiệu suất, hiệu quả và đơn giản hoạt động.Bảng dữ liệu MCX4121A-ACAT, toàn diệnMCX4121A-ACAT, vàMCX4121A-ACAT để bánĐiều này sẽ giúp các cơ quan quản lý và các cơ quan quản lý có thể cung cấp các nguồn lực cần thiết để bắt đầu quá trình đánh giá và triển khai.Giải pháp thẻ adapter MCX4121A-ACAT Ethernetphục vụ như một bản thiết kế đã được chứng minh để mở ra tiềm năng đầy đủ của mạng trung tâm dữ liệu hiện đại.