NVIDIA Mellanox MCX4121A-ACAT Server Adapter Sách trắng kỹ thuật

NVIDIA Mellanox MCX4121A-ACAT Server Adapter Sách trắng kỹ thuật

1. Xét nghiệm về dự án và các yêu cầu

Các trung tâm dữ liệu hiện đại đang chịu áp lực không ngừng để hỗ trợ khối lượng công việc ngày càng đòi hỏi từ đào tạo AI / ML và giao dịch tần số cao đến cơ sở dữ liệu phân tán và lưu trữ NVMe trên các nhà máy.Trong khi 25GbE Ethernet đã trở thành tiêu chuẩn tầng truy cập chính, nhiều tổ chức thấy rằng băng thông thô một mình không chuyển thành hiệu suất ứng dụng.độ trễ không thể đoán trướcĐối với các ứng dụng nhạy cảm với độ trễ và đói thông lượng, hệ thống con mạng thường trở thành liên kết yếu nhất.

Sách trắng này giải quyết những thách thức này thông qua một giải pháp toàn diện tập trung vàoNVIDIA Mellanox MCX4121A-ACATĐược thiết kế cho các doanh nghiệp tìm cách khai thác đầy đủ tiềm năng của cơ sở hạ tầng 25GbE,MCX4121A-ACAT Ethernet adapter cardkết hợp kết nối 25GbE cổng kép với RDMA tăng tốc phần cứng qua Converged Ethernet (RoCE). Giải pháp nhắm tới ba mục tiêu chính: (1) giảm độ trễ cấp ứng dụng xuống dưới 10μs,(2) cắt giảm chi phí xử lý mạng CPU hơn 80%, và (3) cho phép khả năng mở rộng liền mạch từ một vài nút đến hàng trăm mà không cần sửa đổi kiến trúc.

2Thiết kế kiến trúc mạng và hệ thống tổng thể

Kiến trúc được đề xuất áp dụng một topology leaf-spine với 25GbE là lớp truy cập máy chủ và 100GbE uplinks đến xương sống.MCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28kiến trúc được xây dựng xung quanh ba nguyên tắc cốt lõi:

• Vải Ethernet không mất mát:Tận dụng RoCE v2 với PFC (Kiểm soát dòng chảy ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng) để loại bỏ việc giảm gói và đảm bảo độ trễ xác định.
• Tải phần cứng khắp mọi nơi:Bỏ tải xử lý lớp vận chuyển bao gồm tổng kiểm tra, phân khúc và RDMA đến bộ chuyển đổi, giải phóng các chu kỳ CPU cho các ứng dụng kinh doanh.
• Sự dư thừa tích cực:Sử dụng cả hai cổng SFP28 trong chế độ tổng hợp liên kết (LACP) cho băng thông tổng cộng 50Gb / s và chuyển đổi tự động.

Giải pháp là hoàn toànMCX4121A-ACAT tương thíchvới các nền tảng máy chủ hàng đầu (Dell PowerEdge, HPE ProLiant, Supermicro) và chuyển đổi từ NVIDIA Spectrum và Arista. Đối với lưu trữ, kiến trúc hỗ trợ NVMe-oF qua RoCE,cho phép chia sẻ lưu trữ phân loại với độ trễ gần ổ NVMe cục bộ.

3Vai trò và các tính năng chính của NVIDIA Mellanox MCX4121A-ACAT

Là thành phần cơ bản của giải pháp này,NVIDIA Mellanox MCX4121A-ACATphục vụ ba chức năng quan trọng:

Các thông số kỹ thuật chính được trích xuất từBảng dữ liệu MCX4121A-ACATbao gồm giao diện máy chủ PCIe 3.0 x8, giảm tải toàn diện (số kiểm tra, LSO / LRO, loại bỏ / chèn VLAN) và đo từ xa tiên tiến cho mỗi cổng.Hiệu quả năng lượng của bộ chuyển đổi (< 10W điển hình) và hỗ trợ hệ điều hành rộng (Linux, Windows, VMware ESXi) làm cho nó trở thành một khối xây dựng linh hoạt cho các môi trường khác nhau.

4. Các khuyến nghị triển khai và mở rộng quy mô

Đối với việc triển khai greenfield, chúng tôi khuyên bạn nên sử dụng một topology hai cấp leaf-spine với truy cập 25GbE và 100GbE/400GbE uplinks.MCX4121A-ACAT Ethernet adapter cardvới cả hai cổng được kết nối với các công tắc lá riêng biệt để làm dư thừa.PFC trên ưu tiên 3 và đánh dấu ECN trên cùng một lớp giao thôngChúng tôi khuyên bạn nên phân bổ một VLAN chuyên dụng cho lưu lượng truy cập RoCE để đơn giản hóa việc giám sát và khắc phục sự cố.

Đối với môi trường brownfield,Giải pháp thẻ adapter MCX4121A-ACAT Ethernetcung cấp một con đường di chuyển thanh lịch. Bởi vì bộ chuyển đổi tương thích ngược với quang học SFP + 10GbE, cáp hiện có có thể được sử dụng lại trong quá trình nâng cấp từng giai đoạn lên 25GbE.Bộ chuyển đổi cũng hỗ trợ chuyển đổi Ethernet tiêu chuẩn mà không cần bật RoCE bắt buộc, cho phép các nhóm triển khai phần cứng đầu tiên và kích hoạt khả năng RDMA theo từng giai đoạn khi vải trưởng thành.

Tăng quy mô giải pháp là đơn giản: các nút bổ sung chỉ đơn giản là được cung cấp cùng mộtMCX4121A-ACAT để bánSKU, và cấu trúc tự động chứa các điểm cuối mới thông qua LLDP và DCBx đàm phán.chúng tôi khuyên bạn nên triển khai một bộ điều khiển quản lý tắc nghẽn RoCE chuyên dụng (e.g., NVIDIA Spectrum chuyển đổi với telemetry tích hợp) để duy trì hành vi không mất mát ở quy mô.

5. Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

Hoạt động hiệu quả của vải RoCE đòi hỏi một chiến lược giám sát nhiều lớp:

• Telemetry ở cấp độ adapter:CácMCX4121A-ACATbao gồm các bộ đếm mỗi cổng cho các khung PFC, các gói được đánh dấu ECN và các khung bị bỏ.mlx5cmdhoặc các công cụ firmware NVIDIA để xuất chúng sang Prometheus / Grafana.
• Kiểm tra cấp độ chuyển đổi:Theo dõi sự chiếm đóng của bộ đệm, số lượng khung tạm dừng và độ sâu hàng đợi trên các công tắc xương sống và lá.
• Chỉ số cấp độ ứng dụng:Đối với các ứng dụng RDMA, theo dõi thời gian trễ hoàn thành WR (Work Request) và sự kiện tràn CQ (Completion Queue) bằng cách sử dụng các thư viện được cung cấp bởi nhà cung cấp.

Các kịch bản khắc phục sự cố phổ biến bao gồm:

• Sự suy giảm hiệu suất RoCE:Kiểm tra PFC được bật trên tất cả các cổng chuyển đổi và rằng các dấu hiệu DSCP phù hợp với cấu hình chuyển đổi.Bảng dữ liệu MCX4121A-ACATđể xác nhận các cài đặt phân bổ đệm.
• Lỗi liên kết hoặc lỗi CRC:Kiểm tra chất lượng cáp SFP28 và đảm bảo phần mềm cố định của bộ chuyển đổi được cập nhật với phiên bản mới nhất.
• CPU vẫn còn cao mặc dù giảm tải:Xác nhận rằng RDMA thực sự đang được sử dụng (không phải là TCP) bằng cách kiểm tra các bộ đếm trình điều khiển và nhật ký ứng dụng.

Để tối ưu hóa, chúng tôi khuyên bạn nên các thông số điều chỉnh sau đây (được bắt nguồn từ xác nhận phòng thí nghiệm rộng rãi): - Set interrupt coalescing (moderation) to 4 µs for mixed workloads - Enable hardware timestamping for precise latency measurement - Configure RSS (Receive Side Scaling) across multiple CPU cores for non-RDMA traffic - For storage workloads, tăng tối đa RDMA MTU đến 4096 bytes để giảm giao thức overhead

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MCX4121A-ACATGiải pháp cung cấp giá trị chuyển đổi cho các trung tâm dữ liệu hiện đại. Bằng cách thay thế TCP / IP bằng RDMA / RoCE, các tổ chức có thể đạt được giảm độ trễ ở cấp ứng dụng 5 × 10 lần,cắt giảm chi phí trên mạng CPU hơn 80%, và tăng mật độ container máy chủ bằng 30~50%.MCX4121A-ACAT Ethernet adapter cardcung cấp một con đường hiệu quả về chi phí để áp dụng 25GbE với bảo vệ đầu tư thông qua khả năng tương thích ngược và khả năng giảm tải sẵn sàng cho tương lai.

Khi đánh giá tổng chi phí sở hữu,Giá MCX4121A-ACATđược bù đắp bằng các khoản tiết kiệm hoạt động đáng kể: số lượng máy chủ giảm (do sử dụng cao hơn), chi phí làm mát thấp hơn (nhờ tiêu thụ điện < 10W),và loại bỏ các loại vải InfiniBand riêng biệt hoặc vải độc quyềnGiải pháp là hoàn toànMCX4121A-ACAT tương thíchvới các hệ sinh thái mã nguồn mở lớn, bao gồm Kubernetes, Apache Spark và TensorFlow, đảm bảo khả năng áp dụng rộng rãi trên các triển khai doanh nghiệp và đám mây gốc.

Đối với các kịch bản triển khai chi tiết, mẫu cấu hình và báo cáo điểm chuẩn hiệu suất, vui lòng tham khảo chính thứcBảng dữ liệu MCX4121A-ACATvà cổng thông tin tài liệu mạng NVIDIA. Sách trắng này phục vụ như là một điểm khởi đầu - kiến trúc được xác nhận, các thành phần sẵn sàng sản xuất và lợi ích có thể đo lường.MCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28không chỉ là một bộ chuyển đổi; nó là một khả năng chiến lược cho RDMA sẵn sàng, thông lượng tối ưu hóa trung tâm dữ liệu của tương lai.