NVIDIA Mellanox MCX4121A-ACAT Server Adapter Giải pháp kỹ thuật

Giải pháp kỹ thuật này được thiết kế cho các kiến trúc sư mạng, kỹ sư bán hàng trước và quản lý hoạt động.cơ sở hạ tầng mạng trung tâm dữ liệu công suất cao dựa trên công nghệ RoCE (RDMA over Converged Ethernet) sử dụngNVIDIA Mellanox MCX4121A-ACATTài liệu bao gồm thiết kế kiến trúc, công nghệ chính, chiến lược triển khai và thực tiễn hoạt động tốt nhất.

1. Xét nghiệm về dự án và các yêu cầu

Các trung tâm dữ liệu hiện đại phải đối mặt với ba thách thức cơ bản: chi phí CPU của các ngăn xếp TCP / IP truyền thống, sự lo lắng về độ trễ không thể đoán trước cho các ứng dụng phân tán,và chi phí leo thang của băng thông đông-tâyKhi khối lượng công việc di chuyển sang đào tạo AI, cơ sở dữ liệu phân tán và các vải lưu trữ NVMe-oF, các bộ chuyển đổi 10GbE hoặc 25GbE thông thường mà không có tải RDMA trở thành những nút thắt quan trọng.Môi trường mục tiêu ờ điển hình của đám mây trung bình đến lớn hoặc trung tâm dữ liệu doanh nghiệp ờ đòi hỏi độ trễ dưới 3μs, ít hơn 10% CPU sử dụng cho xử lý mạng, và tốc độ đường dây 50Gb / s tổng thông lượng cho mỗi máy chủ.MCX4121A-ACAT Ethernet adapter cardđề cập trực tiếp đến những yêu cầu này.

2Thiết kế kiến trúc mạng và hệ thống tổng thể

Kiến trúc được đề xuất tuân theo một cấu trúc hai tầng với giao thông Ethernet không mất mát.

• Lớp lá:Chuyển đổi ToR với hỗ trợ DCB (Data Center Bridging) hỗ trợ PFC, ETS và DCBX được bật.
• Lớp cột sống:Các công tắc không chặn cung cấp kết nối lưới đầy đủ giữa các lá.
• Lớp máy chủ:Mỗi nút tính toán / lưu trữ được trang bịMCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28Adapter.
• Giao thức vận chuyển:RoCE v2 với hỗ trợ định tuyến IP, cho phép RDMA qua ranh giới Layer 3.

Kiến trúc quy mô từ 48 đến hơn 1.000 nút trong khi duy trì độ trễ liên tục dưới microsecond.Cổng kép của mỗi bộ chuyển đổi có thể được cấu hình trong liên kết tích cực-hoạt động để tổng hợp băng thông hoặc tích cực-thông thụ để có sẵn cao.

3. Vai trò của NVIDIA Mellanox MCX4121A-ACAT & Các tính năng chính

Trong giải pháp này,NVIDIA Mellanox MCX4121A-ACATphục vụ như là động cơ tải trọng phần cứng quan trọng.Bảng dữ liệu MCX4121A-ACAT, các tính năng chính cho phép bao gồm:

• Dòng tải vận chuyển dựa trên phần cứng:Hoàn thành việc xử lý giao thức RDMA / RoCE trong phần cứng bộ chuyển đổi, loại bỏ sự tham gia của CPU trong chuyển động dữ liệu.
• SFP28 hai cổng 25GbE:Hỗ trợ phương tiện truyền thông linh hoạt cho cáp SR, LR và DAC; tương thích ngược với 10GbE và 1GbE.
• Giao diện máy chủ PCIe 3.0 x8:Cung cấp đến 64Gb / s băng thông hai chiều, không chặn tốc độ dây.
• NVMe-oF gia tốc:Native offload cho xử lý lệnh NVMe/TCP và NVMe/RoCE.
• Overlay Offload:Tăng tốc phần cứng cho các đường hầm VXLAN, GENEVE và NVGRE.

CácMCX4121A-ACATxác nhận hỗ trợ tối đa 1 triệu IOPS mỗi cổng với độ trễ dưới 0,8μs cho chuyển đổi gắn trong bộ nhớ, làm cho nó lý tưởng cho giao dịch tần số cao, phân tích thời gian thực và lưu trữ phân chia.

4. Đề xuất triển khai và mở rộng quy mô (với Topology)

Việc triển khai điển hình theo một sự triển khai tiến bộ ở cấp rack. Dưới đây là một cấu trúc hai rack tham chiếu:

Để mở rộng hơn hai giá đỡ, các công tắc cột sống kết nối với nhau tất cả các công tắc lá.MCX4121A-ACAT tương thíchCác tổ chức có thể tìm nguồn từ các mô-đun SFP28 được thử nghiệm bởi nhà cung cấp từ danh sách tương thích của NVIDIA để đảm bảo sự ổn định của PFC và đào tạo liên kết.MCX4121A-ACAT để bánthông qua các nhà phân phối được ủy quyền, vớiGiá MCX4121A-ACATthường dao động từ $ 400- $ 600 cho mỗi bộ chuyển đổi tùy thuộc vào khối lượng.

5. Giám sát hoạt động, khắc phục sự cố và tối ưu hóa

Việc triển khai RoCE hiệu quả đòi hỏi giám sát chủ động.

• Telemetry:Sử dụng bộ trình điều khiển MLNX_OFED của NVIDIA với các bộ đếm RoCE tích hợp (port_xmit_wait, port_rcv_remote_physical_errors).
• Phát hiện tắc nghẽn:Theo dõi các khung tạm dừng PFC; các giá trị không bằng 0 liên tục cho thấy áp suất đệm.
• Định vị bộ đệm:Thiết lập 2-3x BDP (Bandwidth-Delay Product) cho các bể đệm không mất mát.
• Các ngưỡng ECN/RED:Đặt xác suất đánh dấu ở độ sâu hàng đợi 1% để tránh tắc nghẽn chủ động.

Các kịch bản khắc phục sự cố phổ biến: Nếu hiệu suất RoCE suy giảm, hãy xác minh rằng cấu hình DCB giống hệt nhau trên tất cả các công tắc và phần mềm cố định của bộ điều hợp.Giải pháp thẻ adapter MCX4121A-ACAT Ethernetbao gồm các công cụ chẩn đoán (ibdiagnet, mlxlink) để xác nhận tính toàn vẹn của cáp và sức khỏe liên kết.tích hợp các số liệu này vào bảng điều khiển Prometheus / Grafana với cảnh báo về các khung tạm dừng giảm hoặc chuyển tiếp quá mức.

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MCX4121A-ACATcung cấp giá trị có thể đo lường qua ba chiều:hiệu suất(tạm thời dưới 2μs, thông lượng hiệu quả 49Gb/s),hiệu quả(dưới 5% CPU sử dụng cho I/O mạng), vàTCOĐối với các tổ chức xây dựng trung tâm dữ liệu thế hệ tiếp theo, bộ chuyển đổi này cung cấp một sản xuất được chứng minh,có khả năng mở rộngGiải pháp thẻ adapter MCX4121A-ACAT EthernetCác kiến trúc sư mạng được khuyến khích tham khảo cácBảng dữ liệu MCX4121A-ACATcho các thông số kỹ thuật chi tiết ở cấp đăng ký và hướng dẫn tích hợp.