NVIDIA Mellanox MCX4121A-ACAT Server Adapter in Action. RDMA/RoCE Giao thông chậm và tăng hiệu suất máy chủ.
July 22, 2026
NVIDIA Mellanox MCX4121A-ACAT Server Adapter in Action. RDMA/RoCE Giao thông chậm và tăng hiệu suất máy chủ.
Bối cảnh & Thách thức: Khi 25GbE đáp ứng bức tường độ trễ
Một nhà cung cấp dịch vụ đám mây cỡ trung bình, hãy gọi họ là CloudNova, đã phải đối mặt với một nút thắt quen thuộc nhưng đau đớn.nhưng hiệu suất ứng dụng nói một câu chuyện khácViệc sao chép cơ sở dữ liệu bị chậm trễ, công việc máy học phân tán bị đình trệ trong việc đồng bộ gradient, và các mảng lưu trữ NVMe không bao giờ cung cấp IOPS như đã hứa.TCP / IP truyền thống chồng trên chi phí tiêu thụ hơn 25% của lõi CPU trên các nút tính toán của họ, và các NIC hiện có thiếu phần cứng giảm tải cho RDMA.sử dụngTìm kiếm của họ đã dẫn họ đếnNVIDIA Mellanox MCX4121A-ACATMột thẻ được thiết kế chính xác cho những cơn đau trung tâm dữ liệu hiện đại.
Giải pháp: triển khai thẻ MCX4121A-ACAT Ethernet Adapter
Đội kiến trúc của CloudNova thay thế các NIC 10GbE cũ của họ vớiMCX4121A-ACAT Ethernet adapter cardtrên 120 nút tính toán, mỗi nút được trang bị hai cổng SFP28. Việc triển khai tận dụng hỗ trợ RoCE v2 gốc của bộ điều hợp để cho phép vận chuyển Ethernet không mất mát,loại bỏ sự cần thiết của các loại vải InfiniBand riêng biệtChìa khóa giải pháp làMCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28thiết kế, cho phép liên kết liên kết tích cực-hoạt động cho tổng thông lượng 50Gb / s cho mỗi máy chủ.Nhóm đã cấu hình PFC (Kiểm soát dòng chảy ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng) ở cấp độ chuyển đổi, đảm bảo rằng giao thông RoCE vẫn không bị mất mát ngay cả trong thời gian tải cao điểm.toàn bộ cấu trúc lưu trữ và tính toán đang chạy trên RDMA, một sự chuyển đổi được thực hiện liền mạch bởi khả năng tương thích của bộ chuyển đổi với cáp SFP28 hiện có và công tắc Mellanox Spectrum.
Từ quan điểm hoạt động,MCX4121A-ACAT tương thíchCác thẻ tích hợp hoàn hảo với các máy chủ dựa trên Ubuntu của CloudNova và cụm Kubernetes, chỉ yêu cầu cài đặt trình điều khiển tiêu chuẩn.Bảng dữ liệu MCX4121A-ACATđể tinh chỉnh phân bổ bộ đệm và ngắt cài đặt hợp nhất, đạt được hiệu suất tối ưu cho môi trường khối lượng công việc hỗn hợp của họ, bao gồm các cụm MySQL, phân tích Spark,và các công việc đào tạo TensorFlow.
Kết quả có thể đo lường: Thông lượng, độ trễ và hiệu quả CPU
Việc nâng cao hiệu suất là ngay lập tức và có thể đo lường.NVIDIA Mellanox MCX4121A-ACAT, phần mềm lưu trữ đã thấy NVMe-oF đọc độ trễ giảm từ 85μs xuống chỉ 12μs một sự cải thiện 7 lần.cho phép chuyển đổi lỗi gần đồng bộĐối với khối lượng công việc học máy, thời gian đồng bộ hóa hoàn toàn cho đào tạo ResNet-50 giảm 62%, giảm tổng thời gian đào tạo thời đại từ 4,2 giờ xuống còn 1,6 giờ.
Ngoài thời gian trễ, server throughput gain cũng hấp dẫn.và VLAN tagging giảm việc sử dụng CPU để xử lý mạng từ 28% xuống dưới 5% trên tất cả các nútĐiều này giải phóng hơn 20 lõi CPU cho mỗi máy chủ cho logic ứng dụng, trực tiếp tăng mật độ container bằng 40%.MCX4121A-ACAT, thẻ cung cấp tốc độ đường 25GbE mỗi cổng với độ trễ dưới 1μs, và các điểm chuẩn nội bộ của CloudNova đã xác nhận những con số này trong sản xuất.
| Phương pháp đo | Trước đó (NIC Legacy) | Sau (MCX4121A-ACAT) | Cải thiện |
|---|---|---|---|
| NVMe-oF đọc độ trễ | 85 μs | 12 μs | 7.1 lần nhanh hơn |
| DB Replication Lag | 320 ms | < 2 ms | Giảm 160 lần |
| CPU Network Overhead | 28% | 40,8% | 83% thấp hơn |
| Thời gian đào tạo ML (ResNet-50) | 4.2 giờ | 1.6 giờ | 62% nhanh hơn |
Lợi ích hoạt động: TCO và sẵn sàng trong tương lai
Trong khi các con số hiệu suất thô kể một câu chuyện hấp dẫn, những lợi ích hoạt động cũng đáng kể.Giải pháp thẻ adapter MCX4121A-ACAT Ethernetgiảm tổng chi phí sở hữu bằng cách loại bỏ sự cần thiết của một vải RDMA riêng biệt (chiết kiệm hơn $ 180K trong cơ sở hạ tầng chuyển đổi).Tiêu thụ điện cho mỗi máy chủ giảm 8W so với NIC trước đó, chuyển thành tiết kiệm làm mát hàng năm khoảng 15%.lưu lượng truy cập tự động bị thất bại đến cổng thứ cấp với không mất gói tin, được xác minh bởi hồ sơ đo từ xa của bộ điều chỉnh.
Đối với các nhà quản lý CNTT đánh giáGiá MCX4121A-ACATĐối với các giải pháp thay thế, CFO của CloudNova lưu ý rằng thời gian hoàn vốn dưới 10 tháng, chủ yếu là do việc sử dụng máy chủ tăng và giảm thời gian hoàn thành công việc.Nhóm cũng đánh giá cao kiến trúc hướng tới tương laiMCX4121A-ACAT để bánHiện nay hỗ trợ 25GbE ngày hôm nay nhưng có thể được sử dụng lại cho môi trường 10GbE hoặc 40GbE với quang học thích hợp, đảm bảo bảo vệ đầu tư cho các nâng cấp trong tương lai.
Tóm lại & triển vọng: Một kế hoạch cho các trung tâm dữ liệu sẵn sàng RDMA
Hành trình của CloudNova vớiNVIDIA Mellanox MCX4121A-ACATthể hiện một kế hoạch rõ ràng cho các tổ chức tìm cách khai thác tiềm năng đầy đủ của cơ sở hạ tầng 25GbE. Bằng cách kết hợp thông lượng 25GbE cổng kép, RoCE tăng tốc phần cứng,và tích hợp liền mạch với các hệ sinh thái hiện có,MCX4121A-ACAT Ethernet adapter cardchuyển đổi mạng I / O từ một nút thắt thành một khả năng hiệu suất. Kết quả là 7 lần độ trễ lưu trữ thấp hơn, giảm 83% chi phí CPU,và 62% nhanh hơn ML đào tạo nói về khả năng của adapter để cung cấp kết quả kinh doanh có thể đo lường.
Nhìn về phía trước, khi khối lượng công việc AI và phân tích thời gian thực tiếp tục thúc đẩy nhu cầu về mạng quyết định,MCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28cung cấp một nền tảng vững chắc cho việc áp dụng RDMA mà không cần nâng cấp xe nâng.nhưng là một tài sản chiến lượcCác thông số điều chỉnh chi tiết và thực tiễn triển khai tốt nhất có sẵn trongBảng dữ liệu MCX4121A-ACAT- một tài liệu tham khảo thiết yếu cho bất kỳ triển khai nghiêm trọng nào.