NVIDIA Mellanox MCX4121A-ACAT Server Adapter hoạt động: mở khóa hiệu suất RDMA / RoCE chậm

NVIDIA Mellanox MCX4121A-ACAT Server Adapter trong hành động: mở khóa hiệu suất RDMA / RoCE độ trễ thấp và tăng hiệu suất máy chủ

Mô hình:MCX4121A-ACATNgười dùng có thể sử dụng các thiết bị này để chuyển đổi dữ liệu từ máy chủ đến máy chủ.

Hậu trường & Thách thức: Các nút thắt mạng trong lưu trữ phân tán và suy luận AI

Đối với đội ngũ cơ sở hạ tầng tại một công ty internet lớn,Một đánh giá hiệu suất toàn diện được thực hiện vào đầu năm 2025 đã tiết lộ các nút thắt mạng quan trọng đã tác động bí mật đến hoạt động.AI inference cluster của công ty và hệ thống lưu trữ phân tán đều dựa trên 10GbE Ethernet,mà liên tục thể hiện độ trễ cao và sử dụng CPU quá mức trong giai đoạn tải mô hình và đồng bộ hóa dữ liệuTình hình đặc biệt cấp tính trong các kịch bản truy cập lưu trữ NVMe-oF, nơi chuyển đổi ngữ cảnh và gián đoạn trên của ngăn xếp TCP/IP truyền thống hạn chế nghiêm trọng hiệu suất lưu trữ.,Đội ngũ rất cần một công suất cao,giải pháp kết nối máy chủ độ trễ thấp để mở ra tiềm năng đầy đủ của bộ lưu trữ hậu端 và các máy gia tốc AI.

Sau khi nghiên cứu sâu rộng, nhóm đã chuyển sự tập trung của họ sang các bộ điều hợp Ethernet 25GbE, đặc biệt là những bộ hỗ trợ RDMA (Remote Direct Memory Access) và RoCEv2 (RDMA trên Converged Ethernet v2).RoCEv2 hứa hẹn sẽ bỏ qua lõi hệ điều hành và cho phép chuyển dữ liệu bỏ qua CPU, về mặt lý thuyết cung cấp giảm đáng kể độ trễ và CPU overhead.đạt được vận chuyển RDMA hiệu quả đặt ra những yêu cầu nghiêm ngặt đối với khả năng giảm tải phần cứng của bộ chuyển đổi và các cơ chế kiểm soát tắc nghẽn từ đầu đến cuối. bối cảnh này tạo ra cơ hội hoàn hảo choNVIDIA Mellanox MCX4121A-ACATđể đi vào đường ống đánh giá.

Giải pháp và triển khai: Xây dựng một mạng lưu trữ tối ưu hóa RDMA xung quanh MCX4121A-ACAT

Sau khi xem xét chi tiếtBảng dữ liệu MCX4121A-ACATvà xác nhậnMCX4121A-ACATchống lại các chuẩn mực nội bộ, nhóm kiến trúc quyết định triển khai bộ chuyển đổi trên cả các nút suy luận AI và các máy chủ cục bộ lưu trữ.MCX4121A-ACAT ConnectX-4 Lx cổng kép 25GbE SFP28thiết kế cho phép mỗi máy chủ kết nối thông qua hai sợi quang đến hai công tắc khác nhau trong vải xương sống lá, cung cấp sự dư thừa liên kết và cân bằng tải.

Chiến lược triển khai theo ba giai đoạn chính:

• Cài đặt phần cứng và xác minh tương thích:Nhóm nghiên cứu đầu tiên xác minhMCX4121A-ACAT tương thíchMỗi bộ chuyển đổi được cài đặt trong một khe cắm PCIe 3.0 x8, tiếp theo là cài đặt trình điều khiển từ nguồn chính thức của NVIDIA.
• Thiết lập mạng RoCEv2 không mất mát:PFC (Kiểm soát lưu lượng ưu tiên) và ECN (Báo cáo tắc nghẽn rõ ràng) đã được bật trên cơ sở hạ tầng chuyển đổi có khả năng RoCEv2.Các giao thức DCBx (Data Center Bridging Exchange) được cấu hình để đảm bảo vận chuyển không mất mát cho lưu lượng RDMA qua Ethernet, cung cấp một nền tảng ổn định choMCX4121A-ACAT Ethernet adapter cardđể cung cấp đầy đủ khả năng RDMA.
• Tối ưu hóa ngăn xếp giao thức lưu trữ:Các mục tiêu NVMe-oF được triển khai trên các máy chủ lưu trữ, trong khi các khởi động viên NVMe-oF được cấu hình trên các máy chủ ứng dụng.tất cả các yêu cầu I / O lưu trữ được đóng gói dưới dạng các hoạt động RDMA, hiệu quả bỏ qua kernel network stack.

Trong suốt quá trình triển khai,NVIDIA Mellanox MCX4121A-ACATđã chứng minh sự đơn giản thực sự plug-and-play, nén những gì ban đầu được ước tính là một nỗ lực hội nhập hai tuần chỉ trong ba ngày.

Kết quả có thể đo lường: Lợi ích hiệu suất đáng kể và giải phóng tài nguyên

Sau một tháng hoạt động sản xuất, nhóm đã ghi lại những cải tiến đáng kể trên tất cả các chỉ số chính, minh chứng rõ ràng giá trị được cung cấp bởi sản phẩm.MCX4121A-ACAT:

Ngoài các con số hiệu suất thô, nhóm đánh giá ROI khi xem xét cácGiá MCX4121A-ACATso với tổng chi phí sở hữu. Việc giảm đáng kể việc sử dụng CPU cho phép một số máy chủ được lên kế hoạch trước đó để nâng cấp dung lượng vẫn còn hoạt động,Tiết kiệm trực tiếp chi phí mua sắm phần cứngNgoài ra, độ trễ giảm đã cải thiện thời gian phản hồi dịch vụ suy luận trực tuyến từ 120ms lên 45ms, mang lại trải nghiệm tốt hơn cho người dùng cuối.MCX4121A-ACAT để bánCác lựa chọn và so sánh tỷ lệ giá/hiệu suất, công ty kết luận rằng bộ điều hợp này đại diện cho một giải pháp truy cập 25GbE hiệu quả chi phí cao.

Tóm lại & triển vọng: Xây dựng một cơ sở hạ tầng độ trễ thấp sẵn sàng cho tương lai

Thông qua việc triển khai sản xuất này, công ty internet đã xác nhận thành công giá trị thực tế củaNVIDIA Mellanox MCX4121A-ACATLà nền tảng của một kế hoạch toàn diệnGiải pháp thẻ adapter MCX4121A-ACAT Ethernet, bộ chuyển đổi không chỉ giải quyết các nút thắt mạng trong lưu trữ và khối lượng công việc AI mà còn cải thiện đáng kể hiệu quả thông lượng máy chủ tổng thể.Nghiên cứu trường hợp này cho thấy rõ rằng trong kỷ nguyên 25GbE, lựa chọn một bộ chuyển đổi với khả năng giảm tải RDMA mạnh mẽ là quyết định trong việc mở khóa tiềm năng CPU và giảm độ trễ quan trọng trong kinh doanh.

Nhìn về phía trước, nhóm có kế hoạch mở rộngMCX4121A-ACATtriển khai cho các trường hợp sử dụng bổ sung, bao gồm xử lý giao dịch trực tuyến và hệ thống kiểm soát rủi ro thời gian thực, tiếp tục tận dụng các đặc điểm độ trễ thấp của nó cho các ứng dụng cấp tài chính.Dựa trên thành công này, bộ phận cơ sở hạ tầng đã bắt đầu đánh giá 100GbE và các sản phẩm thế hệ tiếp theo, nhưngMCX4121A-ACATVới kiến trúc ConnectX-4 Lx trưởng thành và khả năng tương thích hệ sinh thái rộng rãi, nó sẽ tiếp tục đóng vai trò là một nút chính, cung cấp một nền tảng vững chắc cho sự phát triển trung tâm dữ liệu đang diễn ra của công ty.