NVIDIA Mellanox MCX556A-ECAT Server Adapter hoạt động.

Card máy chủ NVIDIA Mellanox MCX556A-ECAT hoạt động | Vận chuyển độ trễ thấp RDMA/RoCE & Tăng thông lượng máy chủ

Bối cảnh & Thách thức: Khi 100GbE gặp bức tường độ trễ

Một công ty giao dịch định lượng hàng đầu — hãy gọi họ là "AlphaQuant" — đang đối mặt với một cuộc khủng hoảng cơ sở hạ tầng nghiêm trọng. Nền tảng giao dịch tần suất cao (HFT) của họ, xử lý hơn 2 triệu tin nhắn thị trường mỗi giây, đang gặp phải các đỉnh độ trễ không thể đoán trước, ảnh hưởng trực tiếp đến P&L. Công ty đã nâng cấp lên mạng 100GbE, nhưng các card máy chủ hiện tại của họ không theo kịp. Ngăn xếp TCP/IP đang tiêu tốn hơn 30% lõi CPU trên các máy chủ giao dịch của họ, và ngăn xếp mạng dựa trên phần mềm đã tạo ra độ rung lắc khiến việc đạt được thời gian khứ hồi dưới 10µs nhất quán là không thể. Hệ thống lưu trữ backend của họ, chạy mảng NVMe qua iSCSI, cũng hoạt động kém hiệu quả, với độ trễ đọc vượt quá 150µs — quá chậm đối với các phép tính rủi ro theo thời gian thực. AlphaQuant cần một sự suy nghĩ lại triệt để về kiến trúc I/O mạng của họ.

Họ đã tìm kiếm và tìm thấy NVIDIA Mellanox MCX556A-ECAT — một card máy chủ được thiết kế cho các môi trường nhạy cảm với độ trễ nhất. Đội ngũ kiến trúc của công ty nhận ra rằng card mạng PCIe bộ chuyển đổi MCX556A-ECAT ConnectX cung cấp khả năng giảm tải phần cứng và khả năng RDMA cần thiết để loại bỏ nút thắt cổ chai của ngăn xếp phần mềm.

Giải pháp: Triển khai Card Bộ chuyển đổi Ethernet MCX556A-ECAT

AlphaQuant đã triển khai card bộ chuyển đổi Ethernet MCX556A-ECAT trên 80 máy chủ giao dịch, mỗi máy được trang bị cổng QSFP28 kép kết nối với một mạng 100GbE dạng lá-xương sống. Việc triển khai tận dụng hỗ trợ RoCE v2 gốc của bộ chuyển đổi để cho phép vận chuyển Ethernet không mất mát cho cả dữ liệu giao dịch và lưu lượng lưu trữ. Điểm mấu chốt của giải pháp là khả năng của bộ chuyển đổi trong việc chạy RDMA qua Ethernet hợp nhất, loại bỏ nhu cầu về một mạng InfiniBand riêng biệt. Đội ngũ đã cấu hình PFC (Kiểm soát luồng ưu tiên) và ECN (Thông báo tắc nghẽn rõ ràng) ở cấp độ chuyển mạch, dành ưu tiên 3 cho lưu lượng giao dịch và ưu tiên 4 cho lưu trữ. Trong vòng ba tuần, toàn bộ mạng giao dịch và lưu trữ đã hoạt động trên RDMA — một quá trình chuyển đổi liền mạch nhờ khả năng tương thích rộng rãi của bộ chuyển đổi với môi trường dựa trên Linux hiện có của họ.

Từ góc độ vận hành, hệ sinh thái tương thích MCX556A-ECAT đã chứng tỏ giá trị to lớn. Các card đã tích hợp hoàn hảo với máy chủ Dell PowerEdge và chuyển mạch Arista của AlphaQuant, chỉ yêu cầu cài đặt trình điều khiển NVIDIA tiêu chuẩn. Đội ngũ đã tham khảo tờ dữ liệu MCX556A-ECAT để tinh chỉnh phân bổ bộ đệm và cài đặt hợp nhất ngắt, đạt được hiệu suất tối ưu cho môi trường làm việc hỗn hợp của họ — bao gồm thu nhận dữ liệu thị trường, thực thi lệnh và phân tích rủi ro theo thời gian thực.

Kết quả đo lường được: Độ trễ, Thông lượng và Hiệu quả CPU

Sự gia tăng hiệu suất là tức thời và có thể định lượng được. Với RDMA qua RoCE được kích hoạt thông qua NVIDIA Mellanox MCX556A-ECAT, ứng dụng giao dịch đã chứng kiến độ trễ đầu cuối giảm từ trung bình 42µs xuống chỉ còn 6.5µs — cải thiện 6.5 lần. Độ rung lắc (độ lệch chuẩn) đã giảm từ ±18µs xuống dưới ±1.2µs, mang lại cho bàn giao dịch sự xác định cần thiết để thực hiện có lợi nhuận. Đối với hệ thống lưu trữ backend của họ, độ trễ đọc NVMe-oF đã giảm từ 152µs xuống dưới 18µs — cải thiện 8 lần, giúp tăng tốc tính toán rủi ro lên 70%.

Ngoài độ trễ, sự gia tăng thông lượng máy chủ cũng rất ấn tượng. Công cụ giảm tải phần cứng — bao gồm giảm tải kiểm tra chẵn lẻ, LSO/LRO và gắn thẻ VLAN — đã giảm mức sử dụng CPU cho xử lý mạng từ 32% xuống dưới 5% trên tất cả các máy chủ. Điều này đã giải phóng hơn 24 lõi CPU mỗi máy chủ cho các thuật toán giao dịch, trực tiếp tăng thông lượng lệnh từ 1,2 triệu lên 2,1 triệu tin nhắn mỗi giây.

Lợi ích vận hành: TCO và Hợp nhất cơ sở hạ tầng

Mặc dù các con số hiệu suất thô đã kể một câu chuyện hấp dẫn, nhưng những lợi ích vận hành cũng quan trọng không kém. Giải pháp card bộ chuyển đổi Ethernet MCX556A-ECAT đã giảm tổng chi phí sở hữu bằng cách loại bỏ nhu cầu về một mạng RDMA riêng biệt (tiết kiệm hơn 350 nghìn đô la cho cơ sở hạ tầng chuyển mạch). Mức tiêu thụ điện mỗi máy chủ giảm 8W so với các NIC trước đó, tương đương với khoản tiết kiệm chi phí làm mát hàng năm khoảng 20%. Ngoài ra, thiết kế cổng kép của bộ chuyển đổi cung cấp khả năng dự phòng gốc — khi một liên kết gặp sự cố, lưu lượng truy cập sẽ tự động chuyển sang cổng thứ cấp mà không bị mất gói nào, như đã được xác minh bởi nhật ký viễn trắc của bộ chuyển đổi.

Đối với các nhà quản lý CNTT đánh giá giá MCX556A-ECAT so với các giải pháp thay thế, trưởng bộ phận cơ sở hạ tầng của AlphaQuant lưu ý rằng thời gian hoàn vốn dưới tám tháng, chủ yếu nhờ vào thông lượng giao dịch tăng và giảm các khoản phạt do độ trễ. Đội ngũ cũng đánh giá cao kiến trúc hướng tới tương lai — cùng một MCX556A-ECAT để bán ngày nay hỗ trợ 100GbE nhưng cũng có thể hoạt động ở tốc độ 40GbE hoặc 50GbE với các bộ thu phát quang phù hợp, đảm bảo bảo vệ khoản đầu tư cho các lần nâng cấp trong tương lai.

Theo thông số kỹ thuật MCX556A-ECAT, bộ chuyển đổi bao gồm các tính năng viễn trắc nâng cao — bộ đếm gói tin trên mỗi cổng, thống kê lỗi và giám sát nhiệt độ — mà AlphaQuant đã tích hợp gốc với ngăn xếp Prometheus/Grafana của họ. Điều này cho phép phát hiện sớm sự suy giảm cáp và tắc nghẽn chuyển mạch trước khi chúng ảnh hưởng đến hiệu suất giao dịch.

Tóm tắt & Triển vọng: Bản thiết kế cho cơ sở hạ tầng độ trễ cực thấp

Hành trình của AlphaQuant với NVIDIA Mellanox MCX556A-ECAT thể hiện một bản thiết kế rõ ràng cho các tổ chức đang tìm cách khai thác tối đa tiềm năng của cơ sở hạ tầng 100GbE. Bằng cách kết hợp thông lượng 100GbE cổng kép, RoCE tăng tốc phần cứng và tích hợp liền mạch với các hệ sinh thái hiện có, card bộ chuyển đổi Ethernet MCX556A-ECAT biến I/O mạng từ nút thắt cổ chai hiệu suất thành lợi thế cạnh tranh. Kết quả — độ trễ thấp hơn 6.5 lần, giảm 87% chi phí CPU và thông lượng lệnh cao hơn 75% — cho thấy khả năng của bộ chuyển đổi trong việc mang lại kết quả kinh doanh có thể đo lường được trong các môi trường đòi hỏi khắt khe nhất.

Nhìn về phía trước, khi các khối lượng công việc AI/ML và phân tích thời gian thực tiếp tục thúc đẩy nhu cầu về mạng xác định, card mạng PCIe bộ chuyển đổi MCX556A-ECAT ConnectX cung cấp một nền tảng vững chắc cho việc áp dụng RDMA mà không cần nâng cấp toàn bộ. Đối với các kiến trúc sư và lãnh đạo CNTT đang lên kế hoạch làm mới cơ sở hạ tầng tiếp theo của họ, bộ chuyển đổi này đại diện không chỉ là một thành phần, mà là một tài sản chiến lược. Các tham số tinh chỉnh chi tiết và các phương pháp triển khai tốt nhất có sẵn trong tờ dữ liệu MCX556A-ECAT chính thức — một tài liệu tham khảo thiết yếu cho bất kỳ triển khai nghiêm túc nào.