Bộ chuyển đổi máy chủ Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT hoạt động | Truyền tải độ trễ thấp RDMA/RoCE & Máy chủ

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter trong hành động.

Trong kịch bản triển khai lai kim loại và suy luận AI của một công ty Internet quy mô lớn,độ trễ mạng và CPU overhead đã trở thành rào cản quan trọng để mở rộng việc sử dụng GPU và hiệu suất lưu trữ. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructure. Nghiên cứu trường hợp này xem xét cáchMCX623106AN-CDATtừ Mellanox (NVIDIA Mellanox) đã giải quyết những thách thức này và biến cấu trúc mạng thành một máy gia tốc tính toán thực sự.

Bối cảnh & Thách thức: Khi NIC 25G đạt đến giới hạn của họ

Môi trường sản xuất bao gồm hơn 1.200 nút tính toán được chia thành hai vùng sẵn có, chạy một hỗn hợp các dịch vụ suy luận trực tuyến, đào tạo AI ngoại tuyến và lưu trữ đối tượng phân tán.Các bộ chuyển đổi Ethernet 25G hiện có, trong khi phù hợp với kết nối cơ bản, gặp khó khăn dưới khối lượng công việc đồng thời.

• Sử dụng CPU cao: Xử lý ngăn xếp TCP / IP dựa trên phần mềm tiêu thụ đến 35% lõi CPU trên các nút lưu trữ trong thời gian I / O bùng nổ cao điểm.
• Thời gian trễ không nhất quán: Độ trễ đuôi (p99) cho các hoạt động giảm toàn bộ phân tán thường vượt quá 50μs, gây ra việc sử dụng GPU không đủ trong quá trình đồng bộ hóa tham số.
• Chế độ lưu trữ: Giao thông NVMe-oF qua Ethernet mất mát bị giảm gói, gây ra việc chuyển tiếp lại làm suy giảm thông lượng hiệu quả gần 40%.

Sau khi đánh giá nhiều lựa chọn thay thế, bao gồm InfiniBand độc quyền và NIC 25G cạnh tranh, nhóm đã chọnNVIDIA Mellanox MCX623106AN-CDATĐối với sự kết hợp độc đáo của nó về gia tốc RoCEv2 dựa trên phần cứng, đường dẫn dữ liệu có thể lập trình và khả năng tương thích nền tảng rộng.

Phương pháp giải pháp và triển khai

Chiến lược triển khai tập trung vào ba trụ cột:Khả năng RDMA/RoCE,kích hoạt thả tải thông minh, vàDi cư dần dần của hạm đội. Mỗi nút tính toán nhận được mộtMCX623106AN-CDAT thẻ chuyển đổi Ethernet, thay thế các NIC thế hệ trước mà không thay đổi cơ sở hạ tầng đồng / sợi 25G cơ bản.

Từ quan điểm cấu hình, nhóm đã tận dụngBảng dữ liệu MCX623106AN-CDATđể tinh chỉnh các thông số sau:

• Thiết lập RoCEv2 PFC (Control Priority Flow): Các lớp lưu lượng truy cập không mất mát được xác định cho lưu trữ (NVMe-oF) và thông tin liên lạc tập thể AI, trong khi lưu lượng truy cập nỗ lực tốt nhất vẫn còn trên các hàng đợi mất mát riêng biệt.
• Cấp phép tháo tải phần cứng: VXLAN/NVGRE tunnel offload, phân đoạn tổng kiểm tra và LRO (Large Receive Offload) đã được kích hoạt để giảm sự can thiệp của CPU trên mỗi gói.
• Khả năng lập trình sẵn sàng DPU: Sử dụng ASAP2, nhóm đã triển khai các quy tắc lưu lượng nhẹ để hướng lưu lượng lưu trữ trực tiếp đến các điểm cuối mục tiêu NVMe-oF, bỏ qua toàn bộ ngăn xếp mạng lõi.

Việc xác nhận tính tương thích là đơn giảnMCX623106AN-CDAT tương thíchDanh sách bao gồm tất cả các mô hình máy chủ trong đội (Dell PowerEdge R750 và Supermicro Ultra series), và các nút dựa trên Red Hat OpenShift và Ubuntu đã áp dụng các trình điều khiển mới mà không có vấn đề.

Kết quả & Lợi ích có thể đo lường

Sau ba tuần triển khai sản xuất trên 40% đội máy tính, những lợi ích về hiệu suất đã ngay lập tức hiển thị.

Ngoài những cải tiến định lượng, nhóm kỹ thuật báo cáo một sự thay đổi về chất lượng trong sự ổn định hoạt động.Các cơ chế PFC và ECN dựa trên phần cứng đảm bảo rằng lưu lượng lưu trữ vẫn hầu như không mất mát, loại bỏ các cơn bão tái truyền hàng loạt trước đây ảnh hưởng đến các SLA ứng dụng.MCX623106AN-CDAT ConnectX adapter thẻ mạng PCIexử lý mã hóa IPSec tốc độ tuyến cho lưu lượng truy cập sao chép xuyên vùng, cho phép nhóm bảo mật thực thi các chính sách không tin cậy mà không cần triển khai các thiết bị mã hóa chuyên dụng.

Tóm lại & Quan điểm về tương lai

Việc triển khai này nhấn mạnh rằngGiải pháp thẻ adapter MCX623106AN-CDAT Ethernetkhông chỉ là một nâng cấp NIC tăng dần mà còn là một khả năng chiến lược cho các kiến trúc trung tâm dữ liệu hiện đại.và khả năng thả tải toàn diện, bộ chuyển đổi hiệu quả một mô Ethernet tiêu chuẩn thành một tầng cơ sở hạ tầng có độ trễ thấp, hiệu quả cao.Tổ chức CNTT hiện đang lên kế hoạch mở rộng triển khai đến tất cả các nút còn lại và đang tích cực đánh giáThông số kỹ thuật MCX623106AN-CDATcho các thiết kế 50G Spine-Leaf thế hệ tiếp theo.

Đối với các kiến trúc sư cơ sở hạ tầng và người quản lý CNTT phải đối mặt với mức tối đa hiệu suất tương tự,MCX623106AN-CDATcung cấp một con đường hấp dẫn, đã được chứng minh."Chúng tôi đạt được độ trễ tốt hơn so với các NIC 25G trước đây với một nửa chi phí CPU, và chúng tôi không cần phải cáp lại một giá đỡ duy nhất".Với cô gái lớn.MCX623106AN-CDAT tương thíchhệ sinh thái và cạnh tranhGiá MCX623106AN-CDATvị trí, bộ chuyển đổi này được chuẩn bị tốt để trở thành lựa chọn mặc định cho việc triển khai 25G RoCE cho dù khối lượng công việc là đào tạo AI, lưu trữ phân tán hoặc phân tích thời gian thực.

Tags:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx. RDMA/RoCE triển khai.