Card máy chủ NVIDIA Mellanox MCX653105A-HDAT hoạt động | Vận chuyển độ trễ thấp RDMA/RoCE & Tăng thông lượng máy chủ

Card mạng máy chủ NVIDIA Mellanox MCX653105A-HDAT hoạt động | Vận chuyển độ trễ thấp RDMA/RoCE & Tăng thông lượng máy chủ

Bối cảnh & Thách thức: Nút thắt cổ chai trong đào tạo AI

Một công ty công nghệ tài chính hàng đầu chuyên về giao dịch thuật toán và phân tích rủi ro thời gian thực đã đối mặt với một thách thức cơ sở hạ tầng quan trọng. Nhóm học máy của họ đã triển khai một cụm đào tạo phân tán bao gồm 32 máy chủ tăng tốc GPU, mỗi máy được trang bị GPU NVIDIA hiệu suất cao. Tuy nhiên, khi độ phức tạp của mô hình tăng từ hàng triệu lên hàng tỷ tham số, độ trễ mạng trở thành nút thắt cổ chai chiếm ưu thế. Các bộ chuyển đổi 25GbE hiện có, hoạt động với TCP/IP truyền thống, đã tạo ra độ trễ đuôi không thể đoán trước, làm chậm đáng kể quá trình đồng bộ hóa gradient trên toàn bộ cụm.

Các kiến trúc sư cơ sở hạ tầng của công ty đã xác định hai vấn đề chính. Thứ nhất, ngăn xếp TCP/IP tiêu thụ đáng kể tài nguyên CPU trên mỗi máy chủ — lên đến 30% số lõi có sẵn — làm giảm dung lượng dành cho việc đào tạo mô hình thực tế. Thứ hai, việc thiếu khả năng giảm tải phần cứng cho RDMA có nghĩa là việc truyền dữ liệu giữa bộ nhớ GPU và mạng yêu cầu nhiều bản sao bộ nhớ, thêm độ trễ ở cấp micro giây tích lũy qua hàng nghìn lần trao đổi tham số cho mỗi bước đào tạo. Nhóm cần một giải pháp có thể cung cấp giao tiếp độ trễ thấp xác định mà không làm giảm thông lượng máy chủ hoặc yêu cầu cải tạo toàn bộ mạng.

Giải pháp & Triển khai: Triển khai RoCE với MCX653105A-HDAT

Sau khi đánh giá nhiều tùy chọn, công ty đã chọn NVIDIA Mellanox MCX653105A-HDAT làm thành phần cốt lõi của việc nâng cấp mạng của họ. Card mạng PCIe này đã được triển khai trên mỗi 32 máy chủ đào tạo, thay thế các bộ chuyển đổi thế hệ trước. Card mạng PCIe MCX653105A-HDAT ConnectX cung cấp sự kết hợp cần thiết giữa băng thông cao và hỗ trợ RoCEv2 tăng tốc phần cứng, cho phép giao tiếp RDMA thực sự trên mạng Ethernet hiện có.

Việc triển khai tuân theo một phương pháp có cấu trúc:

• Lắp đặt vật lý: Mỗi máy chủ nhận được card mạng Ethernet MCX653105A-HDAT, được kết nối qua các liên kết SFP28 25GbE cổng kép với các switch top-of-rack dự phòng.
• Cấu hình RoCEv2: Các switch mạng được cấu hình với Priority Flow Control (PFC) và Explicit Congestion Notification (ECN) để đảm bảo truyền Ethernet không mất mát — một điều kiện tiên quyết để có hiệu suất RDMA tối ưu.
• Tích hợp GPUDirect: Nhóm đã tận dụng khả năng GPUDirect của bộ chuyển đổi, cho phép di chuyển dữ liệu trực tiếp giữa bộ nhớ GPU và giao diện mạng mà không cần sự tham gia của CPU máy chủ.
• Ngăn xếp phần mềm: Ngăn xếp trình điều khiển mạng NVIDIA đã được cài đặt và khung đào tạo (PyTorch với distributed data parallel) được cấu hình để sử dụng lớp vận chuyển RDMA.

Theo datasheet MCX653105A-HDAT, bộ chuyển đổi hỗ trợ PCIe Gen 4.0 x16, cung cấp băng thông máy chủ lên đến 256 GB/s — đủ để bão hòa hoàn toàn các cổng 25GbE kép trong khi vẫn còn nhiều chỗ trống cho các nâng cấp trong tương lai lên 50GbE hoặc 100GbE. Nhóm lưu ý rằng tính linh hoạt của bộ chuyển đổi làm cho nó hoàn toàn tương thích với MCX653105A-HDAT với phần cứng máy chủ hiện có của họ, hỗ trợ cả PCIe Gen 3.0 và 4.0.

Các thông số kỹ thuật MCX653105A-HDAT đã hướng dẫn các quyết định điều chỉnh của nhóm. Họ đã điều chỉnh các tham số gom ngắt để cân bằng giữa độ trễ và mức sử dụng CPU, và cấu hình cài đặt ưu tiên cho mỗi hàng đợi để đảm bảo lưu lượng đồng bộ hóa gradient nhận được xử lý QoS cao nhất.

Kết quả & Lợi ích có thể đo lường

Những cải thiện về hiệu suất là đáng kể và có thể đo lường trực tiếp trên nhiều khía cạnh:

Ngoài những cải thiện định lượng, NVIDIA Mellanox MCX653105A-HDAT còn mang lại những lợi ích hoạt động mà nhóm chưa lường trước được. Độ trễ xác định đảm bảo rằng quá trình hội tụ đào tạo được đạt được một cách nhất quán trong các khung thời gian có thể dự đoán được — một yêu cầu quan trọng đối với chu kỳ phát triển mô hình nhạy cảm về thời gian của công ty. Các lõi CPU được giải phóng đã được chuyển hướng sang tính toán thực tế, làm tăng hiệu quả dung lượng tính toán của cụm mà không cần thêm phần cứng mới.

Nhóm cũng đã tận dụng hệ thống đo lường tích hợp của bộ chuyển đổi để có được khả năng hiển thị về các mẫu tắc nghẽn mạng. Dữ liệu này đã giúp họ tối ưu hóa cấu hình bộ đệm mạng và chủ động xác định các suy giảm hiệu suất tiềm ẩn. Giải pháp card mạng Ethernet MCX653105A-HDAT đã chứng tỏ là cả một bộ tăng tốc hiệu suất và một công cụ thông tin hoạt động.

Tóm tắt & Triển vọng

Việc triển khai này đã xác nhận rằng NVIDIA Mellanox MCX653105A-HDAT không chỉ là một bản nâng cấp mạng — đó là một khoản đầu tư chiến lược vào hiệu suất tính toán phân tán. Bằng cách cho phép RoCEv2 giảm tải phần cứng với GPUDirect, bộ chuyển đổi đã giảm thời gian đào tạo hơn 70%, đẩy nhanh thời gian đưa mô hình mới ra thị trường và cải thiện đáng kể hiệu quả cơ sở hạ tầng.

Công ty hiện đang có kế hoạch mở rộng kiến trúc này sang các cụm bổ sung, bao gồm cả nền tảng phân tích rủi ro thời gian thực của họ, nơi việc di chuyển dữ liệu độ trễ thấp giữa cơ sở dữ liệu trong bộ nhớ và các nút tính toán là rất cần thiết. Giá MCX653105A-HDAT, khi được đánh giá so với tiết kiệm chi phí hoạt động và lợi ích hiệu suất, đã thể hiện lợi tức đầu tư hấp dẫn — đặc biệt khi so sánh với chi phí triển khai cơ sở hạ tầng InfiniBand chuyên dụng hoặc mua thêm các nút tính toán.

Đối với các tổ chức đang tích cực đánh giá MCX653105A-HDAT để bán, nghiên cứu điển hình này cho thấy rằng bộ chuyển đổi đáp ứng lời hứa về mạng độ trễ thấp, thông lượng cao trong môi trường sản xuất thực tế. Sự kết hợp giữa tăng tốc phần cứng, đo lường toàn diện và khả năng tương thích liền mạch với cơ sở hạ tầng Ethernet hiện có làm cho NVIDIA Mellanox MCX653105A-HDAT trở thành một thành phần nền tảng cho các kiến trúc trung tâm dữ liệu hiện đại.