NVIDIA Mellanox MCX653105A-HDAT hoạt động: RDMA / RoCE Giao thông chậm và tối ưu hóa hiệu suất máy chủ

NVIDIA Mellanox MCX653105A-HDAT hoạt động: RDMA / RoCE Giao thông chậm và tối ưu hóa hiệu suất máy chủ

Bối cảnh & Thách thức: Khó khăn mạng trong một cụm AI / HPC

Một doanh nghiệp công nghệ lớn gần đây đã triển khai một tập hợp tăng tốc GPU 128 nút cho đào tạo mô hình ngôn ngữ lớn (LLM),với mỗi nút được trang bị tám GPU NVIDIA H100 và lưu trữ NVMe hiệu suất caoTuy nhiên, khi mở rộng hơn 32 nút, các cụm đã trải qua sự suy giảm hiệu suất đáng kể.trong khi TCP / IP mạng đống tiêu thụ hơn 45% của các nguồn CPU cho mỗi nútMạng lưới được xây dựng trên nhiều liên kết 25GbE đã trở thành nút thắt chính, hạn chế nghiêm trọng việc sử dụng GPU và kéo dài chu kỳ đào tạo vượt xa các thời gian chấp nhận được.Nhóm khẩn trương cần một giải pháp có khả năng cung cấp cả độ trễ cực thấp và băng thông lớn trong khi giảm tải xử lý mạng CPU.

Giải pháp & triển khai: Chuyển đổi vải với MCX653105A-HDAT

Sau một đánh giá kỹ thuật đầy đủ, nhóm đã chọnNVIDIA Mellanox MCX653105A-HDATMỗi nút GPU được trang bị mộtMCX653105A-HDAT ConnectX adapter thẻ mạng PCIe, được cấu hình với kết nối cổng kép 100GbE để cung cấp 200 Gb / s băng thông tổng thể cho mỗi máy chủ.

Việc triển khai được thực hiện trong bốn giai đoạn có cấu trúc:

• Giai đoạn 1 ️ Lắp đặt phần cứng (128 nút):Mỗi máy chủ nhận đượcMCX653105A-HDAT Ethernet adapter card, với cả hai cổng QSFP28 được kết nối với các công tắc hai lá NVIDIA Spectrum-4 dư thừa.
• Giai đoạn 2 RoCEv2 Configuration:Nhóm đã kích hoạt RoCEv2 trên toàn bộ mô, tinh chỉnh cẩn thận các tham số Kiểm soát lưu lượng ưu tiên (PFC) và Thông báo tắc nghẽn rõ ràng (ECN) để thiết lập một môi trường Ethernet không mất mát.Các tính năng quản lý tắc nghẽn tiên tiến được chi tiết trongBảng dữ liệu MCX653105A-HDATđã đóng vai trò quan trọng trong việc đạt được phân bổ đệm tối ưu.
• Giai đoạn 3 NCCL tối ưu hóa:Thư viện Truyền thông tập thể NVIDIA (NCCL) đã được cấu hình lại để tận dụng khả năng RDMA của bộ chuyển đổi,với các quy tắc điều khiển giao thông tùy chỉnh được lập trình vào các động cơ xử lý nhúng của bộ điều chỉnh để tối ưu hóa cho các mô hình giảm tất cả và tập hợp tất cả cụ thể của khối lượng công việc LLM.
• Giai đoạn 4: Xác thực và điều chỉnh chi tiết:Sử dụng dữ liệu đo từ xa được tiếp xúc thông quaMCX653105A-HDAT thông số kỹ thuật, nhóm đã xác nhận cấu hình, điều chỉnh các cài đặt điều chỉnh gián đoạn và thiết lập các chỉ số hiệu suất cơ bản để theo dõi liên tục.

Đáng chú ý, bộ chuyển đổi được chứng minh làMCX653105A-HDAT tương thíchvới cơ sở hạ tầng cáp hiện có, vì các cổng QSFP28 hỗ trợ cả quang học 100GbE và 25GbE, cho phép di chuyển thanh lịch mà không cần thay thế cáp gián đoạn.Nhóm cũng tận dụng khả năng đa máy chủ của bộ điều hợp để hỗ trợ cả các chức năng tính toán và lưu trữ trên cùng một cổng vật lý.

Kết quả & Lợi ích: Lợi ích có thể đo lường trong hiệu suất đào tạo

Những cải tiến về hiệu suất doNVIDIA Mellanox MCX653105A-HDATvượt quá tất cả các dự báo ban đầu.

Ngoài những thành tựu định lượng này, nhóm đã quan sát thấy những lợi ích hoạt động đáng kể.tăng tốc đáng kể các chu kỳ lặp mô hìnhĐường dẫn dữ liệu có thể lập trình của bộ chuyển đổi cho phép định hình giao thông tùy chỉnh cho các luồng ưu tiên, đảm bảo rằng giao thông liên lạc tập thể quan trọng không bao giờ gặp phải tranh chấp.Đối với các tổ chức đánh giá lợi nhuận đầu tư,Giá MCX653105A-HDATđã được chứng minh là hoàn toàn hợp lý bởi sự gia tăng thông lượng 3 lần và khả năng trì hoãn việc mua lại máy chủ GPU bổ sung ít nhất 12 tháng.MCX653105A-HDAT để báncác gói với NVIDIA Spectrum-4 chuyển đổi cung cấp kinh tế thuận lợi nhất cho triển khai toàn bộ cụm.

Tóm lại & triển vọng: Một nền tảng cho cơ sở hạ tầng AI thế hệ tiếp theo

Việc triển khai quy mô sản xuất này xác nhận rằngNVIDIA Mellanox MCX653105A-HDATlà một thành phần chuyển đổi cho các cụm AI và HPC hiện đại. Sự kết hợp của băng thông tổng cộng 200 Gb / s, độ trễ liên lạc tập thể dưới 0,3 millisecond,và tải phần cứng toàn diện cho phép các tổ chức đạt được quy mô gần như tuyến tính cho khối lượng công việc tăng tốc GPUNhư một kết thúc-to-endGiải pháp thẻ adapter MCX653105A-HDAT Ethernet, nó loại bỏ nút thắt mạng mà trong lịch sử đã hạn chế hiệu quả đào tạo phân tán.

Nhìn về phía trước, doanh nghiệp đang khám phá sự tích hợp với NVIDIA DOCA để thực hiện khả năng lập trình đường dẫn dữ liệu bổ sung để tối ưu hóa khối lượng công việc cụ thể.Họ cũng đang tận dụng tính toán từ xa tiên tiến của bộ điều chỉnhBảng dữ liệu MCX653105A-HDAT- xây dựng các mô hình hiệu suất dự đoán và các chiến lược giảm tắc nghẽn tự động.NVIDIA Mellanox MCX653105A-HDATđã trở thành nền tảng của lộ trình cơ sở hạ tầng AI của họ, cung cấp một nền tảng vững chắc, có thể mở rộng cho thế hệ tiếp theo của phát triển và triển khai mô hình nền tảng.