AI Training Cluster Network Bottlenecks: Các giải pháp của Mellanox

Phân tích ngành:Khi các mô hình trí tuệ nhân tạo phát triển theo cấp số nhân về độ phức tạp, cơ sở hạ tầng mạng đã nổi lên như một nút chai quan trọng trong các cụm đào tạo quy mô lớn.Mạng AIyêu cầu băng thông chưa từng có và độ trễ ở mức microsecond để giữ cho hàng ngàn GPU đồng bộ hóa hiệu quả.Bài viết này xem xét cách giải pháp InfiniBand và Ethernet của Mellanox cung cấp cáckết nối liên kết chậmcông nghệ cần thiết để loại bỏ các chi phí liên lạc và tối đa hóa năng suất trong quy mô lớnGPU clustertriển khai.

Sự chuyển sang các mô hình tỷ tham số đã biến đào tạo AI từ một vấn đề liên quan đến tính toán thành một vấn đề liên quan đến truyền thông.GPU clustermôi trường, thời gian dành cho giao tiếp giữa các nút trong quá trình đào tạo phân tán có thể tiêu thụ hơn 50% tổng thời gian chu kỳ.Mạng Ethernet truyền thống mang lại độ trễ và tắc nghẽn đáng kể, gây ra GPU đắt tiền ngồi không hoạt động trong khi chờ cập nhật gradient và đồng bộ hóa tham số.Chi phí liên lạc này đại diện cho trở ngại lớn nhất để đạt được hiệu quả mở rộng tối ưu trongMạng AIcơ sở hạ tầng, ảnh hưởng trực tiếp đến thời gian giải quyết và tổng chi phí sở hữu.

Mellanox giải quyết những thách thức này thông qua một cách tiếp cận toàn diệnMạng AI, kết hợp các đổi mới phần cứng và phần mềm được thiết kế đặc biệt cho môi trường máy tính hiệu suất cao.và các công nghệ mạng định nghĩa phần mềm tiên tiến làm việc cùng nhau để loại bỏ các nút thắt.

• Công nghệ HDR InfiniBand:Cung cấp băng thông 200Gb / s mỗi cổng với độ trễ chuyển đổi dưới 600 nanosecond, cung cấp tối đakết nối liên kết chậmđối với khối lượng công việc đào tạo chuyên sâu về đồng bộ hóa.
• SHARP In-Network Computing:Công nghệ mang tính cách mạng, chuyển tải các hoạt động tập thể (All-Reduce, All-Gather) vào các công tắc mạng, giảm thời gian giao tiếp GPU lên đến 50%.
• Đường dẫn thích nghi:Tăng cân bằng giao thông năng động trên nhiều con đường để ngăn chặn các điểm nóng và tắc nghẽn, đảm bảo hiệu suất nhất quán trong thời gian giao tiếp cao điểm.
• Công nghệ GPUDirect:Cho phép truy cập bộ nhớ trực tiếp giữa GPU trên các máy chủ khác nhau, bỏ qua sự tham gia của CPU và giảm độ trễ liên lạc.

Việc thực hiện Mellanox tối ưu hóaMạng AIcơ sở hạ tầng mang lại lợi ích hiệu suất có thể đo lường trên các cluster có kích thước và kiến trúc mô hình khác nhau.

Những cải tiến này trực tiếp chuyển thành giá trị kinh doanh: lặp lại mô hình nhanh hơn, giảm chi phí cơ sở hạ tầng và khả năng giải quyết các vấn đề phức tạp hơn trong cùng một thời gian hạn chế.

Một tổ chức nghiên cứu AI hàng đầu đã thực hiện giải pháp HDR InfiniBand của Mellanox cho các mô hình ngôn ngữ lớn đào tạo cụm 2048-GPU của họ.kết nối liên kết chậmcho phép họ đạt được hiệu quả mở rộng 93%, giảm thời gian đào tạo cho một mô hình tham số 175 tỷ từ 42 ngày xuống chỉ 19 ngày.Các cơ chế kiểm soát tắc nghẽn tiên tiến của giải pháp đã loại bỏ mất gói trong các giai đoạn liên lạc tất cả, duy trì hiệu suất nhất quán trong suốt quá trình đào tạo mở rộng.

Khi các mô hình AI tiếp tục phát triển về kích thước và sự phức tạp, các yêu cầu vềMạng AIMellanox lộ trình bao gồm 400G NDR InfiniBand và 800G Ethernet công nghệ, đảm bảo rằng băng thông mạng sẽ tiếp tục vượt qua nhu cầu tính toán.cam kết của công tykết nối liên kết chậmđổi mới cung cấp một con đường rõ ràng cho các tổ chức để mở rộng quy môGPU clustertriển khai mà không gặp phải những hạn chế mạng.

Trong cuộc đua để phát triển các khả năng AI tiên tiến, hiệu suất mạng đã trở thành một điểm khác biệt quan trọng.Mạng AIcác giải pháp biến mạng từ một nút thắt thành một lợi thế chiến lược, cho phép các tổ chức tối đa hóa lợi nhuận đầu tư GPU và tăng tốc đổi mới.Đối với bất kỳ doanh nghiệp nào nghiêm túc về AI, đầu tư vào cơ sở hạ tầng mạng tối ưu hóa không còn là tùy chọn mà là điều cần thiết cho lợi thế cạnh tranh.