Giải pháp tăng tốc đào tạo AI: Tích hợp Mellanox DPU và GPU Cluster

Sự phát triển theo cấp số nhân tạo của trí tuệ nhân tạo đã tạo ra những nhu cầu chưa từng có về cơ sở hạ tầng máy tính,đặc biệt là trong môi trường đào tạo phân tán nơi hàng ngàn GPU phải làm việc cùng nhauKhi các tham số mô hình mở rộng đến hàng nghìn tỷ và các bộ dữ liệu mở rộng đến petabyte, kiến trúc máy chủ truyền thống phải vật lộn với chi phí giao tiếp, các nút thắt chuyển động dữ liệu,và sử dụng tài nguyên không hiệu quả. Bài viết này khám phá cáchMellanox DPU(Đơn vị xử lý dữ liệu) biến đổiĐào tạo AIcơ sở hạ tầng bằng cách tháo tải các chức năng mạng quan trọng, lưu trữ và bảo mật từ máy chủ CPU, tạo ra tối ưu hóaMạng GPUmôi trường cung cấp hiệu suất và hiệu quả đột phá cho khối lượng công việc học máy quy mô lớn.

Kiến trúc trung tâm dữ liệu truyền thống đã đạt đến giới hạn của nó trong việc hỗ trợ khối lượng công việc AI hiện đại.và các giao thức bảo mật cùng với xử lý ứng dụng, tạo ra chi phí thường xuyên đáng kể làm giảm hiệu quả hệ thống tổng thể.Đào tạo AIphân tích ngành công nghiệp cho thấy rằng trong các cụm AI điển hình,25-40% các chu kỳ CPU máy chủ được tiêu thụ bởi các nhiệm vụ cơ sở hạ tầng thay vì tính toán, tạo ra một nút thắt đáng kể hạn chế lợi nhuận đầu tư vào cơ sở hạ tầng GPU.làm cho một cách tiếp cận kiến trúc mới là cần thiết cho sự tiến bộ liên tục trong trí tuệ nhân tạo.

• Chi phí truyền thông:Đào tạo phân tán đòi hỏi đồng bộ hóa gradient liên tục trên hàng trăm hoặc hàng ngàn GPU, tạo ra áp lực to lớn đối với cơ sở hạ tầng mạng thường trở thành nút thắt chính.
• Các rào cản trước xử lý dữ liệu:Việc cung cấp dữ liệu cho các quy trình đào tạo đòi hỏi các hoạt động I / O lớn cạnh tranh với các nhiệm vụ tính toán cho các nguồn CPU và bộ nhớ.
• An ninh và đa thuê:Môi trường nghiên cứu chia sẻ đòi hỏi sự cô lập mạnh mẽ giữa các dự án và người dùng mà không phải hy sinh hiệu suất.
• Sự phức tạp của quản lý:Phân phối hàng ngàn GPU trên nhiều giá đỡ đòi hỏi khả năng cung cấp, giám sát và khắc phục sự cố tinh vi.
• Hiệu quả năng lượng và chi phí:Tiêu thụ năng lượng và hạn chế không gian trở thành mối quan tâm quan trọng ở quy mô, đòi hỏi hiệu suất tối ưu cho mỗi watt và mỗi đơn vị giá đỡ.

Những thách thức này đòi hỏi phải suy nghĩ lại cơ bản về kiến trúc trung tâm dữ liệu đặc biệt choĐào tạo AIkhối lượng công việc.

CácMellanox DPUđại diện cho một sự thay đổi mô hình trong kiến trúc trung tâm dữ liệu, di chuyển các chức năng cơ sở hạ tầng từ các CPU chủ đến các bộ xử lý chuyên dụng được thiết kế đặc biệt cho chuyển động dữ liệu, bảo mật,và hoạt động lưu trữCách tiếp cận này tạo ra một kiến trúc phân chia trong đó mỗi thành phần chuyên về chức năng tối ưu của nó: GPU cho tính toán, CPU cho ứng dụng logic và DPU cho các dịch vụ cơ sở hạ tầng.

• Mạng lưới tăng tốc bằng phần cứng:CácMellanox DPUkết hợp các bộ chuyển đổi mạng ConnectX tiên tiến với công nghệ RDMA (Remote Direct Memory Access),cho phép giao tiếp trực tiếp GPU-GPU trên mạng với sự tham gia tối thiểu của CPU và độ trễ cực thấp.
• Máy tính trong mạng:Công nghệ SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) chuyển tải các hoạt động truyền thông tập thể (như MPI all-reduce) từ máy chủ sang các công tắc mạng,tăng tốc đáng kể phân tán tập luyện đồng bộ hóa.
• Lưu trữ:NVMe tăng tốc bằng phần cứng trên vải (NVMe-oF) cho phép truy cập trực tiếp vào các thiết bị lưu trữ từ xa, bỏ qua các CPU chủ và giảm các nút thắt tải dữ liệu trong quá trình đào tạo.
• Phân biệt an ninh:Sự tin tưởng và khả năng cô lập dựa trên phần cứng cho phép nhiều người thuê nhà an toàn mà không có chi phí tổng thể hiệu suất, rất quan trọng đối với môi trường nghiên cứu chung.
• Quản lý cơ sở hạ tầngDPU cung cấp khả năng quản lý ngoài băng tần để cải thiện giám sát, cung cấp và bảo trì máy chủ GPU.

Cách tiếp cận toàn diện này biến đổiMạng GPUtừ một nút thắt tiềm năng thành một lợi thế cạnh tranh cho các tổ chức nghiên cứu AI.

Việc triển khaiMellanox DPUcông nghệ trong môi trường AI sản xuất cho thấy sự cải thiện đáng kể trên các chỉ số hiệu suất chính.Dữ liệu sau đây đại diện cho kết quả tổng hợp từ nhiều triển khai quy mô lớn:

Các số liệu này trực tiếp chuyển thành các chu kỳ nghiên cứu nhanh hơn, chi phí tính toán thấp hơn và khả năng giải quyết các vấn đề phức tạp hơn trong các hạn chế thực tế.

Sự hội nhập củaMellanox DPUCông nghệ với các tập hợp GPU đại diện cho nhiều hơn một cải tiến từng bước, nó tạo thành một sự thay đổi kiến trúc cơ bản giải quyết các thách thức cốt lõiĐào tạo AIBằng cách chuyển giao các chức năng cơ sở hạ tầng cho các bộ xử lý chuyên dụng, các tổ chức có thể đạt được mức độ hiệu suất, hiệu quả,và khả năng mở rộng trong các sáng kiến học máyCách tiếp cận này đảm bảo đầu tư cơ sở hạ tầng AI trong tương lai bằng cách tạo ra một nền tảng linh hoạt, được xác định bởi phần mềm có thể thích nghi với các yêu cầu về khối lượng công việc và công nghệ mới nổi.

Khi các mô hình AI tiếp tục phát triển về kích thước và độ phức tạp, tầm quan trọng chiến lược của cơ sở hạ tầng tối ưu sẽ chỉ tăng lên.Các tổ chức áp dụng kiến trúc tăng tốc DPU ngày nay sẽ đạt được lợi thế cạnh tranh đáng kể trong tốc độ nghiên cứu, hiệu quả hoạt động và khả năng tính toán.