So sánh Mạng HPC: InfiniBand và Ethernet

Ngày:Ngày 12 tháng 11 năm 2023

Việc theo đuổi không ngừng của tính toán exascale và khối lượng công việc AI phức tạp đã đẩy cơ sở hạ tầng tính toán hiệu suất cao (HPC) đến giới hạn của nó.Ở trung tâm của sự tiến hóa này là một quyết định kiến trúc quan trọng: sự lựa chọn của các mô kết nối.InfiniBand so với Ethernetlà trung tâm để thiết kế hiệu quảMạng HPCvới việc mua lại của NVIDIAMellanox, một nhà lãnh đạo trong các kết nối kết nối hiệu suất cao, cuộc cạnh tranh này đã tăng cường, thúc đẩy đổi mới và so sánh dựa trên dữ liệu hấp dẫn cho các khách hàng doanh nghiệp và nghiên cứu.

Hiệu suất thô là điểm khác biệt chính. InfiniBand, được thiết kế rõ ràng cho môi trường trung tâm dữ liệu có độ trễ thấp, công suất cao, có một lợi thế đáng kể.

• Độ trễ:InfiniBand luôn cung cấp độ trễ cuối đến cuối dưới 600 nanosecond, rất quan trọng cho giao tiếp MPI (Message Passing Interface) trong các mô phỏng kết nối chặt chẽ.ngay cả với RoCE (RDMA qua Converged Ethernet), thường hoạt động trong phạm vi microsecond (> 1,2 μs), đưa ra các nút thắt trong khối lượng công việc song song.
• Điện tích:Trong khi cả hai công nghệ đều cung cấp các giải pháp 200G và 400G, kiểm soát tắc nghẽn và định tuyến thích nghi của InfiniBand đảm bảo sử dụng băng thông nhất quán và hiệu quả hơn,tối đa hóa hiệu suất ứng dụng.

Đối với các ứng dụng mà thời gian giải quyết là tối quan trọng, chẳng hạn như mô hình khí hậu hoặc trình tự gen, khoảng cách hiệu suất này trực tiếp chuyển thành tăng tốc nghiên cứu.

Ngoài các chỉ số cơ bản, kiến trúc InfiniBand giới thiệu các tính năng thay đổi mô hình mà Ethernet phải vật lộn để phù hợp.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):Tính năng đột phá này củaMellanoxChuyển đổi InfiniBand thực hiện các hoạt động số học (như giảm MPI) trong cấu trúc mạng, giải phóng nhiệm vụ này khỏi CPU. Điều này có thể tăng tốc các hoạt động tập thể lên đến 50%,một tính năng không có sẵn trong Ethernet tiêu chuẩn.
• Kiểm soát tắc nghẽn tự nhiên:Đường dẫn thích nghi tích hợp của InfiniBand quản lý lưu lượng truy cập một cách năng động để tránh các điểm nóng. Ethernet dựa trên các giao thức bổ sung (ví dụ, DCQCN) để quản lý tắc nghẽn,có thể kém hiệu quả và đòi hỏi điều chỉnh phức tạp.

Sự thống trị của Ethernet trong các trung tâm dữ liệu mục đích chung trình bày một trường hợp thuyết phục dựa trên sự quen thuộc và hệ sinh thái.

• Sự phổ biến và Kỹ năng:Ethernet được hiểu rộng rãi, và một nhóm lớn các kỹ sư mạng quen thuộc với quản lý và khắc phục sự cố của nó. Điều này có thể giảm chi phí hoạt động và đào tạo.
• Sự hội tụ:Một mô Ethernet duy nhất có thể mang lưu trữ, dữ liệu và lưu lượng quản lý, đơn giản hóa kiến trúc mạng.Sự hội tụ này thường đòi hỏi các chính sách QoS phức tạp để bảo vệ hiệu suất nhạy cảmMạng HPCgiao thông.
• Chi phí:Trong lịch sử, các thành phần Ethernet có giá thấp hơn. the gap has narrowed significantly with the introduction of high-speed Ethernet and the total cost of ownership (TCO) considering performance-per-watt and performance-per-dollar often favors InfiniBand for dedicated HPC clusters.

Sự lựa chọn giữa InfiniBand và Ethernet không phải là vấn đề nào là phổ biến tốt hơn, nhưng là tối ưu cho khối lượng công việc cụ thể.Mạng HPCmôi trường mà đạt được thời gian nhanh nhất để giải quyết cho các tính toán phức tạp là mục tiêu chínhMellanoxCông nghệ, vẫn là nhà lãnh đạo không thể tranh cãi về hiệu suất.,Đối với môi trường tải công việc hỗn hợp hoặc cụm mà hiệu suất cực kỳ ít quan trọng hơn, Ethernet tốc độ cao cung cấp một lựa chọn thay thế quen thuộc và có khả năng.