Mellanox 920-9B210-00FN-0D0 InfiniBand Switch∙ RDMA, HPC và AI Cluster Low-Latency Interconnect Optimization

Khi các mô hình trí tuệ nhân tạo ngày càng phức tạp, các cụm GPU và môi trường tính toán hiệu năng cao (HPC) ngày càng phụ thuộc vào giao tiếp hiệu quả giữa các nút tính toán. Băng thông mạng, độ trễ và quản lý tắc nghẽn đã trở thành các yếu tố quan trọng ảnh hưởng đến hiệu suất của các tác vụ phân tán. Bộ chuyển mạch NVIDIA Mellanox 920-9B210-00FN-0D0 InfiniBand cung cấp nền tảng mạng mật độ cao cho các ứng dụng đòi hỏi khắt khe này.

Được cung cấp bởi công nghệ NVIDIA Quantum-2, QM9790 cung cấp 64 cổng NDR hoạt động ở tốc độ lên tới 400Gb/s, với dung lượng chuyển mạch hai chiều tổng cộng lên tới 51,2Tb/s. Bài viết này xem xét một kịch bản triển khai AI và HPC đa rack đại diện, làm nổi bật cách 920-9B210-00FN-0D0 có thể giúp các tổ chức tối ưu hóa giao tiếp RDMA, cải thiện khả năng mở rộng của fabric và giảm các giới hạn hiệu suất liên quan đến mạng.

01. Bối cảnh và Thách thức: Các nút thắt mạng trong các cụm AI và HPC

Hãy xem xét một trung tâm dữ liệu vận hành nhiều rack máy chủ GPU để đào tạo mô hình ngôn ngữ lớn, mô phỏng khoa học và xử lý dữ liệu phân tán. Khi triển khai thêm các nút tính toán, khối lượng lưu lượng do giao tiếp tập thể, đồng bộ hóa tham số và truy cập dữ liệu từ xa tăng lên đáng kể.

Mặc dù GPU hiện đại cung cấp khả năng tính toán đáng kể, hiệu suất kết nối không đủ có thể ngăn các ứng dụng tận dụng tối đa các tài nguyên có sẵn. Trong môi trường này, các kiến trúc sư mạng thường gặp phải một số thách thức quan trọng:

• Giới hạn băng thông: Các tác vụ GPU quy mô lớn yêu cầu trao đổi dữ liệu liên tục, có khả năng làm quá tải các kết nối tốc độ thấp hơn.
• Độ trễ giao tiếp: Các hoạt động đồng bộ hóa thường xuyên có thể làm tăng thời gian chờ đợi giữa các nút tính toán phân tán.
• Tắc nghẽn mạng: Giao tiếp đồng thời giữa nhiều máy chủ có thể tạo ra các điểm nóng và hiệu suất ứng dụng không nhất quán.
• Thách thức về khả năng mở rộng: Mở rộng quy mô cụm yêu cầu lập kế hoạch cẩn thận về dung lượng bộ chuyển mạch, cấu trúc liên kết mạng và cơ sở hạ tầng cáp.
• Độ phức tạp vận hành: Duy trì quản lý fabric đáng tin cậy, khả năng hiển thị lỗi và tính nhất quán cấu hình ngày càng trở nên quan trọng.

Những thách thức này cho thấy tại sao mạng InfiniBand tốc độ cao vẫn quan trọng đối với các tác vụ tính toán được kết nối chặt chẽ. Mã sản phẩm InfiniBand switch 920-9B210-00FN-0D0 cung cấp các khả năng phần cứng cần thiết để xây dựng các kiến trúc kết nối băng thông cao, độ trễ thấp.

02. Kiến trúc Giải pháp: Triển khai NVIDIA Quantum-2 NDR InfiniBand Switch

Bộ chuyển mạch 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR được thiết kế cho các fabric tính toán hiệu năng cao yêu cầu băng thông đáng kể và giao tiếp hiệu quả. Với 32 đầu nối OSFP vật lý cung cấp 64 cổng NDR, hệ thống 1U hỗ trợ kết nối dày đặc giữa các máy chủ GPU, bộ chuyển mạch mạng và các thiết bị InfiniBand khác.

Trong một triển khai đa rack đại diện, các bộ chuyển mạch QM9790 có thể được đặt trong cấu trúc liên kết InfiniBand leaf-spine. Các máy chủ GPU được trang bị bộ điều hợp NVIDIA ConnectX tương thích kết nối với các bộ chuyển mạch leaf, trong khi các bộ chuyển mạch spine cung cấp kết nối giữa các rack. Số lượng bộ chuyển mạch, uplink và cấp độ mạng phụ thuộc vào quy mô cụm, yêu cầu băng thông và tỷ lệ quá tải được chọn.

Giao tiếp Dữ liệu RDMA và Độ trễ thấp

Truy cập Bộ nhớ Trực tiếp Từ xa (RDMA) cho phép các hệ thống tính toán tương thích truyền dữ liệu trực tiếp giữa các vùng bộ nhớ đã đăng ký với sự tham gia của CPU giảm thiểu. Trong môi trường GPU phân tán, điều này có thể giúp giảm chi phí giao tiếp và cải thiện hiệu quả di chuyển dữ liệu so với các đường dẫn mạng chuyên sâu về phần mềm thông thường.

Fabric InfiniBand Quantum-2 hỗ trợ giao tiếp dựa trên RDMA và các khả năng mạng nâng cao, bao gồm định tuyến thích ứng, kiểm soát tắc nghẽn và tính toán trong mạng NVIDIA SHARP. Khi được cấu hình đúng và được hỗ trợ bởi ngăn xếp ứng dụng, các công nghệ này có thể giúp tối ưu hóa các hoạt động tập thể, giảm độ trễ liên quan đến tắc nghẽn và cải thiện việc sử dụng tài nguyên mạng.

Quản lý Fabric và Lập kế hoạch Tương thích

QM9790 là một bộ chuyển mạch InfiniBand được quản lý bên ngoài, không giống như QM9700 được quản lý bên trong. Do đó, việc triển khai yêu cầu quản lý subnet bên ngoài và giám sát vận hành phù hợp. NVIDIA Unified Fabric Manager (UFM) có thể được tích hợp khi được hỗ trợ để cung cấp khả năng hiển thị fabric tập trung và các chức năng quản lý.

Các kỹ sư đánh giá bộ điều hợp và thành phần kết nối tương thích với 920-9B210-00FN-0D0 nên xác nhận khả năng của bộ điều hợp máy chủ, khả năng tương tác firmware, cáp được phê duyệt và cấu hình đầu nối. Mẫu 920-9B210-00FN-0D0 tương ứng với cấu hình luồng khí về phía trước, nguồn sang đầu nối (P2C), cũng phải khớp với thiết kế làm mát của trung tâm dữ liệu.

03. Kết quả Dự kiến và Lợi ích Vận hành

Sau khi triển khai một mạng InfiniBand NDR được thiết kế phù hợp, các tổ chức có thể nhắm mục tiêu cải thiện hiệu quả giao tiếp, sử dụng tài nguyên và khả năng mở rộng fabric. Mức tăng hiệu suất thực tế phụ thuộc vào đặc điểm tác vụ, phần cứng máy chủ, cấu trúc liên kết mạng, cấu hình phần mềm và các nút thắt mạng ban đầu.

Để đánh giá hiệu suất khách quan, các kỹ sư mạng nên thiết lập một đường cơ sở trước khi di chuyển và tiến hành kiểm tra có kiểm soát sau khi triển khai. Các công cụ xác thực hữu ích bao gồm các tiện ích hiệu suất InfiniBand, NCCL Tests và các điểm chuẩn ứng dụng dựa trên MPI.

Các phép đo được khuyến nghị bao gồm thông lượng hiệu quả, độ trễ điểm-điểm, hiệu suất giao tiếp tập thể, bộ đếm lỗi liên kết, chỉ số tắc nghẽn và thời gian hoàn thành tác vụ đầu cuối. So sánh độ trễ P50, P95 và P99 dưới các điều kiện tải đại diện cũng có thể giúp xác định các vấn đề về tính nhất quán hiệu suất mà giá trị trung bình có thể che giấu.

Thay vì giả định cải thiện phần trăm cố định, mục tiêu là xác định xem mạng được nâng cấp có giảm các nút thắt giao tiếp có thể đo lường được hay không và cho phép tài nguyên tính toán hoạt động hiệu quả hơn dưới các tác vụ sản xuất thực tế.

04. Thông số Kỹ thuật và Lựa chọn Sản phẩm

Bộ chuyển mạch NVIDIA Mellanox 920-9B210-00FN-0D0 thuộc dòng NVIDIA Quantum-2 QM9790. Các thông số kỹ thuật sau đây cung cấp tài liệu tham khảo cho thiết kế cơ sở hạ tầng và mua sắm sản phẩm.

Khi xem xét datasheet 920-9B210-00FN-0D0 hoặc so sánh các tùy chọn triển khai, các nhóm CNTT nên đánh giá toàn bộ giải pháp thay vì chỉ dung lượng bộ chuyển mạch. Thiết kế cáp, khả năng tương thích bộ điều hợp, quản lý subnet bên ngoài, luồng khí của rack và việc mở rộng cụm trong tương lai phải được xem xét cùng nhau.

05. Kết luận và Triển vọng Tương lai

Bộ chuyển mạch 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR cung cấp một nền tảng vững chắc cho các tổ chức muốn hiện đại hóa cơ sở hạ tầng mạng AI và HPC. Bằng cách kết hợp kết nối InfiniBand tốc độ cao với các khả năng mạng Quantum-2 tiên tiến, nó hỗ trợ giao tiếp RDMA hiệu quả và các kiến trúc tính toán phân tán có khả năng mở rộng.

Khi các mô hình AI ngày càng lớn hơn và các cụm GPU mở rộng ra nhiều nút tính toán hơn, việc tối ưu hóa phối hợp phần cứng mạng, quản lý fabric và giao tiếp phần mềm sẽ vẫn là điều cần thiết. Giải pháp mã sản phẩm InfiniBand switch 920-9B210-00FN-0D0 cung cấp một khối xây dựng thực tế cho các thiết kế kết nối hiệu năng cao, độ trễ thấp có thể phát triển theo yêu cầu tác vụ thay đổi.