Mellanox 920-9B210-00FN-0D0 InfiniBand Switch. Giải pháp kỹ thuật cho RDMA, HPC và AI Cluster Low-Latency

Bộ chuyển mạch InfiniBand Mellanox 920-9B210-00FN-0D0 | Giải pháp kỹ thuật cho tối ưu hóa kết nối độ trễ thấp cho cụm RDMA, HPC và AI

Hướng dẫn kiến trúc kỹ thuật và triển khai toàn diện bao gồm mạng InfiniBand NVIDIA Quantum-2 NDR, tăng tốc RDMA, kết nối cụm GPU có khả năng mở rộng, quản lý fabric và tối ưu hóa hiệu suất.

Sản phẩm: NVIDIA QM9790 / MQM9790-NS2F   |   Mã SKU: 920-9B210-00FN-0D0   |   Công nghệ: InfiniBand NDR 400Gb/s

Trí tuệ nhân tạo, điện toán hiệu năng cao (HPC) và các khối lượng công việc GPU phân tán đang đặt ra những yêu cầu chưa từng có đối với cơ sở hạ tầng mạng trung tâm dữ liệu. Khi các cụm tính toán phát triển, hiệu quả giao tiếp mạng ngày càng quyết định liệu các tài nguyên GPU đắt tiền có thể hoạt động hết tiềm năng của chúng hay không. Bộ chuyển mạch InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 cung cấp một nền tảng chuyển mạch băng thông cao, độ trễ thấp để xây dựng các mạng tính toán tăng tốc có khả năng mở rộng.

Được cung cấp bởi công nghệ NVIDIA Quantum-2, QM9790 hỗ trợ 64 cổng InfiniBand NDR 400Gb/s không chặn thông qua 32 đầu nối OSFP, với thông lượng chuyển mạch hai chiều lên tới 51,2Tb/s. Tài liệu kỹ thuật này giải thích cách tích hợp bộ chuyển mạch vào các kiến trúc mạng hỗ trợ RDMA, tối ưu hóa giao tiếp AI phân tán, thiết kế các fabric HPC có khả năng phục hồi và thiết lập các phương pháp triển khai và vận hành hiệu quả.

01. Bối cảnh dự án và phân tích yêu cầu

Các nền tảng AI hiện đại thường kết nối nhiều máy chủ GPU thành các cụm tính toán phân tán. Trong quá trình huấn luyện mô hình, GPU thường xuyên trao đổi gradient, tham số và kết quả trung gian bằng cách sử dụng các thư viện giao tiếp như NVIDIA NCCL. Các ứng dụng HPC cũng tương tự phụ thuộc vào việc truyền tin nhắn độ trễ thấp thông qua MPI và các khung tính toán song song khác.

Khi số lượng nút tính toán tăng lên, lưu lượng giao tiếp trở nên phức tạp hơn. Các ứng dụng có thể gặp phải tình trạng bão hòa băng thông, các điểm nóng tắc nghẽn, độ trễ giao tiếp tập thể và hiệu suất không nhất quán do tranh chấp mạng.

Một giải pháp InfiniBand hiệu năng cao nên giải quyết các yêu cầu kỹ thuật sau:

• Băng thông cao: Cung cấp dung lượng kết nối đủ cho việc di chuyển dữ liệu quy mô lớn giữa các máy chủ GPU và các nút tính toán.
• Độ trễ giao tiếp thấp: Giảm thiểu độ trễ liên quan đến việc đồng bộ hóa thường xuyên và trao đổi tin nhắn nhỏ.
• Hỗ trợ RDMA: Cho phép giao tiếp bộ nhớ-bộ nhớ hiệu quả với việc giảm sự tham gia của CPU.
• Khả năng mở rộng mạng: Hỗ trợ mở rộng từ các giá đỡ máy chủ riêng lẻ đến các fabric AI và HPC đa giá đỡ.
• Tối ưu hóa lưu lượng: Cải thiện việc sử dụng mạng thông qua định tuyến thích ứng và quản lý tắc nghẽn.
• Độ tin cậy vận hành: Thiết lập các quy trình giám sát, cô lập lỗi và xác nhận hiệu suất.

Mục tiêu thiết kế: Xây dựng một fabric InfiniBand có khả năng mở rộng, băng thông cao, giảm thiểu các nút thắt cổ chai liên quan đến mạng và hỗ trợ hiệu suất RDMA có thể dự đoán được cho việc huấn luyện AI phân tán, tính toán khoa học và các ứng dụng HPC chuyên sâu về dữ liệu.

02. Kiến trúc mạng và hệ thống tổng thể

Kiến trúc được đề xuất sử dụng OPN bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 làm khối xây dựng cốt lõi trong một fabric NDR tốc độ cao. Tùy thuộc vào quy mô triển khai, các bộ chuyển mạch có thể hoạt động trong thiết kế một tầng hoặc cấu trúc liên kết lá-xương sống đa tầng.

Đối với các cụm GPU đa giá đỡ, kiến trúc Fat Tree hai tầng là một điểm khởi đầu thực tế. Các bộ chuyển mạch lá kết nối các máy chủ tính toán, trong khi các bộ chuyển mạch xương sống cung cấp giao tiếp băng thông cao giữa các giá đỡ. Phân bổ liên kết lên cần được tính toán theo các mẫu lưu lượng dự kiến, băng thông phân chia cần thiết và mức độ quá tải chấp nhận được.

Cấu trúc liên kết mạng tham chiếu

Ứng dụng huấn luyện AI / HPC
NCCL / MPI / UCX / RDMA
↓
Máy chủ GPU và các nút tính toán
Bộ điều hợp InfiniBand NVIDIA ConnectX
↓
Lớp lá
Bộ chuyển mạch NVIDIA Quantum-2 QM9790 NDR
↓
Lớp xương sống
Bộ chuyển mạch NVIDIA Quantum-2 QM9790 NDR
↓
Các giá đỡ GPU khác / Các nút tính toán HPC
Trình quản lý mạng con bên ngoài / Quản lý Fabric NVIDIA UFM

Trong kiến trúc này, các nút tính toán sử dụng bộ điều hợp mạng có khả năng RDMA để truy cập fabric InfiniBand. Lớp lá cung cấp kết nối hướng máy chủ, trong khi lớp xương sống hỗ trợ giao tiếp giữa các phân đoạn mạng khác nhau. Thiết kế không chặn yêu cầu băng thông liên kết lên đầy đủ so với các liên kết xuống được kết nối.

Các triển khai AI lớn cũng có thể phân phối giao tiếp trên nhiều đường ray mạng độc lập để cải thiện khả năng cô lập lỗi và sử dụng băng thông. Cần xem xét sự căn chỉnh đường ray, vị trí bộ điều hợp, sự tương thích NUMA và cấu trúc liên kết GPU cùng nhau để ngăn chặn các giới hạn phía máy chủ làm giảm lợi ích của việc chuyển mạch tốc độ cao.

03. Vai trò và các tính năng chính của NVIDIA Mellanox 920-9B210-00FN-0D0

Bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR thuộc họ NVIDIA Quantum-2 QM9790. Đây là một hệ thống chuyển mạch InfiniBand không được quản lý, được thiết kế cho các fabric được quản lý bên ngoài, hỗ trợ kết nối dày đặc và giao tiếp tốc độ cao giữa các nút tính toán tăng tốc.

Các thông số kỹ thuật 920-9B210-00FN-0D0 sau đây tóm tắt các đặc điểm sản phẩm liên quan đến kiến trúc mạng và lựa chọn phần cứng.

Tối ưu hóa giao tiếp dựa trên RDMA

Truy cập bộ nhớ trực tiếp từ xa cho phép các hệ thống tham gia truyền dữ liệu giữa các vùng bộ nhớ đã đăng ký trong khi giảm chi phí xử lý của CPU. Trong môi trường AI và HPC, khả năng này hỗ trợ giao tiếp giữa các nút hiệu quả và có thể giảm chi phí truyền dữ liệu liên quan đến phần mềm.

Với các bộ điều hợp NVIDIA ConnectX tương thích và ngăn xếp phần mềm được cấu hình phù hợp, các ứng dụng có thể sử dụng giao thức truyền RDMA thông qua các khung như UCX, MPI và NCCL. GPU Direct RDMA có thể tối ưu hóa hơn nữa việc di chuyển dữ liệu khi nền tảng phần cứng, trình điều khiển và cấu hình ứng dụng hỗ trợ nó.

Định tuyến thích ứng và quản lý tắc nghẽn

NVIDIA Quantum-2 hỗ trợ các cơ chế định tuyến thích ứng có thể phân phối lưu lượng trên các đường dẫn mạng khả dụng. Kết hợp với kiểm soát tắc nghẽn InfiniBand, khả năng chất lượng dịch vụ và quản lý làn ảo, các công nghệ này giúp giải quyết các điểm nóng lưu lượng và cải thiện sự ổn định của giao tiếp.

Lợi ích thực tế phụ thuộc vào cấu trúc liên kết fabric, chính sách định tuyến, khả năng firmware và cấu hình quản lý mạng con. Các kiến trúc sư mạng nên xác nhận các cài đặt này dưới lưu lượng ứng dụng đại diện thay vì chỉ dựa vào dung lượng chuyển mạch lý thuyết.

Tính toán trong mạng NVIDIA SHARP

Giao thức Tích hợp và Giảm quy mô phân cấp NVIDIA (SHARP) cho phép các phép toán tập thể được hỗ trợ xử lý trong fabric mạng. Bằng cách giảm khối lượng dữ liệu trao đổi trong các phép toán giảm được hỗ trợ, SHARP có thể cải thiện hiệu quả giao tiếp cho các khối lượng công việc AI và HPC được chọn. Việc triển khai yêu cầu firmware, các thành phần quản lý và hỗ trợ phần mềm ứng dụng tương thích.

04. Chiến lược triển khai và mở rộng mạng

Việc triển khai giải pháp OPN bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 nên tuân theo một quy trình triển khai có cấu trúc bao gồm khả năng tương thích phần cứng, lập kế hoạch fabric, xác nhận mạng và các yêu cầu về năng lực trong tương lai. Cách tiếp cận theo giai đoạn giảm thiểu rủi ro cấu hình và giúp dễ dàng xác định các sự cố hiệu suất.

Giai đoạn 1: Cơ sở hạ tầng phần cứng và vật lý

• Xác nhận mã SKU bộ chuyển mạch, OPN cũ, kích thước giá đỡ, yêu cầu nguồn điện và hướng luồng khí P2C.
• Chọn bộ điều hợp ConnectX, mô-đun quang OSFP, cáp DAC hoặc cáp quang chủ động tương thích dựa trên tốc độ liên kết và khoảng cách.
• Lập kế hoạch định tuyến cáp, làm mát giá đỡ, dự phòng nguồn và phân bổ cổng vật lý.
• Xác minh các phiên bản firmware được hỗ trợ và khả năng tương tác phần cứng trước khi triển khai sản xuất.

Giai đoạn 2: Cấu hình và xác nhận Fabric

Vì QM9790 là một bộ chuyển mạch không được quản lý, cần có Trình quản lý mạng con InfiniBand bên ngoài để khởi tạo fabric và cấu hình đường dẫn. NVIDIA UFM có thể cung cấp các khả năng quản lý fabric, giám sát và vận hành bổ sung khi được triển khai với các thành phần được hỗ trợ.

Quản trị viên mạng nên xác minh trạng thái liên kết cổng, tốc độ đàm phán, phát hiện mạng con, cấu hình định tuyến và kết nối RDMA đầu cuối. Khi có liên quan, hãy cấu hình phân vùng, mức dịch vụ, làn ảo, kiểm soát tắc nghẽn và định tuyến thích ứng theo yêu cầu của ứng dụng.

Giai đoạn 3: Lập kế hoạch mở rộng và năng lực

Việc mở rộng cụm nên xem xét bậc của bộ chuyển mạch, băng thông liên kết lên khả dụng, phân phối lưu lượng và số lượng tầng mạng. Mặc dù QM9790 cung cấp 64 cổng NDR logic, cách bố trí giao diện vật lý và các cấu hình phân tách cáp được hỗ trợ phải được phản ánh chính xác trong kế hoạch phân bổ cổng.

Đối với các triển khai lớn hơn, có thể giới thiệu thêm các bộ chuyển mạch lá và xương sống để đáp ứng các giá đỡ máy chủ mới. Các kế hoạch mở rộng nên tính đến sự dự phòng, tách biệt đường ray mạng, khoảng cách cáp và duy trì băng thông cần thiết giữa các nhóm tính toán.

05. Vận hành, giám sát và khắc phục sự cố

Hoạt động InfiniBand đáng tin cậy đòi hỏi khả năng hiển thị liên tục về trạng thái liên kết, sức khỏe fabric, hành vi tắc nghẽn và hiệu suất khối lượng công việc. NVIDIA UFM và các công cụ chẩn đoán InfiniBand tương thích có thể được sử dụng để giám sát điều kiện mạng và xác định các mẫu giao tiếp bất thường.

Giám sát vận hành được đề xuất bao gồm:

• Sức khỏe liên kết: Giám sát tốc độ đàm phán, lỗi vật lý, tình trạng nhấp nháy liên kết và các sự kiện cổng bị ngắt kết nối.
• Sử dụng băng thông: Theo dõi lưu lượng truyền và nhận để xác định các liên kết bị quá tải.
• Chỉ báo tắc nghẽn: Kiểm tra bộ đếm thời gian chờ truyền, hoạt động kiểm soát luồng và các điểm nóng lưu lượng.
• Quản lý Fabric: Kiểm tra tính khả dụng của Trình quản lý mạng con, tính nhất quán của định tuyến, các thay đổi cấu trúc liên kết và các thiết bị được phát hiện.
• Hiệu suất ứng dụng: Liên hệ các phép đo mạng với các chỉ số NCCL, MPI và khối lượng công việc sản xuất.

Đối với kiểm tra hiệu suất ở cấp độ mạng, các kỹ sư có thể sử dụng các tiện ích InfiniBand như ibstat, ibdiagnet, perfquery và các công cụ hiệu suất RDMA như ib_write_bw và ib_send_lat. Các bài kiểm tra NVIDIA NCCL và các điểm chuẩn MPI có thể cung cấp thêm thông tin chi tiết về hiệu suất giao tiếp ở cấp độ ứng dụng.

Khi khắc phục sự cố suy giảm hiệu suất, trước tiên hãy xác minh kết nối vật lý, sau đó là tốc độ cổng, bộ đếm lỗi, định tuyến fabric và các chỉ báo tắc nghẽn. Nếu các chỉ số mạng vẫn ổn định, hãy điều tra băng thông PCIe phía máy chủ, vị trí NUMA, sự tương thích GPU, phiên bản trình điều khiển và cài đặt giao tiếp ứng dụng.

Chấp nhận hiệu suất nên bao gồm băng thông hiệu quả, độ trễ giao tiếp, thông lượng hoạt động tập thể và thời gian hoàn thành khối lượng công việc. Các phép đo độ trễ P50, P95 và P99 có thể giúp tiết lộ sự biến động hiệu suất dưới lưu lượng ổn định hoặc nặng theo đợt. Các ngưỡng chấp nhận nên được xác định bằng các mục tiêu dịch vụ cụ thể của dự án và dữ liệu cơ sở được đo lường.

06. Giá trị giải pháp và đánh giá hiệu suất

Bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR cung cấp dung lượng mạng và kiến trúc cần thiết cho các môi trường tính toán phân tán đòi hỏi khắt khe. Giá trị chính của nó nằm ở việc cho phép giao tiếp tốc độ cao, thiết kế fabric có khả năng mở rộng và tích hợp hiệu quả với các hệ thống tính toán có khả năng RDMA.

Từ góc độ cơ sở hạ tầng, kết nối NDR 400Gb/s và mật độ cổng cao có thể giảm bớt các hạn chế về mạng khi quy mô cụm GPU tăng lên. Các khả năng InfiniBand nâng cao hỗ trợ phân phối lưu lượng hiệu quả hơn, trong khi quản lý fabric bên ngoài cải thiện khả năng hiển thị vận hành và khắc phục sự cố.

Một đánh giá giá trị toàn diện nên so sánh chi phí triển khai với những cải thiện có thể đo lường được về thông lượng ứng dụng, mức sử dụng GPU, độ ổn định mạng và hiệu quả vận hành. Các nhóm đánh giá giá 920-9B210-00FN-0D0 cũng nên tính đến các bộ điều hợp, quang học, cáp, phần mềm quản lý, nguồn điện và yêu cầu hỗ trợ tương thích.

Nguyên tắc đánh giá kỹ thuật: Thành công của việc nâng cấp mạng InfiniBand nên được xác định thông qua kiểm tra hiệu năng có thể tái lập và xác nhận khối lượng công việc sản xuất. Băng thông chuyển mạch đơn thuần không đảm bảo giảm thời gian huấn luyện hoặc độ trễ ứng dụng cố định.

07. Kết luận và phát triển trong tương lai

Bộ chuyển mạch InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 là một giải pháp mạng mật độ cao được thiết kế cho huấn luyện AI, ứng dụng HPC và các môi trường trung tâm dữ liệu tăng tốc. Với công nghệ NVIDIA Quantum-2, 64 cổng NDR và thông lượng hai chiều tổng cộng lên tới 51,2Tb/s, nó cung cấp nền tảng để xây dựng các fabric tính toán có khả năng mở rộng, độ trễ thấp.

Việc triển khai thành công đòi hỏi nhiều hơn là cài đặt phần cứng. Một giải pháp được thiết kế tốt phải phối hợp cấu trúc liên kết mạng, bộ điều hợp có khả năng RDMA, kết nối quang, cấu hình Trình quản lý mạng con, tinh chỉnh khối lượng công việc và giám sát vận hành.

Khi các cụm GPU mở rộng và các khối lượng công việc phân tán ngày càng chuyên sâu về giao tiếp, các fabric InfiniBand hiệu năng cao sẽ vẫn là một thành phần quan trọng của cơ sở hạ tầng tính toán tăng tốc hiện đại. QM9790 cung cấp một lựa chọn thực tế cho các tổ chức đang tìm kiếm kết nối NDR đáng tin cậy và một con đường rõ ràng để hướng tới các kiến trúc mạng đa giá đỡ lớn hơn.

Tham khảo kỹ thuật: Hướng dẫn sử dụng hệ thống bộ chuyển mạch InfiniBand InfiniBand 1U NDR 400Gbps NVIDIA QM97XX. Các thông số kỹ thuật triển khai cuối cùng, các tính năng được hỗ trợ, khả năng tương thích firmware và các cấu hình vật lý nên được kiểm tra đối chiếu với tài liệu cho mã SKU sản phẩm chính xác.

Giải pháp mạng InfiniBand NVIDIA Mellanox

Công ty TNHH Công nghệ Trung khoa Tân Uyển Bắc Kinh cung cấp phần cứng mạng NVIDIA Mellanox và hỗ trợ giải pháp cho các trung tâm dữ liệu AI, cụm GPU, hệ thống HPC và cơ sở hạ tầng doanh nghiệp. Danh mục sản phẩm của chúng tôi bao gồm các bộ chuyển mạch InfiniBand NVIDIA Quantum, bộ điều hợp mạng ConnectX, bộ thu phát quang và cáp DAC/AOC tốc độ cao.

Đối với khách hàng tìm kiếm các thành phần mạng tương thích 920-9B210-00FN-0D0, hỗ trợ lựa chọn sản phẩm, thông tin sẵn có hoặc báo giá dự án, đội ngũ của chúng tôi có thể hỗ trợ xác định mẫu, khớp cấu hình và lập kế hoạch mua sắm.