Giải pháp Kỹ thuật Bộ chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

1. Bối cảnh dự án & Phân tích yêu cầu

Các cụm huấn luyện AI hiện đại và môi trường tính toán hiệu năng cao (HPC) đối mặt với thách thức mở rộng quy mô chung: khi số lượng GPU và mật độ tính toán tăng lên, các mạng Ethernet truyền thống trở thành nút thắt cổ chai chính do chi phí TCP/IP, mất gói tin và độ trễ đuôi không thể đoán trước. Đối với các khối lượng công việc dựa vào RDMA (Truy cập bộ nhớ từ xa trực tiếp), ngay cả độ rung micro giây cũng có thể làm giảm hiệu quả sử dụng GPU từ 30-40%. Bộ chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 trực tiếp giải quyết những thách thức này bằng cách cung cấp một mạng không mất mát, xác định, được tối ưu hóa cho các hoạt động tập thể, thuật toán all-reduce và giao tiếp MPI tần suất cao.

Các yêu cầu chính đối với mạng AI/HPC thế hệ tiếp theo bao gồm: độ trễ chuyển mạch dưới micro giây, hỗ trợ tốc độ NDR 400Gb/s, tính toán trong mạng dựa trên phần cứng (SHARP v2) và khả năng tương thích ngược liền mạch với cơ sở hạ tầng HDR hiện có. Bộ chuyển mạch 920-9B210-00FN-0D0 đáp ứng tất cả các tiêu chí này đồng thời cung cấp khả năng quản lý và đo lường cấp doanh nghiệp.

2. Thiết kế kiến trúc hệ thống & mạng tổng thể

Kiến trúc được đề xuất tập trung vào cấu trúc liên kết fat-tree hai lớp (spine-leaf), cung cấp băng thông phân đôi đầy đủ và độ trễ xác định cho các mẫu giao tiếp all-to-all điển hình trong huấn luyện phân tán. Lớp spine bao gồm các bộ chuyển mạch NVIDIA Mellanox 920-9B210-00FN-0D0, mỗi bộ hoạt động như một spine mạng NDR. Các bộ chuyển mạch leaf (ví dụ: dòng QM9700) kết nối với các nút tính toán thông qua bộ điều hợp ConnectX-7 hoặc BlueField-3, trong khi các uplink lên spine chạy ở tốc độ NDR 400Gb/s.

Đối với các triển khai quy mô lớn vượt quá 2.000 GPU, có thể triển khai kiến trúc ba lớp (core-aggregation-access), với các đơn vị 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR đóng vai trò là cả bộ chuyển mạch core và aggregation. Thiết kế này đảm bảo khả năng mở rộng hiệu suất tuyến tính và hỗ trợ mở rộng trong tương lai lên NDR200 (800Gb/s) mà không cần nâng cấp toàn bộ. Mã OPN bộ chuyển mạch InfiniBand OPN bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 chính thức đơn giản hóa việc mua sắm đa địa điểm và đảm bảo tính nhất quán của firmware trên toàn bộ mạng.

3. Vai trò & Tính năng chính của bộ chuyển mạch 920-9B210-00FN-0D0 trong giải pháp

Bộ chuyển mạch 920-9B210-00FN-0D0 đóng vai trò là thành phần spine/core hiệu năng cao trong mạng InfiniBand. Các khả năng chính của nó bao gồm:

• Mật độ cổng NDR 400Gb/s: Mỗi bộ chuyển mạch 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR cung cấp tới 32 cổng 400Gb/s, hỗ trợ cả bộ thu phát đồng và quang để kết nối linh hoạt lên tới 500 mét (đơn mode).
• Tính toán trong mạng (SHARP v2): Các hoạt động all-reduce được tăng tốc phần cứng giảm thời gian giao tiếp tập thể tới 8 lần đối với khối lượng công việc huấn luyện AI, trực tiếp cải thiện việc sử dụng GPU.
• Định tuyến thích ứng & Kiểm soát tắc nghẽn: Lựa chọn đường dẫn động tránh hình thành điểm nóng và đảm bảo độ trễ xác định dưới các mẫu lưu lượng incast.
• Thay thế RDMA qua Ethernet hội tụ (RoCE): Không giống như RoCE, InfiniBand gốc trên bộ chuyển mạch 920-9B210-00FN-0D0 không yêu cầu cấu hình PFC và mang lại hiệu suất nhất quán ngay cả ở mức sử dụng liên kết 95%.

Các kỹ sư có thể tham khảo Datasheet của 920-9B210-00FN-0D0 và Thông số kỹ thuật của 920-9B210-00FN-0D0 để biết chi tiết về nguồn điện (thường là 350W), nhiệt và độ trễ (độ trễ chuyển mạch dưới 200ns). Bộ chuyển mạch hoàn toàn tương thích với 920-9B210-00FN-0D0 với tất cả các điểm cuối InfiniBand chính của NVIDIA và các bộ thu phát quang NDR của bên thứ ba.

4. Khuyến nghị triển khai & mở rộng quy mô (Ví dụ về cấu trúc liên kết)

Cụm nhỏ (128-256 GPU): Một lớp spine gồm 2 bộ chuyển mạch 920-9B210-00FN-0D0, mỗi bộ kết nối với 8-16 bộ chuyển mạch leaf. Cung cấp băng thông phân đôi đầy đủ và dự phòng. Cụm trung bình (512-1024 GPU): Bốn bộ chuyển mạch spine trong cấu hình không chặn, với mỗi bộ chuyển mạch leaf có 4 uplink (2 mỗi spine). Cấu trúc liên kết này đảm bảo không có liên kết đơn nào vượt quá 80% mức sử dụng dưới lưu lượng đỉnh. Cụm lớn (2048+ GPU): Lớp core gồm 8 bộ chuyển mạch NVIDIA Mellanox 920-9B210-00FN-0D0, lớp aggregation sử dụng cùng một mẫu, và lớp access với dòng QM9700. Tất cả các kết nối chéo ở tốc độ NDR 400Gb/s, với khả năng sẵn sàng NDR200 tùy chọn.

Đối với các tổ chức đánh giá chi phí, giá của 920-9B210-00FN-0D0 được định vị cạnh tranh so với các bộ chuyển mạch Ethernet cao cấp khi tính đến tổng chi phí sở hữu (TCO). Các đơn vị có sẵn dưới dạng 920-9B210-00FN-0D0 để bán thông qua mạng lưới phân phối được ủy quyền của NVIDIA, với thời gian giao hàng điển hình là 4-6 tuần.

5. Vận hành, giám sát, khắc phục sự cố & tối ưu hóa

Quản lý được tập trung thông qua NVIDIA Unified Fabric Manager (UFM), cung cấp dữ liệu đo lường thời gian thực, phân tích lỗi dự đoán và khắc phục tự động. Các thực hành vận hành chính cho giải pháp OPN bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 bao gồm:

• Đường cơ sở hiệu suất: Sử dụng bản đồ nhiệt độ trễ của UFM để xác định các đợt bùng phát nhỏ. Thông số kỹ thuật của 920-9B210-00FN-0D0 xác nhận các bộ đếm phần cứng cho các dấu ECN và mức chiếm dụng bộ đệm.
• Quản lý Firmware: Duy trì tất cả các đơn vị trên cùng một nhánh firmware NDR. Datasheet của 920-9B210-00FN-0D0 bao gồm ma trận tương thích cho ConnectX-7 và BlueField-3.
• Các tình huống lỗi: Nguồn điện dự phòng và mô-đun quạt cho phép dự phòng N+1. UFM có thể tự động định tuyến lại lưu lượng xung quanh các liên kết hoặc bộ chuyển mạch bị lỗi.
• Mẹo tối ưu hóa: Bật định tuyến thích ứng trên tất cả các cổng spine; tắt khung pause toàn cục; cấu hình SHARP cho các khối lượng công việc chuyên sâu về all-reduce; sử dụng mã định danh OPN bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 để ánh xạ các cổng vật lý với vai trò logic.

6. Tóm tắt & Đánh giá giá trị

Bộ chuyển mạch Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 đại diện cho một khối xây dựng nền tảng cho các mạng AI và HPC hiệu năng cao. Bằng cách cung cấp băng thông NDR 400Gb/s, độ trễ chuyển mạch dưới micro giây và tính toán trong mạng SHARP v2, nó loại bỏ các nút thắt cổ chai mạng thường giới hạn khả năng mở rộng GPU. Bộ chuyển mạch 920-9B210-00FN-0D0 không chỉ đơn thuần là một bộ chuyển mạch — nó là một giải pháp OPN bộ chuyển mạch InfiniBand 920-9B210-00FN-0D0 hoàn chỉnh bao gồm khả năng tương thích đầy đủ với cơ sở hạ tầng HDR hiện có, khả năng quản lý cấp doanh nghiệp thông qua UFM và lộ trình di chuyển rõ ràng lên tốc độ NDR200 trong tương lai. Đối với các kiến trúc sư mạng và quản lý CNTT đang tìm cách tối ưu hóa hiệu suất kết nối cụm RDMA/HPC/AI, bộ chuyển mạch này mang lại ROI có thể đo lường thông qua việc sử dụng GPU cao hơn, giảm thời gian hoàn thành công việc và giảm chi phí vận hành. 

Tham chiếu thông số kỹ thuật chính