Giải pháp Kỹ thuật Bộ chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

July 15, 2026

Giải pháp Kỹ thuật Bộ chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 Giải pháp kỹ thuật chuyển mạch InfiniBand | Tối ưu hóa kết nối có độ trễ thấp cho các cụm RDMA/HPC/AI

1. Phân tích bối cảnh và yêu cầu của dự án

Các khung đào tạo AI hiện đại và các ứng dụng HPC ngày càng bị hạn chế bởi hiệu suất kết nối mạng thay vì chỉ riêng mật độ tính toán. Các công việc đào tạo được phân phối—đặc biệt là những công việc sử dụng mô hình ngôn ngữ lớn—tạo ra các mẫu lưu lượng truy cập lớn, được đồng bộ hóa và giảm toàn bộ và áp đảo các kết cấu Ethernet truyền thống. Các yêu cầu chính được xác định trong quá trình triển khai của doanh nghiệp bao gồm: độ trễ chuyển đổi dưới micro giây để giảm thiểu chi phí liên lạc, thông lượng không chặn trên quy mô lớn để loại bỏ đăng ký quá mức, kiểm soát tắc nghẽn nâng cao để xử lý các đợt truyền phát và tích hợp liền mạch với RDMA qua Ethernet hội tụ (RoCE) hoặc hệ sinh thái InfiniBand gốc. Ngoài ra, các nhóm vận hành yêu cầu đo từ xa sâu để chủ động phát hiện lỗi và đơn giản hóa việc quản lý trên hàng trăm cảng.

2. Thiết kế kiến ​​trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất tập trung vào cấu trúc liên kết gân lá hai tầng, được xây dựng có mục đích cho khối lượng công việc tập trung vào GPU. Ở lớp lá, mỗi giá chứaMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0làm công tắc ToR (Top-of-Rack) chính, kết nối tối đa 40 nút điện toán thông qua liên kết NDR 400Gb/s. Lớp cột sống bao gồm một lớp thứ hai của920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRchuyển mạch, cung cấp kết nối toàn lưới với tỷ lệ đăng ký vượt mức 4:1—hoặc hoàn toàn không chặn khi được triển khai với đủ cổng cột sống. Thiết kế này hỗ trợ tới 512 nút GPU trong một miền vải duy nhất, với tùy chọn mở rộng theo chiều ngang thông qua nhiều mạng con được kết nối với nhau thông qua UFM (Trình quản lý vải thống nhất) của NVIDIA.

Kiến trúc này tận dụng công cụ điện toán trong mạng SHARPv3 (Giao thức tổng hợp và giảm thiểu phân cấp có thể mở rộng) của NVIDIA, giảm tải các hoạt động tập thể trực tiếp lên ASIC chuyển mạch. Điều này giúp giảm khối lượng dữ liệu truyền qua bus bộ nhớ CPU/GPU và giảm độ trễ hoạt động chung tới 40% so với các phương pháp dựa trên phần mềm. các920-9B210-00FN-0D0 Công tắc InfiniBand OPNcũng hỗ trợ định tuyến thích ứng, tự động chọn đường dẫn ít tắc nghẽn nhất cho mỗi gói, đảm bảo sử dụng băng thông tối ưu ngay cả khi tải lưu lượng truy cập không đối xứng.

3. Vai trò & Tính năng chính của 920-9B210-00FN-0D0 trong Giải pháp

cácNVIDIA Mellanox 920-9B210-00FN-0D0đóng vai trò là khối xây dựng nền tảng cho toàn bộ kết cấu kết nối. Vai trò chính của nó bao gồm:

  • Tập hợp mật độ cao:Với tối đa 64 cổng 400Gb/s không chặn ở hệ số dạng 2U, bộ chuyển mạch mang lại công suất chuyển mạch tổng hợp là 25,6 Tb/s. Mật độ này làm giảm số lượng thiết bị chuyển mạch cần thiết trên mỗi giá đỡ, đơn giản hóa việc đi cáp và giảm mức tiêu thụ điện năng trên mỗi cổng.
  • Chuyển đổi độ trễ cực thấp:Bộ chuyển mạch duy trì độ trễ dưới 600ns cho bất kỳ kích thước gói nào, điều này rất quan trọng đối với các ứng dụng nhạy cảm với độ trễ đuôi như suy luận trực tuyến và HPC tài chính.
  • Máy tính trong mạng:Tích hợp SHARPv3 cho phép tăng tốc phần cứng của các hoạt động tập thể, giảm số lần truyền tải trên toàn hệ thống và cải thiện thời gian hoàn thành công việc tổng thể lên tới 30%.
  • Kiểm soát từ xa và tắc nghẽn nâng cao:Công tắc này cung cấp khả năng hiển thị trên mỗi luồng, đánh dấu các luồng bị tắc nghẽn để điều chỉnh phía máy chủ và cho phép cảnh báo sớm các điểm nóng mới hình thành.

TheoBảng dữ liệu 920-9B210-00FN-0D0, công tắc hỗ trợ cả bộ thu phát QSFP-DD bằng đồng và quang, khiến nóTương thích 920-9B210-00FN-0D0với cơ sở hạ tầng cáp hiện có ở hầu hết các trung tâm dữ liệu. Luồng khí từ trước ra sau và nguồn điện dự phòng đảm bảo tính sẵn sàng cao trong môi trường doanh nghiệp.

4. Khuyến nghị triển khai và mở rộng quy mô (Cấu trúc liên kết điển hình)

Để triển khai 128 nút GPU trong lĩnh vực xanh, chúng tôi khuyên dùng kiến ​​trúc hai tầng với 4 công tắc lá và 2 công tắc cột sống, mỗi cột kết nối với mỗi lá thông qua đường liên kết lên 4x400Gb/s—dẫn đến tỷ lệ đăng ký vượt mức 2:1, tỷ lệ này có thể chấp nhận được đối với hầu hết khối lượng công việc đào tạo. Đối với các ứng dụng nhạy cảm với độ trễ hoặc băng thông cao, có thể đạt được thiết kế không chặn 1:1 bằng cách tăng số cột lên 4, mang lại dung lượng đường lên tổng hợp bằng với các cổng đường xuống.

Mở rộng quy mô vượt quá 512 nút yêu cầu phân vùng kết cấu thành nhiều mạng con, mỗi mạng con do UFM quản lý như một đảo vải riêng biệt. Giao tiếp giữa các mạng con có thể được định tuyến thông qua cổng Quantum-2 của NVIDIA hoặc thông qua định tuyến dựa trên máy chủ, mặc dù cách tiếp cận được đề xuất cho khối lượng công việc nhạy cảm với hiệu suất là giữ kết cấu trong một mạng con duy nhất bất cứ khi nào có thể. cácThông số kỹ thuật 920-9B210-00FN-0D0hỗ trợ các cấu trúc liên kết quy mô lớn này, với tính năng kiểm soát luồng tích hợp và kiểm soát luồng dựa trên mức độ ưu tiên (PFC) để ngăn chặn tình trạng rớt gói trong các sự kiện định tuyến lại đường dẫn.

Khi lập kế hoạch đi cáp vật lý, hãy cân nhắc sử dụng cáp ngắt MPO-to-QSFP-DD cho các kết nối cột sống để giảm mật độ cáp hoặc cáp quang hoạt động (AOC) cho khoảng cách vượt quá 3 mét. cácCần bán 920-9B210-00FN-0D0thường bao gồm một bộ phụ kiện toàn diện nhưng chúng tôi khuyên bạn nên xác thực khả năng tương thích của bộ thu phát của bên thứ ba thông qua ma trận khả năng tương tác của nhà cung cấp để tránh các vấn đề về đào tạo liên kết.

5. Vận hành, giám sát và chẩn đoán lỗi

Hoạt động xuất sắc là nền tảng củaGiải pháp OPN chuyển mạch InfiniBand 920-9B210-00FN-0D0. Bộ chuyển mạch này tích hợp hoàn hảo với nền tảng UFM của NVIDIA, cung cấp:

  • Giám sát tình trạng vải theo thời gian thực:Bảng điều khiển về trạng thái liên kết, nhiệt độ, mức tiêu thụ điện năng và bộ đếm lỗi trên mỗi cổng (CRC, ký hiệu và lỗi căn chỉnh).
  • Phân tích lỗi dự đoán:Các mô hình học máy trên UFM chủ động xác định lỗi quang học hoặc liên kết xấu đi trước khi chúng gây ra lỗi công việc.
  • Tự động khắc phục sự cố:Hệ thống đề xuất các hành động khắc phục, chẳng hạn như định tuyến lại lưu lượng truy cập hoặc cô lập các liên kết bị lỗi, giúp giảm đáng kể thời gian trung bình để giải quyết (MTTR).

Đối với chẩn đoán nâng cao, bộ chuyển mạch hỗ trợ phản chiếu sFlow và cổng, cho phép kiểm tra gói sâu để gỡ lỗi ở cấp độ giao thức. Các đội cũng có thể truy cập chi tiếtThông số kỹ thuật 920-9B210-00FN-0D0để biết ngưỡng bộ đệm và cài đặt được đề xuất, đặc biệt để điều chỉnh lưu lượng RoCEv2 nếu được sử dụng trong môi trường InfiniBand/Ethernet hỗn hợp. Việc điều chỉnh hiệu suất nên tập trung vào các ngưỡng định tuyến thích ứng và khoảng thời gian tổng hợp SHARPv3, có thể được điều chỉnh theo từng giai đoạn khối lượng công việc—ví dụ: đào tạo so với suy luận.

Bảo trì định kỳ bao gồm các bản cập nhật chương trình cơ sở được thực hiện với sự gián đoạn tối thiểu bằng cách sử dụng khả năng nâng cấp luân phiên của UFM và vệ sinh định kỳ các đầu nối quang để duy trì tính toàn vẹn của tín hiệu. Các mô-đun quạt và nguồn dự phòng của switch cho phép thay thế hot-swap trong quá trình hoạt động.

6. Đánh giá tóm tắt và giá trị

cácMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0cung cấp giải pháp toàn diện cho các tổ chức đang tìm cách khai thác toàn bộ hiệu suất của khoản đầu tư vào AI và HPC của họ. Bằng cách kết hợp tốc độ NDR 400Gb/s, điện toán trong mạng và quản lý tắc nghẽn thông minh trong một nền tảng duy nhất, có thể mở rộng, nó giải quyết những thách thức kết nối cấp bách nhất mà các trung tâm dữ liệu ngày nay phải đối mặt. Kiến trúc được mô tả cung cấp một lộ trình đã được chứng minh từ cụm thí điểm 128 nút đến kết cấu siêu máy tính hơn 2.000 nút, với các công cụ vận hành giúp đơn giản hóa việc quản lý và giảm tổng chi phí sở hữu.

Khi đánh giá cácGiá 920-9B210-00FN-0D0, hãy xem xét giá trị lâu dài: thời gian hoàn thành công việc giảm sẽ trực tiếp dẫn đến chi phí đám mây thấp hơn hoặc thời gian hiểu rõ hơn về khối lượng công việc tại chỗ nhanh hơn. cácGiải pháp OPN chuyển mạch InfiniBand 920-9B210-00FN-0D0được hỗ trợ bởi mạng lưới hỗ trợ toàn cầu và hệ sinh thái đối tác rộng lớn của NVIDIA, đảm bảo rằng các tổ chức có thể tự tin triển khai, mở rộng quy mô và tối ưu hóa cơ sở hạ tầng của mình trong nhiều năm tới.


Để biết kế hoạch chi tiết, hãy tham khảo thông tin chính thứcBảng dữ liệu 920-9B210-00FN-0D0VàThông số kỹ thuật 920-9B210-00FN-0D0tài liệu, bao gồm các bản vẽ cơ khí, hồ sơ nhiệt và các tiêu chuẩn hiệu suất.