Giải pháp Kỹ thuật Bộ chuyển mạch InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0

Sách trắng kỹ thuật này cung cấp cho các kiến ​​trúc sư, kỹ sư tiền bán hàng và nhóm vận hành thiết kế tham khảo toàn diện tập trung vàoMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0Công tắc InfiniBand. Giải pháp này giải quyết những thách thức cấp bách nhất trong môi trường AI và HPC hiện đại: độ trễ do mạng gây ra, tắc nghẽn và hạn chế về khả năng mở rộng của kết cấu Ethernet truyền thống.

1. Phân tích bối cảnh và yêu cầu của dự án

Các tổ chức triển khai cụm GPU quy mô lớn để đào tạo mô hình ngôn ngữ lớn, mô phỏng động lực phân tử hoặc dự báo thời tiết phải đối mặt với một nút thắt cổ chai phổ biến: kết cấu kết nối. Ethernet suy hao thông thường không thể đảm bảo độ trễ dưới micro giây xác định cần thiết cho các hoạt động tập thể giảm thiểu và tổng thể hiệu quả. Các yêu cầu chính được xác định từ việc triển khai trong thế giới thực bao gồm:

• Độ trễ từ đầu đến cuối dưới 1µs đối với khối lượng công việc MPI nhạy cảm với độ trễ
• Không mất dữ liệu, tốc độ đường truyền 400Gb/s trên mỗi cổng mà không bị chặn đầu dòng
• Điện toán trong mạng để giảm tải các hoạt động tập thể từ CPU chủ
• Khả năng mở rộng liền mạch từ 8 đến hơn 2.000 nút GPU mà không cần tái kiến ​​trúc kết cấu

Những nhu cầu này đã khiến nhóm thiết kế của chúng tôi phải lựa chọn920-9B210-00FN-0D0là khối xây dựng nền tảng cho vải có độ trễ thấp thế hệ tiếp theo.

2. Thiết kế kiến ​​trúc mạng/hệ thống tổng thể

Kiến trúc đề xuất áp dụng cấu trúc liên kết gân lá hai tầng được tối ưu hóa cho băng thông chia đôi hoàn toàn, không bị chặn. Tất cả các nút điện toán (máy chủ GPU, thiết bị lưu trữ, máy chủ quản lý) đều kết nối với các nút chuyển mạch lá, trong khi các nút chuyển mạch cột sống cung cấp kết nối bất kỳ giữa các nút mạng. Thiết kế này giúp loại bỏ việc đăng ký quá mức và đảm bảo độ trễ có thể dự đoán được bất kể kiểu giao tiếp nào.

Đối với cụm 512-GPU tham chiếu, chúng tôi triển khai 16 công tắc lá và 8 công tắc cột sống, mỗi công tắc làNVIDIA Mellanox 920-9B210-00FN-0D0. Các liên kết lá-spin hoạt động ở tốc độ NDR 400Gb/s, dẫn đến băng thông kết cấu tổng hợp vượt quá 200 Tb/s. Thuật toán định tuyến thích ứng (AR) và kiểm soát tắc nghẽn được kích hoạt trên tất cả các cổng để tự động cân bằng lưu lượng và tránh các điểm nóng trong các sự kiện truyền phát.

3. Vai trò của 920-9B210-00FN-0D0 & Các yếu tố khác biệt chính

các920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/giây NDRcông tắc đóng vai trò như cả lá và cột sống, mang lại hiệu suất ổn định trên toàn bộ vải. Ưu điểm kiến ​​trúc quan trọng của nó bao gồm:

Các kỹ sư đánh giá việc mua sắm sẽ tìm thấy920-9B210-00FN-0D0 Công tắc InfiniBand OPN(số bộ phận đặt hàng) đơn giản hóa việc báo giá và giao hàng. Để xác thực khả năng tương tác,Bảng dữ liệu 920-9B210-00FN-0D0VàThông số kỹ thuật 920-9B210-00FN-0D0cung cấp ma trận tương thích chi tiết với ConnectX-7, DPU BlueField-3 và các thiết bị lưu trữ của bên thứ ba.

4. Khuyến nghị triển khai và mở rộng quy mô

Chúng tôi đề xuất phương pháp triển khai theo từng giai đoạn để giảm thiểu gián đoạn sản xuất:

• Giai đoạn 1 (Thí điểm):8 đến 16 nút GPU + 2920-9B210-00FN-0D0công tắc (cấu trúc liên kết đường ray đơn). Xác thực hiệu suất RDMA và thu thập số liệu cơ bản.
• Giai đoạn 2 (Sản xuất một phần):Mở rộng tới 128 GPU bằng 4 lá + 2 gai. Kích hoạt tính năng định tuyến thích ứng và SHARPv3.
• Giai đoạn 3 (Sản xuất đầy đủ):Triển khai 16 lá + 8 gai cho hơn 512 GPU. Giới thiệu định tuyến đa đường và phân vùng vải bằng NVIDIA UFM.

Đối với hệ thống cáp, hãy sử dụng cáp quang hoạt động (AOC) hoặc cáp đồng hoạt động để chạy dưới 5 mét; đối với các gai dài hơn hoặc liên kết chéo giá, hãy triển khai bộ thu phát NDR 400Gb/s bằng sợi quang đơn mode. Tất cả các cổng trênTương thích 920-9B210-00FN-0D0hệ sinh thái hỗ trợ tự động đàm phán giữa chế độ hoạt động 400Gb/s và 200Gb/s.

5. Vận hành, giám sát và khắc phục sự cố

Sự sẵn sàng sản xuất đòi hỏi khả năng quan sát mạnh mẽ. Chúng tôi tích hợp cácGiải pháp OPN chuyển mạch InfiniBand 920-9B210-00FN-0D0với Trình quản lý vải hợp nhất NVIDIA (UFM). Các khả năng hoạt động chính bao gồm:

• Đo từ xa theo thời gian thực:Bộ đếm trên mỗi cổng, biểu đồ độ trễ, mức sử dụng bộ đệm và thông báo tắc nghẽn được xuất qua Prometheus/Graphite.
• Chuyển đổi dự phòng tự động:Định tuyến lại liên kết thứ hai khi cáp hoặc bộ thu phát bị lỗi.
• Chẩn đoán hiệu suất:Bộ đếm hiệu suất SHARP tích hợp và các công cụ phân tích vải để xác định các nút thoát nước chậm.

Đối với các vấn đề thường gặp, hãy tham khảoBảng dữ liệu 920-9B210-00FN-0D0để biết mã lỗi và đề xuất hành động khắc phục. Khi lập kế hoạch bổ sung công suất, hãy tham khảo ý kiến ​​củaGiá 920-9B210-00FN-0D0các mô hình đánh đổi giữa việc mở rộng toàn bộ cột sống và chỉ lá.

6. Đánh giá tóm tắt và giá trị

cácNVIDIA Mellanox 920-9B210-00FN-0D0giải pháp dựa trên nền tảng này mang lại độ trễ dưới micro giây xác định, thông lượng không bị mất 400Gb/s và khả năng tăng tốc điện toán trong mạng cho các cụm RDMA/HPC/AI. So với các thiết kế Ethernet 400Gb thay thế, kết cấu InfiniBand này đạt được độ trễ giảm hoàn toàn thấp hơn 2,5 lần và loại bỏ tới 90% lưu lượng truy cập chung thông qua SHARPv3. Đối với các tổ chức đánh giáCần bán 920-9B210-00FN-0D0tùy chọn, tổng chi phí sở hữu thường được phục hồi trong vòng 6–12 tháng thông qua việc sử dụng GPU cao hơn và giảm thời gian hoàn thành công việc. Chúng tôi khuyên bạn nên triển khai thí điểm ngay lập tức cho mọi cơ sở hạ tầng AI mới hoặc mở rộng quy mô.