NVIDIA Mellanox MMA4Z00-NS Trung tâm dữ liệu Transceiver quang học Giải pháp kỹ thuật

NVIDIA Mellanox MMA4Z00-NS Data Center Optical Transceiver Giải pháp kỹ thuật cân bằng băng thông và khoảng cách trong các liên kết trong rack và giữa phòng

1. Xét nghiệm về dự án và các yêu cầu

Khi các tập hợp đào tạo trí tuệ nhân tạo tăng từ hàng ngàn đến hàng chục ngàn GPU,Mạng trung tâm dữ liệu đang phải đối mặt với những thách thức chưa từng có về mật độ băng thông và khoảng cách vật lý đồng thờiLấy một AI điển hình (trung tâm điện toán thông minh) làm ví dụ,các nút tính toán GPU của nó được phân phối trên nhiều giá đỡ trên cùng một tầng cũng như trên hai phòng máy lõi trên các tầng liền kềCác yêu cầu mạng rất nghiêm ngặt: cung cấp băng thông tốc độ đường dây đầy đủ 800G giữa tất cả các nút tính toán,hỗ trợ cả InfiniBand (đối với giao tiếp trực tiếp với GPU) và Ethernet (đối với các mô lưu trữ và quản lý), và bao gồm khoảng cách liên kết từ 5 mét (trong rack) đến 80 mét (trong phòng) mà không đưa ra các nút thắt dịch giao thức.

Các phương pháp thiết kế truyền thống thường dựa trên sự pha trộn của các loại máy thu khác nhau: 800G SR8 cho các liên kết nội bộ rack tầm ngắn (lên đến 50m trên OM4),và 800G DR8/FR8 giải pháp một chế độ cho các kết nối giữa phòng dài hơnTuy nhiên, chiến lược đa SKU này tạo ra chi phí hoạt động đáng kể trong quản lý hàng tồn kho, kiểm tra trình độ và cung cấp phụ tùng thay thế.chi phí cao hơn và tiêu thụ năng lượng của quang học một chế độ làm cho chúng kém tối ưu cho quy mô lớn, triển khai mật độ cao.NVIDIA Mellanox MMA4Z00-NSđã được đánh giá là một giải pháp nền tảng duy nhất tiềm năng có khả năng thống nhất cả hai miền từ xa trong khi duy trì tính linh hoạt và hiệu quả chi phí của giao thức.

2Thiết kế kiến trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất áp dụng một cấu trúc vỏ xương sống với các nút tính toán GPU được kết nối với các công tắc vỏ thông qua các cổng 800G OSFP,và các công tắc lá kết nối lên các công tắc cột sống bằng cách sử dụng cùng một loại máy thu để duy trì tính nhất quánQuyết định kiến trúc quan trọng là tiêu chuẩn hóa trên một mô hình đầu phát quang duy nhấtNVIDIA Mellanox MMA4Z00-NS- Trên tất cả các phân đoạn liên kết, từ trong giá đỡ đến giữa phòng, tận dụng DSP và ngân sách năng lượng quang học được nâng cao để mở rộng phạm vi hiệu quả vượt ra ngoài thông số kỹ thuật tiêu chuẩn 50 mét.

Để tối đa hóa tính toàn vẹn của tín hiệu trên khoảng cách dài, kiến trúc kết hợp một số nguyên tắc thiết kế:

• Tối ưu hóa nhà máy sợi:Sử dụng sợi OM4 đa phương thức chất lượng cao (kích thước băng thông modal hiệu quả tối thiểu ≥ 4700 MHz·km) cho tất cả các liên kết, với các đầu nối MPO-12 APC để giảm thiểu mất tích chèn và phản xạ ngược.Đường dây cáp cấu trúc được thiết kế để tránh cong chặt chẽ và quá nhiều patch panel hops.
• Dự trữ ngân sách liên kết:Ngân sách mất mát kiến trúc được duy trì dưới 3,0 dB cho tất cả các liên kết, đảm bảo một khoảng trống đầy đủ cho cácMMA4Z00-NSđể hoạt động không có lỗi ngay cả ở khoảng cách 80 mét. Điều này đạt được bằng cách giới hạn số cặp kết nối kết nối tối đa bốn cho mỗi liên kết.
• Chuyển tiếp không xác định giao thức:Các bộ chuyển đổi lá (NVIDIA Spectrum-4 cho Ethernet và Quantum-2 cho InfiniBand) được cấu hình để nhận raMMA4Z00-NS 2x400G InfiniBand/Ethernetchế độ hoạt động, cho phép gán giao thức động cho mỗi cổng mà không cần thay đổi phần cứng.

Kiến trúc hỗ trợ cả việc triển khai một và nhiều giá đỡ, vớiMMA4Z00-NSphục vụ như là lớp vật lý phổ quát cho phép trên tất cả các phạm vi khoảng cách.

3Vai trò của NVIDIA Mellanox MMA4Z00-NS và các tính năng chính

Ở trung tâm của giải pháp này,NVIDIA Mellanox MMA4Z00-NSchức năng như một cầu nối lớp vật lý thống nhất, loại bỏ sự cần thiết cho nhiều loại máy thu phát.

Các chi tiếtMMA4Z00-NScung cấp các thông số kỹ thuật quang học và điện toàn diện, bao gồm các đặc điểm của máy phát và máy thu,được sử dụng để xác nhận các tính toán ngân sách liên kết cho tất cả các phân đoạn của việc triển khai này.Thông số kỹ thuật MMA4Z00-NSxác nhận công suất truyền thông điển hình từ -2,5 dBm đến 4,0 dBm và độ nhạy của máy thu -6,5 dBm (BER 5E-8), cung cấp không gian đầu quang cần thiết cho mục tiêu 80 mét.

Về mặt chức năng,MMA4Z00-NS 800G OSFP SR8 máy thuhoạt động bằng cách tổng hợp tám làn sóng tín hiệu điện 100G PAM4 từ bộ chuyển đổi ASIC, chuyển đổi chúng thành tín hiệu quang học và truyền qua sợi đa chế độ song song thông qua giao diện MPO-12.Ở phía nhận, DSP tích hợp thực hiện đồng hồ và khôi phục dữ liệu, cân bằng, và demultiplexing trở lại miền điện.Đường ống xử lý này rất quan trọng để duy trì tính toàn vẹn tín hiệu trên khoảng cách dài, nơi sự phân tán và suy giảm modal sẽ làm suy giảm hiệu suất.

4. Đề xuất triển khai và mở rộng quy mô (với topology điển hình)

Để triển khai tối ưuNVIDIA Mellanox MMA4Z00-NS, các hướng dẫn về cấu trúc và dây cáp sau đây được khuyến cáo:

Topology điển hình Tầng ba quy mô:

• Lớp 1 (Intra-Rack, ≤15m):Đường dây vá MPO-12 trực tiếp giữa các nút tính toán GPU và các công tắc trên cùng (TOR).MMA4Z00-NSđược cài đặt ở cả hai đầu. Không cần điều kiện bổ sung.
• Lớp 2 (Cross-Rack, 15 45m):Các cáp thân MPO được kết thúc trước chạy qua các khay trên cao, kết nối các công tắc TOR với các công tắc tổng hợp lá.
• Lớp 3 (Phân phòng, 45 ∼ 80m):Cáp có cấu trúc với thân MPO được củng cố, sử dụng các đầu nối bóng góc và ghép tối thiểu. Mỗi liên kết được kiểm tra mất tích chèn và phản xạ trước khi đưa vào sử dụng.

Danh sách kiểm tra triển khai:

• Xác thực tất cả các liên kết sợi bằng cách sử dụng một máy đo phản xạ phạm vi thời gian quang học (OTDR) và máy đo công suất để xác nhận mất dưới 3,0 dB.
• Thiết lập các cổng chuyển đổi theo giao thức mong muốn (InfiniBand hoặc Ethernet) và xác minh rằngMMA4Z00-NStự động đàm phán chế độ hoạt động chính xác theoMMA4Z00-NS.
• Đối với môi trường hỗn hợp 400G / 800G, kích hoạt chế độ chia 2 × 400G trên các cổng được chọn, cho phépMMA4Z00-NS 2x400G InfiniBand/Ethernetkhả năng hỗ trợ hai kết nối 400G từ một máy thu truyền duy nhất.
• Thiết lập theo từng giai đoạn: bắt đầu với một rack duy nhất, xác minh BER và số liệu độ trễ, sau đó mở rộng đến các liên kết xuyên rack và giữa các phòng.

Đối với việc mở rộng quy mô lớn vượt quá 80 mét, kiến trúc khuyến cáo định vị cáp quang hoạt động (AOC) hoặc các giải pháp một chế độ chỉ cho các liên kết xương sống dài nhất, trong khi vẫn giữ được sựMMA4Z00-NS 800G OSFP SR8 giải pháp truyền thucho phần lớn các kết nối lá-đường sống và tính toán-lá.

5. Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

CácMMA4Z00-NSđược thiết kế để đơn giản hóa hoạt động, với hỗ trợ giám sát chẩn đoán kỹ thuật số toàn diện (DDM) thông qua giao diện I2C. Các thực tiễn hoạt động chính bao gồm:

• Theo dõi thời gian thực:Nhiệt độ theo dõi, điện áp cung cấp, truyền / nhận điện quang, và dòng bias laser.cho phép bảo trì chủ động.
• Tỷ lệ liên kết:Sử dụng khả năng điều chỉnh DSP để thực hiện các thử nghiệm biên liên kết trong quá trình cài đặt và như là một phần của kiểm tra sức khỏe hàng quý.MMA4Z00-NShỗ trợ điều chỉnh cân bằng theo yêu cầu thông qua firmware, có thể bù đắp cho sự lão hóa sợi dần dần hoặc suy giảm kết nối.
• Phân biệt lỗi:Nếu một liên kết gặp sự cố BER cao hoặc mất tín hiệu, dữ liệu DDM từ cả hai đầu của liên kết nên được so sánh.Các chế độ thất bại phổ biến bao gồm các đầu nối MPO bẩn / bị ô nhiễm (giặt sạch bằng cách sử dụng các chất tẩy rửa kiểu hộp đạn), mất độ uốn cong quá mức (kiểm tra định tuyến vật lý), hoặc sự suy thoái của máy phát (kiểm tra xu hướng hiện tại và điện quang).
• Bản cập nhật phần mềm:NVIDIA thường xuyên phát hành các bản cập nhật firmware có thể cải thiện thuật toán cân bằng và tăng khả năng tương thích.MMA4Z00-NSCác thiết bị được sử dụng phiên bản firmware mới nhất theo hướng dẫn của nhà sản xuất.

Để tối ưu hóa hiệu suất, kiến trúc khuyến cáo thực hiện quét đường cơ bản của tất cả các liên kết ở chế độ 800G và ở chế độ 2 × 400G, ghi lại sức mạnh quang học và số liệu thống kê BER.Mức cơ sở này phục vụ như một tham chiếu cho việc khắc phục sự cố và lập kế hoạch năng lực trong tương laiNgoài ra,MMA4Z00-NS để bánsự sẵn có thông qua phân phối toàn cầu tiêu chuẩn hóa đảm bảo rằng các đơn vị dự phòng có thể được mua nhanh chóng, giảm thiểu thời gian ngừng hoạt động trong trường hợp hỏng.

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MMA4Z00-NScung cấp một giải pháp quang học thống nhất hấp dẫn cho các trung tâm dữ liệu AI hiện đại phải cân bằng băng thông cao với các khoảng cách vật lý khác nhau.Bằng cách tiêu chuẩn hóa trên một loại máy thu truyền duy nhất trên cả hai liên kết trong rack và giữa các phòng, kiến trúc giảm sự phức tạp của hàng tồn kho, hợp lý hóa các quy trình trình độ và đơn giản hóa bảo trì,trong khi tận dụng khả năng DSP và quang học tiên tiến của mô-đun để mở rộng phạm vi vượt quá giới hạn SR8 truyền thống.

Kết quả giá trị chính:

• Đơn giản hóa hàng tồn kho:Một SKU duy nhất thay thế nhiều loại máy thu phát, giảm chi phí giữ phụ tùng khoảng 60%.
• Hiệu quả chi phí:Cơ sở hạ tầng sợi đa phương thức rẻ hơn đáng kể so với nhà máy đơn phương thức, vàGiá MMA4Z00-NSmỗi cổng thấp hơn đáng kể so với các lựa chọn thay thế tương đương DR8/FR8.
• Sự linh hoạt sẵn sàng cho tương lai:Chế độ phân chia 2 × 400G cung cấp một đường dẫn cho các môi trường chưa hoàn toàn sẵn sàng cho 800G, trong khi chế độ 800G hỗ trợ các cụm GPU thế hệ tiếp theo ngày nay.
• Khả năng phục hồi hoạt động:DDM mạnh mẽ, cảnh báo chủ động và các thông số DSP có thể điều chỉnh theo trường đảm bảo rằng các liên kết vẫn nằm trong quy định trong suốt thời gian hoạt động của chúng.

Đối với các kiến trúc sư mạng, kỹ sư giải pháp và các nhóm hoạt động,MMA4Z00-NSđại diện cho một nền tảng thực tế, hiệu suất cao và hiệu quả về chi phí để xây dựng các mạng AI có thể mở rộng mà có thể trải dài các giá và phòng mà không thỏa hiệp.MMA4Z00-NSvà tài liệu kỹ thuật hỗ trợ có sẵn để tạo thuận lợi cho quy hoạch tích hợp và xác nhận triển khai.