Tài liệu Kỹ thuật về Bộ thu phát quang Trung tâm dữ liệu NVIDIA Mellanox MMAIB00-B150D

NVIDIA Mellanox MMAIB00-B150D Data Center Optical Transceiver White Paper kỹ thuật: cân bằng băng thông và khoảng cách cho các liên kết trong rack và giữa các tòa nhà

Sách trắng kỹ thuật này dành cho các kiến trúc sư mạng, kỹ sư bán hàng trước và quản lý hoạt động.NVIDIA Mellanox MMAIB00-B150DMáy phát quang đa chế độ 400G,chi tiết về một kiến trúc giải pháp toàn diện giải quyết thách thức liên tục cân bằng băng thông cao với phạm vi mở rộng trên các liên kết trung tâm dữ liệu nội bộ và giữa các tòa nhàTài liệu bao gồm các nguyên tắc thiết kế, công nghệ chính, chiến lược triển khai và thực tiễn hoạt động tốt nhất bắt nguồn từ các triển khai quy mô lớn trong thế giới thực.

1- Phân tích các dự án và các yêu cầu

Các cụm đào tạo AI hiện đại và môi trường điện toán hiệu suất cao (HPC) được đặc trưng bởi hai mô hình giao thông khác nhau: giao thông đông-tây trong một giá đỡ hoặc giá đỡ liền kề,đòi hỏi độ trễ cực thấp và thông lượng lớn; và giao thông từ bắc-nam hoặc cột sống đến siêu cột sống thường đi qua các đường dây sợi dài hơn giữa các tòa nhà hoặc tầng.hai trường hợp sử dụng này yêu cầu các gia đình máy thu quang riêng biệt  đa chế độ tầm ngắn cho người đầu tiên và chế độ duy nhất tầm xa cho người cuối cùng  dẫn đến sự phức tạp của hàng tồn kho, chi phí cao hơn, và ma sát hoạt động.

Các yêu cầu chính được xác định bởi các kiến trúc sư mạng bao gồm:

• SKU quang học thống nhất:Một loại máy thu phát duy nhất có thể bao phủ khoảng cách từ 2 mét đến 150 mét trên sợi đa phương thức hiện có, loại bỏ sự cần thiết của nhiều số phần.
• Hiệu quả năng lượng:Sub-9W mỗi cổng để hỗ trợ chuyển đổi 400G mật độ cao mà không vượt quá ngân sách nhiệt.
• Tính toàn vẹn của tín hiệu:Tỷ lệ cân bằng dựa trên DSP mạnh mẽ để bù đắp cho sự phân tán phương thức và mất tích chèn trên cáp OM3/OM4 cũ.
• Khả năng tương tác:Tương thích liền mạch với NVIDIA Spectrum, Quantum và nền tảng chuyển đổi 400G của bên thứ ba.
• Khả năng dự đoán chi phí:Kinh tế cạnh tranh trên cảng với các mô hình tổng chi phí sở hữu (TCO) minh bạch.

CácMMAIB00-B150Dđã được chọn là giải pháp truyền thu quang duy nhất sau một đánh giá nghiêm ngặt dựa trên các tiêu chí này, vớiMMAIB00-B150Dxác nhận hỗ trợ phạm vi 100 mét trên OM4 và 150 mét trên OM5 đủ cho hơn 95% các liên kết quy mô khuôn viên trường mà không cần sử dụng quang học một chế độ hoặc cáp hoạt động.

2Thiết kế kiến trúc mạng / hệ thống chung

Kiến trúc được đề xuất áp dụng một cấu trúc hai tầng cho các cụm tính toán, với một lớp siêu xương sống bổ sung cho kết nối giữa các tòa nhà.NVIDIA Mellanox MMAIB00-B150Dmáy thu quang, tạo ra một lớp quang đồng nhất trên toàn bộ khuôn viên trung tâm dữ liệu.

Kiến trúc thống nhất này làm giảm số lượng SKU quang từ sáu xuống một, đơn giản hóa tài liệu nhà máy cáp và cho phép bất kỳ phụ tùngMMAIB00-B150D để bántrong danh sách để được triển khai đến bất kỳ giá đỡ hoặc tòa nhà nào mà không cần kiểm tra tính tương thích.

3Vai trò và các tính năng chính của NVIDIA Mellanox MMAIB00-B150D

CácNVIDIA Mellanox MMAIB00-B150Dphục vụ như là khối xây dựng nền tảng cho toàn bộ lớp quang học.

• Các yếu tố hình thức QSFP-DD:Cho phép 36 cổng cho mỗi công tắc 1U, tối đa hóa mật độ bảng điều khiển phía trước trong khi duy trì lưu lượng không khí đầy đủ.
• 8x50G PAM4 điều chế:Cung cấp băng thông tổng cộng 400 Gb / s bằng cách sử dụng giao diện điện 50G trưởng thành, cân bằng hiệu suất với tính toàn vẹn tín hiệu.
• Động cơ DSP tích hợp:Cung cấp cân bằng thích nghi và khôi phục dữ liệu đồng hồ (CDR) tích cực bù đắp cho sự suy giảm kênh,bao gồm phân tán màu sắc và phản xạ kết nối quan trọng để mở rộng phạm vi trên các nhà máy sợi đa chế độ cũ.
• Giám sát chẩn đoán kỹ thuật số (DDM):Báo cáo các thông số thời gian thực như nhiệt độ, điện áp cung cấp, điện TX / RX và dòng bias thông qua giao diện I2C, cho phép giám sát tình trạng liên kết chủ động.
• Khả năng tương tác rộng:CácMMAIB00-B150D tương thíchquang học đã được xác nhận đối với NVIDIA Spectrum-4, Quantum-2, và các bộ chuyển đổi lớn của bên thứ ba (Cisco, Arista, Juniper) bằng cách sử dụng các thông số kỹ thuật giao diện quang học tiêu chuẩn 400G-SR8.

Theo quan chứcThông số kỹ thuật MMAIB00-B150D, mô-đun hoạt động trong phạm vi nhiệt độ trường hợp từ 0 °C đến 70 °C và tiêu thụ một 8,5W điển hình ở tải đầy đủ,thấp hơn rất nhiều so với ngưỡng 9W mà nếu không sẽ yêu cầu làm mát tích cực hoặc giảm nhiệt trong khung gọn.

4. Đề xuất triển khai và mở rộng (với Topology điển hình)

Đối với việc triển khai khu vực xanh mới, đề nghị sử dụng cấu trúc như sau:

• Mức độ giá đỡ:Mỗi rack tính toán được trang bị một cặp chuyển đổi ToR 400G. Mỗi máy chủ kết nối thông qua NIC OSFP / QSFP-DD 400G, và các liên kết lên ToR để sử dụng lớp láMMAIB00-B150Dmáy thu truyền qua dây cắm OM5 (2 ′′ 5 mét).
• Mức hàng / phòng:Các bộ chuyển đổi lá được triển khai trên mỗi hàng hoặc mỗi sảnh, tổng hợp 32 64 liên kết lên ToR. Các kết nối lá đến cột sống trên cáp gốc OM4 (lên đến 80 mét) sử dụng cùng mộtMMAIB00-B150D máy thu quang, hưởng lợi từ sự cân bằng DSP để khắc phục sự phân tán phương thức trong sợi truyền thống.
• Khuôn viên / tầng tòa nhà:Các công tắc cột sống kết nối với nhau thông qua một lớp siêu cột sống sử dụng các liên kết OM5 lên đến 150 mét.Các liên kết OM4 lên đến 100 mét được hỗ trợ đầy đủ. Điều này bao gồm hơn 90% các kịch bản giữa các tòa nhà mà không yêu cầu máy thu đơn chế độ hoặc thiết bị phân phối đa chiều sóng (WDM).

Để mở rộng, các nhà khai thác có thể chỉ cần thêm các giá đỡ mới và kết nối chúng với các công tắc lá / xương sống hiện có bằng cách sử dụng cùng một SKU quang học.Giải pháp máy thu quang MMAIB00-B150Dhỗ trợ hot-swapping, cho phép nâng cấp công suất mà không bị gián đoạn dịch vụ. Khi lập kế hoạch di chuyển 800G trong tương lai, cơ sở hạ tầng MMF hiện có vẫn có thể tái sử dụng,vì hai liên kết 400G có thể được liên kết thông qua tổng hợp liên kết (LAG) hoặc giao thức cân bằng tải.

Khi đánh giáGiá MMAIB00-B150Dso với các giải pháp thay thế, xem xét rằng cách tiếp cận SKU thống nhất làm giảm hàng tồn kho phụ tùng thay thế 80~90%, giảm chi phí đào tạo,và loại bỏ rủi ro triển khai loại quang sai ở một khoảng cách nhất định những yếu tố cải thiện đáng kể tổng chi phí sở hữu trong vòng 5 năm..

5. Giám sát hoạt động, khắc phục sự cố và tối ưu hóa

Quản lý hiệu quảMMAIB00-B150D Mellanox mạng trung tâm dữ liệu quang họcmôi trường đòi hỏi một sự kết hợp của giám sát chủ động và các thủ tục khắc phục sự cố có hệ thống.

Giám sát thực tiễn tốt nhất:

• Khả năng thăm dò DDM thông qua SNMP hoặc đo từ xa trực tuyến (ví dụ: gNMI) để theo dõi xu hướng điện năng quang học, nhiệt độ và điện áp. Thiết lập cảnh báo cho các độ lệch điện TX vượt quá ± 2 dB và nhiệt độ vượt quá 65 ° C.
• Kiểm tra điều chỉnh lỗi chuyển tiếp (FEC) số bit được điều chỉnh: sự gia tăng đột ngột có thể chỉ ra sự suy giảm sợi, kết nối bẩn hoặc mất độ uốn cong quá mức.
• Sử dụng khả năng lặp lại tích hợp của mô-đun (nếu được hỗ trợ bởi nền tảng chuyển đổi) để xác nhận liên kết theo yêu cầu trong các cửa sổ bảo trì.

Giải quyết các vấn đề phổ biến:

• Liên kết xuống hoặc BER cao trên các chuyến bay dài:Kiểm tra rằng loại sợi phù hợp với phạm vi dự kiến. OM4 được giới hạn ở 100 m; OM5 mở rộng đến 150 m. Làm sạch tất cả các kết nối LC với phạm vi kiểm tra mặt cuối;ngay cả ô nhiễm vi mô có thể gây mất tín hiệu đáng kể ở 400G.
• Sự suy giảm hiệu suất do nhiệt độ:Đảm bảo lưu lượng không khí từ phía trước sang phía sau đầy đủ và rằng mô-đun không được lắp đặt liền kề các thiết bị quang học công suất cao (ví dụ, các mô-đun ZR) mà không có khoảng cách đủ.
• Các vấn đề tương tác:Xác minh rằng phần mềm firmware chuyển đổi hỗ trợ phiên bản mới nhất củaMMAIB00-B150D tương thíchNVIDIA duy trì một ma trận tương thích được chứng nhận được cập nhật hàng quý.

Mẹo tối ưu hóa:

• Đối với các liên kết gần với phạm vi tối đa (100 m trên OM4), hãy xem xét sử dụng sợi OM5 cấp cao hơn trong các nâng cấp được lên kế hoạch để khôi phục biên độ liên kết.
• Điều chỉnh cài đặt FEC (ví dụ: RS ((544,514) so với RS ((272,258))) dựa trên các khuyến nghị của nhà cung cấp chuyển đổi để cân bằng độ trễ so với khả năng sửa lỗi.
• Thực hiện chứng nhận cơ sở cáp định kỳ bằng cách sử dụng máy đo điện OTDR hoặc điện quang để xác định các vết cong nhỏ hoặc tổn thất nối trước khi chúng ảnh hưởng đến giao thông sản xuất.

Xem chi tiếtMMAIB00-B150Dđối với bản đồ đăng ký đầy đủ, định nghĩa ngưỡng chẩn đoán và điều kiện hoạt động được khuyến cáo.

6Tóm lại và đánh giá giá trị

CácNVIDIA Mellanox MMAIB00-B150Dcung cấp một đề xuất giá trị hấp dẫn cho các nhà khai thác trung tâm dữ liệu tìm cách hợp lý hóa cơ sở hạ tầng quang học của họ trong khi đáp ứng băng thông và đáp ứng nhu cầu của khối lượng công việc AI / HPC hiện đại.Bằng cách hợp nhất các liên kết tầm ngắn và tầm trung dưới một, máy thu QSFP-DD hiệu suất cao, các tổ chức có thể đạt được:

• Dễ dàng hoạt động:Một SKU cho tất cả các liên kết 400G, từ dây vá trong giá đỡ đến thân tòa nhà giữa khuôn viên trường, cắt giảm chi phí hàng tồn kho và giảm lỗi của con người.
• Bảo vệ đầu tư:Các nhà máy sợi OM4 cũ có thể tái sử dụng hoàn toàn, trong khi OM5 cung cấp một con đường nâng cấp rõ ràng cho việc mở rộng phạm vi tiếp theo.
• Khả năng mở rộng:Các giải pháp quang học tương tự hỗ trợ cả việc triển khai 400G hiện tại và các cấu hình liên kết 800G trong tương lai, tránh các tài sản bị mắc kẹt.
• Khả năng tương tác đã được chứng minh:Được xác nhận rộng rãi trên các nền tảng chuyển đổi hàng đầu, đảm bảo tích hợp không lo lắng vào môi trường không sử dụng.

Đối với các kiến trúc sư mạng và quản lý CNTT đánh giá tổng chi phí sở hữu,Giải pháp máy thu quang MMAIB00-B150Dlà một lựa chọn cân bằng, sẵn sàng cho tương lai loại bỏ sự đánh đổi truyền thống giữa băng thông và khoảng cách.Thông tin chiết khấu khối lượng có thể được thu thập thông qua các kênh phân phối được ủy quyền của NVIDIAMMAIB00-B150D để bánđể xác định vị trí của một đối tác khu vực, hoặc tham khảo ý kiếnMMAIB00-B150Dđối với các thông số kỹ thuật sản xuất cuối cùng và chứng nhận phù hợp.