Bộ thu phát quang trung tâm dữ liệu NVIDIA Mellanox MMA4Z00-NS trong thực tế

NVIDIA Mellanox MMA4Z00-NS trung tâm dữ liệu quang thu trong thực tế.

Bối cảnh & Thách thức: Vấn đề về khoảng cách dưới làn sóng băng thông

Một nhà cung cấp dịch vụ Internet hàng đầu đã gặp phải một thách thức cơ sở hạ tầng trung tâm dữ liệu cổ điển trong khi nâng cấp cụm đào tạo AI của mình ở khu vực sẵn có ở miền bắc Trung Quốc.Các nút tính toán bao gồm GPU NVIDIA H200 được phân phối trên các giá đỡ liền kề trong cùng một hội trường và trên hai phòng máy vật lý trên các tầng khác nhauYêu cầu rõ ràng: cung cấp băng thông tốc độ đường dây 800G đầy đủ trong khi bao phủ khoảng cách liên kết lên đến 80 mét.Các máy thu truyền thống 800G SR8 thường đạt mức tối đa 50 mét trên sợi OM4 đa chế độ, trong khi các giải pháp 800G DR8 / FR8, mặc dù cung cấp phạm vi dài hơn, đi kèm với chi phí cao hơn đáng kể và hồ sơ tiêu thụ điện không phù hợp với việc triển khai nội bộ cụm mật độ cao.

Để làm phức tạp hơn thách thức, kiến trúc của cụm đòi hỏi hỗ trợ đồng thời cho cả InfiniBand (đối với giao tiếp GPU-to-GPU) và Ethernet (đối với các mô lưu trữ và quản lý),loại bỏ khả năng sử dụng quang học cụ thể theo giao thứcNhóm kỹ sư cần một nền tảng truyền cảm biến thống nhất duy nhất có thể thu hẹp khoảng cách giữa hiệu suất và phạm vi mà không ảnh hưởng đến mật độ cổng hoặc tính đơn giản của hoạt động.Đây là nơi màNVIDIA Mellanox MMA4Z00-NSđã được đưa vào dự án đánh giá.

Giải pháp và triển khai: MMA4Z00-NS như một chiến lược quang học thống nhất

Sau khi xem xét lạiMMA4Z00-NSvà thực hiện các bài kiểm tra trình độ nghiêm ngặt, nhóm kiến trúc mạng của nhà cung cấp đã chọnNVIDIA Mellanox MMA4Z00-NSlà bộ thu quang tiêu chuẩn cho cả các liên kết trong giá đỡ và qua phòng.MMA4Z00-NS 2x400G InfiniBand/Ethernetthiết bị đặc biệt hấp dẫn, cho phép một SKU duy nhất phục vụ các miền giao thức kép.

Việc triển khai được cấu trúc thành hai giai đoạn riêng biệt:

• Giai đoạn 1 ️ Intra-Rack (≤15m):Trong mỗi kệ,MMA4Z00-NSđược ghép nối với cáp vá OM4 chất lượng cao để cung cấp kết nối 800G giữa các công tắc lá và các nút tính toán GPU.Kiến trúc 8 × 100G PAM4 cung cấp tính toàn vẹn tín hiệu nhất quán với biên vượt xa các thông số kỹ thuật IEEE / IBTA, được xác nhận bởi thử nghiệm tỷ lệ lỗi bit (BER) tại chỗ.
• Giai đoạn 2 Inter-Room (tối đa 80m):Đối với các liên kết xuyên phòng dài hơn, nhóm kỹ sư đã tận dụng sự cân bằng nâng cao của mô-đun và ngân sách truyền / nhận điện quang.MMA4Z00-NS 800G OSFP SR8 máy thu, mô-đun duy trì truyền không lỗi trên 80 mét của sợi OM4 vượt qua thông số kỹ thuật 50 mét thông thườngThông số kỹ thuật MMA4Z00-NS.

Nhà cung cấp đã sử dụng phương pháp kết nối cáp lai: cáp thân MPO-12 cho các đường chạy theo chiều ngang có cấu trúc trong phòng dữ liệu, và kết thúc bằng các tấm băng MPO cho các kết nối qua phòng.Thiết kế này giảm thiểu mất tích chèn và đảm bảo rằngHoàn hợp với MMA4Z00-NShệ sinh thái bao gồm một loạt các cáp thoát MPO và DACs có thể được tận dụng đầy đủ mà không cần cáp tùy chỉnh.

Kết quả & Lợi ích hoạt động

Sau khi triển khai đầy đủNVIDIA Mellanox MMA4Z00-NSTrong 144 liên kết, nhà cung cấp báo cáo một số cải tiến có thể định lượng:

• Danh sách thống nhất:Một SKU máy thu phát duy nhất đã thay thế ba lựa chọn thay thế được xem xét trước đây (800G SR8, 400G × 2 và các biến thể FR4), cắt giảm hàng tồn kho phụ tùng bằng 67% và giảm sự phức tạp của việc mua sắm.Nhóm nghiên cứu bây giờ đề cập đến cách tiếp cận này như là đi đếnMMA4Z00-NS 800G OSFP SR8 giải pháp truyền thuđối với các cụm hỗn hợp.
• Phạm vi mở rộng mà không có chi phí cao cấp:Bằng cách sử dụng tiêu chuẩn sợi đa chế độ và tối ưu hóa DSP khả năng điều chỉnh chi tiết trongMMA4Z00-NS, nhóm đã đạt được phạm vi 80 mét với một phần chi phí của các lựa chọn thay thế một chế độ. Điều này trực tiếp giải quyết phương trình đánh đổi "bandwidth vs distance" của dự án.
• Sự linh hoạt của giao thức:The ability to switch between InfiniBand and Ethernet modes via firmware configuration meant that the same physical infrastructure could support GPU compute traffic and storage management traffic—a feature no other transceiver in the evaluation offered.
• Hiệu quả năng lượng và nhiệt:Ở dưới 12W mỗi cổng,MMA4Z00-NSgóp phần tiết kiệm tổng năng lượng cụm khoảng 2,8kW so với thiết kế thay thế dựa trên DR8, giảm đáng kể nhu cầu làm mát trong các giá đỡ mật độ cao.

Các phép đo độ trễ mạng cho thấy sự đóng góp liên tục của máy thu dưới 100ns, trong phạm vi dung nạp cần thiết cho khối lượng công việc đào tạo AI phân tán.MMA4Z00-NS để báncó sẵn thông qua kênh phân phối hiện tại của họ hợp lý hóa thời gian mua sắm, giảm thời gian dẫn từ tám tuần xuống chỉ ba tuần.

Tóm lại & triển vọng

Việc triển khaiMMA4Z00-NStại nhóm AI quy mô lớn này chứng minh rằng các kiến trúc sư trung tâm dữ liệu không còn cần phải lựa chọn giữa băng thông cao và phạm vi thực tế khi thiết kế kết nối.NVIDIA Mellanox MMA4Z00-NSthu hẹp thành công khoảng cách trong giá đỡ và khoảng cách giữa các phòng,chứng minh rằng một máy thu 800G SR8 được điều chỉnh tốt có thể cung cấp hoạt động không có lỗi vượt quá phạm vi thông số kỹ thuật điển hình của nó khi kết hợp với cáp thích hợp và tối ưu hóa DSP.

Nhìn về phía trước, nhà cung cấp đang đánh giáGiá MMA4Z00-NStheo cảng như là một phần của kế hoạch mở rộng hơn của họ cho các khu vực có sẵn bổ sung, với phản hồi sớm cho thấy tổng chi phí sở hữu,và sự linh hoạt triển khai làm cho mô-đun này một ứng cử viên mạnh mẽ cho tiêu chuẩn hóa trên toàn bộ hạm đội trung tâm dữ liệu toàn cầu của họ.những bài học thực tế rút ra từ việc triển khai này, khoảng cách, và chi phí sẽ tiếp tục rất quan trọng, vàMMA4Z00-NSlà một mô hình tham chiếu cho cách thiết kế và triển khai quang học thế hệ tiếp theo.