Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Cáp quang hoạt động trong thực tế - Khoảng cách ngắn tốc độ cao

Khi các trung tâm dữ liệu siêu quy mô và các cụm tính toán hiệu suất cao tiếp tục mở rộng quy mô,mật độ kết nối giữa giá đỡ và sự phức tạp của quản lý cáp đã xuất hiện như những hạn chế quan trọng đối với hiệu quả mở rộngCác cáp đồng thụ động truyền thống phải đối mặt với sự suy yếu tín hiệu, đường kính cáp quá lớn và các thách thức cản trở luồng không khí trong các kịch bản kết nối đường ngắn.trong khi các giải pháp truyền cảm biến quang rời đưa ra chi phí bổ sung và điểm thất bại tiềm năngTrong một dự án mở rộng gần đây của một cụm máy tính AI quy mô lớn, việc giới thiệuMellanox (NVIDIA Mellanox) MFS1S00-H005VActive Optical Cable (AOC) đã thành công trong việc cung cấp kết nối tốc độ cao 200Gb / s giữa các cột, đồng thời đơn giản hóa đáng kể kiến trúc cáp.cung cấp một mô hình tham chiếu có thể sao chép cho các trung tâm dữ liệu tương tự thực hiện nâng cấp kết nối đường ngắn.

Các cụm tính được xây dựng xung quanh NVIDIA Mellanox Quantum HDR chuyển đổi, áp dụng một Fat-Tree kiến trúc mạng.hàng chục công tắc được kết nối với hàng trăm nút tính toánTrong giai đoạn ban đầu, nhóm hoạt động đã cố gắng sử dụng cáp đồng thụ động (DAC) để kết nối giữa các giá đỡ.khi tốc độ cổng tăng lên 200Gb/s, lỗi tín hiệu trở nên phổ biến trên các liên kết đồng vượt quá 15 mét, dẫn đến suy thoái liên kết hoặc đập liên tục.Các dây cáp đồng mật độ cao đặc trưng bởi độ dày và bán kính uốn cong hạn chế của chúng tạo ra tắc nghẽn nghiêm trọng trong khay cáp trên cao, ảnh hưởng trực tiếp đến cách ly đường đi nóng / đường đi lạnh ở phía chuyển đổi và tăng chi phí làm mát.

Một thách thức khác xuất hiện từ phương pháp tiếp cận máy thu modular.triển khai chúng trên hàng trăm liên kết giữa các giá đỡ sẽ giới thiệu hàng ngàn giao diện quang học có thể táchMỗi giao diện đại diện cho một điểm ô nhiễm hoặc lỗi tiềm năng, và tổng chi phí của máy thu phát cộng với cáp vượt quá đáng kể các hạn chế ngân sách.Nhóm nghiên cứu cần một giải pháp kết hợp sự đơn giản "plug-and-play" của đồng với tính toàn vẹn tín hiệu và phạm vi của công nghệ quang học, tất cả trong khi duy trì ngân sách năng lượng nghiêm ngặt và yêu cầu mật độ vật lý.

Sau khi đánh giá nhiều lựa chọn thay thế, nhóm kiến trúc đã chọnCáp AOC MFS1S00-H005V 200G QSFP56như là kết nối liên kết tiêu chuẩn cho tất cả các liên kết giữa các giá đỡ. cáp quang hoạt động này tích hợp các bộ thu quang trực tiếp vào vỏ kết nối, trình bày một,Bộ hợp nhất kín loại bỏ các giao diện quang tách rờiViệc triển khai theo một chiến lược đơn giản:

• Độ dài liên kết tiêu chuẩn:Ba chiều dài tiêu chuẩn (15m, 20m và 30m) được sử dụng để bao phủ tất cả các khoảng cách giữa các giá đỡ, làm giảm sự phức tạp của hàng tồn kho.
• Kết nối trực tiếp chuyển sang chuyển đổi:CácMFS1S00-H005V InfiniBand HDR cáp quang hoạt động 200Gb/skết nối các công tắc cột sống với các công tắc lá trên các giá đỡ liền kề mà không cần các tấm vá trung gian.
• Đường dẫn cáp đơn giản:Xây dựng mỏng hơn, linh hoạt hơn của AOC so với DAC đồng cho phép gói sạch hơn trong khay cáp, khôi phục lưu lượng không khí thích hợp để chuyển đổi khung.

Một yếu tố quan trọng trong quyết định là đảm bảo tính tương thích toàn diện.Hoàn hợp với MFS1S00-H005Vtrạng thái trên tất cả các công tắc NVIDIA Mellanox Quantum HDR và các bộ điều hợp ConnectX-6, đảm bảo rằng mọi liên kết sẽ đào tạo chính xác ở tốc độ 200Gb / s mà không cần điều chỉnh cấp firmware.Bằng cách coi AOC là một SKU duy nhất cho mỗi chiều dài, nhóm hoạt động đã giảm số lượng các thành phần riêng biệt đòi hỏi trình độ từ hai (cài phát + cáp) xuống một, đơn giản hóa cả thủ tục mua sắm và thay thế lĩnh vực.

Các số liệu sau khi triển khai cho thấy sự cải thiện đáng kể trên nhiều khía cạnh.Tỷ lệ lỗi bit (BER) trên tất cả các liên kết giữa rack vẫn nằm trong các thông số kỹ thuật InfiniBand HDRThứ hai, mật độ khoan cáp cải thiện khoảng 40%,vì đường kính nhỏ hơn của AOC và bán kính uốn cong chặt chẽ hơn cho phép gói tổ chức hơn mà không chặn các khu vực hút quạt khung gầm.

Từ quan điểm hoạt động, danh sách đơn giản hóa mang lại những lợi thế rõ ràng.nhóm giảm số lượng phụ tùng SKU từ hơn một tá đến chỉ baKhi các kỹ sư cần tham khảo chi tiết kỹ thuật trong quá trình khắc phục sự cố hoặc lập kế hoạch năng lực, họ có thể nhanh chóng tham khảoMFS1S00-H005VvàThông số kỹ thuật MFS1S00-H005Vchi phí sở hữu tổng cũng được hưởng lợi: trong khi chi phí đầu tiênGiá MFS1S00-H005Vmỗi liên kết cao hơn một chút so với DAC đồng bằng chiều dài,việc loại bỏ các mô-đun quang hoạt động và giảm lao động khắc phục sự cố dẫn đến TCO thấp hơn 25% trong vòng ba năm dự kiến, làmMFS1S00-H005V để bánĐánh giá ngày càng thuận lợi khi số lượng tăng lên.

Việc triển khai xác nhận rằngNVIDIA Mellanox MFS1S00-H005Vđại diện cho nhiều hơn một thay thế cáp đơn giản nó phục vụ như mộtGiải pháp cáp AOC MFS1S00-H005V 200G QSFP56cho các môi trường mà kết nối tốc độ cao đường ngắn phải cân bằng hiệu suất, mật độ và tính đơn giản trong hoạt động.Đối với các kiến trúc sư thiết kế các cụm AI mới hoặc nâng cấp các mô InfiniBand hiện có, MFS1S00-H005V cung cấp một con đường dự đoán để mở rộng quy mô mà không có sự phức tạp của dây cáp theo lịch sử đi kèm với việc mở rộng mạng tốc độ cao.

Nhìn về phía trước, khi các topology trung tâm dữ liệu phát triển hướng tới số cổng thậm chí cao hơn và tăng nhu cầu giao tiếp GPU-to-GPU, các nguyên tắc được thể hiện ở đâyCác bộ phận quang học kín, và tính tương thích xác minh sẽ ngày càng trở nên quan trọng. các kỹ sư mạng và quản lý CNTT tìm cách sao chép những kết quả này được khuyến khích xem xét lại cácThông số kỹ thuật MFS1S00-H005VVới hiệu suất đã được chứng minh trong môi trường sản xuất và khả năng tương thích rộng rãi trên cơ sở hạ tầng NVIDIA Mellanox HDR,giải pháp cáp quang hoạt động này được định vị tốt để phục vụ như là xương sống của hiệu quả, kết nối giữa rack có thể mở rộng cho thế hệ máy tính hiệu suất cao và khối lượng công việc AI tiếp theo.