Thực tế cáp quang chủ động Mellanox (NVIDIA Mellanox) MFS1S00-H020V AOC

Cáp quang chủ động Mellanox (NVIDIA Mellanox) MFS1S00-H020V trong thực tế | Kết nối tốc độ cao tầm ngắn giữa các rack và đơn giản hóa cáp

Bối cảnh và Thách thức

Trong một cụm máy tính hiệu năng cao hoặc đào tạo AI điển hình, các nút tính toán được đóng gói dày đặc vào các rack, và các switch lá chỉ cách máy chủ mà chúng phục vụ một hoặc hai rack. Các liên kết tầm ngắn này rất nhiều, lặp đi lặp lại và khó tính: mỗi kết nối phải duy trì 200Gb/s với độ trễ thấp, và mỗi đầu nối, mô-đun và đường cáp quang bổ sung đều làm tăng chi phí, hàng tồn kho và bề mặt khắc phục sự cố.

Trong một kịch bản triển khai đại diện, một nhóm mạng vận hành một fabric InfiniBand HDR đã đối mặt chính xác với vấn đề này. Khoảng cách giữa các rack dao động từ 5 đến 20 mét, một phạm vi mà cáp đồng thụ động gặp khó khăn về tính toàn vẹn tín hiệu và độ cồng kềnh của cáp, trong khi các mô-đun quang riêng biệt cộng với các cụm cáp quang riêng biệt đã nhân đôi số lượng bộ phận cần lưu kho và lắp ráp. Quản lý cáp bên trong các rack dày đặc trở nên khó khăn, luồng không khí bị ảnh hưởng và thời gian lắp đặt cho mỗi liên kết cao hơn nhiều so với mong muốn của nhóm. Các kiến trúc sư bắt đầu tìm kiếm một giải pháp thay thế được kết nối tại nhà máy, cắm và chạy, có thể triển khai ở quy mô lớn mà không làm giảm hiệu suất 200G.

Giải pháp và Phương pháp triển khai

Nhóm đã tiêu chuẩn hóa trên Mellanox (NVIDIA Mellanox) MFS1S00-H020V, một cáp quang chủ động AOC tích hợp động cơ quang học trực tiếp vào một cụm kết nối tại nhà máy duy nhất. Với đầu nối QSFP56 ở mỗi đầu và phạm vi 20 mét, cáp AOC MFS1S00-H020V 200G QSFP56 bao phủ toàn bộ phạm vi liên kết giữa các rack trong môi trường này mà không cần quang học riêng biệt hoặc bảng vá lỗi.

Vì cụm được cung cấp dưới dạng kết nối sẵn và đã được kiểm tra, việc triển khai tuân theo một mẫu đơn giản: kết nối một đầu với cổng NIC máy chủ hoặc cổng nút GPU, kết nối đầu kia với cổng switch lá và xác minh trạng thái liên kết. Không cần lắp mô-đun, không cần làm sạch cáp quang và không cần ghép nối đầu nối tại rack. Để xác nhận, các kỹ sư đã xem xét thông số kỹ thuật MFS1S00-H020V và bảng dữ liệu MFS1S00-H020V để xác nhận ngân sách quang học và dung sai môi trường, và kiểm tra các loại cổng tương thích MFS1S00-H020V với các card dòng switch NVIDIA Mellanox hiện có trước khi triển khai theo lô.

• Chiều dài tiêu chuẩn 20 mét để bao phủ tất cả các khoảng cách giữa các rack trong các hàng mục tiêu
• Thiết kế cụm đơn để giảm số lượng bộ phận và hàng tồn kho dự phòng
• Triển khai theo lô theo hàng, với xác minh liên kết sau khi mỗi rack được lắp cáp
• Là một cáp quang chủ động InfiniBand HDR 200Gb/s MFS1S00-H020V, được triển khai trên các cổng fabric HDR trong khi vẫn có thể sử dụng cho các liên kết Ethernet 200G khi cần thiết

Kết quả và Lợi ích

Lợi ích tức thời nhất là đơn giản hóa việc lắp cáp. Việc thay thế các tổ hợp mô-đun cộng với cáp quang bằng một giải pháp cáp AOC MFS1S00-H020V 200G QSFP56 duy nhất đã cắt giảm số lượng thành phần cho mỗi liên kết và giảm thời gian dành cho việc ghép nối và dán nhãn kết nối. Các đường cáp mỏng hơn, linh hoạt hơn đã cải thiện luồng không khí và giúp việc bảo trì ở cấp độ rack dễ dàng hơn, vì các kỹ thuật viên có thể theo dõi và thay thế một liên kết mà không cần tháo dỡ cáp lân cận.

Về mặt vận hành, nhóm báo cáo ít sự cố cấp liên kết hơn trong quá trình khởi động, phần lớn là do đường quang đã được kết nối và kiểm tra tại nhà máy thay vì lắp ráp tại chỗ. Tính toàn vẹn tín hiệu trên phạm vi 5-20 mét là nhất quán, và các liên kết HDR 200Gb/s đã hoạt động ổn định trên toàn bộ fabric. Quản lý hàng dự phòng cũng được cải thiện: một SKU duy nhất bao phủ toàn bộ phạm vi kết nối giữa các rack, đơn giản hóa việc mua sắm và giảm nguy cơ các bộ phận không khớp trong quá trình sửa chữa.

Để lập kế hoạch, nhóm lưu ý rằng giá MFS1S00-H020V và tính sẵn có để bán MFS1S00-H020V nên được xác nhận với các đối tác kênh được ủy quyền, và các lần mở rộng trong tương lai sẽ tuân theo cùng một chiều dài cáp tiêu chuẩn để giữ cho danh sách vật liệu đơn giản. Các thông số quang học và cơ khí chi tiết vẫn được ghi lại trong bảng dữ liệu MFS1S00-H020V cho các đánh giá thiết kế.

Tóm tắt và Triển vọng

Việc triển khai minh họa nơi Mellanox (NVIDIA Mellanox) MFS1S00-H020V phù hợp nhất: các liên kết dày đặc giữa các rack trong phạm vi 5-20 mét, nơi băng thông 200Gb/s, tính toàn vẹn tín hiệu có thể dự đoán và giảm độ phức tạp của cáp đều quan trọng cùng một lúc. Bằng cách hợp nhất quang học và cáp vào một cụm, nó biến một nhiệm vụ lắp cáp lặp đi lặp lại, dễ xảy ra lỗi thành một bước có thể lặp lại, tiêu chuẩn hóa. Khi các fabric InfiniBand HDR và Ethernet 200G tiếp tục mở rộng quy mô, loại liên kết quang chủ động cắm và chạy này có khả năng vẫn là một lựa chọn thực tế cho kết nối tầm ngắn.