Kết nối đường ngắn tốc độ cao và đơn giản hóa dây cáp giữa các giá đỡ

Các cụm AI hiện đại, môi trường tính toán hiệu năng cao (HPC) và các trung tâm dữ liệu đám mây quy mô lớn ngày càng được xây dựng trên các mạng InfiniBand HDR 200G. Khi mật độ giá đỡ tăng lên và máy chủ GPU mở rộng trên nhiều giá đỡ, một thách thức cơ sở hạ tầng quan trọng xuất hiện: làm thế nào để kết nối đáng tin cậy các switch và máy chủ đặt trong các giá đỡ liền kề hoặc gần đó (thường cách nhau 5-30 mét) mà không làm giảm tính toàn vẹn tín hiệu, hiệu quả nhiệt hoặc sự đơn giản trong quản lý cáp. Các cáp DAC (Direct Attach Copper) thụ động truyền thống bị giới hạn ở khoảng cách 3-5 mét ở tốc độ 200Gb/s, khiến chúng không phù hợp cho các liên kết giữa các giá đỡ. Ngược lại, các bộ thu phát quang với dây vá sợi quang riêng biệt lại thêm các thành phần bổ sung, tăng điểm lỗi và làm phức tạp việc quản lý hàng tồn kho.

Yêu cầu cốt lõi được xác định bởi các kiến trúc sư và đội ngũ vận hành là một giải pháp lớp vật lý thống nhất, cung cấp hiệu năng 200Gb/s trên cả khoảng cách trong giá đỡ và giữa các giá đỡ, đồng thời giảm độ phức tạp của cáp, giảm thiểu thời gian triển khai và đảm bảo khả năng tương thích liền mạch với cơ sở hạ tầng NVIDIA Mellanox HDR. Tài liệu kỹ thuật này trình bày cách cáp quang chủ động (AOC) NVIDIA Mellanox MFS1S00-H010V đáp ứng các yêu cầu này như một giải pháp kết nối tiêu chuẩn hóa, có khả năng mở rộng.

Kiến trúc được đề xuất dựa trên cấu trúc liên kết lá-xương sống hai tầng, hoàn toàn tuân thủ các thiết kế tham chiếu của NVIDIA Mellanox HDR. Các switch lá (NVIDIA Quantum HDR) được triển khai trong mỗi giá đỡ máy chủ, kết nối với các nút GPU hoặc tính toán thông qua các cáp DAC hoặc AOC ngắn. Các kết nối quan trọng giữa các giá đỡ - liên kết các switch lá với các switch xương sống, cũng như các kết nối trực tiếp giữa các switch lá trong các cụm quy mô nhỏ hơn - được thiết lập bằng giải pháp cáp Giải pháp cáp MFS1S00-H010V 200G QSFP56 AOC. Cách tiếp cận này loại bỏ nhu cầu về các mô-đun quang riêng biệt trong khi vẫn duy trì hiệu năng HDR đầy đủ trên toàn bộ mạng.

Trong thiết kế này, MFS1S00-H010V đóng vai trò là kết nối thống nhất cho tất cả các liên kết yêu cầu khoảng cách từ 5 đến 50 mét. Bằng cách tiêu chuẩn hóa trên một SKU AOC duy nhất, kiến trúc đạt được:

• Giảm Danh mục Vật liệu (BOM): Một loại cáp thay thế nhiều độ dài DAC và các tổ hợp mô-đun quang.
• Đơn giản hóa quản lý cáp: Đường kính cáp và độ linh hoạt nhất quán cải thiện luồng không khí và mật độ định tuyến.
• Khả năng mở rộng trong tương lai: AOC tương tự có thể được sử dụng cho cả liên kết lá-xương sống và liên kết mở rộng khi cụm phát triển.

NVIDIA Mellanox MFS1S00-H010V là một cáp quang chủ động tích hợp với các đầu nối QSFP56 ở cả hai đầu. Nó được thiết kế chuyên dụng cho các mạng InfiniBand HDR hoạt động ở tốc độ 200Gb/s. Trong kiến trúc, nó hoạt động như lớp liên kết vật lý kết nối giữa các giá đỡ. Các đặc điểm kỹ thuật chính xác định vai trò của nó bao gồm:

Ngoài ra, cáp quang chủ động MFS1S00-H010V InfiniBand HDR 200Gb/s có một bộ phận quang được niêm phong, loại bỏ các giao diện lộ ra ngoài và giảm nguy cơ nhiễm bẩn trong quá trình lắp đặt. Thông số kỹ thuật MFS1S00-H010V chi tiết và tờ dữ liệu MFS1S00-H010V chính thức xác nhận tuân thủ các tiêu chuẩn của Hiệp hội Thương mại InfiniBand, đảm bảo khả năng tương tác trên tất cả các nền tảng tương thích MFS1S00-H010V.

Đối với các triển khai mới, phương pháp được khuyến nghị là coi MFS1S00-H010V là lựa chọn cáp mặc định cho tất cả các kết nối 200G có khoảng cách vượt quá 3 mét. Trong cấu hình cụm ba giá đỡ điển hình:

• Trong giá đỡ (máy chủ đến lá): Sử dụng cáp DAC ngắn (≤3m) cho độ trễ và công suất thấp nhất.
• Giữa các giá đỡ (lá đến xương sống / lá đến lá): Triển khai Cáp MFS1S00-H010V 200G QSFP56 AOC cho khoảng cách lên đến 50m. Điều này bao gồm các kết nối với các switch xương sống đặt ở cuối hàng hoặc giữa các giá đỡ liền kề.
• Các bó cáp: Do lớp vỏ mỏng, linh hoạt của MFS1S00-H010V, các bó cáp lên đến 48 sợi có thể được định tuyến qua các cánh tay quản lý cáp tiêu chuẩn mà không cản trở luồng không khí.

Để mở rộng vượt quá 500 nút, các kiến trúc sư nên xem xét triển khai cấu trúc liên kết xương sống và lá với các kết nối dự phòng. Giải pháp cáp MFS1S00-H010V 200G QSFP56 AOC có khả năng mở rộng tuyến tính; mỗi switch lá được thêm vào có thể được kết nối với các switch xương sống bằng cùng loại AOC. Việc tiêu chuẩn hóa này giảm thiểu lỗi triển khai và cho phép sản xuất cáp được lắp đặt sẵn, đẩy nhanh tiến độ lắp đặt lên đến 40% so với các giải pháp quang mô-đun.

Từ góc độ vận hành, NVIDIA Mellanox MFS1S00-H010V đơn giản hóa việc quản lý ngày thứ hai thông qua một số thuộc tính chính. Thứ nhất, là một cáp quang chủ động thụ động (bộ thu phát tích hợp), không có các mô-đun quang riêng biệt để kiểm kê, theo dõi hoặc thay thế. Thứ hai, tất cả các chỉ số về tình trạng cáp và tính toàn vẹn tín hiệu đều có thể truy cập được thông qua CLI của switch NVIDIA Mellanox và Fabric Manager, cho phép kỹ sư giám sát công suất thu quang, tỷ lệ lỗi liên kết và nhiệt độ trên mỗi cổng.

Việc khắc phục sự cố được hợp lý hóa nhờ cách tiếp cận SKU thống nhất. Khi phát hiện sự cố liên kết, việc thay thế bao gồm việc hoán đổi toàn bộ cáp thay vì chẩn đoán sự cố bộ thu phát hay sợi quang. tờ dữ liệu MFS1S00-H010V cung cấp giới hạn bán kính uốn cong (tối thiểu 30mm) và các quy trình xử lý được khuyến nghị để ngăn ngừa tổn thất do uốn cong vi mô. Để tối ưu hóa, các phương pháp hay nhất sau đây được khuyến nghị:

• Sử dụng quản lý cáp được mã hóa màu để phân biệt các liên kết MFS1S00-H010V với các kết nối đồng.
• Triển khai giám sát liên kết tự động thông qua NVIDIA UFM (Unified Fabric Manager) để phát hiện suy giảm trước khi xảy ra lỗi.
• Duy trì một kho dự phòng nhỏ các sản phẩm MFS1S00-H010V để bán trong kho để đảm bảo thay thế nhanh chóng mà không phụ thuộc vào quang mô-đun.

Hiệu quả chi phí có thể được tăng cường hơn nữa bằng cách đánh giá tổng chi phí sở hữu (TCO) trong khoảng thời gian 3-5 năm. Mặc dù giá MFS1S00-H010V ban đầu có thể cao hơn cáp DAC thụ động, nhưng tỷ lệ lỗi giảm, chi phí nhân công triển khai thấp hơn và việc dự phòng đơn giản hóa thường dẫn đến TCO thấp hơn cho các kết nối giữa các giá đỡ.

NVIDIA Mellanox MFS1S00-H010V cáp quang chủ động cung cấp một giải pháp mục tiêu cho thách thức lâu đời về kết nối tốc độ cao khoảng cách ngắn giữa các giá đỡ. Bằng cách kết hợp sự đơn giản cắm và chạy của cáp DAC với phạm vi và tính toàn vẹn tín hiệu của quang học, nó cho phép các kiến trúc sư thiết kế các mạng HDR gọn gàng, có khả năng mở rộng mà không gặp phải sự phức tạp của các hệ thống quang mô-đun. Các kết quả giá trị chính bao gồm:

• Tốc độ triển khai: SKU thống nhất giảm thời gian lắp đặt và loại bỏ các bước lắp đặt bộ thu phát.
• Đơn giản hóa vận hành: Không có hàng tồn kho bộ thu phát riêng biệt; dự phòng tiêu chuẩn hóa.
• Hiệu quả nhiệt: Công suất thấp mỗi đầu và cáp linh hoạt cải thiện luồng không khí trong các switch mật độ cao.
• Khả năng mở rộng: Cáp MFS1S00-H010V 200G QSFP56 AOC hỗ trợ tăng trưởng cụm từ vài giá đỡ đến hàng trăm mà không thay đổi thiết kế lớp vật lý.

Đối với các tổ chức đang lên kế hoạch hoặc mở rộng cơ sở hạ tầng NVIDIA Mellanox HDR, việc áp dụng MFS1S00-H010V làm cáp tiêu chuẩn giữa các giá đỡ cung cấp một nền tảng có khả năng mở rộng trong tương lai, dễ quản lý và hiệu năng cao. Các thiết kế tham chiếu chi tiết, bao gồm tờ dữ liệu MFS1S00-H010V mới nhất và ma trận tương thích, có sẵn thông qua các kênh đối tác của NVIDIA.