NVIDIA Mellanox MMA4Z00-NS Trung tâm dữ liệu Transceiver quang học Giải pháp kỹ thuật

Giải pháp kỹ thuật thu phát quang trung tâm dữ liệu NVIDIA Mellanox MMA4Z00-NS | Cân bằng băng thông và khoảng cách giữa các liên kết giữa các giá đỡ và giữa các cơ sở

1. Phân tích bối cảnh và yêu cầu của dự án

Khi khối lượng công việc trí tuệ nhân tạo (AI) và điện toán hiệu năng cao (HPC) tiếp tục mở rộng, cơ sở hạ tầng mạng cơ bản phải phát triển để hỗ trợ tốc độ truy cập 800G Ethernet và 400G InfiniBand. Các kiến ​​trúc sư trung tâm dữ liệu hiện đang phải đối mặt với một thách thức thiết kế lớp vật lý quan trọng: làm thế nào để cung cấp băng thông 800G trên các khoảng cách khác nhau — từ kết nối trong giá đỡ (2–5 mét) đến các liên kết xuyên lối đi (30–60 mét) và thậm chí cả các kết nối giữa các hàng hoặc giữa các tòa nhà (lên đến 100 mét) — mà không cần có nhiều loại bộ thu phát, làm tăng chi phí tồn kho hoặc ảnh hưởng đến tính toàn vẹn của tín hiệu. Cách tiếp cận truyền thống trong việc chọn các mô-đun quang riêng biệt cho từng cấp khoảng cách (ví dụ: SR8 cho phạm vi tiếp cận ngắn, DR8/FR8 cho phạm vi tiếp cận mở rộng) gây ra sự phức tạp trong vận hành và làm tăng nguy cơ cung cấp sai, trong đó mô-đun phạm vi tiếp cận ngắn vô tình được triển khai trên một liên kết dài hơn, gây ra tỷ lệ lỗi bit không thể đoán trước (BER).

Thách thức này được kết hợp bởi ba xu hướng đồng thời của ngành. Đầu tiên, việc áp dụng rộng rãi hệ số dạng OSFP (Có thể cắm hệ số dạng nhỏ bát phân) trên cả bộ chuyển mạch Ethernet và InfiniBand đã tạo ra một giao diện chung, nhưng không phải tất cả các bộ thu phát OSFP đều mang lại hiệu suất ổn định trên sợi đa mode ở tốc độ 800G PAM4. Thứ hai, các yêu cầu về tính bền vững đang thúc đẩy việc giảm mức tiêu thụ điện năng trên mỗi cổng vì các thiết bị chuyển mạch mật độ cao với 32 hoặc 64 cổng OSFP có thể tiêu thụ điện năng đáng kể nếu bộ thu phát không được tối ưu hóa. Thứ ba, các nhóm vận hành yêu cầu khả năng chẩn đoán thống nhất trên tất cả các liên kết quang để đơn giản hóa việc giám sát và giảm thời gian sửa chữa trung bình (MTTR). Cần có một giải pháp kỹ thuật có cấu trúc — một giải pháp tiêu chuẩn hóa trên một bộ thu phát 800G SR8 duy nhất, có đặc tính rõ ràng, đồng thời cung cấp các hướng dẫn rõ ràng về lập kế hoạch khoảng cách, xác thực ngân sách liên kết và quản lý sức khỏe chủ động trên cả kết cấu Ethernet và InfiniBand.

2. Thiết kế kiến ​​trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất áp dụng cấu trúc liên kết lá gai hai tầng với các cổng OSFP 800G đóng vai trò là giao diện truy cập chính cho các nút tính toán GPU và hệ thống lưu trữ. Mỗi công tắc lá, thường được trang bị 32 hoặc 64 cổng OSFP, kết nối với các công tắc trục ngược dòng thông qua đường lên 800G hoặc 1.6T, trong khi các cổng hạ lưu được phân bổ để tính toán các nút và bộ điều khiển lưu trữ được phân bổ trên nhiều giá đỡ và lối đi. Để tối đa hóa việc sử dụng cổng và giảm dấu chân của bộ chuyển mạch, kiến ​​trúc tận dụng cấu hình đột phá 2×400G: một cổng OSFP 800G duy nhất được chia thành hai kết nối 400G độc lập, mỗi kết nối kết thúc tại một máy chủ GPU hoặc điểm cuối lưu trữ riêng biệt. Thiết kế này tăng gấp đôi mật độ cổng hiệu quả của tầng lá một cách hiệu quả, đặc biệt có giá trị trong môi trường giàu GPU, nơi không gian giá đỡ ở mức cao.

Hệ thống cáp vật lý giữa các thiết bị chuyển mạch và thiết bị đầu cuối được triển khai bằng cách sử dụngNVIDIA Mellanox MMA4Z00-NSlà bộ thu phát quang 800G được tiêu chuẩn hóa cho tất cả các liên kết cáp quang đa chế độ lên đến 65 mét. Cái nàyBộ thu phát MMA4Z00-NS 800G OSFP SR8hoạt động trên cáp quang đa mode OM4 (50 mét) và OM5 (70 mét) sử dụng 8 làn song song với tốc độ 100G PAM4 mỗi làn, tuân thủ các thông số kỹ thuật Ethernet 800GBASE-SR8 và 400G-SR4 cũng như tốc độ dữ liệu InfiniBand HDR và ​​​​NDR. Khả năng giao thức kép của mô-đun — hỗ trợ cả Ethernet và InfiniBand mà không cần cấu hình lại chương trình cơ sở — cho phép chiến lược quang học thống nhất trên các loại vải không đồng nhất, giảm số lượng SKU thu phát cần thiết trong môi trường giao thức hỗn hợp.

Kiến trúc này cũng kết hợp thiết kế nhà máy cáp quang được tiêu chuẩn hóa sử dụng đầu nối MPO-12 và cáp quang đa mode băng rộng OM5 cho tất cả các cài đặt mới, cùng với các điều khoản để tái sử dụng cơ sở hạ tầng OM4 hiện có cho các liên kết ngắn hơn khi biên độ liên kết cho phép. Thiết kế này đảm bảo rằng mọi cổng OSFP đều có thể được kết nối chéo với bất kỳ điểm cuối nào trong giới hạn phạm vi tiếp cận 65 mét, mang lại sự linh hoạt tối đa cho việc tái cân bằng công suất và chu kỳ làm mới phần cứng. Hướng dẫn thiết kế tham khảo cácThông số kỹ thuật MMA4Z00-NSdành cho bán kính uốn cong (động tối thiểu 30mm), độ sạch của đầu nối (theo IEC 61300-3-35) và mức suy hao chèn (tổng tối đa 3,0 dB cho liên kết hoàn chỉnh, bao gồm cả đầu nối và mối nối).

3. Vai trò & Các tính năng chính của NVIDIA Mellanox MMA4Z00-NS trong Giải pháp

Trong kiến ​​trúc này,Bộ thu phát MMA4Z00-NS 800G OSFP SR8hoạt động như giao diện quang được tiêu chuẩn hóa, kết nối miền điện của bộ chuyển mạch/bộ chuyển đổi với cơ sở hạ tầng cáp quang. Các tính năng kỹ thuật chính của nó rất quan trọng đối với sự thành công của chiến lược một SKU:

• Hoạt động theo giao thức kép:Hỗ trợ cả 800G Ethernet (800GBASE-SR8) và 400G InfiniBand (NDR) với tính năng tự động phát hiện, cho phép kiểm kê bộ thu phát thống nhất trên các loại vải không đồng nhất.
• Khả năng đột phá 2×400G gốc:cácMMA4Z00-NS 2x400G InfiniBand/Ethernetchế độ cho phép một cổng OSFP duy nhất cấp nguồn cho hai điểm cuối 400G độc lập bằng cách sử dụng cụm cáp đột phá MPO-12 đến 2×MPO-8, loại bỏ nhu cầu về các mô-đun quạt ra bên ngoài.
• Mảng VCSEL 850nm với 8 làn:Cung cấp công suất đầu ra quang đáng tin cậy (thường từ -2,0 đến +4,0 dBm trên mỗi làn) với độ nhiễu cường độ tương đối thấp (RIN), hỗ trợ sơ đồ mắt sạch trên sợi đa mode ở 100G PAM4.
• Mảng thu mã PIN có độ nhạy cao:Độ nhạy thông thường là -5,5 dBm trên mỗi làn, mang lại biên độ liên kết ít nhất là 3,0 dB trên OM5 ở khoảng cách 70 mét, tính đến suy hao và lão hóa của đầu nối.
• Hiệu suất năng lượng:Mức tiêu thụ thông thường dưới 10,5W ở chế độ 800G và khoảng 8,2W ở chế độ đột phá 2×400G, cho phép cấu hình cổng dày đặc mà không vượt quá ngân sách nhiệt.
• Giám sát chẩn đoán kỹ thuật số tích hợp (DDM):Báo cáo thời gian thực về nguồn Tx, nguồn Rx, nhiệt độ, điện áp và dòng điện thiên vị cho từng làn thông qua giao diện quản lý I²C tiêu chuẩn, cho phép chủ động phát hiện lỗi và khắc phục sự cố ở cấp độ làn.
• Phạm vi nhiệt độ hoạt động rộng:Nhiệt độ vỏ từ 0°C đến 70°C, đảm bảo hoạt động đáng tin cậy trong môi trường giá có mật độ cao với nhiệt độ xung quanh tăng cao.

Những đặc điểm này được ghi lại đầy đủ trongBảng dữ liệu MMA4Z00-NS, bao gồm mặt nạ sơ đồ mắt, đường cong dung sai jitter và bản vẽ cơ khí để tích hợp vào các công cụ bố trí tủ. Bảng dữ liệu cũng cung cấp các bảng ngân sách liên kết chi tiết được tham chiếu trong giai đoạn lập kế hoạch kiến ​​trúc để xác thực rằng tổng tổn thất chèn của mỗi liên kết vẫn nằm trong ngân sách quang của mô-đun.

4. Đề xuất triển khai và mở rộng quy mô (với Mô tả cấu trúc liên kết điển hình)

Để triển khai lần đầu, chúng tôi khuyên bạn nên sử dụng phương pháp phân vùng có cấu trúc để ánh xạ các bậc khoảng cách tới các loại cáp được tiêu chuẩn hóa và đảm bảo biên độ liên kết nhất quán trên tất cả các kết nối. Cấu trúc liên kết điển hình sau đây được sử dụng cho bộ chuyển mạch lá 32 cổng phục vụ 64 nút GPU trên tám tủ (8 nút mỗi tủ), với khoảng cách giữa các tủ từ 5 đến 50 mét:

• Vùng A (Trong giá đỡ, 2–5 mét):Dây vá MPO-12 trực tiếp từ công tắc lá (trong cùng một tủ) đến các nút GPU. Biên độ liên kết vượt quá 6 dB, đảm bảo hoạt động mạnh mẽ ngay cả khi đầu nối bị suy giảm ở mức độ vừa phải.
• Khu B (Tủ liền kề, 8–20 mét):Cáp OM5 có cấu trúc thông qua các khay cáp quang phía trên với các tấm vá trung gian. Tổng số đầu nối: 2 cặp giao phối trên mỗi liên kết. Biên độ liên kết: 4,0–4,5 dB, nằm trong mức tối thiểu 3,0 dB của mô-đun.
• Vùng C (Chéo lối đi / liên hàng, 25–50 mét):Đường trục OM5 được kết thúc trước với các đầu nối được đánh bóng tại nhà máy, được định tuyến dưới sàn nâng. Biên độ liên kết: 3,0–3,5 dB, vẫn thoải mái ngay cả khi bị lão hóa lên tới 0,5 dB trong 5 năm.
• Khu D (Khuôn viên liên tòa nhà, 50–65 mét):Chỉ được sử dụng cho các kết nối trong khuôn viên ngắn nơi có cơ sở hạ tầng OM5. Biên độ liên kết ở 65 mét là khoảng 3,0 dB, yêu cầu vệ sinh đầu nối tỉ mỉ, tuân thủ bán kính uốn cong và xác minh biên công suất trong quá trình vận hành.

Việc mở rộng quy mô ra ngoài một nhóm duy nhất tuân theo các nguyên tắc phân vùng tương tự, với việc bổ sung các bộ chuyển mạch tổng hợp trung gian nhằm chấm dứt các liên kết truy cập 800G từ nhiều nhóm. Bởi vìGiải pháp thu phát MMA4Z00-NS 800G OSFP SR8sử dụng một SKU duy nhất có khả năng giao thức kép, việc mở rộng không yêu cầu dự báo loại bộ thu phát trên mỗi giao thức hoặc khoảng cách — tất cả các liên kết đều được cung cấp giống hệt nhau. Điều này giúp đơn giản hóa công tác hậu cần và cho phép nhóm vận hành duy trì một lượng nhỏ bộ thu phát dự phòng (thường là 5% số thiết bị đã triển khai) để thay thế nhanh chóng trong các đợt bảo trì.

Để lập kế hoạch khoảng cách, bảng sau cung cấp hướng dẫn về phạm vi tiếp cận tối đa dựa trên loại sợi và ngân sách liên kết:

Khi triển khai ở những khoảng cách gần đạt đến phạm vi tiếp cận tối đa, chúng tôi khuyên bạn nên thực hiện phép đo công suất quang trong quá trình vận hành thử bằng cách sử dụng nguồn sáng và đồng hồ đo điện, so sánh tổn thất đo được với mức dự kiến ​​được tính toán từBảng dữ liệu MMA4Z00-NS. Bước xác thực này đảm bảo rằng mọi lỗi hoặc nhiễm bẩn cáp đều được phát hiện trước khi liên kết được đưa vào sản xuất.

5. Vận hành & Bảo trì: Giám sát, Khắc phục sự cố và Tối ưu hóa

Vòng đời hoạt động của cơ sở hạ tầng quang dựa trên MMA4Z00-NS yêu cầu một cách tiếp cận có hệ thống để giám sát và quản lý lỗi, tận dụng khả năng DDM cấp làn của mô-đun. Chúng tôi khuyên bạn nên tích hợp giao diện quản lý I²C vào hệ thống quản lý mạng trung tâm (NMS) bằng cách sử dụng CMIS (Đặc tả giao diện quản lý chung) tiêu chuẩn cho các mô-đun OSFP. Các ngưỡng chính để định cấu hình cho cảnh báo chủ động bao gồm:

• Suy giảm năng lượng Tx:Cảnh báo nếu công suất đầu ra trên bất kỳ làn đường nào giảm hơn 2,0 dB so với danh nghĩa, cho thấy khả năng VCSEL bị lão hóa hoặc đầu nối bị nhiễm bẩn ở phía phát.
• Biên độ công suất Rx:Cảnh báo nếu nguồn điện nhận được trên bất kỳ làn đường nào đạt tới -5,0 dBm (với độ nhạy -5,5 dBm), cho biết mất liên kết quá mức, hư hỏng cáp hoặc căn chỉnh đầu nối MPO bị lỗi.
• Chuyến tham quan nhiệt độ:Cảnh báo nếu nhiệt độ vỏ máy vượt quá 65°C, cho thấy có tắc nghẽn luồng khí, lỗi quạt hoặc nhiệt độ môi trường tăng.
• Độ lệch dòng điện:Theo dõi sự thay đổi dòng điện phân cực laser theo thời gian; mức tăng liên tục vượt quá 30% mức danh nghĩa trên bất kỳ làn đường nào có thể cho thấy sự xuống cấp của VCSEL.

Trong trường hợp liên kết bị xuống cấp hoặc bị lỗi, cần tuân thủ quy trình khắc phục sự cố có cấu trúc:

1. Xác minh số đọc DDM ở cấp làn đường để xác định làn nào trong số 8 làn đang bị xuống cấp; so sánh giá trị Tx và Rx với phạm vi dự kiến ​​từThông số kỹ thuật MMA4Z00-NS.
2. Kiểm tra các đầu nối MPO ở cả hai đầu bằng kính hiển vi mặt cuối; sạch sẽ nếu phát hiện ô nhiễm theo tiêu chuẩn IEC 61300-3-35, đặc biệt chú ý đến bất kỳ làn đường nào bị ảnh hưởng.
3. Kiểm tra liên kết bằng bộ thu phát MMA4Z00-NS nổi tiếng để xác nhận xem lỗi nằm ở mô-đun hay nhà máy sợi quang.
4. Nếu sự cố vẫn tiếp diễn trên một làn cụ thể, hãy thực hiện kiểm tra OTDR hoặc sử dụng chẩn đoán vòng lặp ngược để tách lỗi đối với đường dẫn cáp quang hoặc đường dẫn quang bên trong của bộ thu phát.

Các cơ hội tối ưu hóa bao gồm kiểm tra quản lý cáp định kỳ để đảm bảo tuân thủ bán kính uốn cong tối thiểu và để xác minh rằng khả năng giảm lực căng của đầu nối MPO không bị ảnh hưởng. Ngoài ra, vìGiá MMA4Z00-NScó khả năng cạnh tranh với các mô-đun 800G SR8 đủ tiêu chuẩn khác, chúng tôi khuyên bạn nên duy trì một lượng nhỏ bộ thu phát dự phòng (khoảng 5% tổng số thiết bị đã triển khai) để có thể thay thế nhanh chóng và giảm thiểu MTTR. Để triển khai trên quy mô lớn, hãy cân nhắc triển khai bảng thông tin tình trạng quang học tự động để tổng hợp dữ liệu DDM cấp làn trên tất cả các liên kết, cho phép lập kế hoạch công suất và bảo trì dự đoán.

6. Đánh giá tóm tắt và giá trị

cácNVIDIA Mellanox MMA4Z00-NSgiải pháp kỹ thuật dựa trên nền tảng này cung cấp một phương pháp thực tế, được xác thực tại hiện trường để cân bằng băng thông và khoảng cách trên các mạng truy cập trung tâm dữ liệu 800G. Bằng cách tiêu chuẩn hóa trên một bộ thu phát OSFP SR8 duy nhất tuân thủ IEEE -Bộ thu phát MMA4Z00-NS 800G OSFP SR8— kiến ​​trúc loại bỏ sự phức tạp của việc quản lý nhiều SKU cho các cấp khoảng cách và giao thức khác nhau, giảm tồn kho phụ tùng thay thế và đơn giản hóa việc lập kế hoạch triển khai. Công nghệ VCSEL 850nm của mô-đun, kết hợp với dãy bộ thu mã PIN có độ nhạy cao, mang lại hiệu suất đáng tin cậy trên sợi quang đa mode OM4 và OM5 lên đến 70 mét, bao phủ phần lớn các liên kết nội bộ trung tâm dữ liệu đồng thời hỗ trợ cả kết cấu Ethernet và InfiniBand.

Các số liệu giá trị chính từ các hoạt động triển khai tương đương bao gồm:

• Giảm hàng tồn kho:Một SKU bộ thu phát duy nhất thay thế bốn số bộ phận theo khoảng cách/giao thức cụ thể (ví dụ: SR8, SR4, DR8, FR8), giảm chi phí hậu cần từ 60–70%.
• Hiệu suất năng lượng:Ở mức < 10,5W ở chế độ 800G và < 8,2W ở chế độ đột phá 2×400G, MMA4Z00-NS góp phần giảm chi phí làm mát và cải thiện PUE.
• Độ tin cậy vận hành:Giám sát chủ động hỗ trợ DDM ở cấp độ làn đường giúp giảm MTTR tới 60% đối với các lỗi lớp quang.
• Tối ưu hóa chi phí:cácGiá MMA4Z00-NScó khả năng cạnh tranh với các mô-đun 800G SR8 đủ tiêu chuẩn khác, trong khi khả năng giao thức kép và hỗ trợ đột phá riêng giúp loại bỏ các chi phí bổ sung về chất lượng và phần cứng bên ngoài.

Đối với các kiến ​​trúc sư mạng và trưởng nhóm kỹ thuật, MMA4Z00-NS cung cấp giao diện quang học "đặt và quên" để duy trì hiệu suất ổn định khi thay đổi nhiệt độ và ứng suất cơ học. Giải pháp này đặc biệt được khuyến nghị cho các trung tâm dữ liệu AI của trường xanh đang lên kế hoạch cho mạng truy cập 800G được tiêu chuẩn hóa, cũng như các môi trường trường nâu nâng cấp từ 400G lên 800G trong khi tái sử dụng cơ sở hạ tầng cáp quang đa chế độ hiện có. Khi 800G Ethernet và 400G InfiniBand tiếp tục thu hút sự chú ý trong môi trường lưu trữ AI, HPC và doanh nghiệp, kiến ​​trúc quang dựa trên MMA4Z00-NS cung cấp nền tảng mạnh mẽ, có thể mở rộng, phù hợp với cả những hạn chế hoạt động hiện tại và lộ trình công suất dài hạn.

Để biết hướng dẫn tích hợp chi tiết, dữ liệu mô phỏng nhiệt và gói chứng nhận tuân thủ, vui lòng tham khảo tài liệu chính thức của sản phẩm.