NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Giải pháp kỹ thuật: RDMA / RoCE Low-Latency Transport và Server

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Giải pháp kỹ thuật: RDMA/RoCE Low-Latency Transport và Server Throughput Enhancement Architecture

1- Phân tích các dự án và các yêu cầu

Khi trí tuệ nhân tạo, máy tính hiệu suất cao và khối lượng công việc lưu trữ phân tán ngày càng phổ biến, mạng trung tâm dữ liệu phải đối mặt với những thách thức về hiệu suất chưa từng có.TCP / IP truyền thống mạng giao thức ngăn xếp biểu hiện các thiếu sót cấu trúc khi xử lý truyền thông phân tán quy mô lớn bao gồm quá nhiều CPU overheadĐối với các hoạt động liên lạc tập thể GPU như All-Reduce và All-Gathermỗi 1 millisecond của độ trễ mạng có thể làm giảm hiệu quả đào tạo tổng thể 10~15%.

Các yêu cầu điển hình của doanh nghiệp bao gồm:

• Tạm thời liên lạc ở quy mô microsecond:Các kịch bản đào tạo phân tán và suy luận thời gian thực đòi hỏi độ trễ liên lạc giữa các nút dưới 1 millisecond, với jitter được kiểm soát trong vòng 100 microsecond.
• CPU tính toán giảm tải:Xử lý giao thức mạng phải tiêu thụ ít hơn 10% tài nguyên CPU để dự trữ dung lượng cho tính toán và xử lý trước dữ liệu.
• Tính mở rộng băng thông tuyến tính:Khi các cụm quy mô từ hàng chục đến hàng trăm nút, băng thông mạng không nên trở thành một hạn chế, hỗ trợ sự phát triển trơn tru từ 25GbE đến 100GbE.
• Đảm bảo mạng không mất mát:RoCE rất nhạy cảm với mất gói, đòi hỏi một môi trường Ethernet không mất mát từ đầu đến cuối với các cơ chế PFC và ECN được cấu hình đúng.

CácNVIDIA Mellanox MCX631432AN-ADABgiải quyết các yêu cầu này thông qua kiến trúc ConnectX-6 Lx, cung cấp RDMA tăng tốc phần cứng với khả năng giảm tải toàn diện.

2Thiết kế kiến trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất sử dụng một topology lá-cột sống được tối ưu hóa đặc biệt cho giao thông RoCE.MCX631432AN-ADAB giải pháp card adapter Ethernet, được triển khai trong mỗi nút máy chủ để cung cấp kết nối 25GbE cổng kép.

Các lớp kiến trúc:

• Các nút tính toán / lưu trữ:Mỗi máy chủ được trang bị mộtMCX631432AN-ADAB ConnectX-6 Lx cổng kép 25GbE SFP28Adapter, được cấu hình trong chế độ hoạt động-hoạt động với cả hai cổng được sử dụng để có sẵn cao và cân bằng tải.Giao diện 0 x8 đảm bảo bus máy chủ không trở thành một nút thắt thông lượng.
• Lớp lá:NVIDIA Spectrum-3 chuyển đổi cung cấp độ trễ thấp, chuyển tiếp Ethernet không mất mát với kiểm soát tắc nghẽn nhận thức RoCE (PFC / ECN) và quản lý bộ đệm tiên tiến.
• Lớp cột sống:Các công tắc cột sống công suất cao kết nối các nút lá thông qua các liên kết lên 100GbE, đảm bảo hiệu suất không chặn trên toàn bộ vải.
• Kế hoạch quản lý:Mạng quản lý ngoài băng tần cho phép thu thập số liệu từ xa, dàn nhạc cấu hình và giám sát tình trạng thông qua NVIDIA DOCA và MLNX-OS.

Thiết kế kết hợp tải vSwitch dựa trên phần cứng để phân khúc vi mô và cô lập lưu lượng truy cập, đảm bảo lưu lượng truy cập thuê nhà vẫn bị cô lập mà không có bất kỳ suy giảm hiệu suất nào.

3Vai trò và các tính năng chính của NVIDIA Mellanox MCX631432AN-ADAB trong giải pháp

Là giao diện mạng cơ bản cho mỗi máy chủ,NVIDIA Mellanox MCX631432AN-ADABđóng một vai trò quan trọng trong việc thực hiện các mục tiêu hiệu suất và hiệu quả của kiến trúc tổng thể.

TheoBảng dữ liệu MCX631432AN-ADAB, bộ chuyển đổi cũng kết hợp các động cơ mã hóa IPsec và MACsec trực tuyến, đảm bảo an ninh dữ liệu trong quá trình chuyển giao mà không ảnh hưởng đến tốc độ thông lượng.MCX631432AN-ADAB thông số kỹ thuậtxác nhận hỗ trợ cho các khả năng đo từ xa tiên tiến, bao gồm các bộ đếm theo dòng chảy, biểu đồ độ trễ và số liệu phát hiện tắc nghẽn, rất cần thiết cho hoạt động mạng chủ động.

4. Đề xuất triển khai và mở rộng quy mô (với Topology điển hình)

Đối với các tổ chức có kế hoạch triển khai sản xuấtNVIDIA Mellanox MCX631432AN-ADAB, phương pháp tiếp cận theo giai đoạn sau đây được khuyến cáo:

Giai đoạn 1  Việc triển khai thí điểm (4-8 nút):Bắt đầu với một cụm nhỏ để xác nhận cấu hình RoCE, tinh chỉnh các tham số PFC / ECN và hiệu suất ứng dụng so sánh.MCX631432AN-ADAB thẻ chuyển đổi Ethernetnên được cài đặt với các trình điều khiển và phần mềm firmware Mellanox OFED mới nhất để đảm bảo khả năng tương thích và hiệu suất tối ưu.

Giai đoạn 2 Pod Expansion (20 50 nút):Tăng quy mô đến một rack hoặc pod đầy đủ, triển khai một cặp công tắc lá với cấu hình Ethernet không mất mát.Khả năng quản lý tắc nghẽn dựa trên phần cứng và cấu hình các tham số DCB (Data Center Bridging) theo thực tiễn tốt nhất đã được xác nhậnỞ giai đoạn này,MCX631432AN-ADAB tương thíchBản chất của giải pháp đơn giản hóa việc tích hợp với các công cụ quản lý hiện có.

Giai đoạn 3 ¢ Việc triển khai toàn bộ vải (100+ nút):triển khai trên nhiều giá đỡ với các công tắc cột sống kết nối các nút lá. thực hiện kỹ thuật giao thông bằng cách sử dụng khả năng điều khiển phần cứng của bộ chuyển đổi,và tận dụng NVIDIA Unified Fabric Manager để dàn nhạc và tự động cung cấp.

Mô tả topology điển hình:Một cấu hình rack tiêu chuẩn bao gồm 20 máy chủ tính toán / lưu trữ, mỗi máy được trang bị mộtMCX631432AN-ADAB ConnectX-6 Lx cổng kép 25GbE SFP28. Cổng 1 kết nối với Leaf Switch A, cổng 2 kết nối với Leaf Switch B, cung cấp các đường dẫn hoạt động hoạt động dư thừa.Topology này đảm bảo rằng bất kỳ lỗi liên kết hoặc chuyển đổi đơn lẻ nào cũng không ảnh hưởng đến tính sẵn có của ứng dụng, trong khi các cơ chế chuyển đổi phần cứng của bộ chuyển đổi cung cấp phục hồi dưới giây.

5. Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

Hoạt động hiệu quả của một mạng dựa trên RoCE đòi hỏi các thực tiễn giám sát và khắc phục sự cố chuyên biệt.MCX631432AN-ADABcung cấp các thiết bị tích hợp toàn diện để hỗ trợ các hoạt động này:

• Bộ sưu tập điện đo:Sử dụng các bộ đếm phần cứng của bộ chuyển đổi để theo dõi thông lượng mỗi dòng, độ sâu hàng đợi, giảm gói, và phân phối độ trễ ở độ tỉ mỉ dưới giây.Dữ liệu này được đưa vào bảng điều khiển giám sát tập trung (e.g., Grafana, Prometheus) để hiển thị thời gian thực.
• Phát hiện và phân tích tắc nghẽn:Theo dõi khung tạm dừng PFC, gói được đánh dấu ECN và chiếm đóng bộ đệm để xác định các vụ nổ nhỏ và các điểm nóng giao thông.Bảng dữ liệu MCX631432AN-ADABcung cấp hướng dẫn chi tiết về việc giải thích các bộ đếm này và thiết lập ngưỡng cảnh báo.
• Quản lý vòng đời firmware và trình điều khiển:NVIDIA OFED trình điều khiển đống và bộ phần mềm điều chỉnh thường xuyên là rất cần thiết cho hiệu suất, bảo mật và cải tiến tính năng.Quản lý vòng đời không tiếp xúc trên các hạm đội lớn.
• Hướng dẫn điều chỉnh hiệu suất:Các thông số điều chỉnh chính bao gồm ngưỡng đệm PFC, giới hạn đánh dấu ECN (thường là 80-90% độ sâu hàng đợi),và cài đặt điều chỉnh ngắt chuyển đổi để cân bằng tối ưu độ trễ và thông lượng dựa trên hồ sơ khối lượng công việc.
• Trình khắc phục sự cố:Hầu hết các vấn đề về hiệu suất có thể được truy xuất đến các cấu hình sai của DCB, sự không phù hợp của MTU hoặc các phiên bản trình điều khiển không tương thích.và mlxlink) cung cấp tầm nhìn toàn diện về tình trạng hoạt động, liên kết sức khỏe, và số liệu thống kê lỗi.

Đối với các tổ chức đánh giá tổng chi phí sở hữu,Giá MCX631432AN-ADABnên được xem xét cùng với tiết kiệm CPU (thường là 2-3 lõi được phục hồi cho mỗi máy chủ) và tăng thông lượng.MCX631432AN-ADAB để báncác gói với NVIDIA Spectrum switch cung cấp con đường hiệu quả nhất về chi phí cho việc triển khai khu vực xanh.

6Tóm lại và đánh giá giá trị

CácNVIDIA Mellanox MCX631432AN-ADABđại diện cho một khoản đầu tư cơ sở hạ tầng chiến lược mang lại giá trị kinh doanh có thể đo lường qua ba chiều:

Như một kết thúc-to-endMCX631432AN-ADAB giải pháp card adapter Ethernet, nó cho phép các tổ chức xây dựng mạng không mất mát, hiệu suất cao hoàn toàn nhận ra tiềm năng của các ứng dụng AI, HPC và lưu trữ phân tán hiện đại.Cho dù được triển khai trong các trung tâm dữ liệu doanh nghiệp, môi trường nhà cung cấp dịch vụ đám mây, hoặc các cơ sở nghiên cứu,MCX631432AN-ADABliên tục cung cấp độ trễ thấp, thông lượng cao và tính đơn giản hoạt động mà các kiến trúc sư cơ sở hạ tầng yêu cầu cho khối lượng công việc thế hệ tiếp theo.