Giải pháp kỹ thuật bộ điều hợp máy chủ NVIDIA Mellanox MCX653105A-HDAT

Giải pháp kỹ thuật Bộ điều hợp máy chủ NVIDIA Mellanox MCX653105A-HDAT: Kiến trúc truyền tải độ trễ thấp RDMA/RoCE và Tăng cường thông lượng máy chủ

1. Bối cảnh dự án và Phân tích yêu cầu

Khi các khối lượng công việc đào tạo mô hình ngôn ngữ lớn (LLM), mô phỏng tính toán hiệu năng cao và phân tích dữ liệu thời gian thực tiếp tục mở rộng quy mô, mạng trung tâm dữ liệu phải đối mặt với sự hội tụ chưa từng có của các yêu cầu. Các cụm tăng tốc GPU hiện đại không chỉ yêu cầu băng thông khổng lồ mà còn yêu cầu độ trễ ở cấp độ micro giây, hiệu năng xác định và quản lý lưu lượng thông minh. Các kiến trúc mạng truyền thống, được xây dựng trên TCP/IP và Ethernet tiêu chuẩn, liên tục không đáp ứng được các yêu cầu này — gây ra độ trễ biến động không thể đoán trước, tiêu tốn tài nguyên CPU quá mức cho việc xử lý giao thức và thiếu khả năng lập trình cần thiết để tối ưu hóa theo khối lượng công việc cụ thể.

Các yêu cầu doanh nghiệp chính thúc đẩy việc áp dụng các bộ điều hợp máy chủ tiên tiến bao gồm:

• Độ trễ cực thấp ở quy mô lớn: Các tác vụ đào tạo phân tán yêu cầu độ trễ giao tiếp tập thể dưới 500 micro giây trên hàng trăm nút để duy trì mức sử dụng GPU trên 90%.
• Tải CPU ngoài mạng cơ bản: Xử lý mạng phải tiêu thụ ít hơn 8% tài nguyên CPU trên mỗi nút để dành dung lượng cho tiền xử lý dữ liệu và kiểm tra mô hình.
• Bảo mật tốc độ đường truyền: Mã hóa dữ liệu trong quá trình truyền (IPsec/MACsec) phải được thực hiện ở tốc độ dây mà không làm giảm thông lượng hoặc làm tăng độ trễ đáng kể.
• Đường dẫn dữ liệu có thể lập trình: Bộ điều hợp phải hỗ trợ chuyển hướng lưu lượng tùy chỉnh và xử lý gói tin để đáp ứng các mẫu khối lượng công việc đang phát triển và các cải tiến giao thức.
• Khả năng mở rộng liền mạch: Cơ sở hạ tầng phải mở rộng từ hàng chục đến hàng trăm nút với sự tăng trưởng hiệu năng tuyến tính và không có sự bùng nổ về độ phức tạp vận hành.

Bộ điều hợp NVIDIA Mellanox MCX653105A-HDAT được thiết kế để đáp ứng toàn diện các yêu cầu này, đóng vai trò là khối xây dựng nền tảng cho mạng trung tâm dữ liệu thế hệ tiếp theo.

2. Thiết kế kiến trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất sử dụng cấu trúc liên kết lá-xương sống hiệu năng cao được tối ưu hóa cho truyền tải RoCEv2. Trung tâm của thiết kế này là giải pháp thẻ mạng Ethernet MCX653105A-HDAT, được triển khai trong mọi nút máy chủ để cung cấp kết nối băng thông cực cao với các khả năng tải xuống nâng cao.

Các lớp kiến trúc:

• Nút tính toán/lưu trữ: Mỗi máy chủ được trang bị thẻ mạng PCIe bộ điều hợp MCX653105A-HDAT, được cấu hình với kết nối 100GbE cổng kép. Cả hai cổng hoạt động ở chế độ hoạt động-hoạt động, cung cấp thông lượng tổng hợp 200 Gb/s với cân bằng tải và chuyển đổi dự phòng dựa trên phần cứng. Giao diện PCIe 4.0 x16 của bộ điều hợp cung cấp băng thông 32 GT/s, loại bỏ các điểm nghẽn phía máy chủ.
• Lớp lá: Các switch NVIDIA Spectrum-4 cung cấp khả năng chuyển tiếp Ethernet không mất mát, độ trễ thấp với khả năng kiểm soát tắc nghẽn nhận biết RoCE nâng cao (PFC, ECN và DCQCN). Các switch này hỗ trợ các đường lên 400GbE và cung cấp khả năng đo lường toàn diện để hiển thị cấu trúc liên kết.
• Lớp xương sống: Các switch xương sống dung lượng cao kết nối tất cả các nút lá thông qua các đường lên 400GbE, đảm bảo giao tiếp không chặn, mọi-tới-mọi trên toàn bộ cấu trúc liên kết với độ trễ xác định.
• Quản lý và Điều phối: NVIDIA DOCA và MLNX-OS cung cấp khả năng quản lý hợp nhất, thu thập dữ liệu đo lường, điều phối cấu hình và cung cấp không cần chạm trên toàn bộ ngăn xếp.

Kiến trúc tích hợp ảo hóa mạng dựa trên phần cứng thông qua SR-IOV và tải xuống eSwitch, hỗ trợ tới 1.000 chức năng ảo trên mỗi bộ điều hợp để cô lập đa người thuê hiệu quả mà không làm giảm hiệu năng.

3. Vai trò và các tính năng chính của NVIDIA Mellanox MCX653105A-HDAT trong giải pháp

Bộ điều hợp NVIDIA Mellanox MCX653105A-HDAT đóng vai trò là giao diện quan trọng giữa tài nguyên tính toán/lưu trữ và cấu trúc liên kết mạng. Bộ tính năng nâng cao của nó cho phép đạt được các mục tiêu hiệu năng và hiệu quả của kiến trúc tổng thể:

Theo Tờ dữ liệu MCX653105A-HDAT, bộ điều hợp chỉ tiêu thụ 25W khi tải đầy tải, mang lại hiệu năng trên mỗi watt hàng đầu trong ngành. Thông số kỹ thuật MCX653105A-HDAT toàn diện chi tiết hỗ trợ đo lường nâng cao, bao gồm bộ đếm hiệu năng trên mỗi luồng, biểu đồ phân bố độ trễ và phát hiện tắc nghẽn thời gian thực, tất cả đều cần thiết cho hoạt động mạng chủ động và lập kế hoạch dung lượng.

4. Khuyến nghị triển khai và mở rộng (với cấu trúc liên kết điển hình)

Đối với các tổ chức có kế hoạch triển khai sản xuất NVIDIA Mellanox MCX653105A-HDAT, phương pháp tiếp cận theo giai đoạn sau đây được khuyến nghị:

Giai đoạn 1 — Xác thực thử nghiệm (4–8 nút): Bắt đầu với một cụm nhỏ để xác thực cấu hình RoCE, tinh chỉnh các tham số DCB và đo lường hiệu năng ứng dụng. Sử dụng thẻ mạng PCIe bộ điều hợp MCX653105A-HDAT với trình điều khiển NVIDIA OFED mới nhất và ngăn xếp phần mềm DOCA. Thực hiện xác thực kỹ lưỡng các cài đặt PFC, ECN và DCQCN bằng cách sử dụng dữ liệu đo lường được hiển thị bởi bộ điều hợp.

Giai đoạn 2 — Mở rộng Pod (20–50 nút): Mở rộng lên cấu hình đầy đủ giá đỡ hoặc pod. Triển khai một cặp switch lá NVIDIA Spectrum-4 với cấu hình Ethernet không mất mát. Kích hoạt quản lý tắc nghẽn dựa trên phần cứng và cấu hình các chính sách QoS theo khối lượng công việc. Bản chất tương thích với MCX653105A-HDAT của giải pháp đảm bảo tích hợp liền mạch với các nền tảng máy chủ hiện có và các bản phân phối Linux.

Giai đoạn 3 — Triển khai toàn bộ cấu trúc liên kết (100+ nút): Triển khai trên nhiều giá đỡ với các switch xương sống kết nối các nút lá. Triển khai các chính sách định tuyến thích ứng và kiểm soát tắc nghẽn. Tận dụng NVIDIA Unified Fabric Manager để điều phối, cung cấp tự động và giám sát toàn bộ cấu trúc liên kết.

Mô tả cấu trúc liên kết điển hình: Cấu hình giá đỡ tiêu chuẩn bao gồm 20 máy chủ tính toán/lưu trữ, mỗi máy chủ được trang bị một MCX653105A-HDAT. Cổng 1 kết nối với Switch lá A, Cổng 2 kết nối với Switch lá B, cung cấp các đường dẫn hoạt động-hoạt động dự phòng với khả năng chuyển đổi dự phòng tự động. Các switch lá kết nối lên các switch xương sống qua 400GbE, tạo thành một cấu trúc liên kết CLOS với tỷ lệ quá tải 1:1. Thiết kế này đảm bảo rằng bất kỳ liên kết hoặc switch đơn lẻ nào bị lỗi sẽ không ảnh hưởng đến tính khả dụng của ứng dụng, với các cơ chế phục hồi dưới một giây.

Đối với các tổ chức đánh giá tổng chi phí sở hữu, giá MCX653105A-HDAT nên được xem xét cùng với khoản tiết kiệm CPU (thường là 4-6 lõi được thu hồi trên mỗi máy chủ), mức tăng thông lượng ứng dụng gấp 3-5 lần và khả năng hợp nhất nhiều liên kết 25GbE. Các chương trình giảm giá theo số lượng thường có sẵn cho các gói MCX653105A-HDAT để bán cùng với các switch NVIDIA Spectrum và đăng ký phần mềm DOCA.

5. Vận hành, Giám sát, Khắc phục sự cố và Tối ưu hóa

Vận hành hiệu quả một cấu trúc liên kết RoCE hiệu năng cao đòi hỏi các phương pháp giám sát và khắc phục sự cố chuyên biệt. Bộ điều hợp MCX653105A-HDAT cung cấp các công cụ đo lường toàn diện để hỗ trợ các hoạt động này:

• Thu thập và trực quan hóa dữ liệu đo lường: Sử dụng các bộ đếm phần cứng của bộ điều hợp để giám sát thông lượng trên mỗi luồng, độ sâu hàng đợi, gói tin bị rơi và phân bố độ trễ ở độ chi tiết dưới một giây. Xuất các chỉ số sang các nền tảng giám sát tiêu chuẩn (Prometheus, Grafana, ngăn xếp ELK) để có bảng điều khiển thời gian thực và cảnh báo.
• Phát hiện và quản lý tắc nghẽn: Giám sát các khung tạm dừng PFC, các gói tin được đánh dấu ECN và mức chiếm dụng bộ đệm để xác định và định vị các điểm tắc nghẽn vi mô và các điểm nóng lưu lượng. Tờ dữ liệu MCX653105A-HDAT cung cấp hướng dẫn chi tiết về cách diễn giải các bộ đếm này và thiết lập các ngưỡng cảnh báo có ý nghĩa.
• Quản lý vòng đời: Cập nhật thường xuyên ngăn xếp trình điều khiển NVIDIA OFED và firmware bộ điều hợp là điều cần thiết để cải thiện hiệu năng, bảo mật và tính năng. Sử dụng NVIDIA DOCA để quản lý vòng đời tự động, không cần chạm trên các triển khai quy mô lớn.
• Hướng dẫn tinh chỉnh hiệu năng: Các tham số tinh chỉnh chính bao gồm ngưỡng bộ đệm PFC (thường là 2-4 MB trên mỗi cổng), giới hạn đánh dấu ECN (80-90% độ sâu hàng đợi), cài đặt điều tiết ngắt bộ điều hợp (cân bằng độ trễ so với thông lượng) và cấu hình liên kết PCIe. Các cài đặt phù hợp phụ thuộc vào hồ sơ khối lượng công việc cụ thể và kích thước cụm.
• Khung khắc phục sự cố có hệ thống: Hầu hết các sự cố hiệu năng có thể được truy nguyên đến cấu hình sai DCB, không khớp MTU, không tương thích phiên bản trình điều khiển hoặc sự cố cáp. Bộ công cụ chẩn đoán của bộ điều hợp (mstflint, ethtool, mlxconfig, mlxlink và mlxband) cung cấp khả năng hiển thị toàn diện về trạng thái hoạt động, sức khỏe liên kết, thống kê lỗi và mức sử dụng băng thông.

6. Tóm tắt và Đánh giá giá trị

Bộ điều hợp NVIDIA Mellanox MCX653105A-HDAT đại diện cho một khoản đầu tư chiến lược vào cơ sở hạ tầng mang lại giá trị kinh doanh chuyển đổi trên nhiều khía cạnh:

Là một giải pháp thẻ mạng Ethernet MCX653105A-HDAT đầu cuối, nó cho phép các tổ chức xây dựng mạng hiệu năng cao, không mất mát, khai thác tối đa tiềm năng của các khối lượng công việc AI, HPC và đám mây gốc hiện đại. Cho dù được triển khai trong các trung tâm dữ liệu doanh nghiệp, môi trường nhà cung cấp dịch vụ đám mây hay các cơ sở nghiên cứu chuyên dụng, NVIDIA Mellanox MCX653105A-HDAT luôn mang lại hiệu năng, hiệu quả và sự thông minh mà các kiến trúc sư mạng yêu cầu cho cơ sở hạ tầng thế hệ tiếp theo.