Giải pháp kỹ thuật: đạt được RDMA / RoCE độ trễ thấp và tối ưu hóa thông lượng với Mellanox

Các trung tâm dữ liệu hiện đại đang chịu áp lực liên tục để cung cấp hiệu suất cao hơn cho các ứng dụng nhạy cảm với độ trễ như cơ sở dữ liệu phân tán, tính toán hiệu năng cao (HPC) và các cụm huấn luyện AI. Mạng TCP/IP truyền thống gây ra chi phí CPU đáng kể, tạo ra các điểm nghẽn hạn chế khả năng mở rộng của ứng dụng và tăng thời gian phản hồi. Đối với các tổ chức muốn hiện đại hóa cơ sở hạ tầng của họ, yêu cầu cốt lõi là rõ ràng: giảm độ trễ và tăng thông lượng máy chủ mà không cần đại tu kiến trúc tốn kém.

Giải pháp nằm ở việc áp dụng RDMA (Truy cập bộ nhớ trực tiếp từ xa) qua Ethernet hội tụ (RoCE). Công nghệ này cho phép truyền dữ liệu trực tiếp từ bộ nhớ này sang bộ nhớ khác, bỏ qua nhân hệ điều hành để giải phóng tài nguyên CPU và giảm thiểu độ trễ. Cốt lõi của sự chuyển đổi này là card giao diện mạng (NIC). Card MCX631432AN-ADAB từ Mellanox (NVIDIA) được thiết kế đặc biệt để đáp ứng các yêu cầu này, cung cấp nền tảng mạnh mẽ cho các mạng hỗ trợ RoCE.

Kiến trúc được đề xuất là một mạng dạng lá-xương sống (leaf-spine) được thiết kế cho môi trường Ethernet không mất mát, đây là điều kiện tiên quyết để có hiệu suất RoCEv2 tối ưu. Thiết kế tích hợp lưu lượng tính toán và lưu trữ trên một mạng hợp nhất, tốc độ cao để giảm độ phức tạp và chi phí.

• Lớp Xương sống (Spine Layer): Các switch 100GbE dung lượng cao cung cấp kết nối không bị chặn giữa tất cả các switch lá, đảm bảo các đường dẫn có độ trễ thấp từ mọi điểm đến mọi điểm.
• Lớp Lá (Leaf Layer): Các switch Top-of-Rack (ToR) với các đường xuống 25GbE kết nối với máy chủ và các nút lưu trữ. Các switch này được cấu hình với Priority Flow Control (PFC) và Explicit Congestion Notification (ECN) để duy trì mạng không mất mát.
• Lớp Máy chủ (Server Layer): Mỗi máy chủ được trang bị card NVIDIA Mellanox MCX631432AN-ADAB, một adapter SFP28 25GbE hai cổng. Điều này cho phép liên kết mạng (network bonding) hoặc các đường dẫn riêng biệt cho lưu lượng lưu trữ và tính toán.

Thiết kế này đảm bảo rằng card MCX631432AN-ADAB Ethernet adapter card hoạt động trong môi trường mà lưu lượng RoCE có thể truyền đi mà không bị mất gói tin, điều này rất quan trọng để duy trì thông lượng cao và độ trễ thấp.

Card MCX631432AN-ADAB là điểm cuối quan trọng cho phép toàn bộ giải pháp. Là một thành viên của dòng ConnectX-6 Lx, nó mang các tính năng cấp doanh nghiệp đến dạng yếu tố 25GbE. Vai trò chính của nó là đóng vai trò là MCX631432AN-ADAB Ethernet adapter card solution cho cả lưu lượng tính toán và lưu trữ, giảm tải các tác vụ mạng khỏi CPU máy chủ.

Các đóng góp kỹ thuật chính của adapter bao gồm:

• Giảm tải phần cứng (Hardware Offloads): Card xử lý tất cả các khía cạnh của giao thức RoCE ở cấp độ phần cứng, bao gồm truyền tải, đóng gói và kiểm soát tắc nghẽn. Điều này đảm bảo các hoạt động RDMA tiêu thụ gần như bằng không chu kỳ CPU.
• Tính linh hoạt hai cổng (Dual-Port Flexibility): Hai cổng 25GbE có thể được cấu hình cho chuyển đổi dự phòng chủ động/thụ động (active/standby failover) hoặc được sử dụng để tách các loại lưu lượng. Ví dụ, một cổng có thể xử lý lưu lượng Ethernet mặt trước trong khi cổng kia dành riêng cho lưu lượng lưu trữ mặt sau sử dụng RoCE, tối đa hóa thông lượng và bảo mật.
• Giao diện máy chủ PCIe 3.0 x16: Với băng thông đủ để xử lý đồng thời cả hai cổng 25GbE, card MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 đảm bảo không có điểm nghẽn nội bộ nào hạn chế hiệu suất ứng dụng.

Việc triển khai card MCX631432AN-ADAB đòi hỏi kế hoạch cẩn thận về mạng và cấu hình máy chủ. Các bước sau đây phác thảo một triển khai điển hình cho một cụm hiệu năng cao:

• Chuẩn bị mạng: Trước khi triển khai, hãy cấu hình các switch mạng để hỗ trợ RoCE. Điều này bao gồm việc bật PFC cho lớp lưu lượng RoCE và triển khai quản lý tắc nghẽn dựa trên ECN. Điều này tạo ra môi trường không mất mát cần thiết để adapter hoạt động tối ưu.
• Cài đặt Driver và Firmware: Cài đặt các driver NVIDIA WinOF-2 mới nhất (cho Windows) hoặc MLNX_OFED (cho Linux) để đảm bảo hỗ trợ đầy đủ tính năng. Điều quan trọng là phải xác minh rằng firmware trên card MCX631432AN-ADAB đã được cập nhật để có hiệu suất RoCE và khả năng tương thích tối ưu.
• Mở rộng Cụm: Kiến trúc mở rộng theo chiều ngang bằng cách thêm nhiều nút máy chủ, mỗi nút có card MCX631432AN-ADAB riêng. Mạng lá-xương sống không bị chặn đảm bảo rằng các nút được thêm vào không làm giảm hiệu suất cho các nút hiện có. Đối với các triển khai lớn hơn, có thể sử dụng các nhóm liên kết (LAGs) giữa các switch lá và xương sống.

Một cấu trúc liên kết điển hình cho một cụm cơ sở dữ liệu bao gồm việc kết nối các máy chủ chính và máy chủ sao chép với cùng một switch lá để giảm thiểu độ trễ giữa các rack. Mỗi máy chủ sử dụng adapter hai cổng của nó để kết nối với hai switch lá riêng biệt để dự phòng.

Sau khi triển khai, việc duy trì hiệu suất đòi hỏi phải giám sát và tinh chỉnh chủ động. Card MCX631432AN-ADAB cung cấp khả năng đo lường toàn diện cho mục đích này.

• Giám sát các chỉ số chính: Sử dụng các công cụ như `mlxstat` và `ethtool` để giám sát bộ đếm cổng, lỗi liên kết và thống kê lưu lượng RDMA. Theo dõi các khung tạm dừng PFC là rất cần thiết; số lượng cao cho thấy mạng bị mất mát, điều này sẽ làm giảm hiệu suất RoCE.
• Cập nhật Firmware và Driver: Thường xuyên kiểm tra các bản cập nhật. Firmware mới thường bao gồm các tối ưu hóa hiệu suất và sửa lỗi có thể giảm thêm độ trễ và cải thiện khả năng tương thích với các switch thượng nguồn.
• Tinh chỉnh hiệu suất: Đối với các môi trường có yêu cầu độ trễ khắt khe nhất, việc tinh chỉnh điều tiết ngắt (interrupt moderation) và kích thước bộ đệm có thể mang lại những cải thiện gia tăng. Tính linh hoạt của adapter cho phép các kiến trúc sư điều chỉnh cài đặt dựa trên khối lượng công việc cụ thể của họ (ví dụ: HPC so với ảo hóa).

Để khắc phục sự cố kết nối, bước đầu tiên là xác minh rằng các module SFP28 tương thích với MCX631432AN-ADAB. Sử dụng quang học được NVIDIA chứng nhận đảm bảo thiết lập liên kết và hiệu suất đáng tin cậy.

Card MCX631432AN-ADAB từ Mellanox (NVIDIA) cung cấp một con đường rõ ràng và hiệu quả để triển khai một mạng hiệu năng cao, độ trễ thấp. Bằng cách tận dụng khả năng giảm tải RoCE tiên tiến của nó, các tổ chức có thể đạt được lợi ích kép là giảm đáng kể chi phí CPU và tăng thông lượng máy chủ. Các thông số kỹ thuật MCX631432AN-ADAB chi tiết và datasheet MCX631432AN-ADAB xác nhận khả năng của nó để xử lý các khối lượng công việc khắt khe nhất.

Đối với các nhà quản lý CNTT và kiến trúc sư mạng đang đánh giá việc làm mới phần cứng, những cải thiện về hiệu suất mà giải pháp này mang lại sẽ chuyển đổi trực tiếp thành giá trị kinh doanh: xử lý giao dịch nhanh hơn, truy cập lưu trữ hiệu quả hơn và tổng chi phí sở hữu được cải thiện. Khi nhu cầu dữ liệu tiếp tục tăng, việc triển khai card MCX631432AN-ADAB đảm bảo rằng cơ sở hạ tầng mạng không phải là một điểm nghẽn, mà là một yếu tố tăng tốc. Để biết thông tin giá chi tiết hoặc để kiểm tra giá MCX631432AN-ADAB và tính khả dụng, vui lòng tham khảo đại diện NVIDIA của bạn.