NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Hoạt Động | Vận Chuyển Độ Trễ Thấp RDMA/RoCE & Tăng Thông Lượng Máy Chủ

Card máy chủ NVIDIA Mellanox MCX631432AN-ADAB hoạt động | Vận chuyển độ trễ thấp RDMA/RoCE & Tăng thông lượng máy chủ

Bối cảnh & Thách thức: Nút thắt cổ chai độ trễ trong lưu trữ phân tán

Nhóm cơ sở hạ tầng tại một công ty internet lớn gần đây đã gặp phải một thách thức quen thuộc: cụm lưu trữ phân tán của họ, được xây dựng trên nền tảng Ceph, đang gặp khó khăn trong việc theo kịp nhu cầu ứng dụng ngày càng tăng. Mặc dù các nút lưu trữ được trang bị CPU mạnh mẽ và ổ NVMe tốc độ cao, độ trễ mạng đã trở thành nút thắt cổ chai chính — đặc biệt là trong các hoạt động I/O cao điểm. Các bộ điều hợp 10GbE hiện có thiếu khả năng offload phần cứng, gây ra sự can thiệp quá mức của CPU cho mỗi gói tin được xử lý.

Chi phí này rõ rệt nhất trong các khối lượng công việc chuyên ghi, nơi mỗi hoạt động I/O yêu cầu nhiều lượt đi lại mạng. Nhóm cần một giải pháp có thể giảm đáng kể độ trễ đuôi trong khi tăng thông lượng máy chủ tổng thể, mà không yêu cầu phải đại tu hoàn toàn cơ sở hạ tầng Ethernet hiện có của họ. Sau khi đánh giá nhiều tùy chọn, họ đã chuyển sang Card máy chủ NVIDIA Mellanox MCX631432AN-ADAB — một bộ điều hợp SFP28 25GbE hai cổng được thiết kế riêng cho các triển khai RDMA qua Ethernet hợp nhất (RoCE).

Giải pháp & Triển khai: Triển khai RoCE với ConnectX-6 Lx

Việc triển khai nhắm mục tiêu ba nút lưu trữ đóng vai trò là máy chủ siêu dữ liệu trong cụm Ceph, nơi độ nhạy độ trễ là cao nhất. Mỗi nút được trang bị Bộ điều hợp SFP28 25GbE hai cổng MCX631432AN-ADAB ConnectX-6 Lx, kết nối với một switch top-of-rack 25GbE có hỗ trợ RoCEv2. Nhóm đã cấu hình cả hai cổng ở chế độ liên kết chủ động-chủ động, tổng hợp băng thông lên tới 50Gb/s đồng thời cung cấp khả năng dự phòng chuyển đổi dự phòng.

Một khía cạnh quan trọng của việc triển khai là kích hoạt RoCEv2 với Điều khiển luồng ưu tiên (PFC) và Thông báo tắc nghẽn rõ ràng (ECN) để đảm bảo hành vi mạng không mất mát. Card Ethernet MCX631432AN-ADAB hỗ trợ gốc các cơ chế quản lý tắc nghẽn nâng cao này, loại bỏ nhu cầu về các switch độc quyền hoặc giấy phép bổ sung. Nhóm cũng đã sử dụng dấu thời gian phần cứng tích hợp và bộ đếm đo từ xa của bộ điều hợp để giám sát sức khỏe của fabric theo thời gian thực trong giai đoạn khởi động ban đầu.

Theo tài liệu kỹ thuật MCX631432AN-ADAB, bộ điều hợp hỗ trợ PCIe Gen 4.0 x8, điều này tỏ ra cần thiết để bão hòa hoàn toàn các cổng 25GbE kép mà không làm tắc nghẽn bus máy chủ. Các máy chủ hiện có đã có khả năng Gen 4.0, giúp việc nâng cấp trở nên đơn giản. Đối với các môi trường vẫn còn trên PCIe Gen 3.0, bộ điều hợp vẫn hoàn toàn tương thích MCX631432AN-ADAB với khả năng tương thích ngược — một sự linh hoạt đã đơn giản hóa kế hoạch triển khai theo giai đoạn.

Quy trình triển khai đã được hợp lý hóa đáng kể. Với ngăn xếp trình điều khiển mạng NVIDIA, các bộ điều hợp đã được nhận dạng ngay lập tức trên môi trường CentOS 8. Nhóm đã sử dụng thông số kỹ thuật MCX631432AN-ADAB chính thức để tinh chỉnh phân bổ bộ đệm và cài đặt hợp nhất ngắt, điều chỉnh hành vi của bộ điều hợp cho các mẫu khối lượng công việc cụ thể của họ.

Kết quả & Lợi ích có thể đo lường

Hiệu suất tăng ngay lập tức và có thể định lượng. Bảng dưới đây so sánh các chỉ số chính trước và sau khi triển khai Card máy chủ NVIDIA Mellanox MCX631432AN-ADAB:

Ngoài các con số, nhóm đã quan sát thấy sự nhất quán được cải thiện về thời gian phản hồi I/O, loại bỏ hiệu ứng "hàng xóm ồn ào" trước đây đã ảnh hưởng đến các ứng dụng của người thuê chia sẻ backend lưu trữ. Khả năng offload phần cứng được cung cấp bởi giải pháp card Ethernet MCX631432AN-ADAB đã giảm chi phí CPU đáng kể đến mức các nút có thể xử lý thêm khoảng 60% IOPS trước khi đạt đến giới hạn CPU, do đó trì hoãn chu kỳ làm mới phần cứng đã lên kế hoạch.

Đối với nhóm vận hành mạng, tính năng đo từ xa tích hợp của bộ điều hợp và khả năng truy cập các bộ đếm hiệu suất thời gian thực thông qua thông số kỹ thuật MCX631432AN-ADAB đã giúp việc khắc phục sự cố và lập kế hoạch dung lượng trở nên dễ dàng hơn đáng kể. Nhóm có thể xác định các đợt tăng đột biến nhỏ và các vấn đề về độ sâu hàng đợi trước khi chúng ảnh hưởng đến khối lượng công việc sản xuất.

Tóm tắt & Triển vọng: Nền tảng cho quy mô tương lai

Việc triển khai này đã xác nhận rằng Card máy chủ NVIDIA Mellanox MCX631432AN-ADAB không chỉ là một bản nâng cấp gia tăng mà là một thành phần mang tính chuyển đổi cho các hệ thống phân tán nhạy cảm với độ trễ. Bằng cách mở khóa toàn bộ tiềm năng của RoCE, bộ điều hợp đã mang lại sự giảm đáng kể cả về độ trễ trung bình và độ trễ đuôi, đồng thời tăng thông lượng máy chủ tổng hợp gần 6 lần. Các chu kỳ CPU được giải phóng hiện đang được phân bổ lại cho xử lý cấp ứng dụng, tiếp tục cải thiện hiệu quả tổng thể của cụm.

Nhìn về phía trước, nhóm đang khám phá các trường hợp sử dụng bổ sung cho các bộ điều hợp, bao gồm NVMe qua Fabrics (NVMe-oF) cho lưu trữ khối hiệu suất cao và có thể là GPUDirect cho khối lượng công việc đào tạo AI. Sự linh hoạt của kiến trúc ConnectX-6 Lx đảm bảo rằng cùng một phần cứng MCX631432AN-ADAB có thể hỗ trợ các nhu cầu đang phát triển này mà không cần thay thế. Đối với các tổ chức đang đánh giá một lộ trình nâng cấp tương tự, giá MCX631432AN-ADAB, khi được cân nhắc với khoản tiết kiệm hoạt động và hiệu suất tăng lên, mang lại một trường hợp kinh doanh hấp dẫn.

Kinh nghiệm của nhóm nhấn mạnh một xu hướng rộng lớn hơn: khi các trung tâm dữ liệu ngày càng áp dụng các fabric 25GbE và cao hơn, việc lựa chọn bộ điều hợp máy chủ trở thành một quyết định kiến trúc quan trọng. Card Ethernet MCX631432AN-ADAB cung cấp một giải pháp đã được chứng minh, sẵn sàng cho sản xuất cho những ai muốn thu hẹp khoảng cách giữa cơ sở hạ tầng hiện có và nhu cầu hiệu suất thế hệ tiếp theo.