Mellanox (NVIDIA Mellanox) MCX556A-ECAT Server NIC Giải pháp kỹ thuật

Sách trắng này cung cấp cho các kiến trúc sư mạng, kỹ sư bán hàng trước và các nhà lãnh đạo hoạt động một khuôn khổ kỹ thuật toàn diện để triển khaiMellanox (NVIDIA Mellanox) MCX556A-ECATGiải pháp tập trung vào việc loại bỏ các nút thắt TCP / IP thông qua RDMA / RoCE,cung cấp thông tin liên lạc độ trễ thấp nhất định trong khi tối đa hóa hiệu suất máy chủ cho khối lượng công việc dữ liệu chuyên sâu.

1. Xét nghiệm về dự án và các yêu cầu

Môi trường trung tâm dữ liệu hiện đại, bao gồm các cụm đào tạo AI, cơ sở dữ liệu phân tán, cơ sở hạ tầng siêu hội tụ và nền tảng giao dịch tần số cao, chia sẻ một hạn chế chung:ngăn xếp mạng truyền thống tiêu thụ 30~50% các chu kỳ CPU trên bản sao bộ nhớKhi tốc độ liên kết tăng lên 100Gbps và vượt lên, mạng dựa trên phần mềm trở nên không bền vững.Các yêu cầu chính cho kết nối máy chủ thế hệ tiếp theo bao gồm:: độ trễ giữa các nút dưới 5 microsecond, chi phí CPU dưới 10% mỗi liên kết 100Gbps, giao thông không mất cho các giao thức lưu trữ (NVMe-oF) và tích hợp liền mạch với cơ sở hạ tầng Ethernet hiện có.CácGiải pháp thẻ adapter Ethernet MCX556A-ECATtrực tiếp giải quyết những yêu cầu này.

2Thiết kế kiến trúc mạng/hệ thống tổng thể

Kiến trúc được đề xuất triển khaiNVIDIA Mellanox MCX556A-ECATnhư một bộ chuyển đổi 100GbE cổng kép trong mỗi nút tính toán hoặc lưu trữ. Giải pháp áp dụng một cấu trúc hai tầng với hỗ trợ RoCE (RDMA trên Ethernet hội tụ).:

• Cơ sở Ethernet không mất mát: Khả năng kiểm soát dòng chảy ưu tiên (PFC) trên các cổng vận chuyển giao thông RoCE và cấu hình ngưỡng ECN (Thông báo tắc nghẽn rõ ràng) trên các công tắc lá.
• Các lớp giao thông riêng biệt: Đặt giao thông RoCE vào một hàng đợi ưu tiên chuyên dụng (thường là 3 hoặc 5) với lập kế hoạch ưu tiên nghiêm ngặt.
• Quản lý đệm: phân bổ các bể đệm chia sẻ trên các công tắc theoThông số kỹ thuật MCX556A-ECAT(được khuyến cáo 4MB mỗi cổng để hoạt động không mất mát).

Mỗi ngườiMCX556A-ECAT ConnectX adapter thẻ mạng PCIekết nối với một công tắc lá thông qua quang QSFP28 (SR4, LR4 hoặc AOC / DAC tùy thuộc vào khoảng cách).cấu hình định vị kép liên kết cả hai cổng Ứng dụng tích cực-hoạt động cho thông lượng hoặc tích cực-đứng sẵn cho chuyển đổi lỗiCác máy điều khiển sử dụng Ethernet tiêu chuẩn và IP, trong khi các máy dữ liệu tận dụng RDMA cho chuyển giao không sao chép.

3. Vai trò và các tính năng chính của Mellanox (NVIDIA Mellanox) MCX556A-ECAT trong giải pháp

CácMCX556A-ECATlà công cụ giảm tải quan trọng giữa bộ nhớ máy chủ và cấu trúc mạng. Giao thông dựa trên phần cứng của nó loại bỏ sự tham gia của lõi cho chuyển động dữ liệu.Bảng dữ liệu MCX556A-ECATbao gồm:

CácMCX556A-ECAT Ethernet adapter cardcũng bao gồm điều khiển nâng cao (phân loại dòng chảy thành 128 hàng đợi ảo), SR-IOV với tối đa 512 chức năng ảo và thời gian bộ đếm phần cứng cho giao thức thời gian chính xác (PTP).Những tính năng này làm cho nó một động cơ gia tốc đường dẫn dữ liệu hoàn chỉnh, không chỉ đơn thuần là một giao diện tốc độ cao.

4. Đề xuất triển khai và mở rộng quy mô (Topology điển hình)

Đối với một cụm có kích thước trung bình (64 ∼ 256 nút), topology sau đây được khuyến cáo:

• Lớp lá: Hai hoặc bốn 48 cổng 100GbE RoCE chuyển đổi (ví dụ, NVIDIA SN3700).Hoàn hợp với MCX556A-ECATCổng QSFP28.
• Lớp cột sống: Bốn chuyển mạch 400GbE 32 cổng cung cấp 128 liên kết lên 100GbE không chặn từ lá.
• Cấu hình máy chủMột.MCX556A-ECATmỗi máy chủ, cổng A đến chuyển đổi lá A, cổng B đến chuyển đổi lá B. Điều này mang lại băng thông tổng cộng 200Gbps và dư thừa đường dẫn.

Việc mở rộng quy mô của vải vượt quá 256 nút đòi hỏi phải thêm các cặp lá-lưng hoặc di chuyển sang kiến trúc Clos 3 giai đoạn.Giá MCX556A-ECATso với công suất trong tương lai, nhân tố mà bộ điều hợp làHoàn hợp với MCX556A-ECATvới bo mạch chủ PCIe 4.0 (đang chạy ở 3.0 x16 ban đầu), cung cấp một con đường nâng cấp đơn giản.

5. Hoạt động, giám sát, khắc phục sự cố và tối ưu hóa

Hoạt động xuất sắc cho việc triển khai RoCE đòi hỏi giám sát và điều chỉnh cụ thể.

• Các quầy giám sát: Sử dụng-Thông cụ -Thông cụ -Thông cụđể theo dõi các khung tạm dừng ưu tiên và CNP (Gói thông báo tắc nghẽn).Thông số kỹ thuật MCX556A-ECATghi lại các giá trị dự kiến.
• Chế độ điều chỉnh bộ đệm: Thiết lập bộ đệm thoát chuyển đổi lên 4 ′′ 6MB cho các hàng đợi RoCE. Các bộ đệm không đủ gây ra bão PFC và sụp đổ thông lượng.
• Quản lý phần mềm cứng: Duy trì firmware mới nhất (có sẵn từ cổng hỗ trợ doanh nghiệp NVIDIA) để giải quyết lỗi và tăng hiệu suất cải tiến được ghi lại trongBảng dữ liệu MCX556A-ECAT.
• Điểm cơ bản về hiệu suấtChạy đi.ib_write_bwvàib_read_latTừ bộ công cụ OFED. Kết quả dự kiến: 98 ¢ 99 Gbps hai chiều với độ trễ 0,8 ¢ 1,2 μs cho tin nhắn 8 byte.

Các kịch bản khắc phục sự cố phổ biến: PFC deadlocks (kiểm tra các bản đồ hàng đợi không được cấu hình đúng), liên kết flapping (xác định mức năng lượng và chỉ số cáp),và RDMA kết nối timeouts (đảm bảo sự nhất quán MTU ở 4200 byte cho khung lớn)Đối với các nhóm tìm kiếmMCX556A-ECAT để bánđể mở rộng các cụm, sắp xếp firmware trước giai đoạn trên các lô tránh bất ngờ tương thích.

6. Tóm lại & Đánh giá giá trị

CácMCX556A-ECATcung cấp một đề xuất giá trị rõ ràng cho các trung tâm dữ liệu hiện đại.NVIDIA Mellanox MCX556A-ECATGiảm thời gian trễ ứng dụng 10 lần so với TCP, cắt giảm chi phí trên mạng CPU 85% và mở khóa phân tích lưu trữ thông qua NVMe-oF.Capacity 100GbE hai cổng của thẻ cung cấp không gian đầu tiên trong tương laiĐối với các nhóm hoạt động, bộ đống trình điều khiển trưởng thành (upstream Linux, Windows và VMware) đơn giản hóa quản lý.Giá MCX556A-ECATtương đối với tổng chi phí sở hữu, bao gồm cấp phép phần mềm, năng lượng và làm mát, bộ chuyển đổi thường trả cho chính nó trong vòng 6-12 tháng thông qua hợp nhất máy chủ.MCX556A-ECAT Ethernet adapter cardhoặcMCX556A-ECAT ConnectX adapter thẻ mạng PCIe, giải pháp này vẫn là một thiết kế tham khảo cho mạng Ethernet không mất mát, công suất cao.