NVIDIA Mellanox MCX623106AN-CDAT Server Adapter Giải pháp kỹ thuật

Sách trắng kỹ thuật này cung cấp cho kiến trúc sư mạng, kỹ sư bán hàng trước và các nhóm hoạt động với một thiết kế giải pháp toàn diện tập trung vàoNVIDIA Mellanox MCX623106AN-CDAT. Chúng tôi giải quyết cách đạt được độ trễ thấp xác định và tối đa hóa tốc độ lưu trữ máy chủ bằng cách sử dụng RDMA / RoCE trong môi trường trung tâm dữ liệu hiện đại.

1. Xét nghiệm về dự án và các yêu cầu

TCP / IP truyền thống đống giới thiệu overhead đáng kể xử lý gián đoạn, sao chép bộ nhớ và chuyển ngữ cảnh giới hạn hiệu suất ứng dụng, đặc biệt là cho NVMe-oF, cơ sở dữ liệu phân tán,và tập hợp đào tạo AICác yêu cầu chính cho cơ sở hạ tầng thế hệ tiếp theo bao gồm:

• Độ trễ từ đầu đến cuối dưới 10μs để lưu trữ và phân tích thời gian thực
• Bỏ qua CPU sang các lõi miễn phí cho logic kinh doanh (mục tiêu: <20% sử dụng CPU liên quan đến mạng)
• Vải Ethernet không mất mát hỗ trợ PFC và ECN trên 100GbE topologies leaf-spine
• Mã hóa trực tuyến mà không làm suy giảm hiệu suất (IPsec/TLS)
• Tích hợp liền mạch với các khung tự động hóa hiện có (Ansible, Terraform)

2. Toàn bộ Network & System Architecture

Kiến trúc tham chiếu áp dụng một topology hai cấp lá-lưng với các cổng 100GbE trên khắp.MCX623106AN-CDAT ConnectX adapter thẻ mạng PCIeCác yếu tố thiết kế chính:

• Bọt chuyển đổi lá: Được cấu hình với bộ đệm chia sẻ 4MB, ưu tiên PFC 3 (lưu trữ) và 4 (dữ liệu AI), ngưỡng đánh dấu ECN ở độ sâu hàng đợi 200KB
• Các công tắc cột sống: Vải không chặn 12,8Tbps, tỷ lệ đăng ký quá mức 3: 1 (được tối ưu hóa cho các mẫu đông-tây)
• Cấu hình máy chủ: PCIe 4.0 x16 (hoặc PCIe 5.0 khi có sẵn), bộ nhớ phần mềm cố định 256MB cho mỗi bộ điều hợp
• Giao thông RDMA: RoCEv2 với kiểm soát tắc nghẽn DCQCN, 4K MTU, dữ liệu trực tuyến lên đến 256 byte

CácGiải pháp thẻ adapter MCX623106AN-CDAT Ethernethỗ trợ lên đến 1.024 chức năng ảo (VF) và 256 chức năng vật lý (PF), làm cho nó lý tưởng cho NFV và khối lượng công việc containerized.

3. Vai trò của NVIDIA Mellanox MCX623106AN-CDAT & Các tính năng chính

CácNVIDIA Mellanox MCX623106AN-CDATphục vụ như là động cơ máy dữ liệu, tải tất cả các xử lý mạng từ máy chủ CPU.Bảng dữ liệu MCX623106AN-CDATvà chính thứcThông số kỹ thuật MCX623106AN-CDAT, các khả năng quan trọng bao gồm:

CácMCX623106AN-CDAT thẻ chuyển đổi Ethernetcũng bao gồm mã hóa khởi động và flash an toàn, đáp ứng các chính sách bảo mật nghiêm ngặt cho các lĩnh vực tài chính và chính phủ.

4. Các khuyến nghị triển khai và mở rộng

Đối với việc triển khai brownfield, bộ chuyển đổi là hoàn toànMCX623106AN-CDAT tương thíchvới các bộ chuyển đổi 100GbE hiện có (broadcom, Mellanox, Cisco) sau khi nâng cấp firmware.

• Giai đoạn 1 (xác nhận trong phòng thí nghiệm):Hai nút lưu trữ + hai nút tính toán, cho phép mỗi cổng PFC và ECN, xác nhận với ib_write_bw (mục tiêu thông lượng 98Gb / s mỗi cổng)
• Giai đoạn 2 (kiểm thử):Một rack đầy (40 nút), triển khai DCQCN với ngưỡng ECN: min=150KB, max=500KB
• Giai đoạn 3 (scale-out):Multi-rack với lớp cột sống, theo dõi khung tạm dừng PFC toàn cầu (giữ < 0,1% tổng lưu lượng)

Để mở rộng, bộ chuyển đổi hỗ trợ tổng hợp liên kết (LAG) và định tuyến thích nghi (AR) khi được sử dụng với các công tắc NVIDIA Spectrum.Môi trường tốc độ hỗn hợp (100GbE đến 25GbE) yêu cầu dự trữ bộ đệm trên các cổng ra.

5. Hoạt động, giám sát & khắc phục sự cố

NVIDIA DOCA framework cung cấp telemetry toàn diện.

• Các máy đếm hàng đợi:rdma_out_of_sequence, cnp_sent, cnp_received (via ethtool -S)
• Sức khỏe PCIe:Lỗi có thể sửa chữa/không thể sửa chữa, đàm phán tốc độ liên kết (công cụ mlxlink)
• Phát hiện tắc nghẽn:Thời gian kiểm soát PFC, tỷ lệ gói được đánh dấu ECN (mục tiêu <5%)

Giải quyết sự cố phổ biến: Nếu hiệu suất RoCE giảm xuống dưới 80Gb / s, xác minh sự phân tách PCIe (phải là x16), vô hiệu hóa TSO / GRO và xác nhận ngưỡng ECN chuyển đổi.Giá MCX623106AN-CDAT, giải pháp thường đạt được ROI trong vòng 9-12 tháng bằng cách củng cố số lượng máy chủ.

6. Tóm lại & Đánh giá giá trị

CácNVIDIA Mellanox MCX623106AN-CDATcung cấp một cấu trúc xác định, độ trễ thấp trong khi giảm chi phí CPU lên đến 75% so với mạng dựa trên phần mềm.các bước triển khaiCác tổ chức đang tìm kiếmMCX623106AN-CDAT để bánĐể tham khảo đầy đủ, các nhà phân phối chính thứcBảng dữ liệu MCX623106AN-CDATvà chi tiếtThông số kỹ thuật MCX623106AN-CDATcó sẵn khi được yêu cầu.