目录

HPC系列-设置SR-IOV

概述

To set up an SR-IOV environment, the following is required:

  1. MLNX_OFED Driver
  2. A server/blade with an SR-IOV-capable motherboard BIOS
  3. Hypervisor that supports SR-IOV such as: Red Hat Enterprise Linux Server Version 6
  4. Mellanox ConnectX® VPI Adapter Card family with SR-IOV capability

RoCE和InfiniBand比较

/hpc%E7%B3%BB%E5%88%97-%E8%AE%BE%E7%BD%AEsr-iov/img.png
  1. RoCE v1协议: 基于以太网承载RDMA,只能部署于二层网络,它的报文结构是在原有的IB架构的报文上增加二层以太网的报文头,通过Ethertype 0x8915标识RoCE报文
  2. RoCE v2协议: 基于UDP/IP协议承载RDMA,可部署于三层网络,它的报文结构是在原有的IB架构的报文上增加UDP头、IP头和二层以太网报文头,通过UDP目的端口号4791标识RoCE报文。RoCE v2支持基于源端口号hash,采用ECMP实现负载分担,提高了网络的利用率

参考资料

  1. RoCE、IB和TCP等网络的基本知识及差异对比
  2. 高性能计算网络,RoCE vs. InfiniBand该怎么选?
警告
本文最后更新于 2023年6月6日,文中内容可能已过时,请谨慎参考。