Marvell 博客

值得共享的特色技术理念和解决方案

Marvell


2019 年 4 月 29 日

低延迟是选 RoCE 还是 iWARP?

作者:Todd Owens,Marvell 技术营销经理

如今,远程直接内存访问 (RDMA) 已经在高性能计算或云环境中受到广泛采用,以降低整个网络中的延迟。  企业客户很快也将转向 RDMA 才能提供的低延迟网络,以此解决多种不同的应用,如 Oracle 和 SAP,同时还能部署采用 Windows Storage Spaces Direct (S2D) 或 VMware vSAN 的软件定义存储。  在 RDMA 的部署中可以采用三种协议: 基于Infiniband的 RDMA、基于聚合以太网 (RoCE) 的 RDMA 以及基于 iWARP 的 RDMA。  鉴于以上多种可能的发展路径,您如何确保您所选择的协议能够契合您的特定任务?

在企业领域,目前来看以太网是最常用的传输技术。  因此,我们可以忽略Infiniband这一选项,由于Infiniband要求对 I/O 现有的基础设施进行叉状升级,这会对绝大多数企业数据中心产生高昂的成本。  于是,选择只剩下了 RoCE 和 iWARP。  以上两者都能够在以太网络中提供低延迟连接。  但是哪一款更适合您?

首先,我们了解一下以上两种协议间的根本区别。  RoCE 是两种协议中最常用的一种,并且已经为全球众多云端超大规模客户所采用。  包括 Marvell 在内的多家供应商均能提供启用 RDMA 运行 RoCE 的适配器。

RoCE 能够提供 1-5us 范围内的适配器延迟,但要求有无损以太网才能实现低延迟运行。  这意味着集成到网络中的以太网交换机必须支持数据中心桥接(DCB)和优先流控制(PFC)机制,以此才能维持无损流量。  因此要想使用 RoCE 可能需要重新配置以太网交换机。  无损或聚合以太网的难点在于,在现代化的企业环境中,配置是一个复杂的流程,并且可扩展性会受到很大的局限。

尽管大规模采用 RoCE 并非完全不可能,但需要实施额外的流量拥堵控制机制,例如数据中心量化拥堵通知 (DCQCN),而这反过来又要求配备大量经验丰富的网络工程师与管理员。  虽然超大规模客户有能力实现以上要求,但并非所有企业客户都具备这样的实力。  小规模企业的人力资源和财务预算会受到更多限制。

回顾聚合以太网环境的历史,要想理解其中所涉及的挑战数量,莫过于研究一下基于以太网的光纤通道 (FCoE)。  五年前,众多分析师和行业专家断言 FCoE 将取代光纤通道在数据中心的地位。  但由于大规模使用聚合以太网络的复杂性,这一预言最终没有成真。  FCoE 仍然存在,但仅限于 HPE BladeSystem 或 HPE Synergy 刀片类服务器的封闭环境,在这些环境中网络属性和规模都受到严格控制。  此类单跳环境在每一个系统中仅有少量连接。

最后,我们来谈谈 iWARP。  这一协议的诞生晚于 RoCE,其优势在于能够运行在当今的标准 TCP/IP 网络中。  该协议能够提供 10-15us 范围内的适配器延迟。  这一延迟高于 RoCE 能够达到的数值,但较标准以太网适配器仍然降低了好几个数量级。

常言道,对于只有一把锤子的人来说,他遇见的每样东西看起来都像一颗钉子。  对于推销启用了 RDMA 的适配器的供应商来说也是同样的道理。  大多数供应商只支持一种协议,因此他们理所当然就会推荐他们支持的这一种协议。  而在 Marvell,我们的独特之处在于,借助我们的通用 RDMA 技术,客户能够在同一个适配器上同时使用 RoCE 和 iWARP。  这使得我们提出的建议更具可信度,这也意味着我们有效地做到了不对协议有任何偏见。  从客户的立场来说这一点非常重要,这意味着我们专注于寻找最适合于客户应用标准的协议。

那么您究竟应该在什么样的场景下使用哪种 RDMA?  这么说吧,如果延迟是您的首要标准,而可扩展性可以抛诸脑后,那么您应当选择 RoCE。  您可以将 RoCE 部署成现代化磁盘阵列中的后端网络,介于控制器节点和 NVMe 驱动器之间。  您也可以将 RoCE 部署在机架中或仅占有一台或两台架顶式交换机和子网的机架中。  相对地,如果延迟只是关键要求之一,而易于使用和可扩展性也具有高优先级,那么 iWARP 就是最佳候选方案。  该协议能够运行在现有的网络基础设施中,并且能够轻松在机架间扩展规模,甚至能够在数据中心间远距离部署。   iWARP 的典型用例就是部署了 Microsoft Storage Spaces Direct 的网络连接方案。

好消息是对于企业客户而言,有多款 HPE 出品的 Marvell® FastLinQ® 以太网适配器支持通用 RDMA,因此企业客户能够自由选择最适合他们的低延迟 RDMA 方案。  以下是目前同时支持 RoCE 和 iWARP RDMA 的 HPE 以太网适配器清单。

借助 HPE ProLiant、Apollo、HPE Synergy 和 HPE Cloudline 服务器中启用了 RDMA 的适配器,Marvell 打造出了一系列 10Gb 或 25GbE 数据中心连接解决方案产品组合。  除了支持低延迟 RDMA 外,以上适配器还支持 NVMe。  这意味着以上适配器能够适应于运行 RoCE 或 iWARP 的以太网光纤中的 NVMe,同时也支持基于 TCP 的 NVMe(即没有 RDMA)。  这为当今的数据中心在面对未来的工作负荷时提供了充分的选择。

如欲了解以上及更多基于 HPE 的 Marvell I/O 技术的详细信息,请前往 www.marvell.com/hpe

如果您有意与我们在该领域中的 I/O 专家沟通,您可以在此处获取联系方式。

评论已关闭。