如今,远程直接内存访问 (RDMA) 已经在高性能计算或云环境中受到广泛采用,以降低整个网络中的延迟。 企业客户很快也将转向 RDMA 才能提供的低延迟网络,以此解决多种不同的应用,如 Oracle 和 SAP,同时还能部署采用 Windows Storage Spaces Direct (S2D) 或 VMware vSAN 的软件定义存储。 在 RDMA 的部署中可以采用三种协议: 基于Infiniband的 RDMA、基于聚合以太网 (RoCE) 的 RDMA 以及基于 iWARP 的 RDMA。 鉴于以上多种可能的发展路径,您如何确保您所选择的协议能够契合您的特定任务?
在企业领域,目前来看以太网是最常用的传输技术。 Consequently, we can ignore the InfiniBand option, as it would require a forklift upgrade to the I/O existing infrastructure - thus making it way too costly for the vast majority of enterprise data centers. 于是,选择只剩下了 RoCE 和 iWARP。 以上两者都能够在以太网络中提供低延迟连接。 但是哪一款更适合您?
首先,我们了解一下以上两种协议间的根本区别。 RoCE 是两种协议中最常用的一种,并且已经为全球众多云端超大规模客户所采用。 包括 Marvell 在内的多家供应商均能提供启用 RDMA 运行 RoCE 的适配器。
RoCE 能够提供 1-5us 范围内的适配器延迟,但要求有无损以太网才能实现低延迟运行。 这意味着集成到网络中的以太网交换机必须支持数据中心桥接(DCB)和优先流控制(PFC)机制,以此才能维持无损流量。 因此要想使用 RoCE 可能需要重新配置以太网交换机。 无损或聚合以太网的难点在于,在现代化的企业环境中,配置是一个复杂的流程,并且可扩展性会受到很大的局限。 尽管大规模采用 RoCE 并非不可能,但需要实施额外的流量拥堵控制机制,例如数据中心量化拥堵通知 (DCQCN),而这反过来又要求配备大量经验丰富的网络工程师与管理员。 虽然超大规模客户有能力实现以上要求,但并非所有企业客户都具备这样的实力。 小规模企业的人力资源和财务预算会受到更多限制。
回顾聚合以太网环境的历史,要想理解其中所涉及的挑战数量,莫过于研究一下基于以太网的光纤通道 (FCoE)。 五年前,众多分析师和行业专家断言 FCoE 将取代光纤通道在数据中心的地位。 但由于大规模使用聚合以太网络的复杂性,这一预言最终没有成真。 FCoE 仍然存在,但限于 HPE BladeSystem 或 HPE Synergy 刀片类服务器的封闭环境,在这些环境中网络属性和规模都受到严格控制。 此类单跳环境在每一个系统中仅有少量连接。
最后,我们来谈谈 iWARP。 这一协议的诞生晚于 RoCE,其优势在于能够运行在当今的标准 TCP/IP 网络中。 该协议能够提供 10-15us 范围内的适配器延迟。 这一延迟高于 RoCE 能够达到的数值,但较标准以太网适配器仍然降低了好几个数量级。
常言道,对于只有一把锤子的人来说,他遇见的每样东西看起来都像一颗钉子。 对于推销启用了 RDMA 的适配器的供应商来说也是同样的道理。 大多数供应商只支持一种协议,因此他们理所当然就会推荐他们支持的这一种协议。 而在 Marvell,我们的独特之处在于,借助我们的通用 RDMA 技术,客户能够在同一个适配器上同时使用 RoCE 和 iWARP。 这使得我们提出的建议更具可信度,这也意味着我们有效地做到了不对协议有任何偏见。 从客户的立场来说这一点非常重要,这意味着我们专注于寻找非常适合于客户应用标准的协议。
那么您究竟应该在什么样的场景下使用哪种 RDMA? 这么说吧,如果延迟是您的首要标准,而可扩展性可以抛诸脑后,那么您应当选择 RoCE。 您可以将 RoCE 部署成现代化磁盘阵列中的后端网络,介于控制器节点和 NVMe 驱动器之间。 您也可以将 RoCE 部署在机架中或仅占有一台或两台架顶式交换机和子网的机架中。 相对地,如果延迟只是关键要求之一,而易于使用和可扩展性也具有高优先级,那么 iWARP 就是杰出候选方案。 该协议能够运行在现有的网络基础设施中,并且能够轻松在机架间扩展规模,甚至能够在数据中心间远距离部署。 iWARP 的典型用例就是部署了 Microsoft Storage Spaces Direct 的网络连接方案。
好消息是对于企业客户而言,有多款 HPE 出品的 Marvell® FastLinQ® 以太网适配器支持通用 RDMA,因此企业客户能够自由选择非常适合他们的低延迟 RDMA 方案。 以下是目前同时支持 RoCE 和 iWARP RDMA 的 HPE 以太网适配器清单。 借助 HPE ProLiant、Apollo、HPE Synergy 和 HPE Cloudline 服务器中启用了 RDMA 的适配器,Marvell 打造出了一系列 10Gb 或 25GbE 数据中心连接解决方案产品组合。 除了支持低延迟 RDMA 外,以上适配器还支持 NVMe。 这意味着以上适配器能够适应于运行 RoCE 或 iWARP 的以太网光纤中的 NVMe,同时也支持基于 TCP 的 NVMe(即没有 RDMA)。 这为当今的数据中心在面对未来的工作负荷时提供了充分的选择。
如欲了解以上及更多基于 HPE 的 Marvell I/O 技术的详细信息,请前往 www.marvell.com/hpe。
If you’d like to talk with one of our I/O experts in the field, you’ll find contact info here.