谈谈关于NVMe和NVMe-oF的那些事

NVMe传输是一种抽象协议层，旨在提供靠得住的NVMe呼吁和数据传输。为了支持数据中心的收集存储，通过NVMe over Fabric实现NVMe尺度在PCIe总线上的扩展，以此来挑衅SCSI在SAN中的统治职位。NVMe over Fabric支持把NVMe映射到多个Fabrics传输选项，首要包罗FC、InfiniBand、RoCE v2、iWARP和TCP。

然而，在这些Fabrics选项协议中，我们经常以为InfiniBand、RoCE v2(可路由的RoCE)、iWARP是抱负的Fabric，其缘故起因在于它们支持RDMA。

• InfiniBand(IB)：从一开始就支持RDMA的新一代收集协议。因为这是一种新的收集技能，因此必要支持该技能的网卡和互换机。
• RDMA融合以太网(RoCE)：一种应承通过以太网举办RDMA的收集协议。其较低的收集头是以太网头，，其上收集头(包罗数据)是InfiniBand头。这应承在尺度以太网基本架构(互换机)上行使RDMA。只有NIC应该黑白凡的，并支持RoCE。
• 互联网广域RDMA协议(iWARP)：应承通过TCP执行RDMA的收集协议。在IB和RoCE中存在成果，iWARP不支持这些成果。这应承在尺度以太网基本架构(互换机)上行使RDMA。只有NIC应该黑白凡的，并支持iWARP(假如行使CPU卸载)，不然全部iWARP仓库都可以在SW中实现，而且丢失了大部门的RDMA机能上风。

那么为什么支持RDMA在选择NVMe over Fabric时就具有天赋上风？这要从RDMA的成果和上风提及。

RDMA是一种新的内存会见技能，RDMA让计较机可以直接存取其他计较机的内存，而不必要颠末处理赏罚器耗时的处理赏罚。RDMA将数据从一个体系快速移动到长途体系存储器中，而差池操纵体系造成任何影响。RDMA技能的道理及其与TCP/IP架构的对好比下图所示。

因此，RDMA可以简朴领略为操作相干的硬件和收集技能，处事器1的网卡可以直接读写处事器2的内存，最终到达高带宽、低耽误和低资源操作率的结果。如下图所示，应用措施不必要参加数据传输进程，只必要指定内存读写地点，开启传输并守候传输完成即可。RDMA的首要上风总结如下：

1) Zero-Copy：数据不必要在收集协议栈的各个层之间往返拷贝，这收缩了数据流路径。

2) Kernel-Bypass：应用直接操纵装备接口，不再颠末体系挪用切换到内核态，没有内核切换开销。

3) None-CPU：数据传输无须CPU参加，完全由网卡搞定，无需再做发包收包间断处理赏罚，不淹灭CPU资源。

这么多上风总结起来就是进步处理赏罚服从，减低时延。那假如其他收集Fabric可以通过相同RDMA的技能满意NVMe over Fabric的服从和时延等要求，是否也可以作为NVMe overFabric的Fabric呢？下面再看看NVMe-oF和NVMe的区别。

NVMe-oF和NVMe之间的首要区别是传输呼吁的机制。NVMe通过外围组件互连Express(PCIe)接口协议将哀求和相应映射到主机中的共享内存。NVMe-oF行使基于动静的模子通过收集在主机和方针存储装备之间发送哀求和相应。

NVMe-oF更换PCIe来扩展NVMe主机和NVMe存储子体系举办通讯的间隔。与行使当田主机的PCIe 总线的NVMe存储装备的耽误对比，NVMe-oF的最初计划方针是在通过吻合的收集布局毗连的NVMe主机和NVMe存储方针之间添加不高出10 微秒的耽误。

另外，在技能细节和事变机制上两者有很大差异，NVMe-oF是在NVMe(NVMe over PCIe)的基本上扩展和完美起来的，详细差别点如下：

• 定名机制在兼容NVMe over PCIe的基本上做了扩展，譬喻：引入了SUBNQN等。
• 术语上的变革，行使Capsule、Response Capsule来暗示传输的报文
• 扩展了Scatter Gather Lists (SGLs)支持In Capsule Data传输。此前NVMe over PCIe中的SGL不支持In Capsule Data传输。
• 增进了Discovery和Connect机制，用于发明和毗连拓扑布局中的NVM Subsystem
• 在Connection机制中增进了建设Queue的机制，删除了NVMe over PCIe中的建设和删除Queue的呼吁。
• 在NVMe-oF中不存在PCIe架构下的间断机制。
• NVMe-oF不支持CQ的流控，以是每个行列的OutStanding Capsule数目不能大于对应CQ的Entry的数目，从而停止CQ被OverRun
• NVMe-oF仅支持SGL，NVMe over PCIe 支持SGL/PRP

先谈谈博科一向推许的FC Fabric，FC-NVMe将NVMe呼吁集简化为根基的FCP指令。因为光纤通道专为存储流量而计划，因此体系中内置了诸如发明，打点和装备端到端验证等成果。

光纤通道是面向NVMe overFabrics(NVMe-oF)的Fabric传输选项，由NVMExpress Inc.(一家拥有100多家成员技能公司的非营利组织)开拓的类型。其他NVMe传输选项包罗以太网和InfiniBand上的长途直接内存会见(RDMA)。NVM Express Inc.于2016年6月5日宣布了1.0版NVMe-oF。

国际信息技能尺度委员会(INCITS)的T11委员会界说了一种帧名目和映射协议，将NVMe-oF应用到光纤通道。T11委员会于2017年8月完成了FC-NVMe尺度的第一版，并将其提交给INCITS出书。

FC协议(FCP)应承上层传输协议，如NVMe，小型计较机体系接口(SCSI)和IBM专有光纤毗连(FICON)的映射，以实现主机和外围方针存储装备或体系之间的数据和呼吁传输。

在大局限基于块闪存的存储情形最有也许回收NVMeover FC。FC-NVMe光纤通道提供NVMe-oF布局、可猜测性和靠得住性特征等与给SCSI提供的沟通，其它，NVMe-oF流量和传统的基于SCSI的流量可以在统一FC布局上同时运行。

基于FC尺度的NVMe界说了FC-NVMe协议层。NVMe over Fabrics类型界说了NVMe-oF协议层。NVMe类型界说了NVMe主机软件和NVM子体系协议层。

要求必需支持基于光纤通道的NVMe才气施展隐藏上风的基本架构组件，包罗存储操纵体系(OS)和收集适配器卡。FC存储体系供给商必需让其产物切合FC-NVMe的要求。今朝支持FC-NVMe的主机总线适配器(HBA)的供给商包罗Broadcom和Cavium。Broadcom和思科是首要的FC互换机供给商，今朝博科的Gen 6代FC互换机已经支持NVMe-oF协议。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!