数据中心收集等价多路径ECMP技能

今朝数据中心收集普及应用的Fabric架构中会应用大量的ECMP(Equal-Cost Multipath Routing，简写ECMP),其利益首要表此刻可以进步收集冗余性和靠得住性，同时也进步了收集资源操作率;大量的ECMP链路在特定场景下运行进程中会激发其他题目。譬喻，当某条ECMP链路断开后，ECMP组内全部链路流量城市被从头HASH，在有状态的处事器地区(如LVS)中将导致雪崩征象，又可能会呈现多级ECMP的HASH极化导致链路拥塞等。本文将团结ECMP运行道理针对以上题目举办说明，并切磋怎样优化ECMP的运用。

等价多路径路由

等价多路径路由，即存在多条达到统一个目标地点的相称开销的路径。当装备支持等价路由时，发往该目标IP 可能目标网段的三层转发流量就可以通过差异的路径分管，实现收集链路的负载平衡，并在链路呈现妨碍时，实现快速切换。

ECMP实现流程：

图例1：ECMP流程图

步调一：HASH因子的选择

起首数据报文转发查询路由表，确认存在多个等价路由，再按照当前用户设置的流量平衡算法，提取参加 HASH 计较的要害字段，即HASH因子。ECMP 流量平衡可选择的 HASH 因子如下表：

图表1：流量平衡模式对应HASH因子表

注：因ECMP为三层转发，纵然设置基于源MAC、目标MAC可能源目MAC作为HASH因子，体系也会默认选择源IP作为HASH因子。其它,在选择提取HASH因子为目标IP时ECMP会默认选择源目IP作为HASH因子。

步调二：HASH计较

基于步调一提取的 HASH 因子，按照 HASH 算法举办计较，得出响应的 HASH lb-key(load-balance key)。 ECMP 流量平衡支持的 HASH 算法包罗异或(XOR)、CRC、 CRC+扰码等。

HASH算法有许多种，我们以XOR算法为例做出声名。XOR运算法例为两个输入比特位沟通时为0，差异则为1。HASH因子差异，运算功效也不尽沟通。

1、 HASH因子为IP address source(SIP)：

a) SIP XOR 0 ，得出一个32bit的数值a

b) 将数值a再举办高16bit和低16bit做XOR计较得出16bit数值b

c) 数值b的15~12bit与11~8bit再做XOR计较，得出4bit数值c

d) 数值c替代数值b的11~8bit，得出数值d

e) 数值d截取低位10bit即为lb key

2、 HASH因子为SIP+DIP/DIP：

a) DIP XOR SIP ,得出一个32bit的数值a

b) 剩余运算步调与SIP运算同等

3、 HASH因子为SIP+DIP+SP+DP：

a) SIP XOR DIP获得32bit的数值a

b) 数值a的低16bit XOR SP 获得32bit的数值b

c) 数值b的低 16bit XOR DP 获得 32bit 的数值c

d) 数值c的高16bit XOR 低16bit获得16bit的数值d

e) 数值d的15～12bit XOR 11～8bit，获得4bit的数值e

f) 数值e替代数值d的11～8bit，得出数值f

g) 数值f截取低10bit，即为lb-key

步调三：确认转发下一跳

数据报文颠末路由查表后找到对应ECMP 基值(base-ptr),按照 HASH 因子通过 HASH 算法计较得到 HASH lb-key 后，举办 ECMP 下一跳链路数(Member-count)求余计较，再与ECMP基值举办加法运算得出转发下一跳index，即确定了下一跳转发路由。

计较公式：Next-hop =(lb-key % Member-count)+ base-ptr

上述流程为ECMP通例转发流程，但在特定收集情形下运行进程中就会呈现题目，接下来继承说明数据中心收集中ECMP碰着的2个常见题目。

题目一 单链路妨碍导致ECMP组全部数据流被从头HASH计较

当Leaf互换机发送6条数据流到LVS处事器，Leaf先举办HASH运算负载平衡到每一台LVS处事器上，正常流量转发如图例2所示：

图例2：ECMP转发图

当某台LVS处事器网卡呈现妨碍可能链路呈现妨碍，Leaf互换机遇将ECMP组内数据流将从头HASH计较，再举办负载平衡到剩余有用链路上，进而导致TCP会话断开，产生雪崩征象，譬喻一些付出类营业，统一个用户的一次付出进程会挪用多个营业处事，营业侧要求一次付出的进程都落在统一个处理赏罚处事器上，当呈现单条链路妨碍后不只影响该链路地址LVS承载的用户，同时还影响该ECMP组下其他LVS承载的用户，如图例3所示：

图例3：妨碍后ECMP转发图

优化方案：

为停止单台LVS处事器妨碍可能单链路妨碍导致整个ECMP组内流量所有被从头HASH，ECMP可回收弹性HASH算法来优化。回收弹性HASH算法后，仅将妨碍链路的流量从头HASH到其他活泼链路上，而非妨碍链路上的数据流则无需改变下一跳。实现结果如图例4所示：

图例4：ECMP弹性HASH算法

弹性HASH详细实现道理：

图例5：弹性HASH流程

在互换机上天生一张索引表(RH Flow Set Table)，用于存放相干索引值对应下一跳路由地点。数据报文颠末路由查表后找到对应ECMP 基值，提取HASH因子举办HASH运算，在HASH Key与ECMP数目取余数时无论是否呈现妨碍链路，均以最初数目举办取余运算，因此运算功效同等，非妨碍链路数据依然凭证原有链路转发。如下图中，链路3妨碍后软件CPU将实时更新RH flow table，将失效链路用正常链路匀称替代。

图例6：弹性HASH索引表替代表示图

题目二 HASH极化题目

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!