针对静默数据错误，怎样回收DIX和DIF担保数据同等性？

作者：晗狄 来历：微信公家号（架构师技能同盟）

原文链接： https://mp.weixin.qq.com/s/qZ6LcAdYu8k59srycCbWug

静默数据粉碎题目是一向存在 存储体系中最难办理 的数据同等性题目之一，无论是传统多控、漫衍式存储，照旧公有云存储。对存储体系计划和开拓职员来讲，数据同等性题目办理可否办理抉择着存储体系是否可以商用。到这个题目一向没有成为接头的技能核心，直到最近腾讯云变乱一连热化往后，“ 数据同等性 ”题目成成为核心呈此刻公共视野。

• 腾讯云给一家创业公司带来的劫难！

• 腾讯云丢数据复盘: 运维迁徙未开校验惹的祸 。

什么是静默数据粉碎？

常常跟数据打交道的人都应该知道，数据在存储体系传输中，颠末尾多个部件、多种传输通道和伟大的软件处理赏罚进程，个中恣意一个环节产生错误都也许会导致数据错误。可是 这种错误一样平常无法被当即检测出来，而是后续通过应用在会见数据进程中，才发明数据已经堕落 ，这种数据很难在数据产生错误那一刻被搜查出来的错误，我们称为 静默数据粉碎 ，即 Silent Data Corruption 。

静默数据粉碎为什么难检测？

我们知道硬盘最焦点的义务是正确的存入数据、正确的读出数据，在堕落时实时抛出非常告警。包罗硬件错误、固件 BUG 可能软件 BUG、供电题目、介质破坏等 通例的这些题目 都可以或许正常被捕捉抛出告警或非常，但 静默数据粉碎 示意是数据处理赏罚都是正常的，直到你行使的时辰才发明数据是错误的、破坏的。 

静默数据粉碎发生缘故起因

 数据发生静默数据粉碎的缘故起因有许多种，但大抵可以归结为以下几类。

• 硬件错误： 内存、CPU、硬盘、数据传输链路等

• Firmware错误： HBA、硬盘等

• 软件bug： 体系软件、操纵体系、应用措施等

• 其他身分： 如噪声、电磁等缘故起因。

数据同等性尺度和组织 

按照数据处理赏罚的路径，数据同等性修复可以在 应用，中间件，存储层 等来举办修复，今朝有大量的先容应用层修复的文章，请各人搜刮参考。本日笔者讲从传统 存储、收集和中间件 层出发，基于很早分享过一篇文章，谈谈 端到端 的数据同等性办理方案。

在2007年，由 Emulex、Oracle、LSI、希捷创立了 DII   (Data Integrity Initiative)， 由 SNIA成立了DITWG (SNIA Data Integrity Working Group)。他们首要存眷两个技能:

• T10 Protection Information— DIF

• Data Integrity Extensions— DIX

T10尺度是通过对每个数据块插手掩护信息(PI，Protection Information)作为同等性标识，T10曾被称作数据完备性域(DIF，Data Integrity Field)的要领来掩护数据完备性。在 每个逻辑扇区扩充了8字节的掩护信息 用来担保数据同等性 ， 8字节 包罗 2字节 的Logical Block Guard， 2字节 的Logical Block Application Tag和 4字节 的Logical Block Reference Tag 。

T10 PI只包括了从主机HBA卡通过存储阵列到硬盘的数据掩护，这就必要另一种机制来延长数据掩护范畴。

DIX为了延长DIF的掩护范畴。 将数据完备性掩护扩充到了应用层到HBA。DIX行使和T10 PI一样的8字节数据完备性信息作为数据校验字段 。差异的是，DIX中行使了IP Checksum作为Logical Block Guard，低落主机CPU的计较开销。

DIX+DIF可以实现从应用到硬盘的端到端数据掩护。 DIX担保应用、HBA卡的数据完备性，T10 PI(DIF)担保HBA 、阵列和硬盘的数据完备性 。

DIX和DIF数据读写流程

数据完备性特殊添加的8字节校验数据分多少段，， 在存储侧叫DIF，后更名为T10 PI；在主机侧叫DIX 。写数据时，主机 HBA 总线适配器、阵列方针器芯片可能其余组件按照用户数据天生 8字节PI，数据传输进程中会颠末搜查点，校验数据和PI是否匹配，假如发明错误，向上返回错误，假如没有错误，则继承向下传输，最终写入硬盘。

写数据流程： 当数据写到主机内存的时辰，Oracle ASM library会对每512字节数据增进8字节DIX校验，8字节校验会随IO哀求一路，穿过OS，达到HBA卡驱动；HBA卡举办DIX校验搜查后删除DIX校验，并天生8字节PI校验和数据一路发送给阵列，阵列校验数据完备性，并将数据发送到硬盘。

读数据流程： 从硬盘读出数据和T10 PI并校验完备性。若发明错误，则通过RAID重建修复数据， 假如没有错误则继承向上传输。 HBA举办T10 PI校验后删除T10 PI，并天生DIX掩护信息返回主机。DIX掩护信息会随IO哀求一路，穿过OS，返回应用层。ASM Library对数据和DIX掩护信息举办校验。

支持端到端同等性须要前提

要行使数据同等性特征，必要操纵体系、中间件、HBA卡和存储支持响应的尺度类型。 起首阵列必要支持尺度的T10 PI，今朝许多存储装备都支持该尺度。虽然，纵然上层不支持DIX，存储也可支持并回收T10 PI尺度，实现存储侧数据同等性掩护。

今朝支持DIX尺度的上层组件( 数据库、操纵体系和HBA )，其设置要求和兼容性如下(兼容性会不绝更新)。 

• 数据库： Oracle 11g级以上。

• OS： Oracle Linux 5 or 6 running the UEK2-200 kernel。

• HBA： Emulex、Qlogic特定型号的FC HBA卡 

支持DIX的存储厂商

因为DIX和P10在企业Oracle数据库应用较量普及，基于Oracle在数据库规模的普及应用和影响力，今朝 主流的存储厂商都支持该特征类型 ，今朝(不完全统计)具备该类型的产物包罗但不限于如下:

• EMC VNX系列支持自界说T10 PI、VMAX支持尺度的T10 PI和DIX

• HDS HUS系列和HDS VSP支持T10 PI

• IBM DS8000和DS5000某些特定型号支持T10 PI

• HP P10000支持尺度的T10 PI

• 华为 OceanStor 18000和V3/V5全系列支持T10 PI。

文件体系是否要DIF

必要说起一点的是， T10 PI必要磁盘提供520扇区来支持(512用来存放数据，8字节用来存储T10 PI校验数据)，希捷支持这种磁盘 。一样平常环境下，文件体系不必要DIF，缘故起因是文件体系通过元数据打点数据，元数据不绝变革，轻易造成IO的页面数据机关不绝变革，针对文件，数据库和网卡厂商响应支持力度不敷，并未形成相同类型和尺度。