加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 业界 > 正文

华为的迁徙技能助力中信银行ODS数据迁徙

发布时间:2018-05-16 04:48:15 所属栏目:业界 来源:厂商动态
导读:一、中信ODS平台先容 中信银行总行ODS平台首要是对中信银行的焦点营业体系和一部门特色数据的海量数据举办存储、处理赏罚和发掘应用。起首在数据库处事器上对营业数据举办尺度化处理赏罚,并存放在数据库处事器聚集上,举办ETL 数据加工处理赏罚,并作为批量数据分发,

一、中信ODS平台先容

华为的迁徙技能助中信银行ODS数据迁徙

中信银行总行ODS平台首要是对中信银行的焦点营业体系和一部门特色数据的海量数据举办存储、处理赏罚和发掘应用。起首在数据库处事器上对营业数据举办尺度化处理赏罚,并存放在数据库处事器聚集上,举办ETL 数据加工处理赏罚,并作为批量数据分发,对方针体系(如零售银行数据集市)提供数数据。

中信银行各分举动进步数据处理赏罚服从,直接将总行ODS 加工好的基本数据和部门总行同一加工的汇总数据返还给分行,分行操作文件处事器吸取到总行数据后,转载到分行ODS 数据库。颠末ETL 加工后的分行数据或数据集市将为分行信息斲丧者提供如报表、MIS 打点等应用处事,为给分行提供更好的信息处事。

二、中信ODS体系数据迁徙先容

中信ODS平台建树时刻较早,数据库和GPFS文件体系存储装备行使了2台IBM的DS8300和4台V7000,16年都面对维保逾期必要下线,必要将90T阁下数据迁徙到新采购的华为OceanStor 6800 V3存储。

ODS平台数据迁徙特点:

1、情形伟大:

(1)主机范例及操纵体系版本较多、较老、譬喻GPFS体系主机19台别离为AIX(版本5.3,6.1)、LINUX(版本4.7,5.5)。

(2)主机多路径版本涉及multipath、MPIO、SDDPCM等多个版本。

(3)迁徙情形FC互换机的带宽较低4Gb带宽。

2、迁徙挑衅:

(1)迁徙时刻窗口短,涉及主机多:在GPSF文件体系迁徙涉及11台LINUX体系、8台AIX体系,必要同时重启验证更新多路径经受新存储。

(2)迁徙数据量大:ODS数据库体系迁徙数据量40T必要在周六、周日两天迁徙完成,同时预留晚上23点到破晓2点跑批时刻,还要预留回退时刻,总共迁徙实验不到30小时时刻窗口。GPFS文件体系数据量37T也只有在周六、周日2天迁徙窗口。

3、迁徙的实验进程

华为的迁徙技能助中信银行ODS数据迁徙

按尺度化流程实验:

(1)现网情形评估调研

举办现网情形的信息收罗和梳理,中信数据迁徙项目首要包罗近40台的主机信息收罗,4台FC互换机信息网络。同时要梳理互换机的端口筹划信息和组网拓扑。

(2)方案的筹划计划

团结ODS营业特点,分批分期举办数据的迁徙事变,针对差异体系输出针对性的迁徙方案,譬喻:AIX主机+DB2数据库、AIX+LINUX的GPFS文件体系;方案中不只要包括具体实验步调,还要包括完美的回退步调,迁徙进程中回退,迁徙完成运行一段时刻后的回退步调等。方案在华为内部提交ITMO举办专家组评审,并同客户多次组织相干厂商和行内专家评审。

(3)尝试和模仿

ODS 数据库的迁徙回收了LVM传统的文件体系迁徙,方案成熟,首要思量的是迁徙数据量和时刻窗口;GPFS体系迁徙案例较少,给出基于存储和主机侧的2种方案,举办数据量和迁徙时刻评估可行性,并在尝试室搭建测试情形,尝试情形首要完成方案验证,迁徙实验进程中题目的复现,直到迁徙完成尝试情形才气够拆除。

(4)现场交付

组织一线、地域部多名专家现场实验,研发专家后端保障,因为GPFS文件体系的迁徙涉及到19台差异操纵体系及版本的多路径安装及替代,必要同步举办,操纵同时还必要举办复核;现场申请了华为4人和客户3人同时操纵。

(5)全称监控

通过微信群器材,将迁徙盼望和迁徙中题目实时同步到二线及三线专家,迁徙进程中举办指导和碰着题目实时办理,担保迁徙举措的精确性。

(6)值守和验收

迁徙完成后必要在新情形不变运行1个月阁下在拆离原有存储,这时代必要网络机能数据,调查营业运行是否安稳,如呈现新装备机能不满意,必要时可举办回退操纵。确认整个迁徙进程完成营业运行正常后举办验收和文档转达。

三、中信数据迁徙带来的代价

1、通过完美的数据迁徙流程和专家保障,使客户对老旧体系的数据迁徙方案颠末验证越发安心,现场实验进程中碰着题目可以或许快速替换差异专业的专家支持,使客户对华为数据迁徙手段越发承认,越发定心。

2、华为存储的异构假造化迁徙技能获得客户承认,客户以为回收存储异构假造化迁徙,大大镌汰了操纵体系侧的操纵,老旧体系的迁徙对客户本身来说也是难度很大的事变;而且迁徙对营业影响时刻短,同时回退利便,低落了整个数据迁徙的伟大性。

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读