Historian ETL器材—让文件传输更简朴高效
|
GE数字团系一切架构师 余思源 Historian 8.1已经在本年五月正式宣布，该版本的一个重要更新就是新宣布的ETL器材。
ETL是Extract, Transform, Load的缩写，中文翻译是：提取-传输-加载，现实上ETL是一套面向文件的高机能数据传输办理器材。
成果简介 众所周知，Historian已经提供了Server to Server (S2S)收罗器，用于在两台Historian处事器之间转达数据。S2S收罗器可以高效及时地转达数据，同时还支持当地缓存成果，在收集间断时可保障数据不丢失。
可是S2S收罗器也有范围性，若两台Historian处事器之间无收集毗连（两台处事器位于差异的都市，可能一台在节制网而另一台在办公网），可能收集毗连的本钱太高（一台处事器陈设在汽船上而另一台在陆上的数据中心）时，S2S收罗器则不太合用了。
Historian ETL正是为了应对这些场景而生，它包括一整套面向文件的数据提取，传输和加载器材。
起首，ETL设置哪些标签必要发送，它们在现场和方针Historian上的名称（可以不沟通）,是否启用收罗器压缩，死区范畴，超时时刻等信息；然后将现场Historian处事器上选中的数据提取并生涯为文本文件，多少文本文件归并压缩再后发送到一台BITS或FTP文件处事器上；方针Historian处事器上开启响应处事来监控文件处事器，一旦发明白新的压缩文件，则将其内容理会后导入方针Historian中。 ETL传输方法相同于“数据二极管”的模式，数据是单偏向的传输，现场Historian处事器不知道也无需知道方针Historian处事器是否收到数据，从而停止了统统通过状态反馈信息来摸索乃至粉碎现场Historian处事器。另外，压缩文件可以暂存在方针处事器上，这也低落了对现场Historian处事器的磁盘和机能的要求。
前期筹备 在前期筹备时，用户必要建设一个XML文件，指定现场Proficy Historian或PI Server中哪些标签及其属性必要提取，该文件名目如下：
为了利便用户维护该XML文件，体系提供一个Excel模板，用户可利便地在Excel中清算必要提取的标签列表，然后输出到XML文件中。
提取 提取组件可以将数据从三种数据源中导出，它们是Historian时序数据，Historian A&E数据和OSI PI数据。 对付Historian时序数据，还可以提取警报和变乱数据，执行数据缩放和绝对值死区压缩。 将导出的文本文件举办压缩，以实现高效传输。 用户必要通过Historian ETL Extract Configuration器材对提取组件举办设置，其界面如下：
设置完成后，点击设置器材中的“Start Service” 按钮即可开始提取事变。
以Historian时序数据为例，提取组件的事变流程如下： 将与标签相干的数据提取到文本文件中，该文件以以下名目定名：YYYYDDMMHHRR_ <现场historian计较机名称> .txt。这些文件存储在以下文件夹中： 提取了指定命量的文本文件（默以为6个）后，将这些文本文件打包压缩为.zip文件，该文件以以下名目定名：YYYYDDMMHHRR_ <现场historian计较机名称> .zip。这些文件存储在以下文件夹中： 文件被压缩后，删除
传输 在方针Historian处事器上安装文件共享传输协议（譬喻FTP，BITS等），将数据从现场Historian处事器传输到方针Historian处事器。 若选择行使BITS，必要在Windows Features中安装BITS相干处事，如下图所示。
BITS站点设置完成后，用户可执行 OSM_LBW_Transfer.cmd措施来启动文件传输，相干设置信息请拜见OSM_LBW_Transfer.vbs文件。
若选择行使FTP，必要在Windows Server Roles中安装FTP相干处事，如下图所示。
FTP站点设置完成后，用户可执行
加载 加载是提取的逆向操纵，它认真监督文件目次，解压缩文件并处理赏罚它们，将数据加载到Proficy Historian中。 用户必要通过Historian ETL Load Configuration器材对加载组件举办设置，其界面如下：
设置完成后，点击设置器材中的“Start Service” 按钮即可开始加载事变。
加载组件的事变流程如下： 提取 将数据导入到方针Historian处事器。 删除 删除
总结 ETL器材是Server to Server收罗器的有用增补，它可觉得浩瀚的应用场景提供处事，如下文所示： 通过无线电或低带宽蜂窝毗连举办数据传输 没有毗连的数据传输（行使移动前言举办读写） 用于按期连策应用措施的数据传输（譬喻，船舶可以在达到口岸时传输数据） 通过单向安详毗连（譬喻数据二极管）举办数据传输 从OSI PI Server到Proficy Historian的数据迁徙 提取Historian数据以导入到其余应用措施中 从其余应用措施导入数据到Historian中 ETL包括数据提取，传输和加载三个组件，它们可以单独行使，也可以组合成一套完备的面向文件的数据传输办理方案。
假如各人对ETL器材和新宣布的Historian 8.1感乐趣，接待随时与GE Digital接洽。
（编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
