加入收藏 | 设为首页 | 会员中心 | 我要投稿 河北网 (https://www.hebeiwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

操作Kafka配置靠得住的高机能漫衍式动静转达基本架构

发布时间:2019-09-12 19:09:09 所属栏目:建站 来源:Irena Kezic 和 Anamarija Talija
导读:天下已经迈进移动期间,此刻应用措施必需可以或许及时提供数据,这不只包罗数据库表中存储的重要最终功效,还包罗用户行使应用措施时执行的全部操纵。任何可用信息,譬喻,用户点击量、日记数据或传感器数据都可用于改进用户体验、天生陈诉、向呆板进修体系提
副问题[/!--empirenews.page--]

天下已经迈进"移动"期间,此刻应用措施必需可以或许及时提供数据,这不只包罗数据库表中存储的重要最终功效,还包罗用户行使应用措施时执行的全部操纵。任何可用信息,譬喻,用户点击量、日记数据或传感器数据都可用于改进用户体验、天生陈诉、向呆板进修体系提供数据,等等。现现在,开拓者必需存眷基于及事势件流的体系。

下图展示了基于变乱流处理赏罚的架构示例。

操作Kafka配置靠得住的高机能漫衍式动静转达基本架构

Apache Kafka 已成为构建基于变乱的高度可扩展体系的首选办理方案。Kafka 可为变乱流平台提供快速进级换代的成果,以供开拓者在当代化营业办理方案中行使。然而,开拓者凡是必要将现有 Java EE 营业办理方案(基于 IBM MQ 或 IBM WebSphere Application Platform 之类的技能而构建的)集成到这些新的变乱流架构中。

思量以下示例: 某个网上市肆拥有一个移动应用措施,该应用措施行使 Kafka 向企业 Java 中实验的漫衍式付出体系发送付出哀求数据。该办理方案必需绝对担保一次性完成付出哀求的处理赏罚(停止多次向买家收费)。可是,在漫衍式体系中,妨碍是不行停止的,因此该办理方案必要回收稳妥的方法来处理赏罚妨碍。

行使 Apache Kafka 实验动静转达

Apache Kafka 是一种用于变乱流处理赏罚的漫衍式体系,普及应用于微处事架构和基于云的情形中。它在统一个平台内提供变乱的动静转达、存储和处理赏罚。

下图展示了 Apache Kafka 组件的根基拓扑,个中包罗通过 Kafka 集群基本架构互换动静的出产者和行使者。

操作Kafka配置靠得住的高机能漫衍式动静转达基本架构

纵然 Kafka 具有诸多上风,但 Kafka 仍面对如下题目:

  • 动静处理赏罚失败时必要实验手动赔偿逻辑,这也许导致无法处理赏罚动静
  • 不支持 XA 事宜处理赏罚
  • 确保在行使者应用措施中仅执行一次交付处理赏罚
  • 必要完成特另外开拓和可维护性事变才气将其集成到企业办理方案中

要办理 Kafka 集成题目,您可以应用传统动静转达拓扑观念,譬喻,事宜日记、规复日记和 XA 事宜。 您可以实验基于 Java EE Connector Architecture (JCA) 的资源适配器。操作此 JCA 资源适配器,您可觉得应用措施处事器提供 ACID 成果,以便举办 Kafka 动静处理赏罚。此 JCA 资源适配器随后可提供与企业 Java 应用措施的无缝 Kafka 集成。

实验 JCA 资源适配器

Java EE Connector Architecture 可界说一组可扩展且异常安详的事宜性机制。您可以将 JCA 资源适配器安装到兼容 Java EE 的恣意应用措施处事器中,譬喻,IBM Websphere Application Server、IBM Business Process Manager、JBoss、WebSphere Liberty、Glassfish 或 Weblogic。

Java EE Connector Architecture 类型还提供了一组尺度合约,用于支持企业应用措施与企业信息体系(如 Kafka)之间的通讯。JCA 资源适配器可以插入到应用措施处事器,可通过处理赏罚全部体系级此外机制(事宜、毗连打点、瓦解规复、错误跟踪和日记记录)来支持 Kafka 集成。JCA 资源适配器将对必要与之集成的企业应用措施潜匿全部 Kafka 通讯逻辑。通过实验 JCA 资源适配器,企业应用措施提供商可以齐集精神实验营业和演示逻辑,而无需担忧与 Kafka 集成相干的初级别逻辑。因此,JCA 资源适配器只需开拓一次,即可供各类应用措施复用。

让我们将它与网上市肆付出场景接洽起来,调查下图,它展示了指定的办理方案体系上下文。

操作Kafka配置靠得住的高机能漫衍式动静转达基本架构

移动应用措施向 Kafka发送付出哀求数据, 该Kafka 已通过资源适配器与企业付出应用措施举办了集成。另外,还可以行使此适配器向 Kafka 推送付出关照。此适配器会启动 XA 事宜,该事宜将转达到企业付出应用措施和关照体系。因此,与付出哀求处理赏罚相干的全部使命都将在统一个全局事宜内运行,而且同时完成可能同时失败。除了从中读取数据或向个中写入数据的主题外,该计划还在 Kafka 上配置了重试、死信和事宜日记主题。

此刻,我们来更具体地试探与移动应用措施往来的动静的处理赏罚进程。

传入流

在我们的付出场景中,传入流暗示由网上市肆移动应用措施提倡的通讯,该应用措施会向 Kafka 发送付出哀求数据。资源适配器提供了 Kafka 毗连,并向应用措施处事器上存在的动静端点异步转达动静。可行使 JCA 类型所界说的动静传入流合约来实现这一点。

Kafka JCA 资源适配器会实验激活类型 JavaBean,个中包括一组用于端点激活设置的设置属性。这些设置具体信息将作为应用措施处事器设置的一部门来举办界说。

资源适配器会按期从传入 Kafka 主题轮询一批付出哀求。乐成完成数据轮询后,它会迭代数据批次,并异步向端点实例转达动静。每个动静端点也许存在多个端点实例,因此可以或许并行行使动静并提供高吞吐量。

Kafka 行使者偏移在布置动静送达后当即落实,从而停止了批次受阻的题目。这种计划是可行的,由于该资源适配器通过必要在 Kafka 上配置的重试、死信和事宜日记主题来实验妨碍转移进程。在我们的例子中,端点必要支持 XA 事宜,而且必要在向端点发送数据之前建设事宜上下文,从而提供原子动静行使。

操作Kafka配置靠得住的高机能漫衍式动静转达基本架构

(编辑:河北网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读