基于大数据的舆情分析系统架构（架构篇）
|
计较体系这里选用阿里云及时流计较产物 Blink，Blink 是一款支持流计较和批计较一体的及时计较产物。而且相同 Tablestore 可以很轻易的做到漫衍式程度扩展，让计较资源跟着营业数据增添弹性扩容。行使 Tablestore + Blink 的上风有以下几点： Tablestore 已经深度和 Blink 举办整合，支持源表，维表和目标表，营业无需为数据活动开拓代码。 整套架构大幅低落组建个数，从开源产物的 6～7 个组建镌汰到 2 个，Tablestore 和 Blink 都是全托管 0 运维的产物，而且都能做到很好的程度弹性，营业峰值扩展无压力，使得大数据架构的运维本钱大幅低落。 营业方只必要存眷数据的处理赏罚部门逻辑，和 Tablestore 的交互逻辑都已经集成在 Blink 中。 开源方案中，假如数据库源但愿对接及时计较，还必要双写一个行列，让流计较引擎斲丧行列中的数据。我们的架构中数据库既作为数据表，又是行列通道可以及时增量数据斲丧。大大简化了架构的开拓和行使本钱。 流批一体，在舆情体系中及时性是至关重要的，以是我们必要一个及时计较引擎，而 Blink 除了及时计较以外，也支持批处理赏罚 Tablestore 的数据， 在营业低峰期，每每也必要批量处理赏罚一些数据并作为反馈功效写回 Tablestore，譬喻情绪说明反馈等。那么一套架构既可以支持流处理赏罚又可以支持批处理赏罚是再好不外。这里我们可以参考之前的一篇文章《及时计较最佳实践：基于表格存储和 Blink 的大数据及时计较》。一套架构带来的上风是，一套说明代码既可以做及时流计较又可以离线批处理赏罚。 整个计较流程会发生及时的舆情计较功效。重大舆情变乱的预警，通过 Tablestore 和函数计较触发器对接来实现。Tablestore 和函数计较做了增量数据的无缝对接，通过功效表写入变乱，可以轻松的通过函数计较触发短信可能邮件关照。完备的舆情说明功效和展示搜刮操作了 Tablestore 的新成果多元索引，彻底办理了开源 Hbase+Solr 多引擎的痛点： 运维伟大，必要有运维 hbase 和 solr 两套体系的手段，同时还必要维护数据同步的链路。 Solr 数据同等性不如 Hbase，在 Hbase 和 Solr 数据语意并不是完全同等，加上 Solr/Elasticsearch 在数据同等性很难做到像数据库那么严酷。在一些极度环境下会呈现数据纷歧致的题目，开源方案也很难做到跨体系的同等性比对。 查询接口必要维护两套 API，必要同时行使 Hbase client 和 Solr client，索引中没有的字段必要主动反查 Hbase，易用性较差。 【凡本网注明来历非中国IDC圈的作品，均转载自其余媒体，目标在于转达更多信息，并不代表本网拥护其概念和对其真实性认真。】 延长阅读：
（编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
