基于大数据的舆情分析系统架构（架构篇）

这套架构在存储层面，所有基于 Tablestore，一个数据库办理差异存储需求，按照之前舆情体系的先容，网页爬虫数据在辖档枉动中会有四个阶段别离是原始网页内容，网页布局化数据，说明法则元数据和舆情功效，舆情功效索引。我们操作 Tablestore 宽行和 schema free 的特征，归并原始网页和网页布局化数据成一张网页数据。网页数据表和计较体系通过 Tablestore 新成果通道处事举办对接。通道处事基于数据库日记，数据的组织布局凭证数据的写入次序举办存储，正是这一特征，赋能数据库具备了行列流式斲丧手段。使得存储引擎既可以具备数据库的随机遇见，也可以具备行列的凭证写入次序会见，这也就满意我们上面提到整合 Lambda 和 kappa 架构的需求。说明法则元数据表由说明法则，情绪词库组层，对应及时计较中的维表。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!