云数据仓库是什么样子的?
|
当数据客栈可以处理赏罚非布局化数据，而数据湖可以运行说明时，组织怎样抉择行使哪种要领?这取决于其必要回收数据答复新题目的频率。 传统上，数据客栈网络来自组织营业的全部布局化数据，因此组织可以将其集成到单个数据模子中，运行说明并获取贸易智能，无论是用于开拓新产物照旧向客户营销现有处事。这曾经被称为“大数据”，但此刻全部组织都拥有来自电子商务网站、物联网装备和传感器等来历的大量数据，因此当代数据客栈必要处理赏罚布局化、非布局化和流媒体数据，并提供及时数据说明以及贸易智能和陈诉。 越来越多的组织在云中实现这一方针，以实现更高的速率和更低的本钱。微软Azure公司副总裁Julia White指出，越来越多的数据也许已经存在于云中，以及组织想要行使这些数据的处事。White说，“跟着数据越来越多地迁徙到云端，无论是来自SaaS应用措施照旧只迁徙到云端的应用措施;运营数据就在云端，客户在扣问‘为什么我要将运营数据从云端迁回到内部陈设数据中心举办说明?它没故意义。’”他指出，尽量组织内部如故有大量的数据，并且跟着边沿计较的成长，还会有更多的数据，但很多客户照旧会将部门或所稀有据转移到云平台上，这取决于礼貌遵从性题目。 White指出，“每个企业都在研究人工智能。他们很如意识到说明是其基本，他们开始问‘我的说明和我的数据客栈的状态是什么?’，并且每每不足好。” Power BI的遍及也敦促了更多的微软客户举办云计较说明。White说，“当他们有了这些强盛的数据可视化成果后，他们开始质疑本身的说明手段——‘我想知道数据可视化背后产生了什么：我喜好Power BI，我但愿我的说明更风趣。” 更伟大的客户但愿说明他们本身的Office Graph数据(组织可以行使Azure Data Factory将其复制到Azure Data Lake)或操作Microsoft、Adobe和SAP(基于Azure Data构建的)之间的开放数据打算(ODI)数据湖并将最终整合来自更多软件供给商的数据。White说，“Azure Data Lake与Azure数据客栈细密团结，客户正在行使Azure数据客栈获取更多看法，并在其上构建当代数据客栈。” 回收哪种数据处事? 微软公司拥有一系列看起来有点像数据客栈的云计较处事，最明明的是Azure SQL数据客栈或微软常常称之为的“DW”，但也有Azure数据工场、Azure数据湖、Azure数据库、Power BI和Azure呆板进修，以及更多打包揽事，如Dynamics 365中的人工智能贩卖器材。 领略它们的要领不只仅是存眷它们提供的器材，还要存眷它们所处事的用户以及它们怎样协同事变。这是由于企业凡是拥有的数据在多个数据存储平分手，建设当代数据客栈的第一步是整合全部这些孤岛。微软Azure上的这些差异数据存储越多，毗连就越轻易——这也是微软Azure提供云云多差异数据处事的缘故起因之一。White暗示，“另一方面，客户并不是在探求可以做任何工作的单一器材，有一系列渺小不同的选择，假如然的要挑选，并优化本身的场景行使的器材。” Azure DW合用于处理赏罚筹谋数据的数据工程师。这也许是来自SQL Server数据库的数据，但它也也许是来自这些数据工程师行使Databricks或Spark和.NET从Azure HDInsight等源筹备数据的管道构建的数据。 Azure数据工场是数据工程师举办数据ETL(提取、转换、加载)的另一项处事。组织可以将其视为云计较层级ETL器材，组织可以通过拖放界面(现实上是Logic Apps)或行使Python、Java或.NET SDK(假如组织更喜好编写代码来执行)来行使数据转换和打点数据管道的差异步调，通过Databricks或HDInsight、Azure Data Lake或Power BI。 Power BI还可以行使Dataflows(也是免代码)举办数据转换，但这是为营业说明师提供的自助处事成果。数据工程师或全职贸易智能说明师也许会使营业用户行使这些语义模子，而微软公司正在将更多与Azure DW的集成添加到Power BI中。 Power BI用户可以在其可视化和陈诉中添加人工智能。个中一些也许是行使微软公司预先构建的认知处事来举办图像辨认和情绪说明。但他们也也许正在行使数据工程师在Azure呆板进修处事中为他们构建的自界说人工智能模子，并行使全部企业数据。 当代数据客栈搜集了任何局限的数据，通过说明仪表板、运营陈诉或高级说明提供洞察力。 数据湖四面的客栈 这些场景的伟大性就是数据客栈和数据湖之间的边界开始在云中看起来有些紊乱的缘故起因。传统的数据客栈应承企业从多个来历获取数据，并行使ETL转换将该数据放入单个模式和单个数据模子中，该软件旨在答复组织打算一遍又一各处提出的题目。 这些来历不必是布局化的相关数据：SQL Server和Azure DW中的PolyBase和JSON支持意味着组织可以毗连来自非相关存储的数据，如HDFS、Cosmos DB、MySQL、MongoDB以及Oracle、Teradata、PostgreSQL。这意味着数据客栈(乃至SQL Server)看起来更像数据湖。 通过数据湖，组织可以获取多个数据存储，包罗布局化和非布局化数据存储，并以其本机名目或靠近该名目标方法存储它们，因此组织可以拥有多个数据模子和多个数据模式，而且可以或许机动地从统一数据中问出新题目(用于Azure Data Lake查询的SQL变体称为U-SQL，不只仅由于它是T-SQL之后的下一个版本，并且由于组织也许必要一个U-boat进入数据湖，并找出潜匿在暗中深处的对象。) 假如组织有题目必要重复扣问(譬喻贩卖说明或监控仪表板的交付时刻)，组织可以从数据的相干部门建设数据客栈。但假如题目跟着时刻的推移而产生变革，可能组织必要提出新题目，可以返回数据湖，在哪里生涯原始数据，并建设另一个数据客栈来答复这些题目。 这两者的团结是微软公司通过当代数据客栈基本办法的意义。组织可以从差异的处所获取各类数据，在数据湖中行使它来举办及时说明，可能行使呆板进修来发明模式，汇报组织可以从数据中得到哪些看法，并将其与认识的数据相团结数据客栈器材有用地答复这些题目。 微软公司没有为全部这些处事提供单一处事。组织可以行使各类Azure处事执行差异的部门，这意味着组织可以选择所需的部门，但这也意味着组织必要拥稀有据专业常识来构建本身的特定体系。 【凡本网注明来历非中国IDC圈的作品，均转载自其余媒体，目标在于转达更多信息，并不代表本网拥护其概念和对其真实性认真。】 延长阅读：
（编辑：河北网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
