为什么85%的大数据项目总是失败？

企业在奉行大数据项目时每每把项目局限和范畴做得很大，可是究竟却是，许多大数据项目凡是城市失败。2016年，Gartner估算约60%的大数据项目城市失败。一年后，Gartner说明师Nick Heudecker暗示，这个数据“过于守旧”，大数据项目失败率应靠近85%。直至此刻他也是这样以为的。

并不但有Gartner这样以为。前微软高管Bob Muglia汇报说明网站Datanami，“我找不到完全满足的Hadoop客户。现实上，乐成应用Hadoop的客户数目也许少于20个，乃至也许少于10个。思量到其存在时刻以及行业投入，这个功效很令人震惊。

认识大数据的人都知道，这个题目是真实且严峻的，而不完满是技能题目。究竟上，相对付本质缘故起因，技能是失败的次要缘故起因。以下是大数据项目失败的四个首要缘故起因，以及可以乐成的四种方法。

大数据题目1：整合不佳

Heudecker暗示，大数据失败背后存在着一个重要的技能题目，那就是整合多个来历的孤独数据，以实现企业所需的数据处理赏罚手段。成立与孤独传统体系的毗连并不轻易。他说，整合本钱是软件本钱的五到十倍。个中最大的题目是简朴集成：怎样将多个数据源链接在一路?许多人选择数据湖蹊径，以为这个方法很简朴，但究竟并非云云。

孤独数据是题目的一部门。客户汇报他，当他们将数据从体系提取到像数据湖这样的民众情形中后，却无法弄清晰这些值的寄义。“当你将数据输入数据湖时，怎么知道数字3意味着什么?”Heudecker问道。

普华永道(PwC)高级研究员Alan Morrison暗示:“因为是在孤岛中事变，可能建设的数据湖只是数据沼泽，以是他们能完成的事变只是冰山一角。”“他们不领略数据中的相关，这些相关必要发掘或揣度，以便呆板可以或许充实表明这些数据。其它，他们必要建设一个常识图层，以便呆板可以或许表明下面映射的全部实例数据。不然，数据湖只能是一个数据沼泽，”

大数据题目2：不明晰的方针

大大都人觉得企业在举办大数据项目时会有明晰的方针，但现实并不是这样的。许多公司凡是是先启动项目，然后才去想方针。

数据集成软件公司Talend的产物营销司理Ray Christopher暗示，“你必需当真审阅这个题目。人们以为他们可以将布局化和非布局化数据毗连起来，从而得到所需的信息。然而这必需提前确定方针，你想要什么样的信息?”

企业应用咨询公司的首席说明师Joshua Greenbaum暗示，困扰大数据和数据客栈项目标部门缘故起因是指导尺度凡是是大量数据的蕴蓄，而不是办理营业题目。

Greenbaum说，“假如将大量数据汇总在一路，就会获得数据转储，可以称之为卫生垃圾填埋场。这不是探求办理方案的好要领。我一样平常提议客户先抉择必要优先办理哪些营业题目，然后查察可用数据的质量，并在发明营业题目后办理数据题目。”

为什么大多大数据项目都失败了?对付初学者来说，大数据项目率领者都缺乏远见。Morrison这样以为。大大都企业只思量数值数据或黑盒子NLP和辨认引擎，并举办简朴的文本发掘和其他范例的模式辨认。

大数据题目3：手艺差距

许多时辰，公司以为他们为数据客栈成立的内部手艺将转化为大数据，而究竟并非云云。 对付初学者来说，数据客栈和大数据以完全相反的方法处理赏罚数据：数据客栈在写入时执行模式，这意味着数据在进入数据客栈之前就会被处理赏罚和组织。

在大数据中，蕴蓄数据并应用读取模式，数据在读取时举办处理赏罚。因此，假如数据处理赏罚从一种要领转向另一种要领，手艺和器材应该也是云云。

“手艺永久是一个挑衅。假如我们30年后评论大数据，如故谋面对挑衅。“许多人都依靠Hadoop。但Spark更好一些，由于栈更小也更轻易实习。”

大数据题目4：技能代沟

大数据项目常常从旧的数据竖井中提取数据，并试图将它们与新的数据源(如传感器、收集流量或交际媒体)归并。这并不完满是企业的错，企业在大数据说明呈现之前就网络了这些数据，但无论怎样，这也是一个题目。

Greenbaum以为，企业缺傲幽最大手艺是怎样融合这两个数据源，让他们配合办理伟大题目。数据孤岛也许成为大数据项目标障碍，由于它没有任何尺度。因此，当企业开始筹划时，发明这些体系尚未以任何方法实验，以是这些数据将被一再行使。

Talend的Christopher以为，对付差异的架构必要以差异的方法举办处理赏罚。技能手艺和架构差别是无法将当前器材用于当地数据客栈并将其与大数据项目集成的首要缘故起因。由于这些技能处理赏罚新数据的本钱太高。以是必要Hadoop和Spark等新的说话。

办理方案1：提前筹划

固然是陈词滥调，但合用于大数据项目。乐成的公司肯定是有功效的公司，选择一些小而可实现的新对象举办筹划和实现。

Morrison说：“他们必要起首思量数据，并以呆板可读的方法为企业建模，以便数据处事于该企业。”

办理方案2：配合全力

股东每每被解除在大数据项目之外 。Heudecker说，假如全部股东相助，他们可以降服很多障碍。加上技强职员配合全力，并与营业部分相助以提供可行的功效，这也许有所辅佐。

Heudecker指出，在大数据方面取得乐成的公司大量投资于必须的手艺。他以为这是数据驱动型公司广泛承认的，如金融处事公司、优步、Lyft和Netflix。公司的财产基于拥有靠得住、可操纵的数据。

Christopher以为，应该让大数据项目成为一项团队行为，全部人都辅佐筹谋和网络数据并处理赏罚它，进步数据的完备性。

办理方案3：缩小核心

人们好像有一种心态，即大数据项目必要很是大的举措。但就像你第一次进修任何对象一样，乐成的最好要领是从小到小，然后逐渐扩大。

“他们应该细心界说他们在做什么，”Heudecker说，“应该选择一个题目域并研究办理它，譬喻诓骗检测、细分客户，可能弄清晰千禧一代市场中推出的新产物。”

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!