在数据收罗器顶用TensorFlow举办实机缘器进修

最新DataOps平台的真正代价，只有在营业用户和应用措施可以或许从各类数据源来会见原始数据和聚合数据，而且实时地发生数据驱动的熟悉时，才气够实现。操作呆板进修（Machine Learning），说明师和数据科学家可以操作汗青数据，以及及时地行使相同TensorFlow(TF)这样的技能，以做出更好的数据驱动营业的线下决定。

在本文中，你将进修怎样操作TensorFlow模子在StreamSets Data Collector3.5.0和StreamSets Data Collector Edge中最新宣布的TensorFlow Evaluator*举办猜测和分类。

在深入接头细节之前，我们来看一些根基观念。

呆板进修（Machine Learning）

亚瑟·塞缪尔把它描写为：“不必要明晰地编写措施而使计较机有手段进修的研究规模。”跟着呆板进修规模的最新成长，计较机此刻有手段做出猜测，乃至比人类做的还要好，而且感受可以办理任何题目。让我们先回首一下呆板进修都办理了什么样的题目吧。

凡是来说，呆板进修被分为两大类：

监视进修（Supervised Learning）

“监视进修是进修一个函数的呆板进修使命，该函数基于输入-输出的实例，将输入映射到输出。”—维基百科（Wikipedia）。

它涉及到构建一个精准的模子，当汗青数据被标志为一些功效的时辰，模子就可以猜测出功效了。

用监视进修办理的常见营业题目：

• 二元分类（进修猜测一个分类值）
• - 顾主会购置一个特定产物吗？
• - 癌症是恶性的照旧良性的？
• 多级分类（进修猜测一个分类值)
• - 给定的一段文本是否带有病毒、恫吓或淫秽内容？
• - 这是山鸢尾、蓝旗鸢尾照旧北美鸢尾的物种？
• 回归（进修猜测一个持续值)
• - 一个代售屋子的猜测价值是几多？
• - 来日诰日旧金山的气温是几多？

无监视进修

无监视进修应承我们在知道很少，或是完全不知道输出应该是什么样子的环境下处理赏罚题目。它涉及在之前数据上的标签是不行用的环境下建设模子。在这类的题目中，通过对基于数据中变量之间的相关举办数据聚类来导出布局。

无监视进修的两种常见要领是K-均值聚类（K-means clustering）和DBSCAN。

留意：Data Collector和Data Collector Edge中的TensorFlow Evaluator今朝仅支持监视进修模子。

神经收集与深度进修

神经收集是呆板进修算法的一种，可以进修和行使受人脑布局开导而来的计较模子。与其余呆板进修算法，如决定树、逻辑回归等对比，神经收集具有较高的精确性。

Andrew Ng在传统人工神经收集的配景下对深度进修举办了描写。在题为“深度进修、自我进修与无监视特性进修”的演讲中，他把深度进修的头脑描写为：

“操作了大脑布局的仿照, 但愿：

- 让进修算法更好地、更轻易地行使；

- 在呆板进修和人工智能规模取得革命性的盼望；

我信托这是我们朝着真正的人工智能提高的最好步伐。”

常见的神经收集和深度进修应用包罗：

• 计较机视觉/图像辨认/方针检测
• 说话辨认/天然说话处理赏罚（NLP）
• 保举体系（产物、婚介等）
• 非常检测（收集安详等）

TensorFlow

TensorFlow是为深度神经收集计划的开源呆板进修框架，由Google Brain Team开拓的。TensorFlow支持在Windows和Mac操纵体系上的可伸缩和便携式的实习，包罗CPU、GPU和TPU。迄今为止，它是GitHub上最风行的和最活泼的呆板进修项目。

Data Collector中的TensorFlow

跟着TensorFlow Evaluator的引入，你此刻可以或许建设管道（pipelines），以获取数据或特性，并在一个可控的情形中天生猜测功效或分类，而不必提倡对作为Web处事而提供和发布的呆板进修模子的HTTP或REST API的挪用。譬喻，Data Collector管道此刻可以及时地检测诓骗买卖营业或在文本上执行天然说话处理赏罚，由于数据在被存储到最终目标地之前，为了进一步的处理赏罚或做决定，正在颠末各个阶段。

其它，行使Data Collector Edge，你可以在Raspberry Pi和其余运行在所支持的平台上的装备上运行已经启用了的TensorFlow呆板进修管道。譬喻，在高风险地域检测大水等天然灾难产生的概率，以防备对人们工业的粉碎。

乳腺癌分类

让我们思量将乳腺癌肿瘤分类成恶性照旧良性的例子。乳腺癌是一个经典的数据集，可以作为scikit-learn的一部门。要相识如安在Python中行使该数据集实习和导出一个简朴的TensorFlow模子，请查察我在GitHub上的代码。正如你将要看到的那样，模子建设和实习被保持在最小范畴，而且很是简朴，只有几个潜匿层。最必要留意的重要方面是怎样行使TensorFlow SavedModelBuilder*来导出和生涯模子。

*留意：要在Data Collector或Data Collector Edge中行使TensorFlow模子，起首应该在你选择支持的开拓说话里，如Python，和交互式情形中，如Jupiter Notebook，行使TensorFlow的SavedModelBuilder导出和生涯模子。

一旦行使TensorFlow的SavedModelBuilder实习并导出了模子，那么在数据流管道中行使它举办猜测或分类就很是简朴了 — 只要模子生涯在Data Collector或Data Collector Edge可会见的位置上即可。

管道概述

在深入相识细节之前，可以看下管道是什么样的：

管道细节

• 目次源:
• - 这将从.csv文件中加载乳腺癌的记录数据（留意：这个输入数据源可以很是简朴地替代为其余的来历，包罗Kafka、AWS S3、MySQL等等）；
• 字段转换器:
• - 这个处理赏罚器将转换供模子所行使的全部输入的乳腺癌记录特性数据，从String范例转换到Float范例

(mean_radius,mean_texture,mean_perimeter,mean_area,mean_smoothness,mean_compactness,mean_concavity,mean_concave_points,mean_symmetry,mean_fractal_dimension,radius_error,texture_error,perimeter_error,area_error,smoothness_error,compactness_error,concavity_error,concave_points_error,symmetry_error,fractal_dimension_error,worst_radius,worst_texture,worst_perimeter,worst_area,worst_smoothness,worst_compactness,worst_concavity,worst_concave_points,worst_symmetry,worst_fractal_dimension) ； 

• TensorFlow Evaluator*:
• - 模子的生涯路径：指定要行使的预实习的TensorFlow模子的位置；
• - 模子标签：配置为“serve”，由于元图（在我们导出的模子中）要用于处事中。有关具体信息，请拜见tag_constants.py和相干的TensorFlow API documentation；
• - 输入设置：指定在实习和导出模子时代设置的输入张量信息（请见Train model and save/export it using TensorFlow SavedModelBuilder部门）；
• - 输出设置：指定在实习和导出模子时代设置的输出张量信息（请见Train model and save/export it using TensorFlow SavedModelBuilder部门)；
• - 输出字段：我们想生涯分类值的输出记录字段；
• Expression Evaluator:
• -该处理赏罚器评估模子输出或分类值为0或1(存储在输出的字段TF_Model_Classification之中) ，并用Benign或Malignantrespectively这两个值建设一个新的记录字段“Condition”；
• Stream Selector:
• - 该处理赏罚器评估癌症状况（良性或恶性）并发送记录到各自的Kafka出产者；
• Kafka Producers:
• - 输入记录以及模子的输出可能分类值被有前提地发送给两个Kafka出产者以得到进一步地处理赏罚和说明；

*TensorFlow Evaluator设置

留意：一旦TensorFlow Evaluator发生了模子输出功效，本实例中回收的管道阶段是可选的，而且可以按照用例的必要与其余处理赏罚器和方针举办交流。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!