怎样用Tensorflow工具检测举办像素级分类

　　【资讯】最近，Tensorflow添加了一些新的成果，此刻我们可以扩展API来确定感乐趣的工具的像素和像素位置。请拜见下面的例子:

　　代码的部门就不在这里赘述，详情可以拜见(https://github.com/priya-dwivedi/Deep-Learning/blob/master/Mask_RCNN/Mask_RCNN_Videos.ipynb)

　　实例支解

　　实例支解是工具检测的一个扩展，个中一个二进制掩码(即工具和配景)与每个界线框关联。这应承对框内工具的范畴举办更细粒度的信息。

　　那么我们什么时辰会必要这种特另外粒度呢?我想到的一些例子是:

　　1.自动驾驶汽车——它的行使必要知道其他的车辆的在行驶进程中、停靠在路边时等等简直切的位置，可能是一小我私人过马路的所在、行驶的路径等。

　　2.呆板人体系——假如呆板人知道两个部件的精确位置，它们的举动就会示意的更好。

　　有几种算法实现了实例支解，但Tensorflow工具检测API所行使的算法是掩码RCNN。

　　Mask RCNN

　　让我们先从较量简朴的处所提及。　　

▲Mask RCNN 架构　　

　　Faster RCNN是一个很是好的算法，用于工具检测。Faster RCNN由两个阶段构成。第一阶段，称为地区提案收集(RPN)，提出候选工具界线框。第二阶段，在本质上是Faster RCNN，从每个候选框中提取出行使RoIPool的特征，并举办分类和界线框的回归。两个阶段行使的特征可以共享，以得到更快的推理。

　　Mask R-CNN在观念上很简朴:Faster RCNN对每个候选工具有两个输出，一个类标签和一个界线框偏移。为此，我们添加了输出工具掩码的第三个分支——这是一个二进制掩码，暗示工具在界线框中的像素。可是特另外掩码输出与类和框输出差异，必要提取更风雅的物体空间机关。为此，RCNN行使了下面描写的全卷积收集掩码RCNN文件(FCN)。

▲全卷积收集系统布局

　　　　FCN是一种常用的语义支解算法。这个模子行使了差异的卷积和最大池化层，起首将图像解压到原始巨细的1/32。然后在这个粒度级别长举办种别猜测。最后，它行使了采样和反褶积来调解图像的巨细。

　　因此，简而言之，我们可以说，Mask RCNN团结了两个收集——Faster RCNN和一个大型架构中的FCN。该模子的丧失函数是在举办分类、天生界线框和天生掩码时的总丧失。

　　Mask RCNN有一些特另外改造，使得它比FCN越发准确。你可以在他们的论文中相识更多。

　　实现

　　测试图像

　　要在图像上测试这个模子，你可以操作在Tensorflow网站上共享的代码。我测试了他们最轻量级的模子mask_rcnn_inception_v2_coco。只需下载模子并进级到tensorflow 1.5(这很重要!)请参阅下面的示例功效:

▲在鹞子图像上的Mask RCNN

　　测试视频

　　对我来说，更风趣的操练是在You tube上运行这个模子。我用keepvid从你的tube上下载了一些视频。并且我喜好看图书馆的影戏，由于它可以哄骗视频文件。

　　首要步调是:

　　·行使VideoFileClip函数从视频中提取每个帧。

　　·fl_image函数是一个很是棒的函数，它可以吸取图像并将其替代为修改后的图像。用它来对从视频中提取的每个图像举办工具检测。

　　·最后将全部修改后的剪辑图像归并到一个新的视频中。

　　下一个步调

　　关于这个API的进一步试探，尚有一些其他的设法:

　　·实行更准确但高负荷的模子，看看他们有多大的差异。

　　·行使API在自界说数据集上实习掩码RCNN。接下来筹备要做的工作。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!