边沿深度进修装备基准评测：英伟达Jetson Nano胜出

边沿计较对势头正盛的物联网的成长至关重要。克日，呆板进修和数据科学咨询公司 Tryolabs 宣布了一篇基准评测陈诉，测试较量了英伟达 Jetson Nano、谷歌 Coral 开拓板（内置 Edge TPU）、英特尔神经计较棒这三款针对呆板进修计划的边沿计较装备以及与差异的呆板进修模子的组合。功效表白，无论是在推理时刻照旧精确度方面，英伟达的 Jetson Nano 都是当之无愧的赢家。其它他们也给出了在树莓派 3B 与英伟达 2080ti GPU 上的功效以供参考。

为什么必要边沿计较？

人类发生和网络的数据高出了以往任何时辰。我们口袋中的装备就能发生巨量数据，好比照片、GPS 坐标、音频以及我们故意有时走漏的各类小我私人书息。

另外，我们不只会发生与小我私人相干的数据，也会从许多其余处所网络未知的数据，好比交通和出行节制体系、视频监控单位、卫星、智能汽车以及其余不胜列举的智能装备。

数据增添的趋势已然形成，并还将继承呈指数级成长。在数据点方面，国际数据咨询公司（IDC）估量天下数据总量将从 2019 年的 33 ZB 增添至 2025 的 175 ZB，年增添率 61%。

尽量我们一向在处理赏罚数据，起先是在数据中心，然后是在云中，但这些办理方案不合用于数据量很大的高要求的使命。收集的机能和速率不绝推进新的极限，随之而来的是对新型办理方案的需求。此刻正是边沿计较和边沿装备期间的出发点。

本陈诉是对五种新型边沿装备的基准评测。我们行使了差异的框架和模子来测试哪些组合示意最佳。我们将重点存眷边沿呆板进修的机能功效。

什么是边沿计较？

边沿计较包括把数据处理赏罚使命放至收集边沿的装备上，使其尽也许地接近数据源。这种计较方法能以很是高的速率实现及时的数据处理赏罚，对许多具备呆板进修手段的伟大物联网方案而言是必备手段。在此基本上，边沿计较可以或许缓解收集压力、低落能耗、晋升安详性以及改进数据隐私。

行使这种新范式，针对边沿呆板进修而优化的专用硬件和软件库组合到一路，能培育最前沿的应用和产物，进而实现大局限陈设。

构建这类应用面对的最浩劫题源自音频、视频和图像处理赏罚使命。究竟表白，深度进修技能在降服这些坚苦方面做得很是乐成。

实现边沿深度进修

以自动驾驶汽车为例。自动驾驶汽车必要快速且一连不绝地说明传入的数据，以便能在数毫秒内理会周围的天下并采纳动作。这种时刻限定使得我们不能依赖云来处理赏罚数据流，而是必需在当地完成处理赏罚。

但在当地处理赏罚有个弱点：硬件没有云中的超等计较机那么强盛，而我们又不能在精确度和速率上妥协。

办理这个题目的方案要么行使更强更高效的硬件，要么就不要行使那么伟大的 深度神经收集 。为了获得最佳功效，必需在两者之间找到均衡。

因此，真正要解答的题目是：

为了最大化深度进修算法的精确度和速率，我们应该组合行使哪款边沿硬件和哪种范例的收集？

在我们探求两者的最佳组合的路程中，我们将较量多种当前最佳的边沿装备与差异的 深度神经收集 模子的组合。

新型边沿装备基准测试

我们切磋的是最具创新性的用例。这里我们将通过一次一张的图像分类使命来丈量及时的推理吞吐量，从而获得近似的每秒处理赏罚帧数。

我们的详细做法是在 ImagenetV2 数据集的一个特定子集上评估在全部种别上的 top-1 推理精确度，并将功效与某些 卷积神经收集 模子举办较量。我们还只管尝试了差异的框架和优化过的版本。

硬件加快器

尽量已往几年人们在晋升现有边沿硬件方面做了许多事变，但我们选择拿下面这几种新型装备做尝试：

• 英伟达 Jetson Nano

• 谷歌 Coral 开拓板

• 英特尔神经计较棒

• 树莓派（参考上限）

• 英伟达 2080ti GPU（参考下限）

尝试将包括树莓派和英伟达 2080ti，以便将所测试硬件与广为人知的体系举办比拟，个中树莓派是边沿装备，英伟达 2080ti GPU 常用在云中。

这个下限很简朴，我们 Tryolabs 会计划和实习我们本身的深度进修模子。因此，我们有许多算力可用。以是我们虽然也就用了。为了确定推理时刻的下限，我们在一台英伟达 2080ti GPU 上运行了测试。可是，因为我们仅将其用作参考，以是我们只行使了未经优化的根基模子运行测试。

至于上限，我们选择了卫冕冠军：最风行的单板计较机：树莓派 3B。

神经收集模子

我们这次基准评测首要包括了两种收集：更迂腐一点的众所周知的 Resnet-50 和谷歌本年推出的全新的 EfficientNet 。

对付全部基准，我们都行使了果真可用的预实习模子，而且行使了差异的框架运行它们。对付英伟达 Jetson，我们实行了 TensorRT 优化；对付树莓派，我们行使了TensorFlow和 PyTorch 变体；对付 Coral 装备，我们实现了 S、M 和 L 型 EfficientNet 模子的 Edge TPU 引擎版本；至于英特尔神经计较棒，我们行使的是用 OpenVINO 器材包编译的 Resnet-50。

数据集

因为全部模子都是在 ImageNet 数据集上实习的，以是我们行使了 ImageNet V2 MatchedFrequency。个中包括 10000 张图像，分为 1000 类。

我们在每张图像上运行一次推理，生涯推理时刻，然后求均匀。我们计较了全部测试的 top-1 精确度以及特定模子的 top-5 精确度。

top-1 精确度：这是通例的精确度，即模子的谜底（概率最高的谜底）必需等同于确切的祈望谜底。

top-5 精确度：即模子的概率最高的前五个谜底中恣意一个与祈望谜底匹配。

要记着，在较量功效时，对付更快速的装备-模子组合，我们运行的测试席卷整个数据集，而对付速率更慢的组合我们仅行使了部门数据集。

功效与说明

下图展示了尝试得到的指标。因为差异模子和装备在推理时刻上有较大的差别，以是均匀推理时刻以对数情势展示。

推理时刻第一名： Jetson Nano

在推理时刻方面，组合行使 ResNet-50、TensorRT 和 PyTorch 的 Jetson Nano 得胜。该组实用 2.67 毫秒处理赏罚一张图像，即每秒处理赏罚 375 帧。

这个功效很让人惊奇，由于其高出英伟达发布的推理速率十倍之多。功效差此外缘故起因很也许是英伟达行使的是TensorFlow，而非 PyTorch。

推理时刻第二名： Coral 开拓板

排在第二的是与 EfficientNet-S 同伴的 Coral 开拓板。其 5.42 秒完成一张图像处理赏罚，即每秒处理赏罚 185 帧。

这个功效与谷歌发布的速率差不多，即 5.5 毫秒完成一张，每秒处理赏罚 182 帧。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!