PyTorch横扫顶会，TensorFlow退守业界：机器学习框架一年变天

  本文经AI新媒体量子位（公家号ID:QbitAI）授权转载，转载请接洽出处。

TensorFlow 2.0正式宣布没几天，PyTorch 1.3本日也上线了。

一个猖獗夸大“易用性”，一个整出了移动端陈设。宿将和新秀都卯足了劲。

事实，呆板进修框架的天下，大势变革过于迅猛，稍不留意就会被抢了地皮。

一年前，TensorFlow照旧各大顶会论文选择的主流框架，现在顶会险些成了PyTorch的全国。

CVPR 2019，只提到PyTorch的论文有280篇，只提到TensorFlow的论文有125篇，但这还不是悬殊最大的一场集会会议。

有网友 (@programmerChilli) 说，固然知道大批研究者逃离TF拥抱PT：

但我绝对想不到涨幅能到这耕境地。

那么，PyTorch的上风到底在那边？

PyTorch一起凯歌，对TensorFlow策划多年的名堂又有奈何的攻击。

这一次，一位来自康奈尔大学的少年Horace He，用一份细致的观测陈诉，对近况举办了总结，也为隐藏入门者提供了偏向：

陈诉开头就提到：今朝的大配景是，大量研究职员从TensorFlow转投PyTorch。

但各人未必知道，这势头来得多激烈。来看2018年与2019年的各大顶会比拟吧：

△ 被盖住的ICML是32.5%

表格列出了CVPR、NAACL、ACL、ICLR、ICML这五大顶会上，仅提到PyTorch/仅提到TensorFlow的论文数目。

2018年，PyTorch五项数据所有低于TensorFlow。

2019年，PyTorch五个数字所有逾越TensorFlow。

PyTorch每项数据的增幅，都在192%到450%之间，涨势异常猛烈。

个中，以天然说话处理赏罚(NLP) 的顶会NAACL (450%) 和ACL (290%) 最为明显；在视觉顶会CVPR上也有大幅增添 (240%) 。

对比之下，TensorFlow有三项数据下滑。个中NAACL数据降落幅度到达了38.2%，而这里正是PyTorch奔腾式增添的处所。

此消彼长，PyTorch只用了一年，便把弱势酿成了压倒性上风：

280:125 (CVPR) ，两倍有余。

66:21 (ACL) ，三倍有余。

103:33 (NAACL) ，三倍有余。

在说话和视觉顶会上，PyTorch的主导职位最明明。这跟上文提到的涨幅是相符的。

假如尚有人把PyTorch当做一个新秀，试图在TensorFlow主导的天下里，划出一片本身的地皮，那么数据汇报他们，已经不是这样了。

固然，看上去TensorFlow尚有两项数据在增添，但着实只有ICML的涨幅 (32.5%) ，还跟得上集会会议总登科论文数的增添。

也就是说，在其它四场集会会议上，TensorFlow已经开始阑珊了。

一是简朴。它和NumPy较量像，气魄威风凛凛很Python，能等闲和Python生态集成起来。

好比，你只要把一个pdb断点扔进PyTorch模子里，它直接就能用了。

对比之下，在TensorFlow模子内里debug的话，便会伟大得多了。

二是API好。比起TensorFlow的API，大大都研究职员更偏幸PyTorch的API。PyTorch计划得更科学；而TensorFlow要在各类API之间切换，令人操纵未便：

‘layers’ -> ‘slim’ -> ‘estimators’ -> ‘tf.keras’

三是机能。固然PyTorch的动态图 (Dynamic Graphs) 提供的优化空间较量小，但很多用户都反馈说PyTorch的速率不亚于TensorFlow，乃至比对方还快。

固然，没有严酷测试数据表白到底谁更快，但至少TensorFlow并没有明明的上风。

这样，再加上前两点，足够让很多研究职员拥抱PyTorch了。

TensorFlow在研究规模会奈何？

就算此后TensorFlow变得像PyTorch一样友爱，PyTorch的地皮也已经很大了。

这就是说，PyTorch的代码实现更轻易找到，人们也更有动力颁发PyTorch的代码给各人用，跟别人相助的话队友也也许会倾向PyTorch。

以是，迁回TensorFlow 2.0这件事，或许率不会盼望很快。

虽然，谷歌和DeepMind内部研究照旧会用TensorFlow。他们的研究成就，或许也给了一部门研究职员，继承用TensorFlow的信念。

不外Horace He传闻，谷歌内部也有很多研究职员，盼愿逃离TensorFlow了。

另一方面，PyTorch主导职位越来越强，谷歌研究职员也许和整个社区之间发生隔膜：他们很难在外部研究的基本上搭建本身的应用，表面的研究职员也很难小心谷歌的代码。

最后，TensorFlow 2.0能不能挽回一些研究职员，还必要时刻来调查。Eager Execution必然是个吸引人的点，而Keras API就不必然了。

TensorFlow守住家产界

固然在各个开拓者社区，“PyTorch真香”论阵容浩荡，此刻又在顶会数据上气力压倒TensorFlow，但着实，在家产界，TensorFlow仍具上风。

好比，按照Medium博主Jeff Hale的统计功效，2019年，TensorFlow在线上雇用启事中拥有1541个新增地位，而PyTorch有1437个。

从arXiv的论文数目来看，TensorFlow也如故占有首位，只是领先上风在缩小。

一方面，TensorFlow的降生早于PyTorch，家产界对奇怪事物的追逐，不像学术界那样热切，行使TensorFlow已成行业惯性。

而且，很多企业的代码都是基于TensorFlow搭建的，想要迁徙到PyTorch上，并非易事。

另一方面，对比于PyTorch，TensorFlow自己就是为家产界量身打造的。

对比于研究尝试，家产界会有更多的限定和要求，好比：

· 不消Python。Python在处事器上运行时开销太大，有些公司遭受不来。

· 可移动性。移动二进制文件中没法嵌入Python表明器。

· 处事。无停机更新，模子间无缝切换，可猜测时刻的批处理赏罚，等等等等。

TensorFlow在这些方面显然比PyTorch做得好得多。好比，实习好模子，然后行使TF Lite举办陈设，是今朝最靠得住的出产管道之一。

有网友举了个例子：

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!