“深度进修不是进修”：英特尔高管与AI大牛LeCun睁开互怼

本文经AI新媒体量子位（公家号ID:QbitAI）授权转载，转载请接洽出处。

“深度进修不是真正的进修。”

英特尔神经形态计较尝试室主任Mike Davies在国际固态电路集会会议（ISSCC）大将深度进修批驳了一番。

Davies说，深度进修跟大大都人印象中的并纷歧样，它只是一种优化措施，现实上并不是真正在“进修”。

受到进攻的重灾区，照旧深度进修中的反向撒播算法。

他说，反向撒播与大脑无关，而只是在深度进修计较机措施顶用来优化人工神经元相应的一种数学技能。

天然的反向撒播例子，并不存在。

固然他认可深度进修此刻很是有用，但他也强项地夸大里，大脑才是真正智能计较的典型。

Davies死死抓住不放的“不像大脑”这个题目，也正是深度进修教父Hinton一向重视的。

不外对付这次批驳自己，美国媒体ZDNet以为，他首要的进攻方针着实是Yann LeCun。

为何进攻LeCun？

就在周一，这位AI大牛在统一个学术集会会议上讲话时，趁便批驳了Davies在搞的神经形态计较。

神经形态计较是英特尔机关的一个重要新兴偏向，在这个规模，他们推出了芯片样品Loihi。英特尔说，这种芯片可以实现自主进修，并且能耗只有传统芯片的千分之一。

而Davies就是神经形态计较尝试室的认真人，主管着英特尔在这一规模的试探。他介入ISSCC集会会议，也是来讲Loihi的。

Loihi用了一种名叫尖峰神经元（spiking neurons）的技能，这类神经元只有在输入样本后才气被激活。

神经形态计较建议者们以为，这种要领更好地模仿了大脑的运行机制，好比说信号转达的进程就像大脑一样经济。

在LeCun看来，神经形态计较规模没有发生有现实结果的算法，为何要为一种没用的算法构建芯片？

不外Davies直接表达了阻挡，他说，神经形态计较发生的算法是有用的，LeCun忽视了神经形态计较的上风。

Davies说：“LeCun阻挡尖峰神经元，但他却说我们必要办理硬件中的稀少性，尖峰神经元就是干这个的啊。”

他说，这太嘲讽了。

为了批判对尖峰神经元的品评，Davies引用了安粗略滑铁卢一个名叫应用脑科学（Applied Brain Science）的机构的数据，较量了一种语音检测算法在差异芯片上的示意。

这个算法被要求辨认“aloha”这个词，而且拒绝有时义词语，这家机构在CPU、GPU和Loihi芯片上运行了这一算法。

这份数据表现，Loihi在通例处理赏罚器上运行通例神经收集机能最佳，出格是在计较速率方面，而且能源服从更高，不外准确度会低一些。

在另一个例子中，Davies说Loihi执行的基天职类器使命的速率是传统的基于GPU的深度进修收集的40倍，精确度进步了8％。

因此，Davies以为Loihi服从高得多，可以运行局限越来越大的收集，他以为，呆板人节制将会是Loihi这类神经形态芯片的杀手级应用。

Davies还从LeCun的品评挑出了他认同的一点：尖峰神经元的硬件很是富裕，提供了许多器材来映射风趣的算法。

针对这句话后边隐含的“可是软件算法层面不可”，Davies说，他的团队当前线针就是在算法上取得盼望，算法确实拖了这个规模的后腿。

在推特上，也有人隔空参加了这场辩说。

有人以为，神经形态计较就像量子计较一样处在起步阶段，以是没什么可批驳的。

也有人认为深度进修已经在很多规模内取得了成就，量子计较和神经形态计较还差得远，固然技能很尤其，但两者都没有被证实，并且都没有编程模子。

着实，这场LeCun和Davies的争斗，除了学术方面之外，其它不得不思量的一点就是Facebook和英特尔的贸易竞争。

周一，LeCun暗示Facebook内部正在开拓AI芯片，一旦Facebook本身的芯片研发乐成，那就不必要行使英特尔的芯片了，乃至还会抢走英特尔的客户。

看完这场隔空口水战的前因后果，我们把眼光收回到Davies指责的焦点：反向撒播。

实习深度进修模子离不开它，但对它的质疑也接连不绝。

反向撒播，生于1986，出自David Plaut、Steven Nowlan、Geoffrey Hinton在卡耐基梅隆大学（CMU）时颁发的Nature论文：Experiments on Learning by Back Propagation。

△ www.cs.toronto.edu/~fritz/absps/bptr.pdf

31年后，这一观念已经跟着深度进修普及应用到了各类规模，也碰着了最大的一次危急。

它的的提出者之一、“深度进修之父”Hinton在多伦多举行的一场集会会议上果真提出了质疑。

他说，他对反向撒播“深感猜疑”，乃至想“所有抛掉，重头再来”。由于，大脑的运作机制并不是这样的。

“不像大脑”这个题目，Hinton一向很是重视，他曾在MIT的一次讲座上说，他信托正是这些不像大脑的对象，导致人工神经收集的结果不足好。

（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!