专栏名称: 深度学习与神经网络
关注深度学习教育,关注人工智能前沿科技
目录
51好读  ›  专栏  ›  深度学习与神经网络

【新闻】Hinton要抛弃反向传播算法另起炉灶

深度学习与神经网络  · 公众号  ·  · 2017-09-22 23:49

正文

引言:现在几乎所有神经网络都会经过反向传播的训练。然而在最近的一次采访中,Hinton,深度学习之父却表示,他将“抛开一切重新开始”。要想在深度学习上向前推进,就必须发明全新的方法。


1986年,Geoffrey Hinton等著名学者发表了论文Learning representations by back-propagation errors,提出了反向传播算法,随后其一直成为神经网络进行优化的核心算法。但现在 Hinton提出一个新观点,面对传统的反向传播算法应该尝试更多的突破,另起炉灶。




上周三在多伦多举行的一个AI会议上,Hinton在接受采访时表示,他现在对反向传播算法“深感怀疑”。反向传播算法是我们今天在AI领域所看到的进步的“主力”,包括对照片进行分类的能力、与Siri 对话的能力,等等。Hinton 说:“我的观点是把它(反向传播)全部丢下,重起炉灶。”


会议上的其他科学家说,在人工智能的未来,反向传播仍然是一个核心的角色。但Hinton说,为了推动进步,必须要有全新的方法被发明出来。“Max Planck 曾说:‘科学每经历一次葬礼就前进一步。’未来取决于对我所说的一切都非常怀疑的那些研究生。”


反向传播的工作原理:在反向传播中,使用梯度概念和链式求导,进行反向计算,从后向前逐层对权重进行调整,直到网络能够以尽可能少的错误实现一个智能的功能。







请到「今天看啥」查看全文