首页 > 科技 >

业界 | 从语音到金融:邓力的人工智能30年(2)

2018-09-08 12:11:09 网络整理 阅读:99 评论:0

在神经网络领域的早期工作

20 世纪 80 年代中期,邓力进入威斯康星大学麦迪逊分校攻读博士学位,主攻电气工程方向。这段时期,邓力试图创建人类听觉模拟和语音识别神经模型,然而进展并不顺利,因为当时的计算机无法为大型神经网络提供足够的计算能力,这也是导致邓的神经网络研究停滞不前的原因之一。

然而,邓力并没有放弃。在以助理教授的身份加入加拿大滑铁卢大学之后,他和他的一名学生于 1993 年提出了一种增强神经网络记忆的新模型。该模型虽然是一个完整的系统,但性能仍无法超越隐马尔可夫模型。

他博士论文的外审是深度学习知名大牛 Geoffrey Hinton。在读过论文后,Hinton 告诉邓力,在这个阶段,想要在神经网络方面有所突破太难了。这一令人失望的结果使得邓力远离神经网络研究,在之后的许多年转向贝叶斯统计方法和生成模型研究。

将深度神经网络应用于语音识别

在深度学习兴起之前,浅层的机器学习方法(如隐马尔可夫模型和高丝混合模型)已经主导了该领域将近 30 年。

邓力离开滑铁卢大学后,,于 2000 年加入微软,专注于使用贝叶斯方法进行语音识别研究。但是结果不尽如人意,因为多层贝叶斯网络的计算机复杂度呈指数级增长。

2006 年,Hinton 发表了论文《A fast learning algorithm for deep belief nets》。论文表明,即使使用三个隐藏层,网络仍然能够对手写数字图像及其标签的联合分布生成表现良好的生成模型。邓力对此很感兴趣,他意识到或许可以尝试将深度神经网络应用于语音识别。

在 NIPS 2009 会议上,邓力和 Hinton 联合组织了「Deep Learning for Speech Recognition and Related Applications workshop」。他们首次证明,使用新方法训练的深度神经网络在大量语音识别基准上优于之前的方法。研究结果发表在论文《Deep Neural Networks for Acoustic Modeling in Speech Recognition》中,该论文由 Hinton 和邓力合著,于 2012 年发表。

相关文章