Youshua Bengio等人新书《Deep Learning》评介

独家 | Youshua Bengio等人新书《Deep Learning》评介

2016-04-11 复旦大学邱锡鹏智能立方

★

本文由“智能立方”公众号【AIcube】独家原创

转载请注明出处

★

大神Bengio的新书《Deep Learning》终于完稿了，第一时间下载速读了一遍。和Bengio之前的《Learning Deep Architectures for AI》相比，风格变化很大，可能跟本书的定位相关。

本书目标受众是希望学习机器学习的大学生们（本科生或研究生）和没有机器学习背景的软件工程师们。因此，增加了一些基础知识，比如线性代数、概率论以及机器学习等，同时对于不同神经网络模型的介绍也更加详细，并加入了最新的研究成果，特别是2015年的很多工作也都进行了介绍。如果书名起的俗气一点，可以套用从入门到精通之类名字。

本书分为三个部分：

第一部分介绍了基础的数学和机器学习知识，这部分我是直接略过了。深度学习本身所需要的基础知识并不多，有一点线性代数和机器学习的概念就足够了。

第二部分介绍了FNN、CNN、RNN等成熟的网络模型。除了详细的模型介绍外，第6章在反向梯度一节中介绍了Theano中采用的符号微分自动求梯度方法。第7章介绍不少干货，比如正则化、Dropout、对抗训练等，第8章讲了一些优化技巧，在SGD一统江湖的今天，从实用角度上讲，大家只需要了解些参数初始化、动态学习率等策略就足够了。如果想深入了解，可以看看Batch Normalization、Curriculum Learning等最近比较热门的优化方法。第11章可以看作是实战指导，在动手写代码之前，最好先阅读下这一章。

第三部分介绍了作者比较看好的新模型：深度生成模型（Deep Generative Models），并不惜篇幅地在第13-19章进行铺垫。这部分附带了作者强烈的个人偏好。如果只是希望了解深度学习的读者，这部分可以不用看。除了第20章外，其他部分和深度学习关系不大。如果想了解这方面内容的读者，最好先阅读Michael Jordan的《An Introduction to Probabilistic Graphical Models》。Jordan的这本书写得通俗易懂，非常适合入门。

关于作者：

Ian Goodfellow，谷歌大脑团队科学家，Bengio的研究生。AaronCourville，蒙特利尔大学助理教授，Bengio的博士后。这两位不太熟悉，这里不太过多介绍了。

Yoshua Bengio，蒙特利尔大学教授，人工神经网络研究领域的超级大牛（我个人倾向的big4为Geoff Hinton、Yann LeCun、Yoshua Bengio以及Jürgen Schmidhuber），最新Google Scholar统计的论文引用3万7千次，机器学习泰斗Michael Jordan的博士后。其主要贡献在于：1）神经网络语言模型[1] ：开启了基于神经网络自然语言处理方法的先河，引发了embeddings热潮；2）可以自动求梯度的Theano，给无数研究员、研究生提供赖以生存的工具；3）最早关于RNN的梯度弥散问题的分析，看看现在无所不能的RNN，自然会想起Bengio的慧眼识珠；4）和Hinton、Lecun一起引领了人工神经网络的复兴[2] 。

最后，我想表达下对Bengio的喜爱，源自一段Bengio在Quora上关于自己没有去工业界的回答[3] ：1）学术界更适合长期的基础研究；2）学术界的研究成果可以普惠大众；3）大学里的教授可以更好地培养下一代研究人员，而这对未来研究的发展非常重要；4）再多的薪水也不能增加幸福水平，知足常乐；5）我的地盘我做主；6）和大量的学生合作可以更好地发挥我的能力。