深度学习发展背后的人和事

前言

深度学习现在是人工智能的主流研究方向，机器的深度学习是否跟人类的学习有什么关系，深度学习是如何发展至今的，《深度学习革命》这本书对此做了非常精彩的介绍。《深度学习革命：从历史到未来》由美国《连线》杂志和《纽约时报》记者凯德·梅茨（Cade Metz）2022年著，桂曙光译。

作者的身份是记者，所以这本书并不是教你如何研究和实现深度学习，而是告诉你那些与深度学习相关的人和事。用作者自己的话说：本书内容不是关于这项技术本身的，而是与打造它的人相关的。

作者几乎采访了所有深度学习领域的领军人物和知名大公司的决策者，将那些技术背后不为人知的精彩故事呈现给读者。如果说深度学习的发展和研究是“正片”，那这本书有点像深度学习发展的“花絮”，可以让读者没有技术背景也能了解人工智能和深度学习，对于非专业人士可以作为扫盲读物，对于技术人员可以作为知识补充、行业“八卦”和谈资。

本文先分享这本书中的故事时间线，后面还会继续摘选部分内容进行分享。时间线是整本书的架构脉络，也是故事线索的总结提炼，内容如下。

《深度学习革命》时间线

1960

• 康奈尔大学教授弗兰克·罗森布拉特在纽约布法罗的一间实验室中打造了“马克一号”感知机，这是早期的神经网络。

1969

• 麻省理工学院教授马文·明斯基和西摩·佩珀特出版了《感知机》一书，指出了罗森布拉特技术中的缺陷。

1971

• 杰夫·辛顿开始在爱丁堡大学攻读人工智能博士学位。

1973

• 第一次人工智能寒冬到来。

1978

• 杰夫·辛顿开始在加州大学圣迭戈分校做博士后研究。

1982

• 卡内基梅隆大学招聘了杰夫·辛顿。

1984

• 杰夫·辛顿和杨立昆在法国相遇。

1986

• 戴维·鲁梅尔哈特、杰夫·辛顿和罗纳德·威廉姆斯发表了他们关于“反向传播”的论文，扩展了神经网络的功能。

• 杨立昆加入了位于新泽西州霍尔姆德尔的贝尔实验室，在那里他开始打造 LeNet ，一个可以识别手写数字的神经网络。

1987

• 杰夫·辛顿离开卡内基梅隆大学，加入多伦多大学。

1989

• 卡内基梅隆大学的研究生迪安·波默洛制造了 ALVINN ，一辆基于神经网络的自动驾驶汽车。

1992

• 约书亚·本吉奥在贝尔实验室做博士后研究时遇到了杨立昆。

1993

• 蒙特利尔大学招聘了约书亚·本吉奥。

1998

• 杰夫·辛顿在伦敦大学学院成立了盖茨比计算神经科学中心。

• 20世纪90年代到21世纪的第一个十年，第二次人工智能寒冬。

2000

• 杰夫·辛顿回到多伦多大学。

2003

• 杨立昆加入纽约大学。

2004

• 在加拿大政府的资助下，杰夫·辛顿开始举办“神经计算和适应性感知”研讨会。杨立昆和约书亚·本吉奥加入了他的行列。

2007

• 杰夫·辛顿创造了术语“深度学习”，一种描述神经网络的方式。

2008

• 杰夫·辛顿在不列颠哥伦比亚省的惠斯勒偶遇微软研究员邓力。

2009

• 杰夫·辛顿访问位于西雅图的微软研究院实验室，探索语音识别的深度学习。

2010

• 杰夫·辛顿的两名学生阿卜杜勒-拉赫曼·穆罕默德和乔治·达尔访问微软。

• 戴密斯·哈萨比斯、沙恩·莱格和穆斯塔法·苏莱曼创立 DeepMind 。

• 斯坦福大学教授吴恩达向谷歌首席执行官拉里·佩奇推介“马文项目”。

2011

• 多伦多大学研究院纳夫迪普·贾特利在蒙特利尔的谷歌公司实习，通过深度学习打造新的语音识别系统。

• 吴恩达、杰夫·迪恩和格雷格·科拉多创立“谷歌大脑”。

• 谷歌部署基于深度学习的语音识别服务。

2012

• 吴恩达、杰夫·迪恩和格雷格·科拉多发表了“小猫论文”。

• 吴恩达离开谷歌。

• 杰夫·辛顿在“谷歌大脑”做“实习生”。

• 杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基发表了 AlexNet 论文。

• 杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基拍卖了他们的公司 DNNresearch 。

2013

• 杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基加入谷歌。

• 马克·扎克伯格和杨立昆创立 Facebook 人工智能研究实验室。

2014

• 谷歌收购 DeepMind 。

• 伊恩·古德弗洛发表了 GAN 论文，描述了一种生成照片的方法。

• 伊利亚·萨特斯基弗发表了论文《从序列到序列》，这是机器翻译的一个进步。

2015

• 杰夫·辛顿在 DeepMind 度过夏天。

• AlphaGo 在伦敦击败范辉。

• 埃隆·马斯克、萨姆·阿尔特曼、伊利亚·萨特斯基弗和格雷格·布罗克曼创立 OpenAI 。

2016

• DeepMind 公布 “DeepMind 健康”。

• AlphaGo 在韩国首尔击败李世石。

• 陆奇离开微软。

• 谷歌部署基于深度学习的翻译服务。

• 唐纳德·特朗普在美国大选中击败希拉里·克林顿。

2017

• 陆奇加入百度。

• AlphaGo 在中国击败柯洁。

• 中国发布《新一代人工智能发展规划》。

• 杰夫·辛顿公布“胶囊网络”。

• 英伟达推出渐进式 GAN ，它可以生成照片级的人脸。

• “深度造假”出现在互联网上。

2018

• 埃隆·马斯克离开 OpenAI 。

• 谷歌员工抗议马文项目。

• 谷歌发布了 BERT ，一种学习语言技能的系统。

2019

• 顶级研究人员抗议亚马逊的人脸识别技术。

• 杰夫·辛顿、杨立昆和约书亚·本吉奥获得2018年图灵奖。

• 微软向 OpenAI 投资10亿美元。

2020

• Covariant 在柏林发布分拣机器人。

---

后来的事，都在这本书之后了，大家或多或少都知道一些。

如果需要《深度学习革命》电子书，V联系我，我发给你。

参考文档：
[1] 《深度学习革命：从历史到未来》，[美]凯德·梅茨。

相关阅读：

我们如何判断人工智能的智力?

📢欢迎 点赞👍 收藏⭐ 评论📝 关注❤ 如有错误敬请指正！

☟ 学Python，点击下方名片关注我。☟