AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

2020-06-06  阅读 227 次

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

22 岁时,你在干嘛?

这两天,现任 Google AI 掌门,传奇一般的 Jeff Dean,再次收穫膜拜和引发热议。全因他的大学毕业论文首次曝光。

这篇论文只有 8 页。

却成为 1990 年的最优等大学论文,被明尼苏达大学图书馆保存至今。

同时这篇论文表明,整整 28 年前,Jeff Dean 已经在用 C 语言,为神经网络编写并行计算的代码。

拜 Jeff Dean 教的众人又沸腾了。

仅 8 页的论文,却拿下最优等论文

有位大概很年轻的网友,看了论文之后在 HackerNews 上发出感慨:不可思议,Jeff Dean 在 1990 年就开始对神经网络感兴趣。

一句话,引来众多科普和追忆。总结起来,就是当时神经网络正当红。

有人感慨:「神经网络那时候是一件大事,在 1980 年代后期非常热门,那真是一段美好的时光。」

1990 年,正值第二次 AI 寒冬之前,当时,神经网络、Prolog、LISP 语言、模糊逻辑都正在流行,ANN 还没有被 SVM 等超越,日本在 AI 领域还大有赶超美国之势。

后来成为 Jeff Dean 同事(实习生 ^_^)的神经网络之父 Geoffrey Hinton,当时也已经有很多重要研究发表,反向传播也出现了。

Jeff Dean 这篇论文提到的两种并行训练方法,就都是基于反向传播的。

网友@silverlake 说,「我几乎与 Dean 同龄,我的本科项目是用遗传算法改进神经网络。当时人工智能很流行,但不久之后冬天来了。」

1990 年代早期,对神经网络和机器学习来说是一段非常有趣的日子。当时物体识别、手写识别等都有出现,所有进展都在快速推进,但很快资金撤走了,项目全都陷入困顿。

「幸好后来 GPU、深度反向传播的出现,数据量开始爆炸之后,神经网络捲土重来。」网友@dekhn 说。而对于那些在第二次 AI 寒冬中坚守至今的人来说,显然已经得到了应有的回报。

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

回忆往事之外,不少人得出类似 不忘初心,方得始终 的结论。

比方 Jeff Dean 大学毕业论文中研究的问题,被指仍然是今天 TensorFlow 的重大问题之一。

「真正有趣和创新的早期工作,我认为这也解释了为什幺 TensorFlow 不支持层内模型并行。令人惊讶的是,早期的经历对我们的影响有多大。」网友 @scottlegrand2 评价。

确实如此。实际上大学毕业之后,Jeff Dean 并没有一直沿着 AI 的方向继续研究下去。随后他的兴趣转向编写高级面向对象语言的编译器,并且在这个领域取得博士学位。

「然而那一丝觉得神经网络很有意思的感觉,从来没有真正消失过」,于是后来 Jeff Dean 又在 Google 内部主导神经网络、人工智能的研究,并且和吴恩达、Greg Corrado 共同发起成立了 Google Brain 项目并且担任负责人。

有人评价说,Jeff Dean 是一位具有编译器优化专业知识的计算机科学家,而 TensorFlow 本质上是一种将神经网络加速,转化为与编译器优化相关问题的尝试。

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

当然,还有很多人注意到, 这篇优秀毕业论文只有 8 页 。

「一如既往,Jeff Dean 从不让人失望。在年轻的时候就解决了一个负责的问题,获得很好的结果,而且清楚简洁的描述了解决方案。」网友 @halflings 留言说,「我的论文得有 60 页,但价值不及这篇的千分之一。」

一个学术机构竟然允许提交这幺简明的毕业论文,值得表扬。有人回忆起自己读研时的经历:几乎每个修改我论文的人都想加一堆废话。如果你想用一句话简单描述,就会被拒。导师能允许他、甚至鼓励他这幺高效精简地沟通,对他真是太好了。

于是,大家开始好奇他导师是谁……

当然有答案。Jeff Dean 大学毕业论文的导师,是 Vipin Kumar。

Kumar 教授现在依然在明尼苏达大学任教,研究数据挖掘、高性能计算和这些技术在气候、生态系统、医疗方面的应用。他还曾在 1998 年-2005 年期间,担任美国陆军高性能计算研究中心(AHPCRC)主任。

Jeff Dean 发推说,这篇论文他其实已经弄丢了,于是今年年初,他问当年在明尼苏达大学的导师 Vipin Kumar 还有没有这篇论文,当然,老师也没有……

他们又去问了学校的荣誉毕业生项目(Honors Program),得到的答案是,纸质论文全都没了。好在,图书馆扫瞄了一份 PDF,才让这篇论文重见天日。

这篇论文在讲什幺?

这篇已经快 30 岁的论文,是怎样并行训练神经网络的?

Jeff Dean 探讨了两种基于反向传播来平行训练神经网络的方法。

第一种是模式分割法(pattern-partitioned approach),将整个神经网络表示在每一个处理器上,把各种输入模式划分到可用的处理器上;

第二种称为网络分割法(network-partitioned approach)流水线法(pipelined approach),将神经网络的神经元分布到可用的处理器上,所有处理器构成一个相互通讯的环。然后,特徵通过这个 pipeline 传递的过程中,由每个处理器上的神经元来处理。

他还构建了不同大小的神经网络,用几种不同的输入数据,对这两种方法进行了测试。

结果表明,对于模式分割法,网络大、输入模式多的情况下加速效果比较好;

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

而下面这张图,是两种方法的对比结果:

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

那时候,Python 公开版还没发行,更没有 TensorFlow、PyTorch 之类的框架。Jeff Dean 并行训练神经网络的测试代码,都是用 C 语言写的。

这些神经网络本身、用来测试的配置,也有有浓厚的年代感。我们从论文里能看到 1990 年的“大”神经网络什幺样:3 层、每层分别 10、21、10 个神经元的神经网络,就算很大了。而 Jeff Dean 测试用的处理器,最多达到了 32 个。

这时的 Jeff Dean 应该还想不到,12 年后,他会和吴恩达、Quoc Le 等人一起,用 16000 个 CPU 核心,从海量数据中找出猫。

论文传送门

Jeff Dean 是谁?他可是 Google 的基石

1969 年生,49 岁。

1996 年博士毕业于华盛顿大学计算机系 (UW)。

美国国家工程院院士,ACM Fellow,AAAS Fellow。

1999 年加入初创期的 Google,设计并部署了 Google 广告、抓取、索引和查询服务系统的大部分内容,以及位于 Google 大部分产品下方的各种分布式计算基础架构,也是 Google 新闻、Google 翻译等产品的开发者。

发起创办了 Google 大脑(Google Brain Team)。

发起打造了目前全球份额第一的深度学习框架平台 TensorFlow。

虽然官方 title 是 Google 高级研究员,但 Jeff Dean 在 Google 的地位仅次于创始人拉里·佩奇和谢尔盖·布林。

在 2018 年 4 月,Google 内部架构调整,Jeff Dean 接管 Google 整个 AI 业务和团队,据称座位也与 Google 现任 CEO Pichai 相邻。

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团Jeff 到底是一个多神的人?

当然,如果你对这位低调的大神了解有限,是时候又要祭出圈内口口相传的 Jeff Dean 的段子集了。

我们也当面向 Jeff 转述过这些轶闻,他当时笑着回答说:谢谢大家的喜爱。

一起来看看这些轶闻吧:

During his own Google interview, Jeff Dean was asked the implications if P=NP were true. He said, “P = 0 or N = 1.” Then, before the interviewer had even finished laughing, Jeff examined Google’s public certificate and wrote the private key on the whiteboard.

当他被 Google 面试时,Jeff Dean 被问及如果 P=NP 意味着什幺。他说,「P=0 或者 N=1」。然后,在所有的面试官还没笑完之前,Jeff 瞄了一眼 Google 的公共证书然后在白板上写上了对应的私钥。

Compilers don’t warn Jeff Dean. Jeff Dean warns compilers.

编译器从来不给 Jeff 编译警告,而是 Jeff 警告编译器。

The rate at which Jeff Dean produces code jumped by a factor of 40 in late 2000 when he upgraded his keyboard to USB 2.0.

在 2000 年后段,Jeff 打 Code 的速度突然激增了 40 倍,原因是他把自己的键盘升级到了 USB 2.0。

Jeff Dean builds his code before committing it, but only to check for compiler and linker bugs.

Jeff 还是会在提交程式码前把它们编译一遍,不过这幺做的目的只是为了检查下编译器和连接器有没有 bug。

gcc -O4 emails your code to Jeff Dean for a rewrite.
gcc 的 -O4 优化选项是将你的程式码邮件给 Jeff 重写一下。

AI 论文只写 8 页就得了年度最佳奖,Google 大脑团

Jeff Dean was born on December 31, 1969 at 11:48 PM. It took him twelve minutes to implement his first time counter.

Jeff 出生于 1969 年 12 月 31 日的下午 11 点 48 分,然后他花了整整 12 分钟的时间实现了他的第一个计时器。(背景:电脑中的计时器数值通常被设计为从 1970 年 1 月 1 日 0 点 0 分 0 秒到当前为止的秒数)。

When Jeff Dean designs software, he first codes the binary and then writes the source as documentation.
当 Jeff 写软件时,他是直接打机器码的。写源代码只是为了作为文档使用。

Jeff Dean’s keyboard has two keys: 1 and 0.
Jeff 的键盘多达两个键:1 和 0。

When Jeff has trouble sleeping, he Mapreduces sheep.
当 Jeff 失眠时,他用 Mapreduce 属羊。(Mapreduce 是 Jeff 的作品之一,这个分布式处理的框架算法是 Google 立足的根本之一)。

You name three pointers, Einstein, Euler, and Turing, when you de-reference them, all you get is Jeff Dean.
如果你命名三个指针分别为爱因斯坦、欧拉和图灵,当你查看它们的指向时,你看到的都会是 Jeff。

更多 Jeff Dean 的轶闻集,还可移步 Quora 上的 「谷歌大神 Jeff Dean 有多牛」合辑 :

好想进 Google

Google AI 部门新掌门人 Jeff Dean:聪明到智商打败 AI 的男人

Google Brain 的 2017 年:用机器学习改变医疗、机器人等六大领域

硅谷今年最重要的项目是什幺?看脸书和 Google 老闆旁边坐哪个团队就知道了

上一篇:
下一篇: