更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者深度学习

    [美]特伦斯·谢诺夫斯基 著

    姜悦兵 译

    中信出版集团

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者目录

    推荐序 面对科技拐点，我们的判断与选择

    中文版序 人工智能会放大认知能力

    前言 深度学习与智能的本质

    第一部分 智能的新构想

    01机器学习的崛起

    02人工智能的重生

    03神经网络的黎明

    04大脑式的计算

    05洞察视觉系统

    第二部分 深度学习的演进

    06语音识别的突破

    07霍普菲尔德网络和玻尔兹曼机

    08反向传播算法

    09卷积学习

    10奖励学习

    11火爆的NIPS

    第三部分 人类，智能与未来

    12智能时代

    13算法驱动

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者14芯片崛起

    15信息科学

    16生命与意识

    17进化的力量

    18深度智能

    附录一 致谢

    附录二 词汇表

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者献给波和索尔，特蕾莎和约瑟夫

    谨以此书纪念所罗门·哥伦布

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者推荐序

    面对科技拐点，我们的判断与选择

    李笛

    微软小冰之父

    微软(亚洲)互联网工程院副院长

    在近年来陆续出版的、解读人工智能技术与趋势的许多书籍中，这

    是一本不可多得的好书。它的阅读过程令人愉悦，涉及的知识深度又比

    较恰当。因此，即使是不具备相关领域知识背景的读者，也能够轻松地

    读完它。人们完全可以利用“碎片时间”来研读这本30多万字的大作，从而集中了解到与人工智能相关的技术分支、组织人物与重要事件。在

    人工智能热度很高的当下，这本书的价值在于，帮助读者建立一种相对

    贴近事实的科学观。

    读者可以把这本书当作一本有关人工智能的简明历史来看待。人工

    智能是科技王冠上的钻石，而深度学习代表了其中一个承上启下的重要

    阶段。深度学习脱胎于科学家们六十多年前开始的人工智能研究，其自

    身的概念形成，到落地开花，则只有十多年的光景。与过去相比，深度

    学习极大地推进了人工智能各个分支课题的发展速度；与未来相比，我

    们今天所取得的一切成果，都是非常粗糙的，注定会被更好的成果取

    代。因此，了解深度学习，就如同站在一个关键的节点上向时间河流的

    上下游看，一览无余。

    我相信，不同的人会从这本书中得到不同的收获。总体而言，这本

    书有助于在我们心目中更加清晰准确地绘制人工智能的未来图景。从某

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者种意义上说，所有的过去亦都昭示了未来，但我更建议读者以最轻松的

    心态来阅读它。因为这样，能够让读者以更加客观公正的视角去检阅人

    类与机器的能力短板与优长——你可以从本书中了解到那些令人惊讶，甚至于有些担忧的科技进展，大致了解它们背后的原理。这展现了人工

    智能相对于人类而言的单方面优势。另一方面，你也能看到许多真实事

    例，反映了人工智能相对于人类而言的“笨拙”。科学与科学幻想泾渭

    分明。在现实中，这种“笨拙”的情况往往更加普遍。这些事例有时令

    人忍俊不禁，它恰恰体现了我们人类的大脑是多么精妙的设计。

    事实上，在我看来，当下最令人彷徨不定的，并不是人工智能有多

    么“强大”或有多么“笨拙”，而是我们已处在一个科技的拐点，需要

    由我们每个人对未来的走向做出抉择。这是一个非常具有现实意义的话

    题。虽然深度学习是这个拐点的主要推动力之一，但它并不需要为我们

    的困扰承担责任：

    · 选择权的困扰： 一辆无人驾驶汽车行驶在道路上，假设突然

    面临必然要发生的车祸，它应当向左撞向一个无辜的老人，还是向右撞

    向一个无辜的壮年？

    · 决策权的困扰： 一个系统可以基于人类个体不具备的广泛即

    时的大数据，用任何人无法企及的速度，迅速做出某个决策。这样的洞

    察和决策力，应该掌握在谁的手中？

    · 工作权的困扰： 一项基于人工智能的技术可以比人类以更好

    的质量和速度去完成某项生产。这项技术应该归属于工厂主来代替工

    人，还是应该归属于工人来帮助工厂主更好地完成工作？前者会带来失

    业，而后者有望带来更高的工作效率。

    · 社会层面的困扰： 一个面向情感的人工智能机器人帮助一个

    人解决孤单，却使他主动减少了与他人的社交沟通。这种陪伴究竟是在

    帮他解决问题，还是制造了更多的问题？

    · 技术滥用的困扰： 一项技术可以帮助任何人打造与他们高度

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者相似的语音，制造出来的声音，令他的家人也难辨真假。这样的技术会

    不会被别有用心的人用于犯罪，例如诈骗电话？

    不知不觉间，这些看似遥远的事，突然间已变成我们必须要面对的

    现实情况，而我们也已经在上述一些场景中做出了初步的抉择。其中一

    个关键因素是，人们常常对人工智能的“智商”印象深刻，但往往忽略

    了：人工智能系统化的优势之一在于“大规模的并发”。因此，任何一

    种以上技术应用的场景，只要乘以巨大的人口，都会带来很大的影响。

    相对而言，在围棋游戏中赢过人类，其实是最不需要担忧的了。

    在微软，我们最近成立了与人工智能及伦理相关的组织，力图在当

    前的框架内去发现尽量多的问题，尽可能在早期就避免问题的发生。微

    软在人工智能领域的技术和产品线很广泛，因此我们做过的抉择也相对

    较多。这些抉择往往决定了我们在有能力的情况下，主动放弃去做什

    么。

    这意味着克制与敬畏之心。例如：微软小冰在两年前推出拟人的全

    双工语音电话技术(Full Duplex)时，我们就制定了该产品的伦理规

    则，不允许在用户不知情的情况下，让小冰伪装成真人去拨打电话。我

    们也不使用微软小冰的技术去从事呼叫中心的外呼业务，因为它存在被

    滥用为垃圾广告电话的风险——尽管这些往往意味着巨大的商业价值。

    今天，在中国、美国、日本、印度和印度尼西亚，微软小冰拥有近7亿

    人类用户，如果她在对话的时候努力诱导人们去购买某种商品，显然会

    带来可观的收入预期。但谁会愿意和一个一心想着如何诱导你买东西的

    人成为知己呢？

    这种克制，不仅仅是一两家企业的责任。它依赖于整个社会对人工

    智能，特别是深度学习相关技术的了解。对技术的了解越普遍，也就越

    能帮助企业更好地运用手中的技术，进而帮助我们每一个人获得更好的

    生活，享受人工智能为我们带来的价值。

    在我看来，这就是这本书所具有的现实意义。它并非教科书，而是

    一本面向未来的历史书。它揭示了人工智能有望给世界、给人类带来的

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者巨大改变，远超我们现在所能想象到的全双工语音、人脸识别、情感计

    算甚至是自动驾驶。换句话说，基于我们现在的技术和产品水平，相信

    许多人已能在脑海中比较清晰地勾勒出，自己在马路上与一辆并没有司

    机驾驶的汽车相遇的场景。但与人工智能即将展现的伟大图景相比，这

    些都不值一提。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者中文版序

    人工智能会放大认知能力

    60年前，数字计算机在人工智能(AI)的萌芽期问世，深度学习革

    命的种子也在那时被播种开来。深度学习是数据密集型的，通过实例来

    学习如何解决难题，比如视觉对象识别、语音识别和自然语言翻译等。

    人类从婴儿时期睁开眼睛的那个时刻起，就开始从经验中学习，到后来

    获得语言、运动、玩电子游戏等最高程度的能力；相比之下，传统的劳

    动密集型人工智能方法是基于编写不同的复杂计算机程序来解决每个问

    题。

    本书讲述了20世纪80年代一小群研究人员的故事，他们证明了基于

    大脑式计算的全新方法是可行的，从而为深度学习的发展奠定了基础。

    当时已有的人工智能学术研究中心都投注于编程，并且都具有强大

    的实力，但却无法解决上述任何难题。又过了30年，计算机才变得足够

    快，也出现了大量可供利用的数据。这一变化让深度学习得以克服这些

    难题，并在今天的人工智能领域占据主导地位。其他领域同样可以借鉴

    这一经验教训，例如语言学，曾经普遍持有的既定信念阻碍了该领域整

    整一代研究者的进步。深度学习改变了语言学，使其发展基于来自现实

    世界的数据，而非无法捕捉这些复杂性的理想世界的数据。

    回溯历史，人工智能诞生的秘密可以在自然界中找到答案，我们对

    此并不应该感到惊讶。大自然有数亿年的时间通过进化找到解决方案，对这些解决方案进行逆向工程能够让我们受益匪浅。了解大脑如何运转

    是21世纪最大的挑战之一。大自然发明了许多经受住了时间考验的算

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者法。理解这一挑战并投资于大脑研究的国家将获得巨大的回报，远远超

    出20世纪物理学和化学研究的突破所产生的影响，这些影响已经极大地

    丰富了我们的生活。美国已经为“BRAIN计划”(英文全称为Brain

    Research through Advancing Innovative Neurotechnologies，即“通过推动创新型神经技术开展大脑研究计划”)注资50亿美元，欧

    洲、日本和许多其他国家或地区也在进行类似的投资。中国正在投资当

    前的人工智能技术，但它是否拥有投资大脑研究的远见，年青一代又是

    否会接受这一挑战呢？

    深度学习对社会和个人生活将产生深远的影响，其影响方式也是难

    以想象的。在本书中，我提出了一个观点，即你无须担心人工智能将接

    管你的工作。人工智能会让你更聪明，让你所能实现的成就达到新的高

    度。就像工业革命时期蒸汽机放大了物理能力一样，人工智能也会放大

    认知能力。我们刚刚步入一个新的时代——信息时代。我们进入的新世

    界不仅会使我们变得更聪明，还会让我们更清楚地认识自己，从而回答

    古代的哲学先驱们最早提出的一系列问题。对于自身，我们又会得出哪

    些深刻的见解呢？

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者前言

    深度学习与智能的本质

    如果你在连接了互联网的安卓手机或谷歌翻译平台上使用语音识别

    功能，你其实是在与经过深度学习训练的神经网络 [1] 进行交流。过

    去几年，深度学习为谷歌带来了丰厚的利润，足以支付Google X实验室

    中所有未来主义项目的成本，包括自动驾驶汽车、谷歌眼镜和谷歌大

    脑。 [2] 谷歌是最早拥抱深度学习的互联网公司之一，并在2013年聘

    请了深度学习之父杰弗里·辛顿(Geoffrey Hinton)，其他公司也在

    竞相追赶它的脚步。

    人工智能近期取得的进展得益于大脑逆向工程。分层神经网络模型

    的学习算法受到了神经元之间交流方式的启发，并依据经验进行了改

    进。在网络内部，世界的复杂性转变为五彩缤纷的内部活动模式，这些

    模式是智能的元素。我在20世纪80年代研究的网络模型很小，相比之

    下，现在的模型有数百万个人造神经元，深度达到了几十层。持久的努

    力、大数据和更强大的计算机运算能力使得深度学习在人工智能领域一

    些最困难的问题上取得了重大突破。

    我们并不善于想象新技术对未来的影响。谁能在1990年互联网刚开

    始商业化的过程中预见到它对音乐产业的影响，以及对出租车业务、政

    治运动，还有我们日常生活几乎所有方面的影响？同样，我们也未能预

    见到电脑会如何改变我们的生活。IBM(国际商业机器公司)总裁托马

    斯·沃森(Thomas J. Watson)在1943年说的一句话后来被广泛引

    用：“我觉得全世界也许能卖出5台计算机吧。” [3] 很难想象一个新

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者发明都有哪些用途，其发明人对这些用途的预测也不见得比其他人更准

    确。在乌托邦和世界末日的两极之间，有很多关于深度学习和人工智能

    应用场景的预测空间，但即使是最具想象力的科幻小说作家也不大可能

    猜出它们最终会产生什么样的影响。

    本书的初稿是我在太平洋西北地区 [4] 徒步旅行，并思索了近几

    十年来人工智能领域的显著变化之后写出来的。这本书讲了一个一小群

    研究人员挑战AI研究建制派的故事，这些建制派在当时拥有更充足的资

    金支持，并被看作“唯一的主导力量”，他们大大低估了这些问题的难

    度，并且所依赖的对智能的直觉，后来被证明是有误导性的。

    地球上的生命充满了无数奥秘，但最具挑战性的也许是智能的本

    质。自然界充斥着各种形式的智能，从微小的细菌到复杂的人类智能，每种智能都适应了它在自然界中的位置。人工智能也将以多种形式出

    现，并在智能族谱中占据特殊的位置。随着基于深度神经网络的机器智

    能日渐成熟，它可以为生物智能提供一个新的概念框架。

    这是一本关于深度学习的过去、现在和未来的指南。不过本书并不

    是对该领域发展历史的全面梳理，而是记录了这一领域重要概念的进步

    及其背后研究群体的个人观点。人类的记忆并不可靠，对故事的每次复

    述都会导致记忆的偏差，这个过程叫作“重整记忆”。这本书中的故事

    延续了40多年，尽管有些对我来说依然历历在目，就像昨天刚发生的一

    样，但我很清楚，那些故事在我的记忆中不断被复述时，有些细节已经

    悄悄地被改写了。

    本书的第一部分提供了深度学习的动机和理解其起源所需的背景信

    息；第二部分解释了几种不同类型的神经网络架构中的学习算法；第三

    部分则探讨了深度学习对我们当下生活产生的影响，以及未来若干年可

    能产生的影响。然而，正如纽约扬基队的哲人尤吉·贝拉(Yogi

    Berra)曾经说过的那样：“做出预测很难，特别是对未来的预

    测。”本书前八章的内容交代了故事的技术背景；三个部分开头的要事

    年表记录了与这个故事有关的事件，时间跨度超过了60年。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者[1] 严格地说，神经网络是一个生物实体，机器学习中使用的模型是人工神经网络——

    ANNies。但若无另行说明，本书中的“神经网络”默认代指人工神经网络。

    [2] Conor Dougherty, “Astro Teller, Google’s ‘Captain of Moonshots,’ on Making Profits at

    Google X,” New York Times , February 6, 2015, https:bits.blogs.nytimes.com20150216googles-

    captain-of-moonshots-on-making-profits-at-google-x. 深度学习将运行数据中心的电力成本降低了

    15%，每年可以节省数亿美元。

    [3] 尽管沃森在1943做出的估计从未得到过确认，但它反映了当时的人们普遍无法想象电脑

    的未来。

    [4] 太平洋西北地区是指美国西北部地区和加拿大的西南部地区。——编者注

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者要事年表

    1956年

    达特茅斯人工智能夏季研究计划(The Dartmouth Artificial

    Intelligence Summer Research Project)开启了人工智能领域的研

    究，并鼓舞了一代科学家探寻可以媲美人类智慧的信息技术的潜力。

    1962年

    弗兰克·罗森布拉特(Frank Rosenblatt)出版了《神经动力学

    原理：感知器和大脑机制的理论》(Principles of Neurodynamics:

    Perceptrons and the Theory of Brain Mechanisms )，该书介绍了

    一种应用于具有单层可变权重的神经网络模型的学习算法，该算法是

    今天的深度神经网络模型的学习算法的前身。

    1962年

    大卫·休伯尔(David Hubel)和托斯坦·威泽尔(Torsten

    Wiesel)发表了《猫的视觉皮质中的感受野、双目互动和功能架构》

    (Receptive Fields,Binocular Interaction and Functional

    Architecture in the Cat’s Visual Cortex)一文，第一次报道了

    由微电极记录的单个神经元的响应特性。深度学习网络的架构类似于

    视觉皮质的层次结构。

    1969年

    马文·明斯基(Marvin Minsky)和西摩尔·帕普特(Seymour

    Papert)出版了《感知器》(Perceptrons )，该书指出了单个人造神

    经元的计算极限，标志着神经网络领域寒冬的到来。

    1979年

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者杰弗里·辛顿和詹姆斯·安德森(James Anderson)在加州拉荷

    亚市(La Jolla)举办了“关联记忆的并行模型”(Parallel

    Models of Associative Memory)研讨会，把新一代的神经网络先驱

    们聚集到了一起，同时也推动辛顿和安德森在1981年发表了同名系列

    研究著作。

    1986年

    第一届神经信息处理系统大会(Neural Information

    Processing Systems, 以下统称NIPS [1] )及研讨会在美国丹佛科

    技中心举办，该会议吸引了很多不同领域的研究人员。

    [1] NIPS现通称为NeurIPS。——译者注

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者01

    机器学习的崛起

    不久之前，人们还常说，计算机视觉的辨别能力尚不如一岁大的孩

    子。如今看来，这句话要改写了。计算机不仅能和大多数成年人一样识

    别图片中的物体，在马路上驾驶汽车的安全性还高过16岁的青少年。更

    神奇的是，如今的计算机不再是被动按照指令识别和驾驶，而是像自然

    界的生命由数百万年前开始进化那样，自主地从经验中学习。是数据的

    井喷促成了这一技术进步。如果说数据是新时代的石油，那么学习算法

    就是从中提取信息的炼油厂；信息积累成知识；知识深化成理解；理解

    演变为智慧。欢迎来到深度学习的新世界。 [1]

    深度学习是机器学习的一个分支，它根植于数学、计算机科学和神

    经科学。深度网络从数据中学习，就像婴儿了解周围世界那样，从睁开

    眼睛开始，慢慢获得驾驭新环境所需的技能。深度学习的起源可以追溯

    到20世纪50年代人工智能的诞生。关于如何构建人工智能，当时存在两

    种不同的观点：一种观点主张基于逻辑和计算机程序，曾主宰人工智能

    的研究和应用数十年；另一种观点则主张直接从数据中学习，经历了更

    长时间的摸索才逐渐成熟。

    20世纪，计算机技术还不够成熟，而且按照现在的标准，数据存储

    成本十分高昂，用逻辑程序来解决问题更加高效。熟练的程序员需要为

    每个不同的问题编写不同的程序，问题越大，相应的程序也就越复杂。

    如今，计算机能力日趋强大，数据资源也变得庞大且丰富，使用学习算

    法解决问题比以前更快、更准确，也更高效。此外，同样的学习算法还

    能用来解决许多不同的难题，这远比为每个问题编写不同的程序更加节

    省人力。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者汽车新生态：无人驾驶将全面走入人们生活

    在2005年美国国防部高级研究计划局(以下简称DARPA)举办的

    自动驾驶挑战赛中，一辆由斯坦福大学塞巴斯蒂安·特隆(Sebastian

    Thrun)实验室开发的自动驾驶汽车Stanley最终赢得了200万美元现金大

    奖(见图1–1)。团队利用了机器学习技术教它如何自主地在加利福尼

    亚州的沙漠中穿行。132英里的赛道中有若干狭窄的隧道和急转弯，还

    包括啤酒瓶道(Beer Bottle Pass)，这是一段蜿蜒曲折的山路，两侧分

    别是碎石遍布的陡坡和断壁(见图1–2)。特隆并没有遵循传统的AI方

    法，即通过编写计算机程序来应付各种偶发事件，而是在沙漠中驾驶

    Stanley，让汽车根据视觉和距离传感器的感应输入，学习如何像人一样

    驾驶。

    图1-1 塞巴斯蒂安·特隆及其团队的自动驾驶汽车Stanley在2005年赢得了DARPA举办的自动驾

    驶挑战赛。这项突破引发了交通界的技术革命。图片来源：塞巴斯蒂安·特隆。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图1-2 啤酒瓶道。这段极具挑战性的地形位于2005年DARPA自动驾驶挑战赛的末段。该赛事要求

    汽车在无人辅助的情况下驶过132英里的沙漠荒路。图中远处的一辆卡车正要爬坡。图片来源：

    DARPA。

    特隆后来参与创立了高科技项目重点实验室Google X，并开始了进

    一步研究自动驾驶汽车技术的计划。谷歌的自动驾驶汽车自此开始，在

    旧金山湾区累积了350万英里的车程。优步(Uber)已经在匹兹堡投放

    了一批自动驾驶汽车。苹果也步入自动驾驶领域，以扩大其操作系统控

    制的产品范围，并希望能够再现它在手机市场上的辉煌。汽车制造商们

    亲眼看见一个100年来从未改变的行业在他们眼前发生了转型，也开始

    奋起直追。通用汽车公司以10亿美元的价格并购了开发无人驾驶技术的

    硅谷创业公司Cruise Automation，并在2017年投入了额外的6亿美元用于

    研发。 [2]

    2017年，英特尔以153亿美元的价格收购了Mobileye，它是一

    家专门为自动驾驶汽车研发传感器和计算机视觉的公司。在价值数万亿

    美元的交通运输领域，参与的各方都下了极高的赌注。

    自动驾驶汽车不久将扰乱数百万卡车司机和出租车司机的生计。最

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者终，如果一辆自动驾驶汽车能够在一分钟内出现，将你安全带到目的地

    且无须停车，在城市拥有汽车就显得不那么必要了。今天，汽车行驶时

    间平均仅占4%，这意味着它其余96%的时间都需要停放在某个地方。由

    于自动驾驶汽车可以在城市外围维修和停放，城市中被大量停车场占用

    的空间得以被重新高效利用。城市规划者已经开始考虑让停车场变成公

    园了。 [3]

    街边的停车道可以成为真正的自行车道。其他汽车相关行业

    也将受到影响，包括汽车保险业和修理厂。超速和停车罚单将不复存

    在。由醉驾和疲劳驾驶导致的交通事故死亡人数也会相应减少。通勤浪

    费的时间也将被节省下来做其他事情。根据2014年的美国人口普查数

    据，1.39亿上班族人均单日通勤时间达到了52分钟，全年总计296亿小

    时。这惊人的340万年的时间本可以在人生中得到更好的利用。 [4]

    自

    动驾驶汽车会使公路通行能力翻两番。 [5]

    而且，一旦大规模投入使

    用，没有方向盘、可以自己开回家的自动驾驶汽车还会让大规模汽车盗

    窃行为销声匿迹。虽然目前自动驾驶汽车仍面临很多监管和法律层面的

    障碍，但这一技术一旦开始普及，我们就将迎来一个崭新的世界。可以

    预见的是，卡车大概会在10年内率先实现自动驾驶，出租车要花上15

    年，而15到25年后，客运无人车将全面走入人们的生活。

    汽车在人类社会中的标志性地位将以我们无法想象的方式发生变

    化，一种新的汽车生态也将应运而生。正如100多年前汽车的出现创造

    了许多新的行业和就业机会，围绕着自动驾驶汽车的发展，也出现了一

    个快速增长的生态系统。从谷歌独立出来的自动驾驶公司Waymo，8年

    来已经投入了10亿美元，并在加州中部山谷搭建了一个秘密测试场所。

    该场所位于一个占地91英亩的仿造小镇，其中还设计了骑自行车的“演

    员”和假的汽车事故。 [6]

    其目的是扩大训练数据集以包含特殊和不常

    见的情况(也叫边缘情况)。公路上罕见的驾驶事件经常会导致事故。

    自动驾驶汽车的不同之处就在于，当一辆汽车遇到罕见事件时，相应的

    学习体验会被传递给所有其他自动驾驶汽车，这是一种集体智能。其他

    自动驾驶汽车公司也在建造许多类似的测试设施。这些举措创造了以前

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者并不存在的新工作机会，以及用于汽车导航的传感器和激光器的新供应

    链。 [7]

    自动驾驶汽车仅是信息技术推动经济发生重大转变的一个最明显的

    体现。网络上的信息流就像城市管道里的水流。信息在谷歌、亚马逊、微软和其他IT公司的大型数据中心聚集。这些数据中心需要耗费大量电

    力，因此通常建在水电站附近，并利用河水来冷却信息流所产生的大量

    热量。2013年，美国的数据中心消耗了1000万兆瓦的电量，相当于34个

    大型电厂产生的电力。 [8]

    但是目前对经济影响更大的是如何使用这些

    信息。从原始数据中提取出的信息被转化为关于人和事的知识：我们做

    什么，我们想要什么，我们是谁。计算机驱动的设备也在越来越多地利

    用这些知识与我们进行口头上的交流。与大脑之外、书本之中的被动知

    识不同，储存在云中的知识是一种外部智能，并且正在成为人们生活中

    积极、活跃的一部分。 [9]

    自然语言翻译：从语言到句子的飞跃

    如今，谷歌在超过100种服务中使用了深度学习，包括街景视图

    (Street View)、收件箱智能回复(Inbox Smart Reply)和语音搜索。

    几年前，谷歌的工程师意识到他们需要将这些计算密集型应用扩展到云

    端。他们开始着手设计一种用于深度学习的专用芯片，并巧妙地设计了

    可以插入数据中心机架中的硬盘插槽的电路板。谷歌的张量处理单元

    (TPU)现在已配置在遍布全球的服务器上，让深度学习应用程序的性

    能得到了大幅改进。

    深度学习快速改变格局的一个例子是它对语言翻译的影响。语言翻

    译是人工智能的一只圣杯，因为它依赖于理解句子的能力。谷歌最近推

    出了基于深度学习的最新版谷歌翻译(Google Translate)，代表了自然

    语言翻译质量的重大飞跃。几乎一夜之间，语言翻译就从零散杂乱的拼

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者凑短语，升级到了语意完整的句子(见图1–3)。之前的计算机方法搜

    索的是可以被一并翻译的词汇组合，但深度学习会在整个句子中寻找词

    汇之间的依赖关系。

    图1-3 手机上的谷歌翻译应用可以将日语文字和菜单即时译成英文。这一功能对于在日本如何

    按照指示牌乘车尤为重要。

    得知谷歌翻译获得了巨大进步的消息后，2016年11月18日，东京大

    学的暦本纯一(Jun Rekimoto)测试了这个新系统。他把欧内斯特·海明

    威的小说《乞力马扎罗的雪》开头的一段话翻译成了日文，然后再把这

    段日文翻译成英文，结果如下(猜猜哪个是海明威的原作)：

    1. Kilimanjaro is a snow-covered mountain 19,710 feet

    high,and is said to be the highest mountain in Africa. Its

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者western summit is called the Masai “Ngaje Ngai,” the

    House of God. Close to the western summit there is the

    dried and frozen carcass of a leopard. No one has explained

    what the leopard was seeking at that altitude. [10]

    2. Kilimanjaro is a mountain of 19,710 feet covered

    with snow and is said to be the highest mountain in Africa.

    The summit of the west is called “Ngaje Ngai” in Masai,the house of God. Near the top of the west there is a dry

    and frozen dead body of leopard. No one has ever explained

    what leopard wanted at that altitude. [11] [12]

    海明威的原作是第一段。

    下一步工作是训练更大规模的深度学习网络，针对段落来提高句子

    间的连贯性。文字背后都有悠久的文化历史。俄裔作家和英文小说家，《洛丽塔》一书的作者弗拉基米尔·纳博科夫(Vladimir Nabokov)曾经

    得出结论，在不同语言之间翻译诗歌是不可能的。他将亚历山大·普希

    金(Aleksandr Pushkin)的诗体小说《叶甫盖尼·奥涅金》(Eugene

    Onegin )直译成了英文，并对这些诗文的文化背景做了解释性脚注，以

    此论证他的观点。 [13]

    或许谷歌翻译终有一天能够通过整合莎士比亚

    的所有诗歌来翻译他的作品。 [14]

    语音识别：实时跨文化交流不再遥远

    人工智能的另一只圣杯是语音识别。不久之前，计算机的独立语音

    识别应用领域还很有限，如机票预订。而如今，限制已不复存在。2012

    年，一名来自多伦多大学的实习生在微软研究院(Microsoft Research)

    的一个夏季研究项目中，让微软的语音识别系统性能得到了显著的提升

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者(图1–4)。 [15]

    2016年，微软的一个团队宣布，他们开发的一个拥有

    120层的深度学习网络已经在多人语音识别基准测试中达到了与人类相

    当的水平。 [16]

    图1-4 微软首席研究官里克·拉希德(Rick Rashid)在2012年10月25日于中国天津举行的一场

    活动中，使用深度学习进行了自动语音识别的现场演示。在2000名中国观众面前，拉希德说的

    英文被自动化系统识别，先在他的屏幕图像下方显示出英文字幕，随后被翻译成了中文。此次

    高难度展示被全球媒体争相报道。图片来源：微软研究院。

    这一突破性成果将在之后的几年逐渐影响我们的社会，计算机键盘

    会被自然语言接口取代。随着数字助手，如亚马逊的Alexa、苹果的Siri

    以及微软的Cortana先后进入千家万户，这种取代已经在发生了。就如随

    着个人电脑的普及，打字机退出了历史舞台，有一天电脑键盘也将成为

    博物馆的展品。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者当语音识别和语言翻译结合到一起时，实时的跨文化交流将有可能

    实现。《星际迷航》中那种万能翻译机将触手可及。为什么计算机语音

    识别和语言翻译达到人类的水平要花这么久的时间？难道计算机的各种

    认知能力同时进入瓶颈期仅仅是巧合吗？其实所有这些突破都源于大数

    据的出现。

    AI医疗：医学诊断将更加准确

    深入皮肤

    随着机器学习的成熟并被应用于可获取大数据的许多其他问题，服

    务行业和其相关职业也将发生转变。基于数百万患者病情记录的医学诊

    断将变得更加准确。最近的一项研究将深度学习运用到了囊括超过2000

    种不同疾病的13万张皮肤病学图像中，这个医学数据库是以前的10倍大

    (图1–5)。 [17]

    该研究的网络被训练用于诊断“测试集”(testset，它

    从未见过的新图像集)中的各种疾病。它在新图像上的诊断表现与21位

    皮肤科专家的结论基本一致，甚至在某些情况下还要更准确。在不久的

    将来，任何一个拥有智能手机的人都可以拍下疑似皮肤病变的照片，并

    立即进行诊断——而现在要完成同样的过程，我们需要先去看医生，耐

    心等待病变被专家筛查出来，然后再支付一大笔账单。这一进步将大大

    扩大皮肤病护理的范围，提升护理质量。如果个体可以很快得到专家诊

    断，他们会在皮肤病的早期阶段，也就是更容易治疗的时候就开始就

    医。借助深度学习，所有的医生都将更准确地诊断罕见的皮肤病。 [18]

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图1-5 艺术家绘制的高准确度诊断皮肤病变的深度学习网络图，2017年2月2日《自然》杂志封

    面。

    深入癌症

    如果专家在转移性乳腺癌的淋巴结活检切片图像上判断错误，就有

    可能导致致命的后果。这是一种深度学习擅长的模式识别问题。实际

    上，一个经过大量结论清晰的切片数据训练出来的深度学习网络能达到

    0.925的准确度，还不错，但还不及人类专家在同一测试集上达到的

    0.966。 [19]

    然而，把深度学习与人类专家的预测结合起来，准确度达

    到了0.995，几近完美。由于深度学习网络和人类专家查看相同的数据

    的方式不同，二者相结合的效果比单独预测要好。这样一来，更多的生

    命得以被挽救。这表明在未来，人类与机器将是合作而非竞争的关系。

    深入睡眠

    如果你有严重的睡眠问题(70%的人一生中都会遇到这个问题)，你要等待几个月才能见到你的医生(除非问题十分紧急)，然后你会被

    转到一个睡眠诊所。在那里，你需要在身上接几十个能在你入睡时记录

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者你的脑电图(EEG)和肌肉活动的电极，接受彻夜观察。每个晚上，你

    会先进入慢波睡眠，然后定期进入快速眼动(REM)睡眠，在此期间，你会做梦，但是失眠、睡眠呼吸暂停综合征、不宁腿综合征以及许多其

    他睡眠障碍会干扰这种睡眠模式。如果你在家里就很难入睡，那么在一

    张陌生的床上，全身接满了让人不安的医疗设备进入睡眠状态，绝对算

    得上真正的挑战。睡眠专家会查看你的脑电图记录，以30秒为单位标记

    睡眠阶段，一段8小时的睡眠要花几个小时才能标记完。而最终你会得

    到一份有关睡眠模式异常情况的报告，以及一份2000美元的账单。

    依据1968年由安东尼·雷希特施芬(Anthony Rechtshaffen)和艾伦·

    卡莱斯(Alan Kales)设计的系统，睡眠专家将接受寻找表征不同睡眠

    阶段特征迹象的培训。 [20]

    但是由于这些特征常常不明确，也不一

    致，只有75%的情况下专家们能在数据解读上达成一致。相比之下，我

    实验室之前的一名研究生菲利普·洛(Philip Low)使用无监督机器学

    习，花了不到一分钟的计算机运算时间，以3秒的时间分辨率自动检测

    睡眠阶段，和87%的人类专家达成了一致的结论。此外，这种方式只需

    要在头部的单个位置做记录，用不到那些触点和接线，也节省了大量佩

    戴和摘除的时间。2007年，我们创立了一家公司Neurovigil，想将这项

    技术引入睡眠诊所，但诊所对此没有表现出多大兴趣，因为靠人力标注

    能产生更多的现金流。实际上，依据保险号向患者开具账单，会让诊所

    没有动机采用更廉价的程序。Neurovigil在大型制药公司发现了另一个

    市场，这些公司在开展临床试验，需要测试他们的药物对睡眠模式的影

    响。这项技术目前正在进入长期护理设施市场，帮助解决在老年人中更

    普遍的进行性睡眠问题。

    睡眠诊所模式是存在缺陷的，因为在这样的限制条件下不能可靠地

    诊断出健康问题：每个人的生理基数都不同，而偏离这个基数的信息最

    重要。Neurovigil已经有了一个小型设备iBrain，它可以在家里记录你的

    脑电图信息，将数据传到网上并分析数据的长期趋势和异常情况。这可

    以帮助医生及早发现健康问题，在恶化前及时干预并阻止慢性疾病的发

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者展。其他很多疾病的治疗也将受益于持续监测，如1型糖尿病，血糖水

    平可以被监测并通过胰岛素进行调节。使用能够连续记录数据的廉价传

    感器正在对其他慢性疾病的诊断和治疗产生重大影响。

    从Neurovigil的发展过程中可以看出：第一，即便拥有更好更廉价

    的技术，也不代表能轻易地将其转化为有市场价值，甚至更优质的新产

    品或服务；第二，当现有产品在市场中的地位根深蒂固，就会进一步开

    发出深入应用的二级市场，可以让新技术产生更直接的影响，并争取时

    间来改进，提升竞争力。太阳能和许多其他新兴产业的技术就是这样进

    入市场的。从长远来看，已被证实具有优势的睡眠监测和新技术将会覆

    盖到家中的患者，并最终融入医疗实践。

    金融科技：利用数据和算法获取最佳回报

    纽约证券交易所超过75%的交易都是自动完成的(图1–6)，高频

    交易能在几分之一秒内进出仓位。(如果你不用为每笔交易支付费用，那么即使是很小的优势也能带来巨额利润。)更长时间范围内的算法交

    易会考虑到基于大数据的长期趋势。深度学习在赚钱和提高利润方面做

    得越来越好。 [21]

    预测金融市场，问题在于数据嘈杂，条件不稳定

    —— 一场选举或国际冲突可能会导致投资者心态在一夜之间发生变

    化。这意味着用来预测今天股票价值的算法可能到明天就不准了。在实

    践中，被用来赚钱的算法有数百种，表现突出的则被不断整合以实现最

    优回报。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图1-6 延迟vs头寸持有时间。在线机器学习正在推动算法交易，它比传统的长期投资策略更快

    速，比股票市场中的高频交易更加慎重。许多不同类型的机器学习算法被组合运用以获得最佳

    回报。

    早在20世纪80年代，我还在为摩根士丹利的股票交易神经网络模型

    提供咨询时，遇到了专门设计并行计算机的计算机科学家大卫·肖

    (David Shaw)。哥伦比亚大学学术休假期间，肖曾在自动化交易早期

    担任量化分析师，随后他在华尔街创立了自己的投资管理公司德劭集团

    (The D. E. Shaw Group)，现在他已经是亿万富翁了。德劭集团非常成

    功，但仍然逊于另一家对冲基金文艺复兴科技公司(Renaissance

    Technologies)。这家基金是由杰出的数学家、纽约州立大学石溪分校

    数学系前主任詹姆斯·西蒙斯(James Simons)创立的。仅2016年，西蒙

    斯就挣了16亿美元，这还算不上他最好的一年。 [22]

    文艺复兴科技被

    称为“世界上最好的物理和数学系，” [23]

    “它不会雇用带有哪怕一点点

    华尔街正统味道的人”。 [24]

    不再参与德劭的日常运营后，大卫·肖现在专注于德劭研究所(D.

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者E. Shaw Research)的业务，该研究所搭建了一台名为“Anton”的专用并

    行计算机，比全球其他计算机执行蛋白质折叠的速度都快得多。 [25]

    西蒙斯退休后不再掌管文艺复兴科技，而是建立了资助自闭症及其他物

    理和生物科学项目研究的基金会。通过加州大学伯克利分校的西蒙斯计

    算理论研究所(the Simons Institute for the Theory of Computing at UC

    Berkeley)、麻省理工学院的西蒙斯社会大脑中心(the Simons Center

    for the Social Brain at MIT)和纽约熨斗研究院(the Flatiron Institute)，西蒙斯的慈善事业对推进数据分析、建模和仿真的计算方法产生了重大

    影响。 [26]

    更广泛的金融服务正在金融科技(fintech)的大背景下发生大规模

    转型。诸如区块链这样的信息技术—— 一种安全的互联网记账方式，取代了金融交易的中间商——正在接受小规模的测试，但它很快就会扰

    乱价值数万亿美元的金融市场。机器学习正在被用于改进贷款信用评

    估，准确地提供业务和财务信息，在社交媒体上获取预测市场趋势的信

    号，并为金融交易提供生物识别安全服务。谁拥有最多的数据，谁就是

    赢家，而世界上充斥着财务数据。

    深度法律：效率的提高与费用的降低

    深度学习刚刚开始影响法律界。律师事务所每小时收费数百美元的

    法务助理的大部分日常工作都将实现自动化，特别是在高档写字楼办公

    的规模化事务所里。具体点说，技术辅助审核或调查将被人工智能接

    管，它可以浏览数千份文件以获取合法证据，且丝毫不会感到厌倦。自

    动化深度学习系统也将帮助律师事务所遵守日益复杂的政府规定。这些

    系统将为现在无法负担律师费用的普通人提供法律建议。法律工作不仅

    收费会更便宜，也会更高效，这一点通常比费用更重要。法律世界正在

    走向“深度法律”。 [27]

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者德州扑克：当机器智能学会了虚张声势

    一对一无限注德州扑克是最受欢迎的扑克玩法之一，常见于赌场，无限注投注方式则通常出现在世界扑克系列赛(World Series of Poker)

    的主赛事中。扑克很有挑战性，因为与国际象棋玩家可以获得相同的信

    息不同，扑克玩家的信息不完整，而且在最高级别的比赛中，诈唬、欺

    骗的技巧和拿到的牌一样重要。

    数学家约翰·冯·诺依曼(John von Neumann)创立了数学博弈理

    论，也是数字计算机之父，他就对扑克特别着迷。他说过：“现实生活

    包括虚张声势，一点欺骗手段，以及自问另一个人会怎么评判我做事的

    意图。这就是我理论中博弈的内涵。” [28]

    扑克是一种博弈，反映了经

    过进化精炼过的人类智能的一部分。一个名为“DeepStack”的深度学习

    网络和33名职业扑克选手进行了44852场比赛。令扑克专家震惊的是，它以相当大的优势，一个标准差，击败了最出色的扑克玩家，同时以四

    个标准差在整体上击败了全部33名玩家——多么巨大的差距(见图1–

    7)。 [29]

    如果这一成就能复制到其他基于不完全信息、需要人来做判

    断的重要领域，比如政治学和国际关系，其影响可能是极其深远的。

    [30]

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图1-7 一对一无限注德州扑克。强势手牌。DeepStack已经掌握了如何在高筹码扑克中虚张声

    势，以大比分优势击败职业扑克玩家。

    AlphaGo奇迹：神经科学与人工智能的协同

    2016年3月，韩国围棋界18次世界冠军获得者李世石(Lee Sedol)

    与DeepMind公司的AlphaGo(图1–8)——一个使用深度学习网络评估

    盘面形势和可能的走法的围棋程序——进行了5场比赛。 [31]

    围棋相对

    国际象棋的难度，相当于国际象棋对跳棋的难度。如果国际象棋是一场

    战役，那么围棋就是一场战争。一块19×19围棋棋盘比一块8×8象棋棋盘

    大得多，这使得在棋盘的不同部分可能同时发生多场战役。不同战役之

    间存在长期的相互作用，即使是专家也难以判断。围棋的合法棋局总数

    是10170 ，远远超过宇宙中的原子数量。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图1-8 韩国围棋冠军李世石对战AlphaGo的5场比赛里，某一场战局中的棋盘。AlphaGo是一个通

    过与自己下围棋来学习的深度学习神经网络。

    除了几个评估盘局并选择最佳着数的深度学习网络，AlphaGo还有

    一个完全不同的学习系统，用于解决时间信用分配问题：在众多步棋

    中，哪一步对赢得胜利有所贡献，哪一步对失败承担责任？大脑的基底

    神经节接收来自整个大脑皮层的投射，并投射回去，利用时间差分算法

    和强化学习来解决这个问题。AlphaGo使用由基底神经节进化出来的相

    同的学习算法，以评估最大化未来奖励的行动顺序(这一过程将在第10

    章中做出解释)。AlphaGo通过反复和自己下棋来学习这一技能。

    AlphaGo和李世石对决的围棋比赛在亚洲得到了极高的关注。在亚

    洲，围棋冠军是全国性的公众人物，有着摇滚明星一样的待遇。

    AlphaGo早些时候击败了欧洲的围棋冠军，但是那场比赛的水平远低于

    亚洲的最高水平，因此李世石并没有做好打一场硬仗的心理准备。即使

    是开发AlphaGo的公司DeepMind，也并不清楚他们的深度学习程序到底

    有多强大。自上一场比赛以来，AlphaGo已经与好几个版本的自己下了

    数百万局的棋，然而并没有任何标准来判断它的水平到底达到了何种高

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者度。

    AlphaGo赢得了5场比赛的前3场后，许多人都感到十分震惊，因为

    它展现出了让人意想不到的高水准。这项比赛在韩国有很高的关注度，所有的主流电视台都对比赛进行了实况报道。AlphaGo有一些着数是革

    命性的。在第二场比赛的第三十八步，AlphaGo下出了精彩的一着，让

    李世石感到十分惊讶，他花了将近10分钟的时间才决定下一步要怎么

    走。AlphaGo输掉了第四场比赛，这是人类挽回颜面的一场胜利，最终

    它的战绩是4胜1负(图1–9)。 [32]

    3月的夜晚，我在圣迭戈的凌晨兴

    致勃勃地观看了这场较量。这让我回想起1966年6月2日凌晨1点，我在

    克利夫兰市，坐在电视机旁关注着“勘测者1号”探测器降落在月球上，并传回了第一张月球照片。 [33]

    我亲眼见证了这些历史时刻。AlphaGo

    的表现远远超出了我和其他许多人的期待。

    图1-9 在2016年3月的围棋挑战赛中输给了AlphaGo之后的李世石。

    2017年1月4日，一个名为“Master”的选手在一个网络围棋服务器上

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者主动现身，其真正身份是AlphaGo 2.0。在此之前，它在与世界顶尖棋手

    的比赛中取得了60场全胜的战绩，被击败的棋手中包括当时世界排名第

    一的高手，19岁天才棋手柯洁。AlphaGo显露出了一种能与同时代的佼

    佼者抗衡的全新风格。2017年5月27日，在中国乌镇举办的围棋峰会

    上，柯洁以3场皆负的结果输给了AlphaGo(见图1–10)。这是有史以来

    最精彩的几场围棋比赛，数亿中国人都观看了该赛事。“去年，我还觉

    得AlphaGo的表现与人类非常接近，但今天我认为它是‘围棋之神’。”柯

    洁这样总结道。 [34]

    在第一场比赛中，他以一目半的微弱差距输掉了比赛。柯洁说

    他“在比赛中途已经感觉快要赢了”。他非常兴奋：“我能感觉到自己的

    心脏在怦怦直跳!可能因为我太兴奋，有几步棋走错了。也许这就是人

    类棋手最薄弱的部分吧。” [35]

    柯洁经历了一种情绪上的超负荷，但要

    达到最佳状态，更需要相对沉稳的情绪。事实上，舞台演员们都知道，如果他们演出前没有胃里翻江倒海的紧张感，就无法呈现出最精彩的演

    出。他们的表演遵循一种倒U形曲线，即最佳状态处于较低和较高的兴

    奋点之间。运动员把这叫作“在状态”。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图1-10 2017年在中国，DeepMind的联合创始人兼CEO德米斯·哈萨比斯(Demis Hassabis，左)和柯洁在历史性的围棋比赛结束后会面，共同展示带有柯洁签名的棋盘。图片来源：德米

    斯·哈萨比斯。

    2017年5月26日，AlphaGo还击败了由5名顶尖棋手组成的队伍。这

    些棋手都分析过AlphaGo的招数，并已经在相应地改变自己的策略。这

    场比赛由中国政府主办，可以说是一个新版的“乒乓外交”。 [36]

    中国

    正在机器学习方面投入大量资金，其大脑研究计划的一个主要目标是挖

    掘大脑潜能来创造新的算法。 [37]

    该围棋事件后续的发展可能会更令人惊叹。在开始跟自己下棋之

    前，AlphaGo是通过观察学习16万次人类围棋比赛起步的。有人认为这

    是作弊——一个自主的AI程序应该能够在没有积累任何人类知识的条件

    下学习下围棋。2017年10月，一款名为AlphaGo Zero的新版本AI程序面

    世了。它从游戏规则开始一步步学习下围棋，击败了曾战胜柯洁的版本

    AlphaGo Master，战绩为100∶0。 [38]

    此外，AlphaGo Zero的学习速度

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者比AlphaGo Master快100倍，而计算能力差不多只有后者的110。完全忽

    略人类的知识，AlphaGo Zero变成了无敌超人。随着机器学习算法的不

    断进步，AlphaGo还会变得多么优秀，并没有已知的上限。

    AlphaGo Zero虽然没有和人下棋，但仍然有许多围棋知识被人为添

    加到程序中强化棋艺的特征。如果没有任何围棋知识，AlphaGo Zero也

    许仍有进一步改进的空间。就像零度可乐将可口可乐里所有的热量分离

    出来一样，围棋的所有知识都被从Alpha Zero中剥离出来。结果，Alpha

    Zero能够更快、更果断地打败AlphaGo Zero。 [39]

    为了进一步说明“少

    就是多”，Alpha Zero在没有改变任何一个学习参数的情况下，学会了如

    何以超人的水准下国际象棋，还创造了人类从未使用过的着数。在与

    Stockfish这个已经是超人级别的顶级国际象棋程序的对决中，Alpha

    Zero还没有输过。在一场比赛中，Alpha Zero大胆地牺牲了一个象——

    这种做法通常用来获得位置上的优势，随后又牺牲了王后，这一步看起

    来像是个大昏着儿，直到很多步以后，Alpha Zero冷不防将了一军，无

    论是Stockfish还是人类棋手都没能预见到这样的结果。外星人已经着

    陆，地球从此要改头换面了。

    AlphaGo的开发者DeepMind于2010年由神经学家德米斯·哈萨比斯

    参与创立，他曾在伦敦大学学院的盖茨比计算神经科学部门

    (University College London’s Gatsby Computational Neuroscience Unit)

    担任博士后研究员。该部门由彼得·达扬(Peter Dayan)领导，达扬曾

    是我实验室的博士后研究员，2017年和雷蒙德·多兰(Raymond Dolan)

    以及沃尔夫拉姆·舒尔茨(Wolfram Schultz)共同获得了享有盛誉的“大

    脑奖”(Brain Prize)，以表彰他们在奖励学习方面的研究。谷歌在2014

    年以6亿美元的价格收购了DeepMind。该公司雇用了400多名工程师和

    神经科学家，拥有学术界和创业公司混合的双重文化。神经科学与人工

    智能之间的协同作用日渐深入，而且还在加速。

    弗林效应：深度学习让人类更加智能

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者AlphaGo有智力吗？除了“意识”这个主题，关于智力的文章比心理

    学中任何其他主题都要多得多，这两个概念都很难界定。自20世纪30年

    代以来，心理学家就对流体智力和晶体智力进行了区分——流体智力能

    够将新条件中的推理和模式识别用于解决新问题，而不依赖于以前的知

    识；晶体智力则依赖于先前的知识，也是标准智商测试(即IQ测试)的

    对象。流体智力遵循一种抛物线式发展轨迹，在成年早期达到高峰，并

    随着年龄的增长逐渐下降；而晶体智力会随年龄的增长，缓慢渐进式地

    提高，直至暮年。AlphaGo只在一个相当狭窄的领域同时展现出了晶体

    智力和流体智力，但在这个领域，它表现出了令人惊讶的创造力。专业

    知识的获取也是基于在狭窄领域的学习。我们都是语言领域的专家，每

    天都在使用语言。

    AlphaGo使用的强化学习算法可以被用来解决许多问题。这种形式

    的学习只取决于在一系列动作结束时给予获胜者的奖励，这似乎和提前

    做出更好的决策相矛盾。结合了许多强大的深度学习网络，就会生成许

    多领域相关的智能。而且事实上，已经出现了与领域相关的不同类型智

    能，例如社会、情感、机械和建筑等的案例。 [40]

    智力测试测量的一

    般因素(general factor，简称g因素)与这些不同类型相关。我们有理由

    认真审视IQ测试。自20世纪30年代首次测试智力以来，全人类平均的IQ

    分数每10年会上升三个点，这一趋势被称为“弗林效应”(Flynn

    effect)。对于弗林效应有许多可能的解释，比如更充足的营养、更完

    善的医疗体系，以及其他环境因素。 [41]

    这很有道理，因为环境会影

    响基因调控，从而影响大脑内在的连接，行为也会随之发生变化。 [42]

    随着人类越来越多地生活在人造环境中，大脑正在以某种超越自然进化

    轨道的方式被塑造。在更长的时间内，人类是否能一直都在变得更聪

    明？智商增长会持续多久？用电脑玩国际象棋、西洋双陆棋和围棋的人

    数自计算机程序达到冠军级别后一直在稳步增加，而机器也强化了人类

    玩家的智能。 [43]

    深度学习提升的将不仅仅是科学研究人员的智能，还包括所有行业从业人员的智能。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者科学仪器正以惊人的速度产生数据。位于日内瓦的大型强子对撞机

    (LHC)中发生的基本粒子碰撞每年产生25PB(1PB=1000TB)的数

    据。大型综合巡天望远镜(LSST)每年将产生6PB的数据。机器学习正

    被用于分析庞大的物理和天文数据集，其规模之浩大让人类根本无法通

    过传统方法进行搜索。 [44]

    例如，DeepLensing是一种神经网络，可以

    识别遥远星系的图像。这些图像由于光在传播中因围绕周边星系的“引

    力透镜”造成的光路偏折而被扭曲了。这一技术可以自动发现许多遥远

    的新星系。物理学和天文学中还有许多其他类似“大海捞针”的问题，而

    深度学习能够让传统的数据分析方法如虎添翼。

    新教育体系：每个人都需要终身学习

    银行在20世纪60年代后期推出了面向银行账户持有人的全天候现金

    提取服务，这对于那些在银行正常营业时间之外需要现金的人来说非常

    方便，自动提款机(ATM)从此获得了阅读手写支票的能力。尽管它

    们的存在减少了银行柜员的日常工作量，但有越来越多的柜员为客户提

    供按揭和投资建议等个性化服务，同时也出现了维修ATM的新工种。

    [45]

    就如一方面，蒸汽机代替了体力劳动者，但另一方面，这为能够建

    造和维护蒸汽机及驱动蒸汽机车的熟练工人提供了新的就业机会。亚马

    逊的在线营销也将许多员工从当地实体零售店中迁移出来，但同时也为

    分配和运输其商品，以及许多使用其平台的企业创造了38万个新的工作

    机会。 [46]

    由于现在需要人类认知技能的工作被自动化人工智能系统

    所接管，那些能够创建和维护这些系统的人将会获得新的工作。

    工作变动不是什么新鲜事。19世纪，农场劳工被机器取代，机器也

    在城市工厂创造了新的工作机会，所有这些都需要一个教育系统来培训

    工人新的技能。不同之处在于，今天，由人工智能开辟的新职位除了需

    要传统的认知技能之外，还需要新的、不同的、不断变化的技能。 [47]

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者所以我们都需要终身学习。要做到这一点，我们需要一个以家庭，而不

    是以学校为基础的新教育体系。

    幸运的是，就像寻找新工作的需求变得迫在眉睫一样，互联网上免

    费的大规模开放式在线课程慕课(MOOCs)也应运而生，来帮助人们

    获取新的知识和技能。虽然仍处于初级阶段，但慕课的在线教育生态系

    统正在迅速发展，并在为更广泛的人群提供前所未有的优质教学。与下

    一代数字辅助系统相结合，慕课则可能会带来变革。芭芭拉·奥克利

    (Barbara Oakley)和我开设了一门名为“学会如何学习”(Learning How

    to Learn)的慕课——该热门课程会教你如何成为更好的学习者(见图

    1–11)——以及一门名为“思维转换”(Mindshift)的慕课，教你如何改

    造自己并改变你的生活方式(这两门课将在第12章中详细介绍)。

    图1-11 “学会如何学习”教你如何成为更好的学习者，它是互联网上最受欢迎的慕课，拥有超

    过300万学习者。

    进行网上操作时，其实正在生成机器可读的关于你自己的大数据。

    根据你在互联网上行为的蛛丝马迹，你正在被自动生成的相关广告定

    位。你在Facebook(脸谱网)和其他社交媒体网站上发布的信息可被用

    于创建数字助理，它几乎比世界上任何其他人都更了解你，并且不会遗

    漏任何内容，实际上就相当于你的虚拟分身。通过将互联网跟踪和深度

    学习都纳入服务，现在这些孩子的后代拥有的教育机会将比今天富裕家

    庭拥有的最优质的教育机会还要好。这些孙辈将拥有自己的数字导师，更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者导师将在整个教育过程中陪伴他们。教育不仅会变得更加个性化，也会

    变得更加精准。世界各地已经开展了各种各样的教育实验，例如可汗学

    院，由盖茨基金会、陈–扎克伯格基金会和其他慈善基金会资助。这些

    实验机构正在测试软件，以便让所有的孩子都可以根据自己的节奏进

    步，并适应每个儿童的特定需求。 [48]

    数字导师的普及将使教师从教

    学中的重复劳动，如评分中解脱出来，专注于人类最擅长的事情——对

    学习困难的学生提供精神支持，并给予有天赋的学生灵感启发。教育技

    术(Edtech)正在快速发展，与自动驾驶汽车相比，传统教育向精准教

    育过渡的速度可能相当快，因为它必须克服的障碍要小得多，需求却要

    大得多，而且美国的教育是一个万亿美元的市场。 [49]

    一个主要的问

    题就是，谁能够访问数字助理和数字导师的内部文件。

    正面影响：新兴技术不是生存威胁

    AlphaGo在2016年毫无争议地击败了李世石，这激化了过去若干年

    引发的人工智能可能给人类带来威胁的担忧。计算机科学家签署了不会

    将AI用于军事目的的承诺协议。斯蒂芬·霍金(Stephen Hawking)和比

    尔·盖茨(Bill Gates)公开发表声明，警告人工智能可能对人类造成的

    生存威胁。伊隆·马斯克(Elon Musk)和其他硅谷企业家成立了一家新

    公司OpenAI，拥有10亿美元储备金，并聘请了杰弗里·辛顿之前的一名

    学生伊利娅·苏特斯科娃(Ilya Sutskever)担任第一任总监。虽然

    OpenAI的既定目标是确保未来人工智能的发现将公开供所有人使用，但它还有另一个隐含的更重要的目标：防止私人公司作恶。AlphaGo战

    胜了围棋世界冠军李世石，一个临界点也随之到来。几乎在一夜之间，人工智能从一项失败的技术，转变成了可感知的生存威胁。

    一种新兴技术被看作生存威胁，这已经不是第一次了。核武器的发

    明、改进和储存曾经是一种毁灭全世界的威胁，但至少到目前为止，我

    们有能力阻止这种情况的发生。重组DNA技术刚问世的时候，人们担心

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者经人工改造的致命生物会从实验室逃出来，导致全球范围内出现难以估

    量的痛苦和死亡。基因工程现在已经是一项成熟的技术，目前我们已经

    能和它的产物共存。与核武器和致命生物相比，机器学习的最新进展构

    成的威胁相对较小。我们也将适应人工智能。事实上，这已经在发生

    了。

    DeepStack的成功带来的其中一个暗示是，深度学习网络可以学习

    如何成为世界顶级的骗子。训练深层网络能干什么只受限于训练者的想

    象力和数据。如果一个网络可以接受安全驾驶汽车的训练，那么它也可

    以被训练驾驶F 1赛车，很可能有人愿意为此掏腰包。今天，我们仍然

    需要技术娴熟和训练有素的从业人员使用深度学习来搭建产品和服务，但随着计算能力的成本持续下降、软件功能更加自动化，很快，高中生

    就可能具备开发AI应用程序的能力了。作为德国收入最高的在线电子商

    务公司，奥托(Otto)主要经营服装、家居和体育用品。它正在利用深

    度学习，根据历史订单信息预测客户未来可能购买的产品，并提前为他

    们下单。 [50]

    客户几乎在订购前就收到了自己想订购的商品，准确率

    达到90%。自动完成工作且无须人工干预，这种预订操作不仅可以每年

    为公司在剩余库存和退货环节节省数百万欧元，还提高了客户满意度和

    保有率。深度学习显著提高了奥托公司的生产力，却并没有取代它的工

    人。人工智能可以让你在工作中更高效。

    虽然主要的高科技公司开拓了深度学习的应用，但机器学习工具已

    经普遍存在了，许多其他公司也开始从中受益。Alexa是一个广受欢迎

    的数字助理，与亚马逊Echo智能音箱配合使用，能够基于深度学习对自

    然语言发出的请求做出回应。亚马逊网络服务(AWS)引入了名

    为“Lex”、“Poly”和“Comprehend”的工具箱，可以分别基于自动化文

    字、语音转换、语音识别和自然语言理解，方便地开发相同的自然语言

    界面。具有对话交互能力的应用程序现在可供无力雇用机器学习专家的

    小型企业使用。企业通过应用这一程序可以提高客户满意度。

    当最好的人类棋手在计算机程序面前都黯然失色时，人类会不再下

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者棋吗？正相反，人工智能会提高人类的竞技水平，也使得棋类竞技更加

    大众化。顶级的国际象棋选手曾经都来自莫斯科和纽约等大城市。这些

    地方大师云集，可以教授年轻棋手并提高他们的技能水平。国际象棋电

    脑程序使得在挪威小镇长大的马格努斯·卡尔森(Magnus Carlson)13岁

    就成为国际象棋大师，如今他已是世界国际象棋冠军。人工智能不仅对

    游戏产生了正面的影响，更会推动人类付诸努力的各个方面，从艺术到

    科学。AI可以让你变得更聪明。 [51]

    回到未来：当人类智能遇到人工智能

    本书有两个相互交织的主题：人类智能是如何进化的，以及人工智

    能会如何演变。这两种智能之间的巨大差异在于，人类智能的进化经历

    了数百万年的时间，而人工智能在最近几十年才发展起来。尽管对于文

    化演变来说，这个速度仍然是快得出奇，但是过于谨小慎微可能并不是

    个正确的选择。

    深度学习在近期取得的突破，并不是你从新闻报道中读到的那种一

    夜成功。从基于符号、逻辑和规则的人工智能向基于大数据和学习算法

    的深度学习网络的转变，其背后的故事通常并不为人所熟知。本书介绍

    了这个故事，并从我的角度探讨了深度学习的起源和成果。作为20世纪

    80年代开发神经网络学习算法的先行者和NIPS基金会的主席，我亲身经

    历了过去30年机器学习和深度学习的发展过程。我和同在神经网络领域

    的同事多年来都未能取得令人瞩目的成就，但坚持和耐心最终给我们带

    来了回报。

    [1] “啊，美丽的新世界，有这么美的人在里头!”(“O brave new world that has such people

    in’t!”)来自莎士比亚的剧作《暴风雨》中米兰达的台词(5.1.182–183 [Oxford Standard Authors

    Shakespeare])。

    [2] Bill Vlasic, “G.M. Wants to Drive the Future of Cars That Drive Themselves,” New York Times

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者, June 4, 2017, https:www.nytimes.com20170604businessgeneralmotors-self-driving-cars-mary-

    barra.html.

    [3] “Full Tilt: When 100% of Cars Are Autonomous,” New York Times Magazine , November 8,2017, https:www.nytimes.cominteractive20171108magazinetech-design-autonomous-future-cars-

    100-percent-augmented-realitypolicing.html?

    hpaction=clickpgtype=HomepageclickSource=storyheadingmodule=second-column-

    regionregion=top-newsWT.nav=top-news.

    [4] Christopher Ingraham, “The Astonishing Human Potential Wasted on Commutes,”Washington

    Post , February 24, 2016, https:www.washingtonpost.com newswonkwp20160225how-much-of-

    your-life-youre-wasting-on-your-commute?utm_term=497dfd1b5d9c..

    [5] “Full Tilt: When 100% of Cars Are Autonomous,” New York Times Magazine ,November 8,2017, https:www.nytimes.cominteractive20171108magazinetech-design-autonomous-future-cars-

    100-percent-augmented-realitypolicing.html ?

    hpaction=clickpgtype=HomepageclickSource=storyheadingmodule=second-column-

    regionregion=top-newsWT.nav=top-news.

    [6] “Google’s Waymo Passes Milestone in Driverless Car Race,” Financial Times ,December 10,2017, https:www.ft.comcontentdc281 ed2-c425-11 e7-b2bb322b2cb39656.

    [7] B. A. Golomb, “Will We Recognize It When It Happens?” in Brockman, J., (ed.),What to

    Think About Machines That Think (New York: Harper Perennial, 2015),533– 535.

    [8] Pierre Delforge, “America’s Data Centers Consuming and Wasting Growing Amounts of

    Energy,” Natural Resources Defense Council Issue Paper, February 6, 2015,https:www.nrdc.orgresourcesamericas-data-centers-consuming-andwasting-growing-amounts-

    energy.

    [9] W. Brian Arthur, “Where Is Technology Taking the Economy?” McKinsey Quarterly, October,2017, https:www.mckinsey.combusiness-functionsmckinsey-analyticsour-insightsWhere-is-

    technology-taking-the-economy.

    [10] 乞力马扎罗山是一座雪山，高19 710英尺，据说是非洲最高的山峰。它的西峰被马赛

    人称作“Ngaje Ngai”，意为“上帝的家”。靠近西峰有一具干燥、冰冻的豹子尸体。没有人解释过

    这只豹子在那个高度是要寻找什么。

    [11] 乞力马扎罗山是一座高达19 710英尺的雪山，据说是非洲最高的山峰。它的西峰在马

    赛语里被称为“Ngaje Ngai”，上帝的家。西峰附近有一具干燥、冷冻的豹子尸体。从来没有人解

    释过豹子在那个高度想要找什么。

    [12] Gideon Lewis-Kraus, “The Great A. I. Awakening,” New York Times Magazine ,December

    14, 2016, https:www.nytimes.com20161214magazinethe-greatai-awakening.html.

    [13] Aleksandr Sergeevich Pushkin, Eugene Onegin: A Novel in Verse , 2nd ed., trans.Vladimir

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者Nabokov (Princeton: Princeton University Press, 1991).

    [14] 关于这一做法的早期尝试，请参阅Andrej Karpathy, “The Unreasonable Effecti-veness of

    Recurrent Neural Networks,” Andrej Karpathy Blog , posted May 21, 2015,http:karpathy.github.io20150521rnn-effectiveness.

    [15] G. Hinton, L. Deng, G. E. Dahl, A. Mohamed, N. Jaitly, A. Senior, et al., “Deep Neural

    Networks for Acoustic Modeling in Speech Recognition,” IEEE Signal Processing Magazine 29, no. 6

    (2012): 82–97.

    [16] W. Xiong, J. Droppo, X. Huang, F. Seide, M. Seltzer, A. Stolcke, et al., “Achieving Human

    Parity in Conversational Speech Recognition,” Microsoft Research Technical Report MSR-TR-2016-

    71, revised February 2017, https:arxiv.orgpdf1610.05256.pdf.

    [17] A. Esteva, B. Kuprel, R. A. Novoa, J. Ko J, S. M. Swetter, H. M. Blau, and S.Thrun,“Dermatologist-Level Classification of Skin Cancer with Deep Neural Networks,” Nature 542, no.

    7639 (2017): 115–118.

    [18] Siddhartha Mukherjee, “A.I. versus M.D.: What Happens When Diagnosis Is Automated?”

    New Yorker , April 3, 2017, http:www.newyorker.commagazine20170403ai-versus-md.

    [19] Dayong Wang, Aditya Khosla, Rishab Gargeya, Humayun Irshad, Andrew H. Beck,Deep

    Learning for Identifying Metastatic Breast Cancer , arXiv:1606.05718. 他们使用的测量方法在信号

    检测理论里被称为“曲线下面积”，它对假阴性和假阳性都很敏感。

    https:arxiv.orgabs1606.05718.

    [20] Anthony Rechtschaffen and Alan Kales, eds., A Manual of Standardized Terminology,Techniques and Scoring System for Sleep Stages of Human Subjects ,National Institutes of Health

    publication no. 204 (Bethesda, MD: U.S. National Institute of Neurological Diseases and Blindness,Neurological Information Network, 1968).

    [21] 参阅Ian Allison, “Former Nuclear Physicist Henri Waelbroeck Explains How Machine

    Learning Mitigates High Frequency Trading,” International Business Times , March 23, 2016,http:www.ibtimes.co.ukformer-nuclear-physicist-henriwaelbroeck-explains-how-machine-learning-

    mitigates-high-frequency-1551097;Bailey McCann, “The Artificial-Intelligent Investor: AI Funds

    Beckon,” Wall Street Journal, November 5, 2017, https:www.wsj.comarticlesthe-artificialintelligent-

    investor-ai-funds-beckon-1509937622.

    [22] Sei Chong, “Morning Agenda: Big Pay for Hedge Fund Chiefs despite a Rough Year,” New

    York Times , May 16, 2017, https:www.nytimes.com20170516businessdealbookhedge-funds-

    amazon-bezos.html.

    [23] 除了雇用了数千名数学家的美国国家安全局。Alfred W. Hales, personal communication,May 4, 2016.

    [24] Sarfaz Manzoor, “Quants: The Maths Geniuses Running Wall Street,” Telegraph, July 23,更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者2013, http:www.telegraph.co.ukfinance10188335Quants-the-mathsgeniuses-running-Wall-

    Street.html.

    [25] D. E. Shaw, J. C. Chao, M. P. Eastwood, J. Gagliardo, J. P. Grossman, C. Ho, et al., “Anton:

    A Special-Purpose Machine for Molecular Dynamics Simulation,”Communications of the ACM 51, no.

    7 (2008): 91–97.

    [26] D. T. Max, Jim Simons, “The Numbers King,” New Yorker , December 18 25, 2017,https:www.newyorker.commagazine20171218jim-simons-thenumbers-king.

    [27] 很快就会被拍成电影。

    [28] 约翰·冯·诺依曼，引自根据雅各布·布罗诺夫斯基(Jacob Bronowski)的著作改编的电

    视纪录片《人类的攀升》 (The Ascent of Man )，第13集(1973年)。

    [29] 参阅M. Moravík, M. Schmid, N. Burch, V. Lisy, D. Morrill, N. Bard, et al.,“Deep-Stack:

    Expert-Level Artificial Intelligence in Heads-Up No-Limit Poker,”Science 356, no. 6337 (2017): 508–

    513。标准偏差是钟形曲线的半峰宽。只有16% 的样本落入平均值的一个标准偏差之外的区域。

    只有万分之三的样本在平均值的四个标准偏差以外。

    [30] 脑海中浮现出了1983年科幻电影《战争游戏》(War Game s)中的场景。参阅

    https:en.wikipedia.orgwikiWarGames。

    [31] 参阅D. Silver, A. Huang, C. J. Maddison, A. Guez, L. Sifre, G. v. d. Driessche,et al.,“Mastering the Game of Go with Deep Neural Networks and Tree Search,”Nature 529, no. 7587

    (2016): 484–489.

    [32] “我不知道今天该说些什么，”李世石告诉媒体记者，“但我想我必须先表示歉意。我应

    该能表现得更好，在比赛中占据更多的主动。我也很抱歉，让很多人失望了。我觉得很无助。

    如果回顾三场比赛，即使第一场比赛能够重赛，我也不认为自己会取胜，因为那时我误判了

    AlphaGo的能力。” Jordan Novet, “Go Board Game Champion Lee Sedol Apologizes for Losing to

    Google’s AI,” Venture Beat , March, 12, 2016, https:venturebeat.com20160312goboard-game-

    champion-lee-sedol-apologizes-for-losing-to-googles-ai。

    [33] “勘测者1号”于1966年6月2日，国际标准时间6点17分36秒(美国东部时间凌晨1点17分

    36秒)登陆月球表面。着陆点位于弗拉姆斯蒂德火山口(Flamsteed Crater)以北一个直径为100

    公里的陨坑内。

    [34] Ke Jie, as quoted in Selina Cheng, “The Awful Frustration of a Teenage Go Champion

    Playing Google’s AlphaGo,” Quartz , May 27, 2017, https:qz.com993147the-awful-frustration-of-a-

    teenage-go-champion-playing-googlesalphago.

    [35] Ke Jie, as quoted in Paul Mozur, “Google’s A.I. Program Rattles Chinese Go Master As It

    Wins Match,” New York Times , May 25, 2017, https:www.nytimes.com20170525businessgoogle-

    alphago-defeats-go-ke-jie-again.html.

    [36] 老版的“乒乓外交”指1971年中国和美国乒乓球队开展互访的友好往事，不仅推动了中

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者美两国关系正常化的进程，也加速了中国走向世界的步伐。——编者注

    [37] Paul Mozur, “Beijing Wants A.I. to Be Made in China by 2030,” New York Times ,July 20,2017, https:www.nytimes.com20170720businesschina-artificialintelligence.html.

    [38] Silver D., J. Schrittwieser, K. Simonyan, I. Antonoglou, A. Huang, A. Guez, T.Hubert, L.

    Baker, M. Lai, A. Bolton, Y. Chen, T. Lillicrap, F. Hui, L. Sifre, G. van den Driessche, T. Graepel, and

    D. Hassabis, “Mastering the Game of Go Without Human Knowledge,” Nature 550 (2017): 354–359.

    [39] David Silver, Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Matthew Lai, Arthur

    Guez, Marc Lanctot, Laurent Sifre, Dharshan Kumaran, Thore Graepel, Timothy Lillicrap, Karen

    Simonyan, Demis Hassabis, Mastering Chess and Shogi by Self-Play with a General Reinforcement

    Learning Algorithm , arXiv:1712.01815(2017).

    [40] Harold Gardner, Frames of Mind: The Theory of Multiple Intelligences , 3rd ed. (New York:

    Basic Books, 2011).

    [41] J. R. Flynn, “Massive IQ Gains in 14 Nations: What IQ Tests Really Measure,”Psychological

    Bulletin 101, no. 2 (1987):171–191.

    [42] S. Quartz and T. J. Sejnowski, Liars, Lovers and Heroes: What the New Brain Science Has

    Revealed About How We Become Who We Are (New York: Harper Collins, 2002).

    [43] Douglas C. Engelbart, Augmented Intelligence: Smart Systems and the Future of Work and

    Learning , SRI Summary Report AFOSR-3223 (Washington, DC:Doug Engelbart Institute, October

    1962), http:www.dougengelbart.orgpubsaugment-3906.html.

    [44] M. Young, “Machine Learning Astronomy,” Sky and Telescope , December (2017):20–27.

    [45] “Are ATMs Stealing Jobs?” The Economist , June 15, 2011,https:www.economist.comblogsdemocracyinamerica201106technology-and-unemployment.

    [46] John Taggart and Kevin Granville, “From ‘Zombie Malls’ to Bonobos: What America’s

    Retail Transformation Looks Like,” New York Times , April 15, 2017.

    [47] E. Brynjolfsson and T. Mitchell, “What Can Machine Learning Do? Workforce

    Implications,” Science (2017): 358:1530–1534. doi: 10.1126science.aap8062.

    [48] “Technology Is Transforming What Happens When a Child Goes to School:Reformers Are

    Using New Software to ‘Personalise’ Learning,” Economist , July 22, 2017,https:www.economist.comnewsbriefing21725285-reformers-areusing-new-software-personalise-

    learning-technology-transforming-what-happens.

    [49] 教育市场的估值超过1.2万亿美元，主要包含三个领域：早期儿童教育(700亿美

    元)，K–12(即从幼儿园到高中三年级的基础教育，6 700亿美元)，以及高等教育(4 750亿

    美元)。参阅Arpin Gajjar, “How Big Is the Education Market in the US: Report from the White

    House,” Students for the Future , October 10, 2008, https:medium.comstudents-for-the-futurehow-

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者big-is-the-educationmarket-in-the-us-report-from-white-house-91dc313257c5。

    [50] “Algorithmic Retailing: Automatic for the People,” Economist , April 15, 2017,[51] T. J. Sejnowski, “AI Will Make You Smarter,” in Brockman, J. (ed.), What to Think About

    Machines That Think (New York: Harper Perennial, 2015), 118–120.

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者02

    人工智能的重生

    马文·明斯基是一位杰出的数学家，也是麻省理工学院人工智能实

    验室(以下简称MIT AI Lab) [1]

    的创始人之一。创始团队确定了这个

    领域的方向和文化。麻省理工学院的人工智能研究在20世纪60年代成了

    聪明人的阵地，这在很大程度上要归功于明斯基。他每分钟冒出的新点

    子比我认识的任何人都多，而且能让你相信他对一个问题的看法是对

    的，尽管这个看法会让人觉得有悖常识。我很钦佩他的大胆和睿智，但

    是并不认同他研究AI所选择的方向。

    看似简单的视觉识别

    积木世界(Blocks World)是MIT AI Lab在20世纪60年代推出的一

    个项目典范。为了简化视觉问题，积木世界由矩形积木组成，可以堆叠

    起来组成新的结构(见图2–1)。该项目的目标是编写一个能够理解命

    令的程序，例如“找到一个大的黄色积木并将其放在红色积木上面”，并

    规划出让机器人手臂执行命令所需的步骤。这看起来像小孩子玩的游

    戏，但却需要编写一个庞大而复杂的程序来实现。这个程序后来变得十

    分冗长烦琐，以至于编写该程序的学生特里·维诺格拉德(Terry

    Winograd)离开该实验室之后，该程序因为错误百出，频频崩溃，最终

    被无奈地放弃了。这个看起来很简单的问题比任何人想象的都要难得

    多，即使成功了，也很难把积木世界同现实世界顺利地连接起来，毕竟

    在现实世界中物体有不同的形状、大小和重量，而且并非所有边角都是

    直角。相比于照明的方向和位置都能固定的可控实验环境，在现实世界

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者中，照明可能因地点和时间的不同而发生显著变化，这极大地增加了计

    算机物体识别任务的复杂性。

    图2-1 马文·明斯基在观察机器人堆积木(照片拍摄于1968年左右)。积木世界是我们如何与

    世界交互的简化版本，但它面对的问题比任何人想象的都要复杂得多，直到2016年才通过深度

    学习解决。

    20世纪60年代，MIT AI Lab获得了来自一个军事研究机构的大笔资

    金，被要求用于打造一个可以打乒乓球的机器人。我曾经听过一个故

    事，那就是这个项目的负责人忘了在基金申请书中加上为机器人建立一

    个视觉系统的预算，于是他把这个问题分配给了一个研究生作为暑期研

    究项目。后来我问马文·明斯基这个故事是不是真的。他反驳道：“我们

    把那个问题分配给了本科生。”MIT档案中的一份文件证实了他的回

    答。 [2]

    这个看上去很容易解决的问题，最终被证明是个“陷阱”，吞噬

    了整整一代计算机视觉研究人员的青春。

    计算机视觉的进步

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者尽管物体的位置、大小、方向和受到的光照不同，我们却很少在识

    别物体时感到吃力。计算机视觉研究中最早的想法之一是将物体的模板

    与图像中的像素进行匹配，但是这种方法收效甚微，因为同一物体不同

    角度的两个图像中的像素并不匹配。例如，参考图2–2中的两只鸟。如

    果你将一只鸟的影像覆盖到另一只鸟上，你可以找到一块匹配的部分，但其余部分就完全对不上了；但是如果有另一个种类的鸟相同姿势的图

    像，你却可以得到相当好的匹配结果。

    计算机视觉的进步是通过关注特征而非像素来实现的。例如，赏鸟

    者必须具备专业水平才能区分只在一些细微处略有差异的不同鸟类。一

    本关于鸟类鉴别的实用畅销书中只有一张鸟的照片，却有许多示意图指

    出了各种鸟之间的细微差别(见图2–3)。 [3]

    一个好的特征是指一种

    鸟类独有的特征，但是如果在别的种类中也可以找到这些特征，那么就

    要靠翼带、眼纹和翼斑的独特标记组合来区分。当这些标记组合为近亲

    种类所共享时，就要根据叫声和歌声进一步区分。鸟类的草图或彩绘能

    更好地将我们的注意力引导到相关的区别特征上，相比之下，鸟类照片

    里则布满了数百个不太相关的特征。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图2-2 两只斑胸草雀在互相审视对方。我们不难看出它们是同一物种。但是因为它们面对镜头

    的角度不同，所以很难将它们与模板对应，即使它们具有几乎相同的特征。

    图2-3 可用于区分相似鸟类的显著特征。箭头指向的是翼带的位置，对于分辨莺科非常重要：

    有的轮廓清晰，有的界线模糊，有的是双条的，有的长，有的短。图片来源：Peterson,Mountfort, and Hollom, Field Guide tothe Birds of Britain and Europe , 5th ed.,p.16。

    这种基于特征的识别方法存在的问题，不仅在于针对世界上数万种

    不同物体开发特征检测器是非常耗费人力的，而且即便使用最精确的特

    征检测器，被部分遮挡住的物体的图像也会产生歧义，这使得识别混乱

    场景中的物体成了计算机所面临的一项艰巨任务。

    20世纪60年代，没有人能想到我们要花上50年，计算机的运算能力

    需要提升100万倍，才能让计算机视觉达到人类的水平。当时有一种带

    有误导性的直觉，认为编写计算机视觉程序很容易。这种直觉是基于我

    们认为很简单的行为，例如看、听、四处走动——但这些行为是经过了

    几百万年的自然进化才实现的。让早期AI先驱十分懊恼的是，他们发现

    计算机视觉问题非常难以解决。相比之下，他们发现通过编写程序让计

    算机证明数学定理要容易得多——这个过程曾被认为需要最高水平的智

    能——因为计算机处理逻辑问题的能力比人类要强得多。逻辑思维是进

    化后期的产物，即便对于人类，也需要接受从逻辑命题到得出严谨结论

    的长期训练。然而，对于大多数我们所面临的生存问题，从以往经验中

    总结出的解决方案，在大部分时间都能发挥作用。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者早期人工智能发展缓慢

    20世纪七八十年代流行的人工智能专家系统，被开发用以通过遵循

    一套规则来解决医学诊断等问题。因此，一个早期的专家系统

    MYCIN，被开发用于识别导致感染性疾病如细菌性脑膜炎的细菌。 [4]

    根据专家系统方法，MYCIN的开发者首先要收集由传染病专家提供的

    事实和规则，以及病人的症状和病史，然后将信息输入系统中的计算

    机，最后通过编写程序让计算机使用逻辑进行推理。然而，开发者在收

    集专家提供的事实和规则时遇到了麻烦，尤其是在更复杂的领域，最好

    的诊断医师并不依赖规则，而是依靠难以编码的基于经验的图案识别，[5]

    而且他们的系统必须随着新发现的诞生和旧规则的过时而不断更

    新。开发者在收集和输入病人的症状和病史信息时遇到了更多的困难。

    录入每个病人的信息需要花上半小时或更长的时间，忙碌的医生们根本

    腾不出这么多时间。因此，MYCIN从未被应用于临床是预料之中的

    事。尽管有许多针对其他应用的专家系统被开发了出来，例如有毒物质

    泄漏管理、自动驾驶车辆的任务规划，以及语音识别等，但如今，这些

    系统在实际生活中很少被用到。

    研究人员在人工智能发展早期尝试了许多不同的方法，这些方法通

    常都很巧妙，但并不实用。他们不仅低估了现实世界问题的复杂性，而

    且提出的解决方案无法进行大规模应用。在复杂的领域中，规则的数量

    可能会非常庞大，并且随着新的事实的出现而不断被添加，跟踪所有规

    则的例外情况并与之互动变得十分不切实际。例如，道格拉斯·勒奈

    (Douglas Lenat)在1984年启动了一个名为“Cyc”的项目，想要将常识

    代码化，这在当时似乎是一个好主意，但实际操作起来却成了一场噩

    梦。 [6]

    我们对世界上的大量事实都觉得理所当然，其中大部分都是基

    于经验。例如，从40英尺的高度落下的猫可能会毫发无损， [7]

    但是从

    同一高度坠落的人就不同了。

    早期AI进展得如此缓慢的另一个原因是，数字计算机还处于非常原

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者始的阶段，并且以今天的标准来看存储器成本十分高昂。但是由于数字

    计算机在逻辑运算、符号操作和规则应用方面非常高效，这些计算原语

    在20世纪会受到青睐并不令人惊讶。这也促使了卡内基–梅隆大学

    (Carnegie Mellon University)的两位计算机科学家艾伦·纽维尔(Allen

    Newell)和赫伯特·西蒙(Herbert Simon)于1955年写成了一套名为“逻

    辑理论家”的计算机程序，它可以证明 《数学原理》(Principia

    Mathematica )一书中的逻辑定理。《数学原理》是阿尔弗雷德·怀特海

    德(Alfred North Whitehead)和伯特兰·罗素(Bertrand Russell)尝试把

    所有的数学知识系统化的一套书。这一时期，人们对于智能电脑即将到

    来寄予了厚望。

    那些试图编写具有人类智能的计算机程序的AI先驱，本身并不太关

    心大脑是如何实现智能行为的。我问艾伦·纽维尔其中的缘由，他告诉

    我，他本人对大脑研究的见解持开放态度，但当时根本没有足够的相关

    信息可以借鉴。大脑功能的基本原理在20世纪50年代才慢慢开始被揭

    开，相关领域的带头人包括艾伦·霍奇金(Alan Hodgkin)和安德鲁·赫

    胥黎(Andrew Huxley)，他们解释了大脑信号是如何通过神经中的电

    脉冲来实现远距离传送的，而另一带头人伯纳德·卡茨(Bernard Katz)

    则发现了这些电子信号如何经突触转化为化学信号来实现神经元间的通

    信。 [8]

    到了20世纪80年代，人们对大脑的了解日益增加，并且在生物学领

    域以外对大脑的接触也变得更加广泛，但对于新一代的AI研究人员来

    说，大脑本身已经变得无关紧要了。他们的目标是编写一个程序，使其

    拥有和大脑一样的功能。在哲学里，这种立场被称为“功能主义”，对许

    多人来说，这是一个可以忽略生物学中杂乱细节的绝佳说辞。但是一小

    群不属于主流群体的AI研究人员认为，受大脑生物学启发的那些被称

    为“神经网络”、“连接主义”和“并行分布处理”的AI实现方法，会最终解

    决困扰基于逻辑的AI研究的难题。我正是那一小群人中的一个。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者从神经网络到人工智能

    1989年，MIT计算机科学实验室主任迈克尔·德图佐斯(Michael

    Dertouzos)邀请我到MIT做一个有关我在基于神经网络的人工智能领域

    采用的开拓性研究方法的“杰出学者讲座”(图2–4)。到场后，我受到

    了德图佐斯的热情接待。乘电梯时他告诉我：“MIT有个传统，杰出学

    者讲座的演讲者需要在午餐时用5分钟的时间与教师和学生一起讨论他

    的讲座话题。”“而且，”当电梯门打开时，他补充道，“他们挺反感你在

    做的事情。”

    图2-4 我在介绍大脑皮层的比例法则，那是在1989年我加入索尔克生物研究所(Salk

    Institute)不久后。图片来源：Ciencia Explicada。

    房间里挤满了差不多一百人，德图佐斯也很意外。科学家们站成一

    个圈，足足有三层：高级教员在第一层，第二层是初级教员，学生在最

    后一层。我走到圆圈的中心，正对着自助餐的主菜。我要在这5分钟里

    说些什么，才能让那些讨厌我工作的人改变想法呢？

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者我开始即兴发挥，“食物上这只苍蝇的大脑只有10万个神经元；它

    大概重1毫克，要消耗1毫瓦的能量，”我边说边驱赶苍蝇，“苍蝇能看，能飞，可以自己确定飞行方向，还能觅食。但最不可思议的是，它可以

    通过繁殖来进行自我复制。MIT拥有一台价值1亿美元的超级计算机：

    它消耗的能量是兆瓦级的，并需要一台巨型空调进行冷却。但是，超级

    计算机的最大成本是要消耗大量人力，也就是说程序员要满足它对程序

    的巨大需求。这台超级计算机不能看，不能飞，虽然它能与其他计算机

    交流，但它不能交配或自我复制。看得出这个场景描述里有什么问题

    吗？”

    在一段长时间的沉默之后，一位高级教员说道：“因为我们还没有

    编写视觉程序。”(美国国防部最近向其战略计算计划注入了6亿美元，这项计划在1983—1993年间运行，但是缺少了为自动驾驶坦克创建的视

    觉系统)。 [9]

    我的回答是“祝你好运”。

    在座的有杰拉德·苏斯曼(Gerald Sussman)，他为用人工智能解决

    现实世界的问题做出了几个重要的应用，其中包括高精度轨道力学积分

    系统，为MIT致敬图灵经典杰作的AI实现方法挽回了尊严(图灵曾证明

    图灵机，即一个思维实验，可以计算任何可计算的函数)。“那需要多

    长时间？”我问。“你最好算快一点，否则就要有麻烦了。”我补充道，然后走到房间另一头给自己倒了一杯咖啡。我与教员的对话就这样结束

    了。

    “这个场景出了什么问题？”是我实验室的每个学生都能回答的问

    题。但是在午餐时间，前两排观众都被难倒了。最后，第三排的一名学

    生这样回答：“数字计算机是一种通用设备，它可以被编程来计算任何

    东西，虽然效率很低，但苍蝇是一种专用计算机，可以看和飞，但无法

    平衡我的账户收支。”这就是正确答案。苍蝇眼中的视觉网络进化了数

    亿年，其视觉算法嵌入了它本身的网络。这就是为什么你可以利用苍蝇

    眼神经回路的布线图和信息流对视觉系统进行逆向工程，以及为什么你

    不能在数字计算机上这样做，因为硬件本身需要软件来指定要解决什么

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者问题。

    我认出了在人群中微笑的罗德尼·布鲁克斯(Rodney Brooks)。我

    曾经邀请他参加在马萨诸塞州鳕鱼角的伍兹霍尔市(Woods Hole)举办

    的计算神经科学研讨会。布鲁克斯是澳大利亚人，20世纪80年代，他是

    MIT AI Lab的初级教员。那段时间他使用不依赖数字逻辑的构架搭建了

    爬行昆虫机器人。他后来成了实验室主管，随后又创建了打造出

    Roombas的公司iRobot。

    那天下午我做演讲的房间很大，挤满了本科生，新生代想要展望未

    来，而不是徘徊在过去。我谈到了一个学习如何玩西洋双陆棋的神经网

    络，这是一个与伊利诺伊大学香槟分校(the University of Illinois in

    Urbana-Champaign)复杂系统研究中心(Center for Complex Systems

    Research)的物理学家杰拉德·特索罗(Gerald Tesauro)合作的项目。西

    洋双陆棋是两名玩家之间的比赛，棋子根据掷骰子的点数向前移动，在

    途中可以跳过对方的棋子。与具有确定性的国际象棋不同，西洋双陆棋

    是由偶然因素控制的：每次掷骰子的不确定性都使得对特定棋步结果的

    预测更加困难。这是一款在中东地区非常受欢迎的游戏，其中一些人以

    玩高赌注的比赛为生。

    考虑到有1020 个可能的西洋双陆棋棋盘摆法，基于逻辑和试探法编

    写程序来处理所有可能的摆法将会是一个不可能完成的任务。于是，我

    们让神经网络观看教师对局，通过模式识别来学习下棋。 [10]

    杰拉德

    后来让西洋双陆棋网络通过跟自己下棋进行学习，创建了第一个世界冠

    军级别的西洋双陆棋程序(第10章会详细讲述这个故事)。

    演讲结束之后，我听说那天早上《纽约时报》有一篇关于政府机构

    如何大幅削减人工智能资金投入的头版文章。虽然对主流AI研究人员来

    说，寒冬已经来临，但它并没有影响到我和我的研究组成员，对我们来

    说，神经网络的春天才刚刚到来。

    然而我们新的AI实现方法需要25年的时间才能在视觉、语音和语言

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者方面提供实际应用。即使在1989年，我也知道这需要很长时间。1978

    年，我还在普林斯顿大学读研究生时就在想，按照摩尔定律，计算机的

    运算能力会呈指数级增长，每18个月翻一番，那达到大脑的计算能力需

    要多长时间？我的结论是，到2015年会实现。幸运的是，这并没有阻止

    我继续探索。我对神经网络的信仰是基于我的直觉，即如果大自然解决

    了这些问题，我们也应该能够从大自然中学习到同样的解决方法。而我

    不得不耐心等待的这25年，与自然界的数亿年相比，它仅仅只是一个瞬

    间。

    在视觉皮层内部，神经元呈多层次排列结构。随着感官信息在皮层

    间层层传递，对世界的呈现也变得越来越抽象。几十年来，随着神经网

    络模型层数的增加，其性能也在不断提高，直到最终达到了一个临界

    点，让我们能够解决在20世纪80年代只能幻想却无法解决的问题。深度

    学习可以自动找出能区分图像中不同物体的优质特征的过程，这就是今

    天的计算机视觉比5年前好得多的原因。

    到2016年，计算机的运行速度已经快了上百万倍，计算机内存也从

    兆字节升级到了太字节(terabytes)。与20世纪80年代只有数百个单元

    和数千个连接的网络相比，现在模拟出的神经网络具有数百万个单元和

    数十亿个连接。尽管按照拥有数千亿个神经元和千万亿个突触连接的人

    类大脑的标准来看，这个数字仍然很小，但现有神经网络的规模已经可

    以在有限领域中进行原理的证明。

    基于深度神经网络的深度学习已经出现了，但在有深度网络之前，我们必须学习如何训练浅层网络。

    [1] 虽然直到1970年才正式成立，麻省理工学院人工智能实验室(MIT AI Lab)于 1959年

    就开始了相关的研究项目，并于2003年跟麻省理工学院计算机科学实验室(LCS)合并，组建

    了麻省理工学院计算机科学与人工智能实验室(CSAIL)。为了保持简洁和一致性，我把该机

    构统称为“MIT AI Lab”。

    [2] 参阅Seymour A. Papert, “The Summer Vision Project,” AI Memo AIM-100, July 1, 1966,DSpace@MIT, https:dspace.mit.eduhandle1721.16125。根据麻省理工学院2016级毕业生

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者Michaela Ennis的说法：“有关麻省理工学院本科生被安排将‘计算机视觉’作为暑期研究项目的故

    事，帕特里克·温斯顿(Patrick Winston)教授每年都会拿到课堂上讲，他还说过这个本科生就

    是杰拉德·苏斯曼(Gerald Sussman)。”

    [3] 参阅Roger Peterson, Guy Mountfort, and P. A. D. Hollom, Field Guide to the Birds of Britain

    and Europe , 5th ed. (Boston: Houghton Mifflin Harcourt, 2001).

    [4] Bruce G. Buchanan and Edward H. Shortliffe, Rule Based Expert Systems: The MYCIN

    Experiments of the Stanford Heuristic Programming Project (Reading, MA:Addison-Wesley, 1984).

    [5] S. Mukherjee, “A.I. versus M.D.: What Happens When Diagnosis Is Automated?”New Yorker ,April 3, 2017.

    [6] Pedro Domingos, The Master Algorithm: How the Quest for the Ultimate Learning Machine

    Will Remake Our World (New York: Basic Books, 2015), 35. 甚至没有人知道如何量化所有常识，我们把拥有常识当成理所当然的事。

    [7] 猫比人的体重要轻，即使背朝下掉落，也可以在空中翻转过来四肢着地。J.A. Sechzera,S. E. Folsteina, E. H. Geigera, R. F. and S. M. Mervisa, “Development and Maturation of Postural

    Reflexes in Normal Kittens,” Experimental Neurology 86, no. 3 (1984): 493–505.

    [8] B. Katz, Nerve, Muscle, and Synapse (New York: McGraw-Hill, 1996); A. Hodgkin,Chance

    and Design: Reminiscences of Science in Peace and War (Cambridge:Cambridge University Press,1992).

    [9] M. Stefik, “Strategic Computing at DARPA: Overview and Assessment,”Communications of

    the ACM 28, no.7 (1985): 690–704.

    [10] G. Tesauro and T. J. Sejnowski, “A Parallel Network That Learns to Play Backgammon,”

    Artificial Intelligence 39 (1989): 357–390.

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者03

    神经网络的黎明

    任何人工智能的难题都可以被解决。唯一能证明这一论断成立的是

    这样一个事实：自然界通过进化已经解决了这些难题。但在20世纪50年

    代就已经存在各种暗示，如果AI研究者能够选择完全不同于符号处理的

    方式，计算机会如何表现出智能行为。

    第一条暗示是，我们的大脑是强大的模式识别器。我们的视觉系统

    可以在110秒内识别混乱场景中的对象，即使我们可能从未见过那个特

    定的对象，也不论该对象在什么位置，多大尺寸，以什么角度面对我

    们。简而言之，我们的视觉系统就像一台以“识别对象”作为单一指令的

    计算机。

    第二条暗示是，我们的大脑可以通过练习来学会如何执行若干艰巨

    的任务，比如弹钢琴、掌握物理学知识。大自然使用通用的学习方法来

    解决特殊的问题，而人类则是顶尖的学习者。这是我们的特殊能力。我

    们大脑皮层的结构整体上是相似的，并且我们所有的感受系统和运动系

    统都有深度学习网络。 [1]

    第三条暗示是，我们的大脑并没有充斥着逻辑或规则。当然，我们

    可以学习逻辑思维或遵守规则，但必须要经过大量的训练，而我们当中

    的大多数人对此并不在行。这一点可以通过人们在一个叫作“华生选择

    任务”(Wason selection task)的逻辑谜题上的典型表现来进行说明(见

    图3–1)。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图3-1 这四张卡片，每张都是一面有数字，另一面涂满了颜色。要测试以下命题为真：一张卡

    片在一面显示为偶数，那它的另一面就是红色的。你需要翻哪(几)张牌呢？图片来源：“华

    生选择任务”，维基百科。

    正确的选择是正面为数字“8”，背面为棕色的卡片。在最初的研究

    中，只有10% 的受试者给出了正确的答案。 [2]

    但是，当给这项逻辑测

    试加上了熟悉的背景信息时，大多数受试者都能很快找出正确答案(见

    图3–2)。

    推理似乎是基于特定领域的，我们对该领域越熟悉，就越容易解决

    其中的问题。经验使得在一个领域内进行推理变得更容易，因为我们可

    以用已有的例子来下意识地得到解决方案。例如，在物理学中，我们通

    过解决各种问题，而不是通过背诵公式，来学习电磁学领域的知识。如

    果人类的智能是完全基于逻辑的，那么它应该是跨领域的通用智能，但

    事实并非如此。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图3-2 每张卡片都是一面有一个年龄数字，另一面印着一种饮料。需要翻哪(几)张牌才能检

    验这条法律：如果你正在喝酒，那说明你一定超过18岁了？图片来源：“华生选择任务”，维

    基百科。

    第四条暗示是，我们的大脑充满了数百亿个小小的神经元，每时每

    刻都在互相传递信息。这表明，要解决人工智能中的难题，我们应该研

    究具有大规模并行体系结构的计算机，而不是那些具有冯·诺依曼数字

    体系结构，每次只能获取和执行一个数据或指令的计算机。是的，图灵

    机在被给予足够内存和时间的条件下，的确可以计算任何可计算的函

    数，但自然界必须实时解决问题。要做到这一点，它利用了大脑的神经

    网络，就像地球上最强大的计算机一样，它们具有大量的并行处理器。

    只有能有效运行的算法，最终才能在自然选择中胜出。

    深度学习的起点

    20世纪五六十年代，在诺伯特·维纳(Norbert Wiener)提出基于机

    器和生物中的通信和控制系统的控制论之后不久， [3]

    学界对自组织系

    统开始产生了浓厚的兴趣。而其中一个独创性产物便是由奥利弗·塞弗

    里奇(Oliver Selfridge)创造的Pandemonium(鬼域)。 [4]

    这是一个图

    案识别设备，其中进行特征检测的“恶魔”通过互相竞争，来争取代表图

    像中对象的权利(深度学习的隐喻，见图3–3)。斯坦福大学的伯纳德·

    威德罗(Bernard Widrow)和他的学生泰德·霍夫(Ted Hoff)发明了

    LMS(最小均方)学习算法， [5]

    它与其后继算法一起被广泛用于自适

    应信号处理，例如噪声消除、财务预测等应用。在这里，我将重点关注

    一位先驱弗兰克·罗森布拉特(Frank Rosenblatt)(图3–4)，他发明的

    感知器是深度学习的前身。 [6]

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图3-3 Pandemonium。奥利弗·塞弗里奇认为，大脑中有恶魔负责从感官输入中先后提取更复杂

    的特征和抽象概念，从而做出决定。如果每个级别的恶魔与前一个级别的输入相匹配，则会激

    动不已。做决定的恶魔需要衡量所有信息传递者的兴奋程度和重要性。这种形式的证据评估是

    对当前多层次深度学习网络的隐喻。图片来源：Peter H. Lindsay and Donald A. Norman,Human Information Processing: An Introduction to Psychology , 2nded. (New York:

    Academic Press, 1977), 图3-1。维基共享资源：

    https:commons.wikimedia.orgwikiFile:Pande.jpg。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图3-4 深思中的康奈尔大学教授弗兰克·罗森布拉特，他发明了感知器。作为深度学习网络的

    早期雏形，感知器是能够将图像进行分类的简易学习算法。图中文章是1958年7月8日在《纽约

    时报》上发表的一篇来自合众国际社(UPI)的报道。感知器在1959年完成时预计花费了10万美

    元，相当于今天的100万美元。IBM704计算机在1958年价值200万美元，相当于现在的2000万美

    元，可以实现每秒12000次的乘法运算，这在当时已经是极快的速度了。不过相比之下，现在价

    格要低得多的三星Galaxy S6手机每秒可以执行340亿次操作，速度要快100万倍以上。图片来

    源：George Nagy。

    从样本中学习

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者尽管我们对大脑功能缺乏足够的了解，但神经网络的AI先驱们依然

    依靠着神经元的绘图以及它们相互连接的方式，进行着艰难的摸索。康

    奈尔大学的弗兰克·罗森布拉特是最早模仿人体自动图案识别视觉系统

    架构的人之一。 [7]

    他发明了一种看似简单的网络感知器

    (perceptron)，这种学习算法可以学习如何将图案进行分类，例如识

    别字母表中的不同字母。算法是为了实现特定目标而按步骤执行的过

    程，就像烘焙蛋糕的食谱一样(关于算法，将会在第13章中进行介

    绍)。

    如果你了解了感知器如何学习图案识别的基本原则，那么你在理解

    深度学习工作原理的路上已经成功了一半。感知器的目标是确定输入的

    图案是否属于图像中的某一类别(比如猫)。方框3.1解释了感知器的

    输入如何通过一组权重，来实现输入单元到输出单元的转换。权重是对

    每一次输入对输出单元做出的最终决定所产生影响的度量，但是我们如

    何找到一组可以将输入进行正确分类的权重呢？

    工程师解决这个问题的传统方法，是根据分析或特定程序来手动设

    定权重。这需要耗费大量人力，而且往往依赖于直觉和工程方法。另一

    种方法则是使用一种从样本中学习的自动过程，和我们认识世界上的对

    象的方法一样。需要很多样本来训练感知器，包括不属于该类别的反面

    样本，特别是和目标特征相似的，例如，如果识别目标是猫，那么狗就

    是一个相似的反面样本。这些样本被逐个传递给感知器，如果出现分类

    错误，算法就会自动对权重进行校正。

    这种感知器学习算法的美妙之处在于，如果已经存在这样一组权

    重，并且有足够数量的样本，那么它肯定能自动地找到一组合适的权

    重。在提供了训练集中的每个样本，并且将输出与正确答案进行比较

    后，感知器会进行递进式的学习。如果答案是正确的，那么权重就不会

    发生变化。但如果答案不正确(0被误判成了1，或1被误判成了0)，权

    重就会被略微调整，以便下一次收到相同的输入时，它会更接近正确答

    案(见方框3.1)。这种渐进的变化很重要，这样一来，权重就能接收

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者来自所有训练样本的影响，而不仅仅是最后一个。

    3.1

    感知器

    感知器是具有单一人造神经元的神经网络，它有一个输入层，和将输入单元和输出单元相连的一组连接。感知器的目标是对提供

    给输入单元的图案进行分类。输出单元执行的基本操作是，把每个

    输入(x n )与其连接强度或权重(w n )相乘，并将乘积的总和传

    递给输出单元。上图中，输入的加权和(∑i=1,…,n wi xi )与阈值θ

    进行比较后的结果被传递给阶跃函数。如果总和超过阈值，则阶跃

    函数输出“1”，否则输出“0”。例如，输入可以是图像中像素的强

    度，或者更常见的情况是，从原始图像中提取的特征，例如图像中

    对象的轮廓。每次输入一个图像，感知器会判定该图像是否为某类

    别的成员，例如猫类。输出只能是两种状态之一，如果图像处于类

    别中，则为“开”，否则为“关”。“开”和“关”分别对应二进制值中的1

    和0。感知器学习算法可以表达为：

    δ wi =αδxi

    δ =output–teacher,更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者这里，output(输出值)和 teacher(实际值)都是二进制的，所以根据差值，如果输出正确，δ =0，如果输出不正确，δ =+1或

    者–1。

    如果对感知器学习的这种解释还不够清楚，我们还可以通过另一种

    更简洁的几何方法，来理解感知器如何学习对输入进行分类。对于只有

    两个输入单元的特殊情况，可以在二维图上用点来表示输入样本。每个

    输入都是图中的一个点，而网络中的两个权重则确定了一条直线。感知

    器学习的目标是移动这条线，以便清楚地区分正负样本(见图3–5)。

    对于有三个输入单元的情况，输入空间是三维的，感知器会指定一个平

    面来分隔正负训练样本。在一般的情况下，即使输入空间的维度可能相

    当高且无法可视化，同样的原则依然成立。

    图3-5 关于感知器如何区分两个对象类别的几何解释。这些对象有两个特征，例如尺寸和亮

    度，它们依据各自的坐标值(x，y)被绘制在每张图上。左边图中的两种对象(加号和正方

    形)可以通过它们之间的直线分隔开；感知器能够学习如何进行这种区分。其他两个图中的两

    种对象不能用直线隔开，但在中间的图中，两种对象可以用曲线分开。而右侧图中的对象必须

    舍弃一些样本才能分隔成两种类型。如果有足够的训练数据，深度学习网络就能够学习如何对

    这三个图中的类型进行区分。

    最终，如果解决方案是可行的，权重将不再变化，这意味着感知器

    已经正确地将训练集中的所有样本进行了分类。但是，在所谓的“过度

    拟合”(overfitting)中，也可能没有足够的样本，网络仅仅记住了特定

    的样本，而不能将结论推广到新的样本。为了避免过度拟合，关键是要

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者有另一套样本，称为“测试集”(test set)，它没有被用于训练网络。训

    练结束时，在测试集上的分类表现，就是对感知器是否能够推广到类别

    未知的新样本的真实度量。泛化(generalization)是这里的关键概念。

    在现实生活中，我们几乎不会在同样的视角看到同一个对象，或者反复

    遇到同样的场景，但如果我们能够将以前的经验泛化到新的视角或场景

    中，我们就可以处理更多现实世界的问题。

    利用感知器区分性别

    举一个用感知器解决现实世界问题的例子。想想如果去掉头发、首

    饰和第二性征，比如男性比女性更为突起的喉结，该如何区分男性和女

    性的面部。比阿特丽斯·哥伦布(Beatrice Golomb)是 1990年我实验室

    里的一名博士后研究员，她利用一个数据库中的大学生面部照片作为感

    知器的输入，经过训练的感知器能以81%的准确度对面部的性别进行分

    类(见图3–6)。 [8]

    而对于感知器难以分类的面部，人类也同样很难

    做出区分。我实验室的成员在同一组人的面部识别上达到了88% 的平均

    准确度。比阿特丽斯还训练了多层感知器(将在第8章中介绍)，其准

    确度达到了92%， [9]

    比我实验室的成员还要准确。她在1991年的NIPS

    大会上发表的演讲中总结道：“经验可以提高性能，这表明实验室的研

    究人员需要花更多时间来进行性别鉴定的工作。”她把她的多层感知器

    叫作“SEXNET”(性别网络)。在问答环节，有人问是否可以使用

    SEXNET来检测异装癖者的面孔。“可以。”比阿特丽斯这样回答。而

    NIPS大会的创始人爱德华·波斯纳(Edward Posner)辩驳道：“那就应该

    叫DRAGNET(法网)。” [10]

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图3-6 这张脸属于男性还是女性？人们通过训练感知器来辨别男性和女性的面孔。来自面部图

    像(上图)的像素乘以相应的权重(下图)，并将该乘积的总和与阈值进行比较。每个权重的

    大小被描绘为不同颜色像素的面积。正值的权重(白色)表现为男性，负值的权重(黑色)倾

    向于女性。鼻子宽度，鼻子和嘴之间区域的大小，以及眼睛区域周围的图像强度对于区分男性

    很重要，而嘴和颧骨周围的图像强度对于区分女性更重要。图片来源：M. S. Gray，D. T.

    Lawrence，B. A. Golomband T.J.Sejnowski，“A Perceptron Revealsthe Face of Sex，”

    Neural Computation 7 (1995):1160-1164，图1。

    区分男性与女性面部的工作有趣的一点是，虽然我们很擅长做这种

    区分，却无法确切地表述男女面部之间的差异。由于没有单一特征是决

    定性的，因此这种模式识别问题要依赖于将大量低级特征的证据结合起

    来。感知器的优点在于，权重提供了对性别区分最有帮助的面部的线

    索。令人惊讶的是，人中(即鼻子和嘴唇之间的部分)是最显著的特

    征，大多数男性人中的面积更大。眼睛周围的区域(男性较大)和上颊

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者(女性较大)对于性别分类也有着很高的信息价值。感知器会权衡来自

    所有这些位置的证据来做出决定，我们也是这样来做判定的，尽管我们

    可能无法描述出到底是怎么做到的。

    1957年罗森布拉特对“感知器收敛定理”的证明是一个突破，他的演

    示令人印象深刻。在美国海军研究办公室(Office of Naval Research)的

    支持下，他搭建了一个以400个光电单元作为输入的定制硬件模拟计算

    机，其权重是由电机调整的可变电阻电位器。模拟信号随着时间连续变

    化，就像黑胶唱片中的信号一样。用一组图片集(其中部分图片中有坦

    克，另外一部分则没有)进行训练，罗森布拉特的感知器即使在新图像

    中也能准确识别坦克。这一成果经《纽约时报》报道后引起了轰动(见

    图3–4)。 [11]

    感知器激发了对高维空间中模式分离的美妙的数学分析。当那些点

    存在于有数千个维度的空间中时，我们就无法依赖在生活的三维空间里

    对点和点之间距离的直觉。俄罗斯数学家弗拉基米尔·瓦普尼克

    (Vladimir Vapnik)在这种分析的基础上引入了一个分类器，称为“支

    持向量机”(Support Vector Machine)， [12]

    它将感知器泛化，并被大

    量用于机器学习。他找到了一种自动寻找平面的方法，能够最大限度地

    将两个类别的点分开(见图3–5，线性)。这让泛化对空间中数据点的

    测量误差容忍度更大，再结合作为非线性扩充的“内核技巧”(kernel

    trick)，支持向量机算法就成了机器学习中的重要支柱。 [13]

    被低估的神经网络

    但是有一个限制，使得感知器的研究存在问题。上面的假设“如果

    存在这样的权重集合”提出了一个这样的困惑，即什么样的问题可能或

    不可能被感知器解决。令人尴尬的是，在二维平面中，简单分布的点不

    能被感知器分开(见图3–5，非线性)。事实证明，坦克感知器不是坦

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者克分类器，而是天气分类器。 [14]

    对图像中的坦克进行分类要困难得

    多，而事实上，它不能用感知器来完成。这也表明，即使感知器学到了

    一些东西，也可能不是你认为它应该学到的那些东西。压倒感知器的最

    后一根稻草是马文·明斯基和西摩尔·帕普特在1969年发表的数学专著

    《感知器》(Perceptrons )。 [15]

    他们明确的几何分析表明，感知器

    的能力是有限的：它们只能区分线性可分的类别(见图3–5)。这本书

    的封面展示了明斯基和帕普特证明的感知器无法解决的几何问题(见图

    3–7)。尽管在书的末尾，明斯基和帕普特考虑了将单层感知器进行泛

    化成为多层感知器的前景，但他们怀疑可能没有办法训练这些更强大的

    感知器。不幸的是，许多人对他们的论断坚信不疑，于是这个研究领域

    渐渐被人们遗忘，直到20世纪80年代，新一代神经网络研究人员开始重

    新审视这个问题。

    在感知器中，每个输入都独立地向输出单元提供证据。但是，如果

    需要依靠多个输入的组合来做决定，那会怎样呢？这就是感知器无法区

    分螺旋结构是否相连的原因：单个像素并不能提供它是在内部还是外部

    的位置信息。尽管在多层前馈神经网络中，可以在输入和输出单元之间

    的中间层中形成多个输入的组合，但是在20世纪60年代，还没有人知道

    如何训练简单到中间只有一层“隐藏单元”(hiddenunits)的神经网络。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图3-7 《感知器》一书的增订版封面。两个红色的螺旋结构看起来一样，但实际并非如此。上

    方的图案由两个不相连的螺旋线组成，下面的则是单一的螺旋线。你可以通过用铅笔跟踪环路

    的内部路径来验证。明斯基和帕普特证明了感知器不能区分这两个对象。你能直接用肉眼看出

    区别吗？为什么不能？

    弗兰克·罗森布拉特和马文·明斯基曾是纽约市布朗克斯科技高中的

    同班同学。他们在科学会议上为各自迥异的人工智能研究方法展开了辩

    论，而与会者更倾向于明斯基的方法。尽管存在差异，但他们二人对我

    们理解感知器都有着重要贡献，而这正是深度学习的起点。

    罗森布拉特在1971年死于一次驾船事故，年仅43岁，当时正值人们

    几乎一边倒地反对感知器的时期。有传言说他可能是自杀，但也可能只

    是一次不幸的出游。 [16]

    不可否认的是，一个发现了利用神经网络进

    行计算的新方式的英雄时代已经谢幕；又过了整整一代人的时间，罗森

    布拉特开创性努力的承诺才得以实现。

    [1] 在空间上，人们发现细胞特性和连接性在皮层不同部分之间存在差异，这可能反映了不

    同感官系统的特异化和其结构的层次性。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者[2] P. C. Wason, “Self-Contradictions,” in P. N. Johnson-Laird and P. C. Wason, eds.,Thinking:

    Readings in Cognitive Science (Cambridge: Cambridge University Press,1977).

    [3] Norbert Wiener, Cybernetics, or Control and Communication in the Animal and the Machine

    (Cambridge, MA: MIT Press, 1948).

    [4] O. G. Selfridge, “Pandemonium: A Paradigm for Learning,” in D. V. Blake and A. M.Uttley,eds., Proceedings of the Symposium on Mechanisation of Thought Processes (1959): 511–529.

    [5] 参阅Bernard Widrow and Samuel D. Stearns, Adaptive Signal Processing (Englewood Cliffs,NJ: Prentice-Hall, 1985)。

    [6] 参阅Frank Rosenblatt, Principles of Neurodynamics: Perceptrons and the Theory of Brain

    Mechanisms (Washington, DC: Spartan Books, 1962)。

    [7] 罗森布拉特虽然是位喜欢在康奈尔大学校园内开跑车的腼腆单身汉，但同时还是一位有

    着广泛兴趣的博学之人。他的兴趣之一，就是在凌日现象发生时，研究如何通过测量远处恒星

    表面亮度的略微下降，来寻找围绕其运转的行星。这种方法现在常用于检测银河系中绕着恒星

    运转的太阳系外行星。

    [8] M. S. Gray, D. T. Lawrence, B. A. Golomb, and T. A. Sejnowski, “A Perceptron Reveals the

    Face of Sex,” Neural Computation 7, no. 6 (1995): 1160–1164.

    [9] B. A. Golomb, D. T. Lawrence, and T. J. Sejnowski, “SEXNET: A Neural Network Identifies

    Sex from Human Faces,” in R. Lippmann, and D. S. Touretzky, eds.,Advances in Neural Information

    Processing Systems 3 (1991): 572–577.

    [10] 波斯纳一语双关，暗示了一部流行的电视剧《法网》(Dragnet )，取材于20世纪50年

    代来自洛杉矶警察局的罪犯克星。

    [11] M. Olazaran. “A Sociological Study of the Official History of the Perceptrons Controversy,”

    Social Studies of Science 26, no. 3 (1996): 611–659.

    [12] Vladimir Vapnik, The Nature of Statistical Learning Theory (New York: Springer1995), 138.

    [13] Weifeng Liu, José C. Principe, and Simon Haykin, Kernel Adaptive Filtering: A

    Comprehensive Introduction (Hoboken, NJ: Wiley, 2010).

    [14] 根据尤德科夫斯基在“Artificial Intelligence as a Positive and Negative Factor in Global

    Risk”中的记录，训练集中的坦克图片样本都是在阴天拍摄的，无坦克样本图片都是在晴天拍摄

    的。——译者注

    [15] Marvin Minsky and Seymour Papert, Perceptrons (Cambridge, MA: MIT Press,1969). 也可

    参阅Marvin Lee Minsky and Seymour Papert, Perceptrons: An Introduction to Computational

    Geometry , expanded ed. (Cambridge, MA: MITPress, 1988)。

    [16] 据加州大学圣迭戈分校的同事Harvey Karten称，罗森布拉特是一位经验丰富的水手。

    他曾带领一群学生驾船出游。船好像撞到了什么，他从船上落入水中，但当时没有一个学生能

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者救得了他。(个人对话，2017年11月8日。)

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者04

    大脑式的计算

    “如果我有大脑”，这是1939年经典音乐电影《绿野仙踪》(The

    Wizard of Oz )里稻草人的唱词。但稻草人不知道的是，他早就已经有

    大脑了，否则他就没法说话或唱歌。但真正的问题是，他的大脑只诞生

    了两天，里面没有经验，空空如也。随着时间的推移，他对世界有了充

    分的认识，最后被公认为是奧兹国里最聪明的人，聪明到能意识到自己

    的局限。而铁皮人唱的是，“如果我能有心”。他和稻草人为心和脑哪个

    更重要而争论不休。在奥兹国中，认知和情感这两个大脑的产物在精妙

    的平衡中共同协作，通过不断学习慢慢创造出了类人的智慧。这在真实

    世界里亦是如此。这部音乐剧也引出了本章的主题：如果人工智能拥有

    大脑和心脏。

    网络模型能够模仿智能行为

    我和杰弗里·辛顿(见图4–1)在1979年他组织的一次研讨会上相

    识。因为对神经网络模型的未来抱有相似的信念，我们很快就成了朋

    友。后来我们合作研究出了一种新型神经网络模型，叫作“玻尔兹曼

    机”(Boltzmann machine)(将在第7章中进行讨论)，并就此打破了阻

    碍一代人研究多层网络模型的僵局。

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者图4-1 (A)童年时期的杰弗里·埃弗里斯特·辛顿(Geoffrey Everest Hinton)。他的中间

    名来自一个亲戚乔治·埃弗里斯特(George Everest)。乔治曾在印度负责勘测工作，并想出

    了测量世界上最高峰高度的方法，后来该峰以他的名字被命名为Everest(即珠穆朗玛峰)。

    (B)1979年的辛顿。这两张照片的拍摄时间间隔了15年。图片来源：杰弗里·辛顿。

    每隔几年，我都会接到杰弗里的一个电话，第一句都是“我想清楚

    大脑是怎么工作的了”。每一次，他都会告诉我一个巧妙的改进神经网

    络模型的新方案。尝试了多种方案并进行了若干次的改进后，利用多层

    更多电子书请访问：爱分享 http:www.ishare1.cn 仅供学习和交流，请购买正版支持本书作者神经网络的深度学习才在手机中的语音识别和识别照片中的对象等方面

    达到了与人类相近的水平。公众几年前才意识到深度学习的这些能力，虽然现在这些已经是众所周知的了，但这一过程却花费了相当长的时

    间。

    杰弗里在剑桥大学获得了心理学学士学位，并在爱丁堡大学获得了

    人工智能博士学位。他的论文导师是克里斯托弗·朗古特–希金斯

    (Christopher Longuet-Higgins)。希金斯是一位杰出的化学家，他发明

    了一种早期的联想记忆网络模型。那时，实现人工智能的主流方式是基

    于使用符号、逻辑和规则来编写智能行为的程序；认知心理学家已经采

    用这种方法来理解人类的认知能力，尤其是语言。而那时的杰弗里却在

    逆流而行。没有人能预见到他有朝一日会搞清楚大脑——或者至少类似

    大脑的某种东西——的工作原理。他的讲座非常引人入胜，他能够清楚

    地解释抽象的数学概念，连没有太多数学基础的人都能够理解和掌握。

    他的机 ......