仅供非商业用途或交流学习使用

    一一辈酣

    町 …智能系统与技术丛书

    全彩印刷

    全面讲解深度卷积网络的技术理论、工作原理、实践方法、架构技巧和训练策略

    Deep Convolutional Neural Network

    Principle and Practice

    深度卷本只网络 原理与实践

    彭↑尊著

    eA斗

    J jy

    - Y

    U

    舟 F

    ←lLY

    口

    岸蜀

    ， 、《》、IVV

    ，。。。

    ~ 、配； 71'\--. ：~ '',!. ~：：：

    ＼…二，，’公 1 量｜

    =ii '=

    仁不再羊 二 ：

    f 巳「： ·

    曰曰臼

    ·

    、，，’母

    ， γ 奇。

    U。。..。 。

    +

    ＠ 旦旦~~hi!节￡

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    内行简介

    深度卷积网络( DCNN )是目前十分流行的深度

    楠经网络架构，百构造清晰直观，效果引人入胜，在

    图像、 视频、 i 吾吉、 语言领域都有广泛应用。

    本书以Al 领域最新的技术研究和实践为基础，从技术理论、 工作原理、实践万洁、 架构技巧、 训练

    古洁、 技术前瞻等6个维度对深度卷积网络进行了系

    统、 深入、 详细的讲解。

    u实战为导向，深入分析Al phaGof口 GAN的实

    现过程、 技术原理、训练万j圭和应用细节，为读者依

    次揭开神经网络、 卷积网络和深度卷积网络的冲秘面

    纱，让读者了解Al 的“思考过程”， 以及与人类思维

    的相同相不同之处。

    本书在逻辑上分为3个部分：

    第一部分综述篇(第1 、 6 、 9章)

    这3章不需要读者具备编程和数学墓础，对深度

    学习和神经网络的基础知识、 Alpha Go的架构设计和

    工作原理， 以及深度学习和人工智能未来的技术发展

    趋势进行了宏观介绍。

    第二部分深度卷积网络篇(第2 、 3 、 4、 5章)

    结合作者的实际工作经验和案例代码，对深度卷

    和 、 网络的技术理论、 工作原理、 实践方法、 架构技巧

    和训练方法做了系统而深入的讲解。

    第三部分实战篇(第7 、 8章)

    详细分析了Al pha Go和GAN的技术原理、 训练

    万法相应用细节，包括详细的代码分析和大量GAN的

    精彩实例。

    萃苦FY'.tf't 颜f'tf￥t±G lil vo.LGJ. 在严苔 ， i 穹即接言

    可在GitHub上与作者交流与本书相关的问题。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用…智能系统与技术丛书

    Deep Convolutional Neural Network

    Principle and Practice

    深度卷积网络 原理与实践

    彭博着

    GI 旦旦~a~!便主

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    图书在版编曰( CIP )数据

    深度卷积网络：原理与实践彭博著 .一北京：机械工业出版社， 201 8 . 3

    (智能系统与技术丛书)

    ISBN 978-7-111-59665-3

    I. 深… II. 彭… III. 人工神经网络一研究 IV. TP183

    中国版本图书馆 CIP 数据核字( 2018 )第 064727 号

    深度卷积网络：原理与实践

    出版发行. 机械工业出版社(北京市西城区百万庄大街 22 号邮政编码： 100037)

    责任编辐· 李艺 责任校对：李秋荣

    印 刷· 北京市兆成印刷有限责任公司 版 次： 2018 年 5 月第 1 版第 1 次印刷

    开 :zt;.:: 186mm x 240mm 116 印张： 20.5

    书号： ISBN 978-7-111-59665-3 定价： 129.00 元

    凡周本书，如有缺页、倒页、脱页， 由本社发行部调换

    客服热线： ( 010) 88379426 88361066 投稿热线( 010) 88379604

    购书热线：( 010) 68326294 88379649 68995259 读者信箱： hzit@hzbook.com

    版权所有 · 侵权必究

    封底无防伪标均为盗版

    本书法律顾问北京大成律师事务所韩光邹晓东

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    同r..-ft · 前言

    为何写作本将

    自 2012 年以来，随着深度学习(Deep Leaming, DL)的快速发展，人工智能(Artificial

    Intelligence, AI) 取得了长足的进展。

    从语音助手、人脸识别、照片美化，到自动驾驶、医疗诊断、机器翻译，基于深度神

    经网络(Deep Neural Network, DNN)的新一代人工智能，已在各个领域进入我们的日常

    生活。 许多学者认为，人工智能将开启第四次工业革命，并对人类的未来产生深远影响。

    例如，通过 Mask R-CNN 深度神经网络。，电脑可快速自动识别出图像中的各个物体，用

    色彩和方框标记。 这对于自动驾驶和机器人技术有重要意义，也是传统 AI 方法难以实现的。。 地址为 https:arxiv.orgabs1703.06870 。

    仅供非商业用途或交流学习使用IV

    仅供非商业用途或交流学习使用

    值此变革之际，我们理应跟上时代的步伐，增进对 DL 与 Al 的了解。 本书的目标是：

    Q 如果读者没有编程和数学基础，也能在阅读后体会到深度神经网络的奥妙。

    D 如果读者有一定基础，就可学会用 DL 的方法解决实际问题，为从事相关的工作和

    研究做好准备。

    具体而言，本书选取深度卷积网络(Deep Convolutional Neural Network, DCNN)作为

    切人点，这是目前最流行的深度神经网络架构， 其构造直观易懂，效果引人入胜，在图像、视频、 语音、 语言领域都有广泛应用。

    我们还将结合多个实例进行讲述，让读者更深入理解深度神经网络的运作。 说起

    深度神经网络的实例，广为人知的莫过于由 Google DeepMind 研发的 AlphaGo ( https:

    deepmind.comresearchalphago ):

    D 在 2016 年 3 月， AlphaGo 以 4: 1 战胜韩国顶尖棋手李世军，让 Al 成为了目前最热

    门的话题之一。

    口 在 2017 年 5 月，新版 AlphaGo 以 3:0 战胜当今世界围棋第一人一一中国的柯洁。

    所有棋手都认同它已全面胜过人类，但它仍需要人类棋谱作为训练的前期输入。

    司 在 2017 年 10 月，名为 AlphaGo Zero 的最新版 AlphaGo 己能完全脱离人类棋谱，从零开始，纯粹依靠自我探索，自我对弈，就能实现超越此前所有版本的棋力。

    Q 如下图所示，蓝色的 20-blocks 版 AlphaGo Zero ，最初的棋力还不如人类的初学者，但它在 24 小时内就能赶上红色的学习人类棋谱的 AlphaGo ，并在 40 小时内超越与

    李世军对战的 AlphaGo 。

    5000

    4000

    3000

    2000

    1 气 1000

    干略 艾 。

    L。 』

    -1000

    -2000

    -自我对弈学习

    .，根据人类棋谱学习 -3000

    -4000…与李世至对战的 Alp恼Go 的棋力

    10 20 30 40 50 60 70

    。

    训练时间 ( 小时)

    D 在 2017 年 12 月， DeepMind 还将 AlphaGo Zero 的方法用于国际象棋、 日本将棋，称为 AlphaZero 。 它仅需几个小时的训练，就打败了此前世界最强的程序，这证明

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    v

    Alpha Go 方法的通用性极强。

    AlphaGo 的核心是深度卷积网络。 深度神经网络的强大，关键在于能模拟人类的直觉。

    Alpha Go 的强大，关键在于通过深度卷积网络，成功模拟了人类的棋感。

    那么，深度卷积网络是如何学会下围棋的？ AlphaGo 真的理解围棋吗？ AlphaGo 与人

    类下棋的思维有怎样的相同和不同之处？我们将在第 6 章阐述 AlphaGo 的运作，并在第 7

    章亲手训练 AlphaGo 的策略网络( policy network) 。 如下图所示，棋盘中的标记 l 到 9 ，代

    表此时策略网络对于下一手的前 9 位推荐。

    A B C 0 E F Cl H J K L M N 0 P Q 肉 S T

    19 19

    18 18

    ‘

    电，, . . 7

    17.....

    18

    ‘’

    18... I ‘

    15! 哥，15

    14 14

    13

    3

    12 12

    1

    11

    10 10

    .

    ~J-?_ ;’

    ' . .

    ABCOEFGHJKLMNOPQRST

    深度神经网络的威力，还不仅止于此。 近年来，深度学习中热门的话题是一种新的深

    度神经网络范式：生成式对抗网络( Generative Adversarial Networks GAN) 。 它同样基于

    深度卷积网络，我们会在第 8 章讲述。

    GAN 试图模拟人类的更神秘之处：创造力和想象力，如自动作画、自动作曲，甚至自

    动发现治疗癌症的药物结构。 例如，通过 StackGAN 网络。，电脑可根据人提供的文字描

    述，自动绘制出无穷无尽的符合描述的图像。

    e 地址为 https:arxiv.orgpdf1612.03242.pdf。

    仅供非商业用途或交流学习使用VI

    仅供非商业用途或交流学习使用

    这是一只臼鸟，在头和 这只乌有黄色的腹部

    翅膀上有些黑色，有一和腿，灰色的背部和

    个长的橙色嗦。 翅膀，棕色的喉部和

    脖子，黑色的面部。

    这朵花有重叠着的粉

    红色尖状花瓣，围着一圈

    由短的黄丝构造的花怒。

    目前 GAN 的结果还不完美，但已有许多业界人士开始思考：离 AI 在所有领域超越人

    类还有多远？ AI 会造福于人类，抑或会取代甚至毁灭人类？本书的第 9 章将讨论这一话

    题，并介绍当前 AI 方法的强项与缺陷，展望未来的发展。

    总而言之，本书以 AlphaGo 与 GAN 为主例，再配合大量其他实例，为读者揭开深度

    卷积网络的面纱，让我们深入逐层认识 AI 的“思考过程”，包括与人类思维的相同和不同

    之处，体验 AI 眼中的世界。 这会是一段奇妙的旅途，希望本书能成为读者探索深度学习世

    界的助手。

    憾于篇幅所限，本书的重点会是深度卷积网络，尤其是它在图像的应用。 对于深度学

    习涉及的其他领域，如循环神经网络( Recurrent Neural Network, RNN) 、 深度强化学习

    (Deep Reinforcement Learning, DRL)等等，希望能在未来再为读者讲述。

    深度学习的发展日新月异，笔者只是略知皮毛，书中难免有错漏之处，恳请读者不吝

    指正。

    本书的特点

    市面已有不少介绍深度学习与深度神经网络的书籍，但多为编著或译文。 本书的特

    点是：

    0 叙述与代码范例皆会结合笔者的实际经验，如调参经验和网络架构经验，让读者掌

    握真正具有实用性的技巧。

    0 包括深度卷积网络和 AI 的重要最新发展，如 DenseNet 、 XCeption 、各种 GAN 变

    种、 预测学习( predictive learning ) 、 Capsule 等。 书中的许多例子都来自于 2017 年

    的最新研究。

    0 对于重要的理论知识，如反向传播(Back Propagation, BP )的推导，本书不会回避，会仔细说明。 这里的细节是常见的面试题，如果读者还没有理解清楚，阅读本书就

    对了。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    VII

    口 本书的行文力求通俗易懂，不会过于抽象。 如果读者不熟悉数学，可跳过书中数学

    推导的部分，因为目前的深度学习框架已很完善，即使不了解数学，同样可以成功

    训练和使用。

    本书读者对象

    口 对 AI 、深度学习感兴趣的开发者。

    口 希望通过深度学习方法，解决实际问题的工程师。

    q 希望从事 Al 、深度学习相关工作的求职者。

    口 对 AI 、深度学习感兴趣的院校师生。

    D 对 AI 感兴趣，希望了解深度学习技术的爱好者。

    如何阅读本书

    本书正文逻辑上可分为 3 部分，共 9 章：

    口 综述篇(第 1 、 6 、 9 章) 。 这三章不需要编程和数学基础 如果读者尚不熟悉相关

    技术，推荐优先阅读。 它们分别介绍了深度学习的基本概念、 AlphaGo 的架构、深

    度学习的问题和未来展望。

    q 深度卷积网络篇(第 2～5 章) 。 这四章结合理论与实际代码，由浅入深，从神经网

    络，到卷积网络，再到深度卷积网络，让读者掌握深度卷积网络的基础知识、实践

    技巧和最新发展，是本书的关键所在，值得仔细阅读。。 对于会编程的读者，在阅读后可写出完整的采用现代架构的深度卷积网络程序，以及学会在自己的数据集上进行训练，解决实际问题。。 对于不会编程的读者，我们也会讲述如何用 Excel 实现简单的神经网络模型。

    口 实战篇(第 7 和 8 章) 。 这两章分别讲述 AlphaGo 和 GAN 的训练和应用细节，包

    括详细的代码分析。 其中第 8 章还包括大量 GAN 的精彩实例，无须技术基础也能

    体会。

    本书附录部分包括深度学习的网络资源列表。

    本书内容的一些选择：

    口 市面上有许多深度学习编程框架，如 TensorFlow 、 Caffe 等。 本书选择 MXNet ，因

    其训练速度快、占用资源少，且使用方便、架构清晰、易于二次开发。

    口 在编程语言方面，目前深度学习最流行的语言是 Python ，本书也会选用 Python 。

    有时我们需要讨论理论，这就离不开数学。 本书数学符号的细节如下：

    D log 都代表自然对数，即以 e=2.71828 …为底的对数。 有的书籍会将此写成 ln 。

    仅供非商业用途或交流学习使用有关此电子书试读版的说明

    本人可以帮助你找到你要的高清 PDF电子书，计算机类，文学，艺术，设计，医学，理学，经

    济，金融等等。

    质量都很清晰，为方便读者阅读观看，每本 100°。都带可跳转的书签索引和目录。

    一般情况下，出版半年左右就会有 PDF极个别的书出 PDF时间要长一些

    如看到试读版信息.说明已经有完整版，需求完整版即可联系我。

    请添加 QQ 312082710 和微信312082710

    或扫描微信二维码添加

    PDF代找说明：

    本人己经帮助了上万人找到了他们需要的PDF ,其实网上有很多 PDF,大家如果在网上不到的话，可以联系我QQ 312082710或微信 312082710

    大部分我都可以找到，而且每本100%带书签索引目录。

    因PDF电子书都有版权，请不要随意传播，如果您有经济购买能力，请尽量购买正版。

    提供各种书籍的高清PDF电子版代找服务，如果你找不到自己想要的书的 PDF电子版，我们 可

    以帮您找到，如有需要，请联系QQ 2028969416微信2028969416 备用 QQ 202896416

    若以上联系方式失效，您可通过以下电子邮件获取有效联系方式。邮箱：312082710@qq.com

    若您没有QQ通讯工具，请点击下面链接与客服取得联系。

    https:item.taobao.comitem.htm?id=565681036651

    声明：本人只提供代找服务，每本100%索弓|书签和目录，因寻找和后期制作pdf电子书有一定

    难度

    仅收取代找费用。如因PDF产生的版权纠纷，与本人无关，我们仅仅只是帮助你寻找到你要的

    PDF 而己。VIII

    仅供非商业用途或交流学习使用

    口 MSE 损失采用 (X- η2 定义。 有的书籍会采用工 (X- η2 定义。 如果读者还不知道 2

    MSE 损失，可阅读第 2 章。

    资源和勘误

    本书的所有代码均存放于 https:github.comBlinkDL ，其中也会有本书的勘误与问题解

    答(例如，如果 Python 对中文 UTF-8 报错，解决方法在其中)，以及读者的交流方式。 如您

    发现书中的错漏之处，或遇到不清楚的地方，或有其他宝贵意见，请在此处告知笔者，笔

    者不胜感激。

    目前知乎( https:www.zhihu.com )是中文网络上较为专业的交流平台，读者可在其中

    找到深度学习和 AI 的介绍和综述、对于最新论文的分析及相关问题的解答。 读者可关笔者

    的知乎主页( https:www.zhihu.compeoplebopengbopeng )，笔者会在知乎主页定期更新与

    AI 相关的内容。

    致谢

    感谢出版社杨福川编辑和小艺编辑对本书写作和审校的大力支持。 感谢设计师 Pi Pi 对

    本书插画的绘制。 感谢家人和朋友对书稿的校对和建议。 感谢知乎网友五柳希安、王佑、Simon 对本书内容的建议。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    同 IJ l§i

    51 子 ·神之一手………·…........….... . .. …....... ... .. . I

    第 1 章走进深度学习的世界 · 5

    1.1 从人工智能到深度学习….. .. . .. .. …5

    1.2 深度神经网络的威力：

    以 AlphaGo 为例…………·… 8

    1.2.1 策略网络简述............. . ..… · ···· · ···9

    1.2.2 泛化：看棋谱就能学会下围棋... 11

    1.2.3 拟合与过拟合….... . ..... .. ..... .. . ..… … 11

    1.2.4 深度神经网络的速度优势...... . …· 12

    1.3 深度神经网络的应用大观…………... 13

    1.3.1 图像分类问题的难度所在…........ 13

    1.3.2 用深度神经网络理解图像 ……·· 15

    1.3.3 AlphaGo 中的深度神经网络········ 17

    1.3.4 自动发现规律：从数据 A

    到答案 B…........…... . ...................... 17

    1.3.5 深度神经网络的更多应用…. .. 18

    1.3 . 6 从分而治之，到端对端学习 · · ··· · ·24

    1.4 亲自体验深度神经网络…………···25

    1.4.1 TensorF!ow 游乐场…... . ... .. . ..... . .… 25

    1.4.2 MNIST 数字识别实例：

    LeNet-5············ …........ .......…·········27

    f':nllr11I .； 目录

    1.4.3 策略网络实例.. . ...........… . . ......… ·28

    1.4.4 简笔画： Sketch-RNN ………29

    1.4.5 用 GAN 生成动漫头像·················30

    1.5 深度神经网络的基本特点……..... 31

    1.5.1 两大助力：算力、 数据…...... . ….. 31

    1.5.2 从特征工程，到逐层抽象.......…·32

    1.5.3 深度神经网络学会的是什么....... 35

    1.6 人工智能与神经网络的历史..... .. …· · · ·36

    1.6.1 人工智能的两大学派：

    逻辑与统计….......…·················· · ··· 37

    1.6.2 人工智能与神经网络的

    现代编年史........................ .. .. ...… ·37

    第 2 章深度卷积网络： 第一课 . 42

    2.1 神经元：运作和训练…………·· · ·43

    2.1.1 运作： 从实例说明 …... . .. .......… … 43

    2.1.2 训练： 梯度下降的思想….......…· · 44

    2.1.3 训练：梯度下降的公式 ………·· 46

    2 . 1.4 训练：找大小问题的初次尝试…48

    2.1.5 训练： Excel 的实现………·· · 50

    2.1.6 重要知识：批大小、 mini-batch 、epoch· …

    2.2 深度学习框架MXl'巾t ： 安装和使用…51

    仅供非商业用途或交流学习使用x

    仅供非商业用途或交流学习使用

    2.2.1 计算图：动态与静态 ········· · ·········52

    2.2.2 安装 MXNet：准备工作……·53

    2.2.3 在 Windows 下安装 MXNet · …54

    2.2.4 在 macOS 下安装 μαNet:

    CPU 版... . ...........… · ··· ············· ·······5 7

    2.2.5 在 macOS 下安装 h仅Net :

    GPU 版…........ . …··……… 58

    2.2.6 在 Linux 下安装 MXNet····…········59

    2.2.7 安装 Jupyter 演算本......…........… ·59

    2.2.8 实例： 在 hαNet 训练神经元

    并体验调参….................. . ... . .... .. ... 60

    2.3 神经网络： 运作和训练….. . ...… ··63

    2.3. 1 运作： 前向传播，与非线性

    激活的必要性 · ······· ···················· ··· 63

    2.3.2 运作：非线性激活 …………64

    2.3.3 训练：梯度的计算公式…··…·······66

    2.3.4 训练：实例…...... . …………... . 69

    2.3.5 训练： Excel 的实现…·· ················70

    2.3.6 训练：反向传播……… · ····71

    2.3.7 重要知识：梯度消失，梯度

    爆炸…………· · - -…. ······72

    2.3.8 从几何观点理解神经网络 …··72

    2.3.9 训练： MXNet 的实现…........……· 73

    3.1.5 训练的障碍：欠拟合、过拟合…….......... .. ·82

    3.1.6 训练的细节：局部极值点、鞍点、梯度下降算法…............... 83

    3.2 神经网络的正则化·················· · ······· · ··· ·· 85

    3.2.1 修改损失函数： L2 和 LI

    正则化……·- …………….. 85

    3.2.2 修改网络架构： Dropout

    正则化…............ ... ...... . ...…· · ········ · 86

    3.2.3 更多技巧：集合、多任务学习、参数共享等 . ......……… …….... 86

    3.2.4 数据增强与预处理……......…· 88

    3.3 神经网络的调参….... . ..……………89

    3.3.1 学习速率 …·-…………....... . …· 89

    3.3 2 批大小... ....…………………. 90

    3.3.3 初始化方法 …………’···············92

    3.3.4 调参实战：重返 TensorFlow

    游乐场…··…………..............… ·93

    3.4 实例： MNIST 问题………· ... . 95

    3.4.1 重要知识：“白Max 层、交叉煽损失…··························96

    3.4.2 训练代码与网络架构………· ······· · 98

    3.4.3 超越 MNlST ： 最新的

    第 3 章深度卷积网络： 第二课 ... 77

    Fashion巾1NIST 数据集…········· ·· IOI

    3.5 网络训练的常见 bug 和检查方法… 103

    3.6 网络训练性能的提高………… 104 3.1 重要理论知识…………………· ·77

    3.1.1 数据：训练集、验证集、测试集……·………·- … 77

    3.1.2 训练：典型过程…........………···79

    3.1.3 有监督学习： 回归、分类、标签、排序、 Seq2Seq ···……····79

    3.1.4 元监督学习：聚类、降维、自编码、生成模型、推荐.. .. . ·····81

    第 4 章深度卷积网络： 第三i 果 ·106

    4.1 卷积网络：从实例说明……….... 106

    4.1.l 实例：找椅猫，最原始的

    方法-

    4.1 .2 实例：找桶猫，更好的方法…·· 108

    4.1.3 实例：卷积和池化……… 108

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    4.1.4 卷积网络的运作……………· 111

    4.2 运作： AlphaGo 眼中的棋盘...... ....... 112

    4.2. 1 棋盘的编码……………….. 113

    4.2.2 最简化的策略网络......... …......... 115

    4.2.3 最简化的策略网络：特征层

    和卷积后的结果….......…....... ….. 116

    4.3 卷积神经网络：进一步了解…..... 122

    4.3.1 卷积核、滤波器与参数量的

    计算…..... ..……. . .. ... . …... ....… ···· ·· · 122

    4.3.2 运作和训练的计算…………... 123

    4.3.3 外衬与步长...............…··············· 124

    4.3.4 缩小图像：池化与全局池化···· 126

    4.3.5 放大图像：转置卷积…··…······· ·· 127

    4.4 实例：用卷积网络解决 MNIST

    问题… ……· · ..... . .....…….. 128

    4.4.1 网络架构的定义与参数量的

    计算. ............... . ： ……… 129

    4.4.2 训练 MNIST 网络…... ............... . 130

    4.4.3 在 MXNet 运行训练后的网络 ... 131

    4.4.4 调参实例 . ......… …... . ... ... . ..... ..... .. 133

    4.4.5 在 Fashion-MNIST 数据集的

    结果………………………… 133

    4.5 M刀'let 的使用技巧………......... .. . ....… ·134

    4.5.1 快速定义多个层……. .. . ...…… 134

    4.5.2 网络的保存与读取........... .......… 135

    4.5.3 图像数据的打包和载入……··· 135

    4.5.4 深入 MXNet 训练细节 ··· · · ···· ······ 136

    4.5.5 在浏览器和移动设备运行

    神经网络…………………. 139

    第 5 章深度卷积网络：第四课…141

    5.1 经典的深度卷积网络架构…········ ······ 142

    XI

    5.1.1 深度学习革命的揭幕者：

    AlexNet·· ··…… ……………142

    5.1.2 常用架构： VGG 系列……… 145

    5.1.3 去掉全连接层： DarkNet 系列…· 147

    5.2 网络的可视化：以 AlexNet 为例... 150

    5.3 迁移学习：精调、预训练等 . . .. ... . .… 155

    5.4 架构技巧：基本技巧……··……· 157

    5.4.1 感受野与缩小卷积核……... . .. .. . 157

    5.4 . 2 使用 l × l 卷积核………….. 158

    5.4.3 批规范化 ….......……...... . ........… 160

    5.4.4 实例：回顾 Fashion-MNIST

    问题………………………… 161

    5.4.5 实例：训练 CIFAR-10 模型...... . 164

    5.5 架构技巧： 残差网络与通道组合... 169

    5.5.l 残差网络： ResNet 的思想········· 169

    5.5.2 残差网络：架构细节………... 171

    5.5.3 残差网络：来自于集合的理解

    与随机深度…··········· · ··········· ·· ··· · · 172

    5.5.4 残差网络： MXNet 实现，以策略网络为例……. .. . ...... . .....… 173

    5.5.5 通道组合： Inception 模组········ · 174

    5.5.6 通道组合： XCeption 架构，深度可分卷积..... .. ... ..…· ·· ··· · · ······ 177

    5.5.7 实例：再次训练 CIFAR-10

    模型….......….......……··················· 178

    5.6 架构技巧：更多进展.... .. ............. . .. .… 181

    5.6.1 残差网络进展： ResNext 、Pyramid Net、 DenseNet· ···· · ·· · …·181

    5.6.2 压缩网络： SqueezeNet 、MobileNet 、 ShuffieNet· · ………·183

    5.6.3 卷积核的变形………………··· 188

    5.7 物体检测与图像分割….... . ... …...... . .… 189

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习佼用

    XII

    5.7.1 YOLO vi ：实时的物体检测

    5.7.2 YOLO v2 ：更快、 更强.... .. .. . .. . 192

    5.7.3 Faster R-CNN ：准确的物体

    检测网络……………… 194

    5.7.4 Mask-RCNN ：准确的图像

    分割网络…................. . ...........…·· 195

    5.8 风格转移……………………… 197

    第 6 章 Alpha Go 架构综述····· · ····· · ····· · 200

    6 .1 从 AlphaGo 到 AlphaZero ·· ……...... 201

    6.1.1 AlphaGo vl3 与 AlphaGo vl8…201

    6.1.2 AlphaGo Master 与 AlphaGo

    Zero·············· ··· ········ ······ ······ · · ··…··202

    6.1.3 解决一切棋类： AlphaZero ....... · 204

    6.2 AlphaGo 的对弈过程………..... 205

    6.2.1 策略网络…......... . .... . .........…....... 205

    6.2.2 来自人类的思路........... ..... : ........ 208

    6.2.3 蒙特卡洛树搜索与估值问题…··2 09

    6.2.4 从快速走子估值到价值网络..... 211

    6.2.5 从搜索树看策略与价值网络

    的作用....................................… ·213

    6.2.6 策略与价值网络的运作实例.... 215

    6.3 AlphaGo 中的深度卷积网络架构，... 217

    6.4 AlphaGo 的训练过程………….... 219

    6.4.1 原版 AlphaGo ：策略梯度

    方法………………… ·219

    6.4.2 新版 AlphaGo ：从蒙特卡洛树

    搜索学习……·………···220

    6.5 AlphaGo 方法的推广…………..... 221

    第 7 章训练策略网络与实战 .. 224

    7.1 训练前的准备工作………….....224

    7.1.1 棋谱数据………………....225

    7.1.2 落子模拟…......……E …................. . 226

    7.1.3 终局判断... ... . .......…........…......... 226

    7.2 训练代码……………··………..... ..…-… 227

    7.2.1 主程序： train.py …………..... 227

    7.2.2 训练参数： config.py ……... 233

    7.2.3 辅助函数： uti l.py .......…..... .. ...... 234

    7.2.4 棋盘随机变换： symme盯.py .... ·235

    7.2.5 训练实例 …………….. . .. .…........ 236

    7.3 对弈实战………………………....237

    第 8 章生成式对抗网络： GAN· ·240

    8.1 GAN 的起源故事………………·240

    8.2 GAN 的基本原理........... ............ ....... ... 242

    8.2.1 生成模型：从图像到编码，从编码到图像............................. 242

    8.2.2 GAN 的基本效果……· ...... 243

    8.2.3 GAN 的训练方法........................ 246

    8.3 实例： DCGAN 及训练过程…...... 248

    8.3.1 网络架构….........…......... . …......... 248

    8.3.2 训练代码…··….... ..... . ... . ….. . ... . …·249

    8.4 GAN 的更多架构和应用………·25 5

    8.4.1 图像转移： Cycl eGAN 系列...... 255

    8.4.2 生成高分辨率图像： nVidia

    的改进……. ................ .. ...........… .. 260

    8.4.3 自动提取信息： lnfoGAN·· …26 1

    8.4.4 更多应用…................................. . 264

    8.5 更多的生成模型方法……………＂· 266

    8.5.1 自编码器：从 AE 到 VAE·· .. -· .. ·266

    8.5 . 2 逐点生成： Pixe!Rl'刑和

    Pixel CNN 系列. ..... . ..…-………... 267

    8.5.3 将 VAE 和 GAN 结合：

    CVAE-GAN…·……….... 268

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    第 9 章通向智能之秘 ... ··272

    9.1 计算机视觉的难度…………272

    9.2 对抗样本，与深度网络的特点· · · · · ···276

    9.3 人工智能的挑战与机遇………278

    9.3.1 棋类游戏中的电脑陷阱…...... .… 278

    9.3.2 偏见、过滤气泡与道德困境 ···· 280

    9.3.3 语言的迷局…·············· · ·· · · · ··········283

    9.3.4 强化学习、 机器人与目标

    函数….......… ································286

    9.3.5 创造力、审美与意识之谜 ········ ·290

    9.3.6 预测学习 ：机器学习的前沿…·· 293

    XIII

    9.4.1 超越反向传播：预测梯度

    与生物模型………·…·····295

    9.4.2 超越神经网络： Caps ule 与

    gcForest ··…...............…................. 297

    9.4.3 泛化问题…………………··300

    9.5 深度学习与人工智能的展望…·· · ··304

    9.5.1 工程层面.......…... . .. . .......… ·········3 04

    9.5.2 理论层面 …….......………… 304

    9.5 .3 应用层面…. ....... . .............… ··· · · · ···305

    跋人工智能与我们的未来 ··306

    9.4 深度学习的理论发展…······ ················· 295 附录 深度学习与 AI 的网络资源·······310

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    引子·神之一手

    2016 年 3 月 13 日，韩国首尔四季酒店， Google DeepMind 人机围棋挑战赛第 4 局。 当

    棋局进行到第 77 手， 33 岁的李世军已然感到胜负的杠称又一次无比沉重地压在肩头。

    没有多少人想到这一天会来得如此之快。 就在 1 年前，电脑围棋仍停留在被职业棋手

    轻松让上 4 子的地步。 但在这场举世瞩目的人机大战中，前 3 局过后 AlphaGo 竟取得了全

    胜，世界仿佛一夜之间从“AlphaGo 胜一盘就是胜利”变为了“李世歪胜一盘就是奇迹” 。

    这位曾被韩国棋迷称为“不败的飞禽岛少年”，被中国棋迷称为“小李”的 14 次围棋

    世界冠军获得者，此时长考。了整整 24 分钟，最终在 AlphaGo 的两颗黑子之间落下了第 78

    手“挖”(图中用红点标注，坐标为 Lll ) 。

    著名的第 78 手，被广誉为“神之一手” 。 AlphaGo 没有看见此中暗藏的杀机，不紧不慢地

    回应以“退”(坐标为 KIO )，随后仿佛被击中了软肋，在战斗中溃不成军，令所有人诧异不已。

    而 DeepMind 创始人 Demis Hassabis 也在 Twitter 上感慨，第 78 手完全出乎 AlphaGo

    的意料：

    D 根据 AlphaGo 策略网络的评估，人类将第 78 手下在 Lll 的概率小于万分之一，这

    令 AlphaGo 大为“惊奇” 。

    D 在 AlphaGo 回应以“退”之后， AlphaGo

    并未知晓自己己踏人歧途，仍认为自 ，，己稳操胜券，根据价值网络( value ::

    network )的评估，认为自己的胜率达 ,,到 70%。，-

    D 直到第 87 手左右， AlphaGo 才恍然大 ，，悟，发觉了自己此前的错误，对于胜

    率的评估一落千丈。

    如果说这一切的戏剧性还不够，经过顶尖 ，棋手在赛后的复盘分析，这神奇的第 78 手，实际并不成立，只是 AlphaGo 应错了，因为 ，如果 AlphaG。在第 79 手回应以“顶”(坐标为。 长考是围棋术语，意思是长长地思考。

    A I C 0 II'. I' G I'! J I( L. M ”。，。，‘ I T

    ‘ I 0 D I ' 0 ” d 陈』翩’略，， a I T

    仅供非商业用途或交流学习使用

    、.

    ,.

    ,.””

    ,.” 仅供非商业用途或交流学习使用

    2 深度卷积网络.原理与实践

    LIO )，李世军的获胜几率仍旧渺茫。

    那么，“神之一手”为何能攻破 AlphaGo 的层层防御？ AlphaGo 为何在此前的对局中

    如此强大？又为何会突然崩溃？ AlphaGo 的策略网络和价值网络是如何运作的？希望本书

    能让读者找到这一切的端倪。

    在随后的第 5 局中， AlphaGo 依旧显示了强大的实力，最终以 4: I 获得了世纪人机大战

    的胜利。

    而 AlphaGo 的脚步没有停止。 经过 DeepMind 的不断训练与改进， 2017 年 5 月，新版

    AlphaG。在浙江乌镇重出江湖。

    这一次，在 AlphaGo 面前的是当今世界围棋第一人一一中国的柯洁，他时年 19 岁，但己四夺世界冠军，与李世军的交战战绩是 8 比 2 领先，长期位于世界围棋积分榜首位

    ( https: www.goratings.orgzh )，可谓是代表人类棋手的最后一位勇士。

    另一方面，由于 AlphaGo 具有自我进化机制，乌镇版 AlphaGo 比此前所有版本都强

    大。 李世军在韩国解说时认为，新版 AlphaGo 比 l 年前与自己对决时又进步了 2 个子，这

    在围棋中已是难以逾越的天堂。

    在这次对局中，柯洁展示了第一人的风采，与 AlphaGo 激烈搏杀，特别是在第 2 局的前

    半盘，柯洁将棋局成功导人极其复杂的局面，棋局的质量之高，令观战者纷纷表示已看不懂两

    位绝世高手的招法，也令 Demis Hassabis 发 Twitter 给柯洁点赞，表示柯洁的应对可谓完美。

    Damis Hassabls ?

    锢圃’ vdemlshassabis

    Incredible. Ace。rding t。 ＃AlphaGo

    valuations Ke Jie is playing perfectly at the

    oment.

    然而奇迹再未出现。 新版 AlphaGo 的棋极其灵动，算路深远无比，足以抓住对方的任何失

    误，并以此将局势导入自己的控制之中，将优势牢牢保持到终盘，滴水不漏。 “棋圣”聂卫平

    也为 AlphaGo 的一步妙手而赞叹：“阿老师(AlphaGo )的招太牛了，这个我下辈子都想不到。 ”

    乌镇人机大战的最终比分定格在了 3:0, AlphaGo 完胜。 柯洁在赛后访谈中表示，AlphaGo 与去年相比又前进了一大步：“上一次它的棋还是接近人类的，而这次 AlphaGo 简

    直就是围棋上帝!”

    新版 AlphaGo 的棋已经近乎于真正的“神之一手” 。 赛后 DeepMind 团队公布了 50 局

    Alpha Go 的自战对局，其中变化令人目不暇接，更被顶尖棋手称为“来自未来的棋谱” 。

    值得一提的是，在 2017 年 9 月， DeepMind 团队与柯洁进行了复盘，显示在第 2 局中，柯洁是在实际仍略微领先的情况下过于悲观，拼得太狠，导致了连续失误，让胜负移向了

    Alpha Go。 确实，人类的情绪波动既是我们的优点，也是我们的缺点。 机器会失误，人类也

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    引子·神之一手 ·: 3

    会失误(即使在顶级赛事中，我们也会看到棋手的失误)，但机器在训练后往往能不断减少

    失误，人类却容易碰到瓶颈。

    此时，我们必须直面的问题是：这是否意味着人类棋手在围棋领域的彻底失败，与人

    工智能在此领域的彻底胜利？

    从竞技的角度而言，的确如此。 新版AlphaGo 依然并非完美，但它的自我进步速度飞快，进步的极限比人类远远更高，令人类望尘莫及，正如 AlphaGo Zero 的训练过程所显示的。

    关于 AI ，有一个著名的火车比喻：

    人工智能就像一列火车，它 1 )各近时你听到了轰隆隆的声音，你在不断期待着它的到来。

    它终于到了，一问而过，随后便远远地把你抛在身后。

    当 200 年前，斯蒂芬森造出第一辆火车时，许多人嘲笑它没有马车快。 但当火车超过

    马车，马车就再也追不上了 。

    上述比喻有夸张成分，因为实际情况比这要复杂得多。 但 AI 的进步速度的确有大概率

    会超过人类。 如果 AI 在直觉、常识、逻辑思维、 形象思维、连续思维、 创造力等等领域全

    面接近人类的水准，那么离它全面超越人类就只是一纸之隔。

    而一个全面超越人类智力的 AI 会如何行动？ 它是否会不经意间就对人类构成巨大的威

    胁，正如我们不经意间就会毁灭蚂蚁的巢穴并对此毫无感觉？

    基于此与许多其他原因(如 AI 在军事方面的可能应用)，诸多知名人士如 Elon Musk 、霍金，认为我们需要对 AI 的发展加强约束。

    但在另一方面， AlphaGo 离真正超级 AI 还有遥远的距离。 我们仍然可将 AlphaGo 视为

    一种工具，而非对手。 这也是目前许多研究人员的看法。

    D 首先，人脑的生物神经网络同样可通过学习而进步，人类棋手在研究 Al phaGo 的对

    弈棋谱时得到了许多灵感和启迪，许多 AlphaGo 的招数一跃成为流行的招法，例如

    在开局阶段就采用“点三三”的下法(图中 AlphaGo 自战棋谱的第 6 手) 。

    A 8 C D E F G ” J KLMNOPQRST

    19 1 . ? ? ..

    ,11 I I I ? ? - ? ? ? ? ? .’-,-…. 118

    , , ,.,~ ......

    ' 够，，， 住； 3 乓三＇‘ ‘ 』.. 』. 飞· ·. , 』

    17 1 ：：二：工 4 墨. - - - -、- .. w …，i~ l 17

    16 1 1--帚’”4，句 2 · … d 很. 嘟嘟 . . . , . . -『… . 』 ＂

    F 马 F蒙古2 P:::C ”..

    'if.:

    .,, ,,~ . ··~ ？如 t. '?”, . 臂.. 寻Z司脯 φ ？’ I

    1 ..ψ ，，；：； ‘!、 -·

    15 』 ： lltli - ~他 咀 守， v… - - - - - - . I 15” : 二 - B 」 血 中甲 、- - - - - - - . . . 11?

    13 I I t ? ? .”·· -·啊， - - ‘- . -· . . . - . . . . I 口

    向＇? !? ? … d ? ' 与知 ? 飞 也飞二

    12 1 I 且…-~-… - -甲精 - - - ...... - . . · 1 12

    、ti 句 t

    3挺 9 、11 1 二. · - ~ . 年 E ι-… -…， - · - - . ... ' . ? I n

    价也 ,, ..”

    ＂ 二：- - - - - - -岛.. . - - - -’-…llo; ?. 飞 岳飞 λ 主主A ,.

    、： , 哇 J’街 才 勺” ”·.. ti 飞·. . ，、” T 飞 ' f~ .~唱 ：~· , ..

    d 叶、电d ＇＂斗 ? f j

    立. ~ J 4 、‘ - . \. ， 卡-切 ,, l 生 ~ ‘ a

    一...... , .. ,队M 民争院却 曹k ＂＂， 可吼

    :l ...

    A 8 C 0 E F G 树 J It l M ”。 P Q R Sτ

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    4 : 深度卷积网络·原理与实践

    D 同时，李世军在与 AlphaGo 赛后取得面对人类棋手的 9 连胜，柯洁更在赛前和赛

    后创造了 22 连胜的辉煌战绩。 与 AI 的巅峰对决，无疑让棋手进入了更佳的竞技状

    态，提升了对于围棋的理解。

    D 最后，让我们把目光转向围棋之外。 AlphaGo 结合了目前 AI 中的多个领域，它的

    思想足以适用于各种决策问题。 因此，通过对围棋的研究，促进对人类思维和决策

    过程的了解，解决更多的现实中的问题(如疾病诊断、 蛋白质折叠、 新材料开发)，这是 DeepMind 开发 AlphaGo 的最重要原因。

    正如 DeepMind 团队在与柯洁的对局后所言，希望 AlphaGo 能为人类探索围棋中最深

    远的奥秘，并发布了 《 AlphaGo Teach 围棋教学工具》(https:alphagoteach.deepmind. com) 。

    下图是它对于常见人类开局的黑棋胜率的预计，可见它认为黑棋略为不利，胜率相对最高

    的开局是下在 Q16 (星位)，胜率为 47.1 %。

    如果我们能将 AI 的发展方向控制在合理的范围，让 AI 保持为人类服务，实现人与 AI

    双赢的局面，确实会是一个理想的结果。

    而这种理想的结果是否一定会实现，需要我们的共同努力。 如果读者在阅读本书之后，能够了解到目前 AI 的进展，对此有更多的理解， 那就实现了本书写作的目的。

    ~ ~ 1 」- - - ....』 1

    A B C D E F G ” J K L M N 0 P Q R S T

    zda--

    a

    ,,‘

    4

    ,4

    ,.,...

    B4·a·w·

    -,,,Rwea

    |-

    l!…一 … -

    i

    a 咽，..

    ,,a -

    zdaa

    a E·E

    -

    a 唱-

    a 目，a 唱-

    a 唱·

    i!

    四”“

    m9876

    3

    2

    仅供非商业用途或交流学习使用.... 口

    C·G

    ·-·· ·u· . . . .

    . .

    . . ...

    .

    仅供非商业用途或交流学习使用.... .

    . .

    lir:(-'i't~ 第 1 章

    走进深度学习的世界

    从人工挥能到深度学习

    许多初次听说深度学习的朋友都会对其中各种名词的区别感到疑惑。 在此我们统一进

    行简单介绍。

    首先，从人工智能到深度学习，其演进过程如图 1-1 所示。

    1.1

    2010’s 2000’s 1990’s 1980’s 1970’s 1960’s 1950’s

    从人工智能到深度学习

    人工智能，是最广义的概念：

    D AI 的目标是让机器完成人类的智能工作 如学习、推理、规划、创造等。 从前的国

    际象棋程序“深蓝”是经典的例子。。 如果 AI 可完成人类的全部智能工作，就可称为强 AI (Strong AI )或通用 AI

    仅供非商业用途或交流学习使用

    图 1-1仅供非商业用途或交流学习使用

    6 ~~ 深度卷积网络.原理与实践

    (Artificial General Intelligence, AGI) 。。 从广义的角度， AI 希望让机器完成一切人类的工作。 从驾驶车辆、 清扫房间到

    科学研究、艺术创作， AI 可能会在所有领域取代人类。

    D AI 中的一大领域是理解图像，这称为计算机视觉( Computer Vision, CV) 。 CV 中

    的基本问题由易到难如图 1-2 所示。

    图像分类 图像分类+画框 物体检测 图像分割

    图 1-2 计算机视觉中的基本问题

    D Al 中的另一大领域是理解人类语言，这称为自然语言处理( Natural Language

    Processi吨， NLP )，难度更高。 例子包括机器翻译、语音助手等。

    D NLP 可与 CV 结合，例如，我们可要求 AI 用语言描述图像，看图说话，或根据图

    像回答人类的问题。

    机器学习(Machine Learning )是 AI 的重要领域：

    D 机器学习的目标是让机器从训练数据中自动进步，从经验中自动学习。 例如通过输

    入大量棋谱，自动学会怎么下棋；通过输入大量画作，自动学会如何绘画；通过输

    入大量 X 光片，自动学会诊断疾病。

    D 在机器学习外， AI 中还有许多方法。 例如专家系统，是机器用人类定义的规则进行

    逻辑推理。 又例如深蓝和 AlphaGo 都会使用博弈树搜索。 这些都属于 Al ，但不属

    于机器学习。

    深度学习是机器学习的重要领域：

    D 深度学习的目标是用深度神经网络完成机器学习。 例如通过深度卷积网络学习图像

    数据，识别出图像中的内容。

    D 在深度学习外，机器学习中还有许多方法。 例如在深度学习之前，流行的方法是支

    持向量机(Support Vector Machine, SVM ) 。

    D 深度学习是目前最热门的机器学习方法，因为它在许多问题上的效果最佳，尤其是

    在训练数据足够多的情况下。

    口 虽然深度学习非常强大，但它并不是机器学习的全部。 例如，由卡耐基梅隆大学

    (CMU)开发的《冷扑大师》，在 2017 年首次战胜了德州扑克的顶级职业选手，它

    使用了多种机器学习方法，但没有使用深度学习。

    在机器学习中还有多个领域，且各个领域间可相互结合：

    仅供非商业用途或交流学习使用走进深度学习的世界

    仅供非商业用途或交流学习使用

    第 1 章 7

    可 强化学习(Reinforcement Learning )是机器学习的另一重要领域。。 强化学习的目标是让机器在环境中逐渐学会正确决策，最终获得最大利益。 例

    如，如图 1-3 所示，自动学会玩游戏，在游戏结束时取得尽可能高的分数。

    下一步的决策

    这g

    卷积神经网络

    -

    -

    -”

    -

    输入的图像

    通过强化学习学会玩游戏。 强化学习的难点是最终获取最大利益，这往往需要在此前做出种种牺牲。 因此，不能只看眼前利益，需要逐渐建立长远的决策模型。

    q 强化学习与深度学习是平行的概念，两者可结合为深度强化学习，即使用深度神经

    网络强化学习。 这是 AlphaGo 自我进步的秘诀所在。 AlphaGo 的意义深远，因为

    它成功结合了 AI 中的多种方法。 而且目前的 AI 在大多数领域最多只能达到人类水

    准，但 AlphaGo 实现了完全超越人类。

    0 预测学习( Predictive Learning )是目前机器学习的前沿领域。 流行的做法也是使用

    深度神经网络。。 例如，输入 1 张图像，预测图像在后续的发展(见图 1-4 ) 。 这需要大量的逻辑

    推理与常识积累，甚至需要学会自动发现物理规律，对于 AI 极具挑战性。

    图 1-3

    预

    测

    实

    际

    t=240ms t=200ms t=l60ms t=l20ms t=80ms t=40ms 输入图像

    从输入图像预测后续发展。 目前“深度学习三巨头” Hinton 、 LeCun 、 Bengio 均己对预测学习投入研究。 笔

    者预测，它将可能带来 AI 的下一次飞跃。

    仅供非商业用途或交流学习使用

    图 1-4仅供非商业用途或交流学习使用

    8 ：· 深度卷积网络.原理与实践

    让我们再看各种神经网络类别。 神经网络可按层级深度分为浅层神经网络与深度神经

    网络：

    U 神经网络( Neural Network, NN)是由一层层的神经元( neuron )组成的。 传统的

    浅层神经网络只有几层。。 更精确地说，这里是指人工神经网络( Artificial Neural Network, ANN) 。 因为

    还有生物神经网络(Biological Neural Network )，两者的运作有差异。。 如果上下文清晰，可省略“神经”二字，用“网络”代表“神经网络” 。

    吐 深度神经网络是指具有很多层的神经网络，可以有十几层到上千层。。 “深度”是修饰词。 因此，深度某某网络，就是指具有很多层的某某网络。。 目前实际使用的神经网络几乎都是深度神经网络，因此可省略“深度”二字。。 综上所述，如果上下文清晰，可用“网络”代表“深度神经网络” 。

    神经网络还可有多种架构(architecture):

    D 卷积神经网络(Convolutional Neural Network, CNN)是采用卷积(convolution )架

    构的神经网络。 后文会用例子解释卷积的原理。。 深度卷积神经网络，就是有很多层的卷积神经网络，这是本书的重点。 它的经典

    结构如图 1-5 所示，后文会详细介绍。

    E：自主；二：电飞；： 气。

    图 1-5 深度卷积网络的经典结构。 如前所述，可省略“深度”和“神经” 。 因此，卷积网络、 卷积神经网络、深度

    卷积网络、深度卷积神经网络，往往指的是同一事物。

    口 传统的神经网络架构是前馈神经网络( Feedforward Neural Network )，其中包括多

    层感知机(Multilayer Perceptron, MLP)，这部分知识本书也会讲述。

    口 另一种重要的神经网络架构是循环神经网络(Recurrent Neural Network, RNN)，其

    中常用的细分架构是长短期记忆网络( Long-Short Term Memory, LSTM )和 GRU

    (Gated Recurrent Unit ) 。

    1.2 深度神经网络的威力：以 AlphaGo 为例

    深度神经网络很神奇，甚至有些神秘。 让我们以 AlphaGo 作为实例进行讲述。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    第 1 章走进深度学习的世界 、 9

    1.2.1 策略网络简述

    AlphaGo 的目标是下围棋。 围棋，是黑白双方轮流在 19 ×凹的棋盘上下子的游戏：

    D 围棋在逾三千年前起源于中国，规则很简单，几分钟就能学会，变化却深奥之极，令无数人为之着迷。 感兴趣的读者可参阅《 PANDANET 围棋入门教程》( http :

    www.weiqi-pandanet.cnhowtoplaygoO 1-01.htm )了解人门知识。

    q 简单地说，围棋是黑白双方划分棋盘上的地域的过程。 在这个过程中，双方会在棋

    盘各处抢占地域，展开激烈的战斗，攻击对方的外围，打人对方的内部。 最终，当

    双方所控制的地域都已稳定，即可统计地域，多者为胜。

    D 下围棋时，还可将对方的棋子围起来吃掉。 初学者会喜欢吃子，但高手不会贪吃，而且有时还会故意弃子，因为围棋最终比拼的不是谁吃的子多，而是谁围的地方多。

    D 图 1-6 左边所示是9 × 9 小棋盘的一个终盘局面，右边所示是黑白双方的地域显示。 根据

    规则，由于黑棋先行，占了便宜，黑棋要赢得超过某一数量才算赢，称为贴目(komi ) 。

    图 1-6 黑白双方在 9 × 9 围棋盘的地域划分实例

    下围棋时，首要的问题是应该下到何处。 因此， AlphaGo 的重要部件是策略网络，它

    是一个深度卷积网络，像一个复杂的函数，只要输入棋盘的当前局面，就可直接输出对下

    一手的推荐。

    具体而言，策略网络输入的是将棋盘局面预处理后得到的特征层( feature plane )，输出

    的是下一步在棋盘每个点的行棋概率，其中概率最高的就是最推荐的下一手，如图 1-7 所示。..?. _ . _, ...... ·.飞’ h . ? ] .. ..

    棋盘局面 预处理得到

    多个特征层

    图 1 - 7 策略网络简图

    策略网络

    仅供非商业用途或交流学习使用

    -→下步 应该下在 L10仅供非商业用途或交流学习使用

    10 :· 深度卷积网络：原理与实践

    可以想象，这个函数必定非常复杂。 很难想象如何凭空写出这样的函数。 AlphaGo 通

    过使用神经网络，解决了这个问题。

    神经网络和生物的大脑神经网络有些相似，可以学习，可以不断变化：

    口 神经网络具有层次化的结构，可逐层将数据进行变换。

    口 神经网络的学习过程称为训练神经网络。 训练过程是全自动的。

    口 通过训练神经网络，它可以逐渐变成我们所需要的任何函数，包括“下围棋”函数。。 神经网络有许多参数，决定每层的变换方法。 改变参数即可改变网络的输出。。 具体而言，我们会通过“随机梯度下降”( Stochasti c Gradi ent Descent , SGD )方

    法不断调节参数，让网络的输出越来越接近目标。。 在后续章节会有直观的例子显示网络的训练过程。 这个过程几乎只需要做乘法和

    加法，特别简单，尤其适合电脑。

    例如，我们可准备大量人类高手的棋谱，然后通过训练，让策略网络学会模仿棋谱中

    人类高手的下法，如图 1 -8 所示。

    人类高手棋谱＂＂ ~；

    策略网络 乱下的一步棋

    网络输出 .

    -? 奇-

    误差信号

    棋谱中的局面

    l 训练

    训练后的策略网络

    图 l- 8 训练策略网络

    训练的过程就是随机选取棋谱中的某个局面，将策略网络的输出与棋谱中的高手下法

    比较，得到“误差信号”并传入网络，然后调整网络的参数，让网络的输出更接近高手的

    下法。 然后继续随机选取局面，继续训练。

    最终策略网络学会的是面对各种各样的局面，人类高于最可能会下在哪里。 不过，人

    类高手的下法不一定是完美的，所以 AlphaGo 还会通过自我对弈，让策略网络找到更好的

    下法。

    策略网络的训练过程很有趣。 最初策略网络只会随机乱下，但它会随着训练不断进步，下得越来越好，越来越像棋谱中高手的下法。 在反反复复将几十万盘人类高手的棋谱学习

    多遍后，就可以下得和棋谱很像。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    第 1 章走进深度学习的世界 〈 11

    1.2.2 泛化 ： 看棋谱就能学会下围棋

    有经验的读者会意识到，如果电脑只是能和棋谱下得很像，其实并不稀奇。 例如，我

    们可以写一个数据库程序，把所有棋谱都存进去，那么电脑立刻就可以下得和棋谱一模一

    样，但这不代表它懂围棋。

    深度神经网络的神奇在于，它不是死记硬背棋谱，即使在面对棋谱里没有的全新的局

    面时，它同样可以下出颇为不错的棋。

    因此，通过深度神经网络，我们不需要告诉电脑任何围棋的行棋道理和诀窍，只需要

    给电脑不断地看棋谱，它就能自动找到其中的规律，真正学会下出高水准的围棋。

    这确实不可思议，这是从前的机器学习方法难以做到的。

    Q 让电脑学会背诵棋谱很简单，有很多方法。

    可 让电脑通过棋谱自动学会下出高水准的围棋，就像让完全不懂围棋的人只看棋谱就

    无师自通，昕上去就很难。 如果回到 10 年前，大家都会认为这是个艰巨的任务。

    然而对于深度神经网络，从棋谱自动学会下出高水准的围棋，竟然就像我们吃饭喝

    水一样简单。 电脑在此的学习能力恐怕已经比普通人更强。

    深度神经网络的这种举一反三的能力称为“泛化”( generalization ) 。 基于深度神经网络

    的 AI 为何如此热门？重要原因正是它的泛化能力，使它拥有类似人类的学习能力。

    之前机器学习方法的泛化能力不如深度神经网络，它们更容易在复杂数据上出现死记

    硬背的现象，只能解决看过的问题，遇到没有看过的新问题就容易出现各种错误，这称为

    “过拟合”(over-fitting ) 。

    机器学习的难点是避免过拟合，深度神经网络在此表现尤为出色。

    1.2.3 拟合与过拟合

    说到过拟合，让我们先了解拟合。 拟合( fit )就是指和训练数据接近，例如和棋谱的下

    法接近。

    几十年前的浅层神经网络，就足以拟合复杂的数据，这可由通用逼近定理( universal

    approximation theorem )证明，但它难以实际解决复杂问题，因为它容易出现过拟合。

    一个著名的故事是，计算机理论之父冯 · 诺依曼( John von Neumann )曾说过：“用 4

    个参数我可以拟合出一头大象，而用 5 个参数我可以让它的鼻子摆动” 。 换而言之，如果模

    型的参数足够多，就可能有能力拟合任何数据，但这并不代表模型找到了数据背后的规律。

    不妨举例说明。 如果一个数列的前 5 项是 1, 2, 4, 8, 16 ，那么自然的猜测是，第 x 项的

    公式是y=2川，那么第 6 项是 32 。

    但如果用多项式去拟合这个数列，会得到这样的多项式：

    3x4 一 l 8x3 + 69x2-54x3 + 72

    y

    72

    读者可将 1,2,3,4,5 分别带入此式，会发现也可分别得到 1, 2, 4, 8, 16 ， 不过，如果将

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    12 争 深度卷积网络：原理与实践

    6 带入此式，会得到 31 。

    可见，找规律是很微妙的过程。 如果读者熟悉数学，会知道第 6 项还可以等于 88888,可以等于-3 . 14159，可以等于 0.666 ，可以等于任何数，因为不同的数都可以找到相应的多

    项式。 我们只能说，从常理推断，正确的规律更可能是y ＝γl ，第 6 项更可能是 32 a

    在从前的机器学习理论中，传统的观点是：

    口 模型的参数越多，越容易过拟合。 例如刚才的多项式，其中的参数很多， 看上去就

    “不靠谱” 。

    D 模型越简单，例如刚才的 y=2x-I ，就越可能是正确的。

    但这个观点对于深度神经网络失效了。 深度神经网络的模型非常复杂，参数数目可

    高达几千万，甚至几亿个，却能比更简单的模型更好地克服过拟合，更可能找到正确规

    律。 而且，即使深度神经网络出现过拟合，研究人员也可运用各种技巧改善过拟合。 这

    部分内容后文会讲述。

    为何深度神经网络拥有如此强大的威力？这仍然是学术界的研究课题。 虽然已有不少

    论文，但迄今为止，研究人员仍然没有真正理解其中的原因。 这很值得思考。 这说明，我

    们有可能创造出我们自己也无法理解的，比我们更有智能的 AI 。

    目前大致的认识是，深度神经网络的逐层结构可以实现对于概念的不断抽象，这恰好

    与世界的运行规律吻合。 自然界中有这样的逐层抽象结构，人类的大脑也具有类似的逐层

    抽象结构。 我们在后文还会继续讨论这个问题。

    1.2.4 深度神经网络的速度优势

    深度神经网络的另一优势是，它的训练和运行速度很快，因为这个过程几乎只需做加

    法和乘法，而且非常适合并行化，后文会具体讲述。 为什么这样简单的方法能有这样好的

    效果？这仍是未解之谜。

    例如，在装载 GTX1070 显卡的家用电脑上，训练策略网络只需一两天，且为全自动，无须任何人工干预，电脑只看棋谱，不看棋书，就能达到普通成年人需要阅读棋书、请教

    老师、反复做题、对弈，悉心学习一两年才能达到的棋力。

    如果换上神经网络专用硬件，如 Google 的 TPU 处理器，速度可再快上几十倍。 如果

    用成千上万个 TPU ，那么速度还可再提高成千上万倍。 图 1-9 所示是 Google 的 TPU 深度

    学习系统，也正是训练 AlphaGo 所使用的系统。

    这个情况很重要。 因为目前常用的神经网络实际只有几百万个神经元(这里把卷积神经

    元看成是多个神经元，以与生物大脑的神经元连接密度一致)，相当于蝉脚的水平。 与之相

    比，猫有 7 亿个神经元，人类更有 860 亿个神经元。

    根据目前的硬件发展趋势，我们将有能力使用越来越大的神经网络，神经网络的规模

    将在 2056 年左右达到人类的水平。 届时的神经网络会拥有怎样的能力，确实不可轻视。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习佼用

    第 1 章走进深度学习的世界 . 13

    图 1-9 Google 的 TPU 服务器

    1.3 深度神经网纷的炖用大观

    关于目前的深度神经网络，有一个经验法则：如果一项工作中所需要思考和决策的问

    题，人能在 5 秒内解决，它就很有可能被目前的深度神经网络实现。

    这已经很厉害，因为人可以在几秒之内完成相当多的工作。 让我们看看深度神经网络

    已经可以做到什么。

    1.3.1 图像分类问题的难度所在

    深度学习中最经典的问题是图像分类( image classification )，例如将输入的图像分类为

    “猫的图像”和“狗的图像” 。

    大家可能会感到奇怪，这真的很难吗？因为当我们看到一张图像，一眼就能看出其中

    的各个物体，它们的位置、大小、之间的关系，以及场景的情况。

    但在深度学习取得巨大进展之前，电脑很难判断一张图像中是猫还是狗，这是因为电

    脑只能看到像素构成的二维数组，看到一群数字，如图 1-10 所示。

    如何从一群数字中看出物体是什么，对于电脑来说很难，因为电脑在某种意义上很笨。

    我们用简单的例子说明电脑有多笨，教会电脑识别图像有多难。 图 1-11 中的两张格点图

    案，在人看来是类似的，但在电脑看来区别很大。

    这是因为，右图比左图向上移动了一个像素。 我们可将两张图的像素数组画出来，如

    图 1-12 所示。

    可见，数组中的大多数位置对应的值完全不同，因此电脑认为这两张图是天壤之别，因为电脑只会把两边的点一一对应，除非我们教会电脑用更好的方法观察。

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    14 〉 深度卷积网络：原理与实践

    图像分类

    图 1 - 1 0 电脑眼中的图像是像素的数组... ..... .............. ..

    82% 猫

    15% 狗

    2% 马

    1% 人

    1 1 1 1 1

    罔 1 -11 在人看来类似的格点图案 图 1-1 2 格点图案的像素数组

    人会认为这两张图是类似的，说明人是站在更高、更整体的角度观察图像。

    读者会问，是否可加入搜索，让电脑去试图移动图像，找到合适的位置？的确可以，但事情没这么简单：

    口 如果我们把图像旋转一些、放大缩小一些、扭曲一些、某个局部变形一些等，也应

    是类似的图像。 是否电脑还要一个个去实验这种种变形的方法？

    口 有的物体变形之后就不像原来的物体了，有的物体却在变形之后仍然像原来的物

    体。 电脑如何学会这一点？

    0 物体的不同部位，对于不同变形的忍受程度不同，如此复杂的情况，电脑怎样能自

    动学会？

    口 图像还可以加各种背景、各种遮挡、各种干扰，电脑该如何克服？

    再看更具体的例子，如图 1-1 3 所示。

    0 左边的狗和猫，从像素数组看很接近，因为主体都是白色，都有三个黑色小区域

    (眼睛、鼻子和嘴巴)。 为什么一个是狗，一个是猫？

    口 右边的各种狗，从像素数组看，区别很大，大小和颜色各异，为什么都是狗？

    仅供非商业用途或交流学习使用仅供非商业用途或交流学习使用

    第 1 章走进深度学习的世界 ·：· 15

    图 1-13 识别图像中的狗和猫并不是一个简单的任务

    因此，计算机视觉的难点是，需要让电脑理解图像的本质和图像的语义( semantics ) 。

    传统方法在此曾遇到诸多困难，甚至曾令此前的许多研究人员感到悲观绝望。

    深度神经网络彻底改变了这一切。 它可把像素级别的图像逐层抽象，全自动生成语义

    级别的概念，简直就像变魔术。

    1.3.2 用深度神经网络理解图像

    在 2011 年，用传统的浅层神经网络方法， Google 动用了 16000 台机器，经过 3 天的不

    断计算，才构建出一个足以识别猫的网络。 这在当时已被认为是了不起的成就。

    在 2012 年，著名的深度神经网络 AlexNet 面世，它

    用 l 台机器就可轻松完成这个任务。

    而在今天，通过深度神经网络，用普通的智能手机

    就能瞬间识别出图中的内容，而且更快更准。 例如，通

    过名为 WhatsThatPic 的 iOS App ，可轻松识别出被遮

    挡的情猫(见图 1-14 所示)。

    目前的深度卷积网络早已能精确分辨出上百种狗品

    种(见图 1-15 )，准确度更超人类。

    它还能进一步将图像自动划分为各个物体，并标记出

    每个物体的具体区域，这称为图像分割( segmentation ) 。

    如图 1 -16 所示，通过 Mask R-CNN 网络。，可进一步实

    现包括人体姿态识别的图像分割。

    深度神经网络还能自动为图像生成一段文字标题，tiger cat

    50!1 IUrt

    N。rwich terrier

    10!1 sure

    这称为图像说明( captioning ) 。 它还能解释选择标题中 I Nori。lkterrier

    每个词的原因。 图 1-17 来自 Knowing When to Look 网

    络＠，其中每组图像中右边的颜色可解释标题中关键词

    的原因。

    8 地址为 https:arxiv.orgabs 1703.06870。

    B!llUrt

    tiger, Panthera tigris

    e’‘ SU rt

    s。ft-c。ated wheaten terrier

    5!1 sure

    图 1-14 手机上的图像识别实例

    @
    仅供非商业用途或交流学习使用有关此电子书试读版的说明

    本人可以帮助你找到你要的高清 PDF电子书，计算机类，文学，艺术，设计，医学，理学，经

    济，金融等等。

    质量都很清晰，为方便读者阅读观看，每本 100°。都带可跳转的书签索引和目录。

    一般情况下，出版半年左右就会有 PDF极个别的书出 PDF时间要长一些

    如看到试读版信息.说明已经有完整版，需求完整版即可联系我。

    请添加 QQ 312082710 和微信312082710

    或扫描微信二维码添加

    PDF代找说明：

    本人己经帮助了上万人找到了他们需要的PDF ,其实网上有很多 PDF,大家如果在网上不到的话，可以联系我QQ 312082710或微信 312082710

    大部分我都可以找到，而且每本100%带书签索引目录。

    因PDF电子书都有版权，请不要随意传播，如果您有经济购买能力，请尽量购买正版。

    提供各种书籍的高清PDF电子版代找服务，如果你找不到自己想要的书的 PDF电子版，我们 可

    以帮您找到，如有需要，请联系QQ 2028969416微信2028969416 备用 QQ 202896416

    若以上联系方式失效，您可通过以下电子邮件获取有效联系方式。邮箱：312082710@qq.com

    若您没有QQ通讯工具，请点击下面链接与客服取得联系。

    https:item.taobao.comitem.htm?id=565681036651

    声明：本人只提供代找服务，每本100%索弓|书签和目录，因寻找和后期制作pdf电子书有一定

    难度

    仅收取代找费用。如因PDF产生的版权纠纷，与本人无关，我们仅仅只是帮助你寻找到你要的

    PDF 而己。 ......