深度学习

    -用 PYTHON 开发你的智能应用

    ， 费良宏 lianghon@amazon.com AWS Technical Evangelist

    21 April 2016关于我

    工作：Amazon Web Services Evangelist

    7 年 Windows Internet Cloud @

    3 年 iOS Mobile App @

    1.5 年 Cloud Computing @

    技术关注：

    云计算：架构、大数据、计算优化

    机器学习：深度学习、自然语言处理

    语言：Python、Go、Scala、Lua

    Web：爬虫

    2016的目标：Web爬虫+深度学习+自然语言处理 ＝ ？

    Microso?

    Apple

    AWS今年最激动人心的事件？

    2016.1.28 “Mastering the game of Go with deep neural networks and tree search”今年最激动人心的事件？

    2016年3月Alphago 4:1 击败李世石九段人工智能 VS. 机器学习 VS. 深度学习人工智能发展的历史四大宗师

    Yann Lecun, Geo? Hinton, Yoshua Bengio, Andrew Ng机器学习

    机器学习是一门人工智能的科学。机器学习算法是一类从

    数据中自动分析获得规律，并利用规律对未知数据进行预

    测的算法机器学习

    计算机能够分辨出来他她是谁吗？机器学习机器学习

    基于过去的事实和数据，用来发现趋势和模式

    机器学习模型提供了对于结果的洞察力，机器学习帮助

    揭示未来的一个结果的概 率而不仅仅是过去发生的事情

    历史的数据和统计建模被用于概率进行预测

    传统的数据分析旨在回答关于过去的事实，机器学习的目

    的是回答关于未来事件的可能性的问题!机器学习的应用场景

    个性化 – 提供个性化的电子商务体验

    文档聚类 – 按照文档上下文自动分类

    欺诈检测 – 发现异常的规律行为，识别和标记欺诈交易

    推荐引擎

    客户流失预测...机器学习-学习方式

    监督学习- 人工干预和验证的要求,算法：Logistic Regression，Back Propagation Neural

    Network 等。例如：照片分类和标签

    无监督学习- 无人工干预的要求, 算法: Apriori算法以及k-Means。例如：对于文档的基于上下

    文的自动分类

    半监督学习 - 介于监督学习和无监督学习之间，算法: Graph Inference 或者Laplacian SVM

    强化学习- 通过观察来学习做成如何的动作, 算法：Q-Learning以及时间差学习机器学习- 方法及流程

    输入特征选择 – 基于什么进行预测

    目标 – 预测什么

    预测功能 – 回归、聚类、降维...

    Xn -> F(xn) -> T(x)机器学习- 举例机器学习- 举例

    如何让机器分辨出来他她是谁 ？

    图像分析 –

    输入特征选择 ->面部特征、发型、裙子、身高、手势…机器学习- 何时使用

    你不需要机器学习，如果 -

    使用简单的规则和计算，你可以预测答案

    你能够预先了解到所需要的步骤不需要任何数据驱动的

    学习

    你需要机器学习，如果 -

    简单的聚类规则是不充分的

    面对大量的数据集的可伸缩性的问题机器学习 - 总结

    由已知答案的数据开始

    明确目标 – 从数据中希望可以预测什么

    选择可以被用来预测目标的模式所需要的变量特性

    使用已知目标答案的数据训练机器学习模型

    对于未知答案的数据，使用训练过的模型预测目标

    评估模型的准确性

    提高模型精度什么是深度学习？

    深度学习是机器学习的一个分支，是一组在多个层次上

    学习的算法，分别对应不同级别的抽象深度学习 VS. 机器学习

    ML 的算法包括监督学习和无监督学习

    适用非线性处理单元的多层次的特征提取和转换

    基于对多个层的特征或者表象的学习，形成一个由低级

    到高级的层次结构特征

    传统的机器学习关注于特征工程,深度学习关注于端到

    端的基于原始数据的学习为什么需要深度学习？深度学习- 举例深度学习 - 神经网络

    是一种模仿生物神经网络(例如大脑)的结构和功能的计

    算模型

    是一种非线性统计性数据建模工具，对输入和输出间复

    杂的关系进行建模

    一组简单可以训练的数学单元集合，共同学习复杂的功

    能深度学习 - 训练深度学习 - 部署深度学习 - 数据表现

    表现层次

    图片– 像素、主题、部分、轮廓、边缘等等

    视频– 图像帧、每帧的像素、每一帧的deltas 值等等

    文本– 字符、词、从句、句子等等

    语音– 音频、频段、波长、调制等等...深度学习的优势

    特性自动推导和预期结果的优化调整

    可变的自动学习的健壮性

    重用性-相同的神经网络的方法可用于许多应用和数据

    类型

    通过利用GPU的大规模并行计算-可扩展的大容量数据深度学习的开发框架

    Torch (NYU,2002), Facebook AI, Google Deepmind

    Theano (University of Montreal, ~2010), 学院派

    Kersa, “Deep Learning library for Theano and TensorFlow”

    Ca?e (Berkeley)，卷积神经网络,贾扬清

    TensorFlow (Google)

    Spark MLLib深度学习中的开发框架框架THEANO

    学院派血统,Montreal University

    非常灵活，非常复杂

    通过底层借口可以做到大量的定制

    衍生了大量的丰富的项目Keras, PyLearn2, Lasagne...

    Pythonic API, 非常好的文档THEANO 实践THEANO 实践THEANO 中的卷积极神经网络为什么是 PYTHON ？

    最好的胶水代码用于研究、快速开发

    iPython, 数据可视化

    丰富的框架资源Theano, Kersa, TensorFlow

    海量的社区、开源的支持为什么需要 GPU？为什么需要 GPU？

    CPU - 指令并行执行，数据并行运算

    GPU - 矩阵类型的数值计算，尤其浮点运算建立自己的深度学习的应用环境

    适用于 深度学习的 AWS G2实例 –

    4个NVIDIA GRID GPUs, 每1个包括了 1,536 CUDA cores 以

    及 4 GB of video

    32 vCPUs

    60 GB内存

    240 GB (2 x 120) of SSD 存储深度学习的应用环境深度学习的应用环境 - 安装和配置

    s u d o y u m u p d a t

    s u d o y u m i n s t a l l g i t p y t h o n - n o s e g c c g c c - g f o r t r a n

    g c c - c + + b l a s - d e v e l l a p a c k - d e v e l a t l a s - d e v e l

    p y t h o n 3 4 - d e v e l p y t h o n 3 . 4 l a p a c k 6 4 - d e v e l p y t h o n 3 4 - p i p

    p y t h o n 3 4 - v i r t u a l e n v

    p i p - 3 . 4 i n s t a l l T h e a n o n u m p y s c i p y n o s e k e r a s p y c u d a深度学习的应用环境- 检查GPU深度学习的应用环境- THEANO

    ~.theanorc

    深度学习的应用环境- THEANO深度学习的应用环境- THEANO

    我的第一个Theano 程序

    深度学习的应用环境- THEANO深度学习的应用环境- THEANO

    我的第一个Theano 程序深度学习的应用环境- THEANO

    GPU vs. CPUTENSORFLOW 的新进展

    分布式的深度学习框架TENSORFLOW 的新进展

    分布式的深度学习框架工程化思维 VS. 科学化思维THINK GREAT

    THOUGHTS AND YOU

    WILL BE GREAT.

    心怀伟大，你将会变得伟大!谢谢! ......