第一章绪论

神经网络 深度学习 机器学习

第一章

深度学习是机器学习的一个分支，神经网络是深度学习常用的模型

深度学习问题是一个机器学习问题，指从有限样例中通过算法总结出一般性的规律，并可以应用到新的未知数据上．

神经网络可以看作信息从输入到输出的信息处理系统．如果我们把神经网络看作由一组参数控制的复杂函数，并用来处理一些模式识别任务（比如语音识别、人脸识别等），神经网络的参数可以通过机器学习的方式来从数据中学习．因为神经网络模型一般比较复杂，从输入到输出的信息传递路径一般比较长，所以复杂神经网络的学习可以看成是一种深度的机器学习，即深度学习．

传统机器学习数据处理流程：预处理、特征提取、特征转化、预测

自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习

局部表示，也称为离散表示或符号表示．局部表示通常可以表示为one-hot 向量的形式．假设所有颜色的名字构成一个词表 𝒱，词表大小为 |𝒱|．我们可以用一个|𝒱|维的one-hot向量来表示每一种颜色．在第𝑖 种颜色对应的one-hot向量中，第𝑖 维的值为1，其他都为0．缺点：维数很高，且不能扩展，相似度为0

不同颜色对应到R、G、B三维空间中一个点，这种表示方式叫作分布式表示．

深度学习数据处理流程：底层特征-中层特征-高层特征-预测，前三者为表示学习

端到端学习是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标

神经网络是指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度是可学习的参数。
用来对数据之间的复杂关系进行建模．不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的影响大小．每个节点代表一种特定函数，来自其他节点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或抑制）

反向传播算法

全书知识体系

比较有代表性的深度学习框架：Theano、Caffe、TensorFlow、Pytorch、飞桨（PaddlePaddle）、Chainer和MXNet