01人工神经网络

一、人工神经网络定义

综合人工神经网络的来源﹑ 特点和各种解释， 它可简单地表述为：人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。

人工神经网络（简称神经网络） ：是由人工神经元互连组成的网络， 它是从微观结构和功能上对人脑的抽象、 简化， 是模拟人类智能的一条重要途径， 反映了人脑功能的若干基本特征， 如并行信息处理、 学习、 联想、 模式分类、 记忆等。

二、神经网络的发展历程

三、神经网络的构建与训练流程

收集训练数据的方式包括开源数据集、爬虫程序、半自动化实例标注、外面订购数据标注服务、手动标注数据。

数据预处理目的： 能够帮助网络更加高效和准确的收敛。 例如， 在处理过程中所有的input和label处理成 能够被神经网络使用的数据。预处理的方法：归一化（Normalization)、独热编码（One-hot）、数据增强（Data Augmentation）。

在神经网络的结构设计方面， 往往遵循如下要点：输入层的单元数等于样本特征数。在分类问题中，输出层的单元数一般等于分类的类型数。每个隐层的单元数通常是越多分类精度越高，但是也会带来计算量的增加。

根据批量大小， 梯度下降常用的方法有三种：

批量梯度下降（BGD） ：每次更新使用所有的训练数据，最小化损失函数，如果只有一个极小 值，那么批量梯度下降是考虑了训练集所有数据， 但如果样本数量过多，更新速度会很慢。

随机梯度下降（SGD） ：每次更新的时候只考虑了一个样本点，这样会大大加快训练速度，但 是函数不一定是朝着极小值方向更新，且SGD对噪声也更加敏感。

小批量梯度下降（MBGD） ： MBGD每次更新的时候会考虑一定数量（batchsize）的样本，解 决了批量梯度下降法的训练速度慢问题，以及随机梯度下降对噪声敏感的问题。

梯度下降法的缺点：没办法保证收敛性。 ◼ 学习率太小，收敛慢；学习率太大，损失函数会在极小值处动荡甚至偏离； ◼ 容易陷在局部极小值处，或者鞍点处。

动量优化器优缺点 优点：增加了梯度修正方向的稳定性，减小突变。 在梯度方向比较稳定的区域，小球滚动会越来越快（当然，因为𝛼<1，其有一个速度上限），这有助于小 球快速冲过平坦区域，加快收敛。 带有惯性的小球更容易滚过一些狭窄的局部极值。

缺点：学习率𝜂以及动量𝛾仍需手动设置，这往往需要较多的实验来确定合适的值。

Dropout是一类通用并且计算简洁的正则化方法， 在2014年被提出后广泛的使用。 简单的说， Dropout在训练过程中， 随机的丢弃一部分输入， 此时丢弃部分对应的参数不会更新。 Dropout类 似于是一个集成方法， 将所有子网络结果进行合并， 通过随机丢弃输入可以得到各种子网络。