神经网络（NN）网络构建及模型算法介绍

概述

神经网络最主要的作用是作为提取特征的工具，最终的分类并不是作为主要核心。

人工神经网络也称为多层感知机，相当于将输入数据通过前面多个全连接层网络将原输入特征进行了一个非线性变换，将变换后的特征拿到最后一层的分类器去分类。

神经网络是由多个神经元组成的拓扑结构，由多个层排列组成，每一层又堆叠了多个神经元。通常包括输入层，N个隐藏层，和输出层组成。

输出层：分类任务中如果是二分类任务输出层只需要1个神经元，如果是K个分类问题，输出层要有K个神经元。对输出层的每个神经元代入分类函数就可以得到每个分类的概率大小，取最大概率的作为分类结果。对于多分类问题的分类器模型常采用Softmax回归模型，即多分类问题的Logistic回归模型。

输入层：以一个128x128像素的图像为例，人工神经网络只能处理一维的数据。所以要把图像按顺序展开为一维的像素数据。即（1，16384）1行和16384列的数据也是16384个特征。输入层的每个神经元仅接收一个输入特征，因此输入层的神经元个数和图像的特征数也即像素个数一样有16384个。那么每个神经元的1个输入需要求1个权重w，每个神经元要求一个参数b，因此输入层的待求参数就有16384x2 =32768。

隐藏层：中间的每层隐藏层可以根据需求设置多个神经元。其中每个神经元都要输入和前一层神经元的个数个输入特征。输入层比较特殊一个神经元只对应一个输入X,中间隐藏层每个神经元对应输入前一层所有神经元的个数个x。假如该隐藏层有328个神经元组成。连接的前一层是输入层有128x128=16384个神经元。那么每个神经元都对应16384个输入x,因此一个神经元的待求参数量为16384个w和1个b,那么该层所有的待求参数量为：（16384+1）x328=5,374,280‬个待求参数。可见人工神经网络的参数量非常多，难以计算而且很容易过拟合。                                    &n