神经网络的激活函数

目录

神经网络 

激活函数 

sigmoid 激活函数

tanh 激活函数

backward方法 

relu 激活函数 

softmax 激活函数

神经网络 

人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN），是一种模仿生物神经网络结构和功能的 计算模型。人脑可以看做是一个生物神经网络，由众多的神经元连接而成。各个神经元传递复杂的电信号，树突接收到输入信号，然后对信号进行处理，通过轴突输出信号。

人工神经网络

每一个神经元都是＝g(w1x1 + w2x2 + w3x3...) ，即先对输入求和，再对其激活

💎这个流程就像，来源不同树突(树突都会有不同的权重)的信息, 进行的加权计算, 输入到细胞中做加和，再通过激活函数输出细胞值。我们使用多个神经元来构建神经网络，相邻层之间的神经元相互连接，并给每一个连接分配一个强度 w，机器学习的目的就是求这些 w 值。

• 输入层: 即输入 x 的那一层
• 输出层: 即输出 y 的那一层
• 隐藏层: 输入层和输出层之间都是隐藏层

激活函数 

💎激活函数用于对每层的输出数据进行变换, 进而为整个网络结构结构注入了非线性因素。此时, 神经网络就可以拟合各种曲线。如果不使用激活函数，整个网络虽然看起来复杂，其本质还相当于一种线性模型。

假设有一个单层的神经网络，其输入为𝑥x，权重为𝑤w，偏置为𝑏b，那么该层的输出𝑦y可以表示为：𝑦=𝑤⋅𝑥+𝑏y=w⋅x+b

对于多层的神经网络，如果每一层都不使用激活函数，那么无论网络有多少层，最终的输出都可以表示为输入𝑥x的一个线性组合 y=wn​⋅(wn−1​⋅(…(w2​⋅(w1​⋅x+b1​)+b2​)…)+bn−1​)+bn​

通过给网络输出增加激活函数, 实现引入非线性因素, 使得网络模型可以逼近任意函数。

激活函数能够向神经网络引入非线性因素，使得网络可以拟合各种曲线。没有激活函数时，无论神经网络有多少层，其输出都是输入的线性组合，这样的网络称为感知机，它只能解决线性可分问题，无法处理非线性问题。 

增加激活函数之后, 对于线性不可分的场景，神经网络的拟合能力更强：