线性神经网络

线性神经网络最典型的例子是自适应线性元件（Adaptive Linear Element, Adaline），20世纪50年代末由Widrow和Hoff提出。线性神经网络的激活函数（或者称为传输函数）是线性函数(Linear，图1)和符号函数(Sgn,图2)，除了产生二值输出以外，还可以产生模拟输出(输出可以为任意值，图3)。线性神经网络采用Widrow-Hoff学习规则，即LMS(Least Mean Square)算法来调整网络的权值和偏置。LMS算法用于训练单层网络，从理论上说，对于每一个多层线性网络，都具有一个等效的单层线性网络与之对应。

 图1  线性函数（Linear, y=x, x本身就是神经元输出）

图2  符号函数（Sgn, x大于等于0时，输出1，否则输出-1）