9、神经网络中的能量与学习机制解析

神经网络中的能量与学习机制解析

1. 神经系统与环境的耦合及能量概念引入

神经系统与环境通过感官受体逐渐形成紧密耦合，这种耦合在统计上表现为因果状态的两种概率分布之间的高度相似性（低差异），一种由识别机制产生，另一种由生成机制产生。赫尔曼·冯·亥姆霍兹提出的亥姆霍兹自由能，这一热力学概念可用于机器学习，以捕捉上述概率分布之间的关系，能量与概率的联系源自热力学的玻尔兹曼方程。“能度”（enerbility）这一概念为亥姆霍兹机（及相关网络）在识别和生成阶段的循环学习进度提供了合适的度量。这种学习进度具有“涌现”特性，因为能度指标（如自由能）适用于网络的全局状态，但通过计算这些指标相对于单个突触权重的梯度，可偶然转化为局部的赫布学习规则。迭代的自上而下、自下而上循环与赫布参数更新相结合，可产生一个能很好适应环境的神经系统，且无需任何形式的监督反馈。

2. 能量景观与梯度

从物理化学能量角度对神经系统进行了深入分析，但从自旋玻璃理论借用的更抽象的能量概念，为评估神经网络的行为和指导其适应提供了流行且强大的度量，也是将能量和能度与预测联系起来的更复杂度量的起点。
- Hopfield网络的能量 ：1982年，约翰·霍普菲尔德将自旋玻璃理论与神经网络联系起来。在这种解释中，神经网络能量体现了神经元对的激活水平与两个单元之间突触连接的符号和大小之间的冲突。当配对神经元的活动水平与突触类型匹配时，配对的能量较低；反之，高冲突则表示高能量。例如，当突触前后神经元都具有高活动，且它们之间的突触是兴奋性的（即具有正权重/强度）时，该配对的局部能量较低。在原始的Hopfield网络中，所有连接都是双向的，总能量是所有直接连接的神经元对的局部能量之和。