神经网络学习表示的分析方法与术语解读

### 神经网络学习表示的分析方法与术语解读 在神经网络的研究中，理解其学习表示的透明度和可解释性至关重要。下面将详细介绍相关的方法和术语。 #### 1. 学习表示的概念 学习表示指的是神经网络从高维训练数据中学习到的内容。具体而言，网络需学习训练数据的某种内部表示，通常其维度低于训练数据，以近似一个将输入映射到对应目标的函数（在监督学习情况下）。 网络适应训练数据特征的唯一方式是通过其权重和偏置，它们构成了学习表示的基础。不过，虽然权重和偏置依赖于训练数据，但也可独立于数据进行研究。只是此时，对这种网络参数化的解释是否有意义并不明确，因为它舍弃了与训练数据的关系。 网络激活为学习表示提供了另一个视角，它直接考虑了训练数据。与权重和偏置不同，网络激活只能在处理输入数据时进行研究，这使其与训练数据有内在联系。这一视角受哺乳动物大脑神经科学研究的启发，大脑活动常通过功能磁共振成像（fMRI）记录，以可视化信息处理过程中各个脑区的活动。 #### 2. 学习表示的研究方法 学习表示可在不同空间尺度上进行研究，包括局部和全局尺度。 - **最小尺度**：基于单个权重和偏置值的研究，由于缺乏与其他神经元的比较，无法提供单个神经元的具体含义。但可在训练的不同时间比较这些值，以了解它们在训练过程中的变化，以及学习表示的特定特征何时出现。 - **单个神经元尺度**：可研究神经元的激活值，还可对其权重进行比较，根据某些指标对加权连接进行分类，从而赋予其意义。 - **单个网络层尺度**：可研究层的激活值，将层内神经元的激活值联合考虑并浓缩为一个层激活值。还可比较单个神经元的激活值，确定对特定刺激有共同激活的神经元子集，从而表征功能神经元群体。 - **整个网络尺度**：将网络各层的激活值联合考虑并浓缩为一个网络激活值，可比较不同网络的激活值，类似于神经科学研究中对不同大脑的研究。 随着研究尺度的增大，学习表示的维度会变高，需要找到并提取高维空间中的模式，以便进行可视化和有意义的解释。以下是一些常用的研究方法： - **统计测量**：通过对权重、偏置和激活值的分布函数及其特征度量（如均值、中位数、方差和高阶统计矩）进行统计描述，可比较不同训练阶段的权重和偏置，以及不同输入下的激活值。还可通过相关性测量（如皮尔逊相关或斯皮尔曼等级相关）确定神经元、层或网络对特定输入的激活相似性。 - **变换与嵌入**：高维数据的可视化和解释具有挑战性，因此需要找到一种嵌入方法，将表示的维度降低到二维，同时尽量减少信息损失。然而，大多数先进的嵌入技术进行高度非线性变换，这使得解释嵌入空间中的结构变得困难。因此，需要在保留原始表示信息和牺牲非线性解释性之间找到平衡。 #### 3. 常用的嵌入技术 - **主成分分析（PCA）**：一种流行的线性降维技术，通过将数据嵌入到低维线性子空间中进行降维。PCA旨在保留尽可能多的数据方差，通过对数据的原始空间进行正交、线性变换来实现。主成分是数据协方差矩阵的特征向量，按方差大小降序排列。PCA在提取通用信息方面优于许多非线性降维技术，且具有较好的可解释性和较低的计算复杂度。但它在处理高度非线性数据时存在局限性，通常需要在计算主成分之前将每个特征缩放到单位方差。 - **t - 随机邻域嵌入（t - SNE）**