机器学习中的Transformer可解释性技术深度剖析

### 机器学习中的Transformer可解释性技术深度剖析 #### 1. 注意力机制验证 注意力机制在机器学习中扮演着至关重要的角色，为了验证其在无上下文环境下的有效性，研究人员进行了相关实验。具体做法是将双向长短时记忆网络（BiLSTM）的注意力权重应用于一个经过无上下文训练的多层感知机（MLP）层，该层采用词向量袋表示。如果在任务中表现出色，就意味着注意力分数捕捉到了输入和输出之间的关系。 除了斯坦福情感树库（SST）数据集外，在其他所有任务和数据集上，BiLSTM训练得到的注意力权重都优于MLP和均匀权重，这充分证明了注意力权重的实用性。研究还确定了验证注意力机制有用性的三个关键组件，以及三种量化方法，以实现可靠的解释。不过，注意力机制的有效性是依赖于具体任务的。 #### 2. 注意力流量化 在简单的BiLSTM中，将注意力权重与输入关联起来进行解释本身就是一个具有挑战性的研究课题。而在具有自注意力、多个注意力头和多个注意力层的Transformer中，这个问题变得更加复杂。为了解决这一问题，研究人员提出了两种技术：注意力展开（Attention Rollout）和注意力流（Attention Flow），这两种方法都用于计算从每一层到输入标记的注意力分数，以便进行可视化和解释。 ##### 2.1 信息流动图（DAG） Transformer中任意一层的注意力模块都与输入存在残差连接，因此第 \( l + 1 \) 层的值 \( V_{l+1} \) 可以表示为 \( V_{l+1} = V_l + W_{att}V_l \)，其中 \( W_{att} \) 是注意力矩阵。研究人员建议添加单位矩阵 \( I \)，并计算通过残差连接更新后的原始注意力： \[ A = 0.5 \cdot W_{att} + 0.5 \cdot I \cdot A \] 这个方程可用于为Transformer模型的任何节点或层创建信息流动图。研究提议使用有向无环图（DAG），将输入标记或隐藏嵌入作为图的节点，原始注意力权重作为边。 ##### 2.2 注意力展开（Attention Rollout） 构建好Transformer模型的DAG后，注意力展开机制通过递归计算每条链接上能够传播到所有输入标记的信息比例，来量化注意力对输入标记的影响。对于给定的第 \( i \) 层以及之前所有层的注意力权重，注意力展开机制通过从输入层到第 \( i \) 层递归相乘注意力权重矩阵来计算对输入标记的注意力，其计算公式如下： \[ \tilde{A}(l_i) = \begin{cases} A(l_i) \tilde{A}(l_{i-1}) & \text{if } i > j \\ A(l_i) & \text{if } i = j \end{cases} \] ##### 2.3 注意力流（Attention Flow） 根据图论，流网络是一个有向图，图中的每条边都关联着一个“容量”。最大流算法可以在给定的源节点和汇节点之间找到具有最大可能值的流。在这种技术中，当图网络映射到Transformer的流网络时，将边视为注意力权重，最大流算法就可以计算从任何层的任何节点到输入节点（标记）的最大注意力流。 研究表明，这两种方法提供了互补的视角，与单纯吸引注意力相比，它们与基于梯度和消融方法得到的输入标记重要性分数具有更高的相关性。 #### 3. 文本分类案例研究 在医疗领域，机器学习模型的透明度和可解释性对于其应用至关重要。下面将通过一个实际案例，展示如何在最先进的Transformer上应用可解释性技术，以说明这些技术的实用性。 ##### 3.1 目标 本案例的目标是将简单的传统可解释机器学习算法（如逻辑回归）与最先进的BERT和临床BERT进行比较，以评估性能提升，并应用事后技术解释这些黑盒模型。 ##### 3.2 数据、工具和库 由于医疗数据受到HIPAA隐私法规的严格限制，MTSamples.com收集了40种专业和工作类型的转录医疗报告，以克服这些限制，使转录数据更易于获取。Kaggle的医疗转录数据集以及分类任务都是基于这个数据集。医疗自然语言处理项目进一步使用医学分类法将数据转换为四个标签或专业类别：外科手术、医疗记录、内科和其他。本案例研究将使用转换后的数据集和分类任务。 在工具和库方面，使用pandas进行基本的文本处理和探索性数据分析；使用Sklearn库构建传统的自然语言处理（NLP）管道和逻辑回归模型；采用Huggingface实现的BERT和Bio_ClinicalBERT作为Transformer模型；使用Captum库通过显著性方法进行输入归因；使用exBERT可视化包来理解和可视化BERT层和头的工作原理。 ##### 3.3 实验、结果和分析 - **探索性数据分析**：进行了一些基本的探索性数据分析（EDA），以从分布和语料库的角度理解数据。通过词云、文档长度分布、高频词和类别分布等方面的分析，发现词云和高频词图明显偏向于