【文献讲解】《Non-local Neural Networks》

### Non-local Neural Networks 的基本原理 Non-local Neural Networks 是一种用于捕捉图像或序列数据中全局依赖关系的方法。其核心思想来源于非局部均值方法[^1]，并进一步扩展到神经网络领域。以下是对其基本原理的详细介绍： #### 1. 非局部操作的核心概念 Non-local 操作旨在捕获输入信号中的远距离交互关系。它通过计算任意两个位置之间的响应来实现这一点。具体来说，对于给定的位置 \(i\) 和其他所有位置 \(j\)，Non-local 模块会基于它们的关系权重调整该位置的特征向量。 这一过程可以被形式化描述为以下公式： \[ y_i = \frac{1}{C(x)} \sum_{j} f(x_i, x_j) g(x_j), \] 其中， - \(f(\cdot)\) 表示一对位置之间关系的函数； - \(g(\cdot)\) 表示对另一个位置特征的变换； - \(C(x)\) 是归一化项，通常取为常数或者由 \(f(\cdot)\) 定义的总和。 这种机制允许模型不仅关注局部邻域内的信息，还能够利用更广泛的上下文信息[^3]。 #### 2. 关系推理模块的影响 Santoro 等人在研究中提出了一个简单的神经网络模块用于关系推理[^2]。他们的工作表明，在处理复杂场景理解任务时，显式建模对象间的关系是非常重要的。这启发了后续关于如何设计有效的关系感知架构的研究方向之一就是引入 non-local 结构作为基础组件。 #### 3. 构造 Non-local 模块 为了便于集成进现有各种类型的深度学习框架之中，论文给出了具体的实现方式——即所谓的 “non-local block”。这个构建单元内部包含了前面提及过的 non-local 运算逻辑，并且可以通过堆叠多个这样的 blocks 来增强整个系统的表达能力[^4]。 下面是一个 Python 实现的例子，展示了如何在一个标准 CNN 层之后加入 Non-local Block: ```python import torch.nn as nn import torch class NonLocalBlock(nn.Module): def __init__(self, in_channels, inter_channels=None): super(NonLocalBlock, self).__init__() self.in_channels = in_channels self.inter_channels = inter_channels if self.inter_channels is None: self.inter_channels = in_channels // 2 conv_nd = nn.Conv2d bn = nn.BatchNorm2d self.g = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.W = conv_nd(in_channels=self.inter_channels, out_channels=self.in_channels, kernel_size=1) self.theta = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.phi = conv_nd(in_channels=self.in_channels, out_channels=self.inter_channels, kernel_size=1) self.bn = bn(self.in_channels) def forward(self, x): batch_size = x.size(0) g_x = self.g(x).view(batch_size, self.inter_channels, -1) g_x = g_x.permute(0, 2, 1) theta_x = self.theta(x).view(batch_size, self.inter_channels, -1) theta_x = theta_x.permute(0, 2, 1) phi_x = self.phi(x).view(batch_size, self.inter_channels, -1) f = torch.matmul(theta_x, phi_x) f_div_C = F.softmax(f, dim=-1) y = torch.matmul(f_div_C, g_x) y = y.permute(0, 2, 1).contiguous() y = y.view(batch_size, self.inter_channels, *x.size()[2:]) W_y = self.W(y) z = W_y + x return z ``` 此代码片段定义了一个通用版本的 Non-local Block 类型，适用于二维空间上的张量运算（例如图片）。注意这里采用了嵌入高斯相似度衡量法来进行注意力分配。 ---