论文阅读——MAT: Mask-Aware Transformer for Large Hole Image Inpainting

### 关于 Mask-Aware Transformer (MAT) 的权重、参数设置、模型训练及实现方法 #### 权重初始化与预训练策略 对于 MAT 中的权重初始化，遵循标准做法来确保网络能够稳定收敛。通常情况下，会使用 Xavier 或 He 初始化方式来设定初始权重值[^2]。 ```python import torch.nn as nn def init_weights(m): if isinstance(m, nn.Conv2d) or isinstance(m, nn.Linear): nn.init.xavier_uniform_(m.weight) if m.bias is not None: nn.init.zeros_(m.bias) model.apply(init_weights) ``` #### 参数配置与优化器选择 在 MAT 训练过程中，超参数的选择至关重要。学习率一般设为较小数值（如 $1e^{-4}$），并采用 AdamW 作为优化算法以加速收敛过程。此外，还设置了 weight decay 和 gradient clipping 技术防止过拟合以及梯度爆炸现象的发生。 ```python optimizer = torch.optim.AdamW( model.parameters(), lr=0.0001, betas=(0.9, 0.98), eps=1e-9, weight_decay=0.01 ) scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=50, gamma=0.5) ``` #### 动态掩码机制下的损失函数构建 为了更好地适应大范围缺失区域内的像素预测任务，MAT 设计了特殊的损失函数结构。除了常规 L1/L2 损失外，加入了感知损失(perceptual loss)，风格损失(style loss)等多模态约束条件，从而提升生成图片的质量和真实性。 ```python criterion_l1 = nn.L1Loss() criterion_perceptual = PerceptualLoss() # 自定义或第三方库中的类 criterion_style = StyleLoss() total_loss = criterion_l1(output, target) + \ perceptual_weight * criterion_perceptual(output, target) + \ style_weight * criterion_style(output, target) ``` #### 高效推理阶段的技术手段 针对高分辨率输入带来的计算压力问题，MAT 提出了分块处理(batch processing)的方法论。即先将整张图分割成若干个小窗口(window)，再分别送入到 transformer 层内完成特征提取工作；最后通过拼接操作恢复原始尺寸大小的结果图像。 ```python patch_size = 64 stride = patch_size // 2 patches = extract_patches(image_tensor, patch_size, stride=stride) outputs = [] for patch in patches: output_patch = mat_model(patch.unsqueeze(0)) outputs.append(output_patch.squeeze()) reconstructed_image = reconstruct_from_patches(outputs, original_shape=image.shape) ```