【机器翻译】《Gradient-guided Loss Masking for Neural Machine Translation》论文总结

最新推荐文章于 2025-06-21 15:22:25 发布

原创

最新推荐文章于 2025-06-21 15:22:25 发布 · 409 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器翻译 #自然语言处理 #人工智能

论文《Gradient-guided Loss Masking for Neural Machine Translation》探讨了机器翻译训练数据中的噪声问题。通过对比干净数据集和训练数据集的梯度方向，该方法在训练过程中对损失进行mask，过滤掉影响干净数据集损失增加的样本，以提高模型性能。这种方法可以应用于其他任务，提供了一种带噪学习的策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

《Gradient-guided Loss Masking for Neural Machine Translation》https://arxiv.org/pdf/2102.13549.pdf这篇论文聚焦机器翻译训练数据集中存在噪音数据的问题，旨在通过干净的数据集来在训练过程中引导模型忽略噪音数据，实现核心是根据干净数据集与训练数据集的训练梯度方向的一致性对Loss进行mask，从而屏蔽将造成干净数据集loss上升的样本影响。

针对问题

当前用于训练机翻模型的数据集中往往包含一些噪音数据，因为在构建过程中一部分数据是人工构建，一部分数据是通过自动化的方式快速构建，后者很难保证质量。训练数据中的噪音将影响机翻模型效果。因此，这篇论文针对这一个问题提出一种由干净数据集“引导”模型带噪学习。关于干净数据集，一方面可以人工从训练数据集中挑选构建，另一方面也可以选择标注质量高的测试集。