18、基于序列到序列模型的文本重排序技术：monoT5与duoT5的探索

基于序列到序列模型的文本重排序技术：monoT5与duoT5的探索

1. 背景与引入

在自然语言处理（NLP）领域，文本排序是一项重要任务。以往的文本排序变压器模型多为仅编码器架构，如BERT。然而，原始的变压器设计是编码器 - 解码器架构，这种架构在序列到序列（seq2seq）任务中表现出色，如机器翻译和抽象摘要。随着预训练序列到序列模型（如T5、UniLM、BART和PEGASUS）的出现，研究人员开始探索将其应用于各种NLP任务。

2. 序列到序列模型概述

• 编码器 - 解码器架构 ：输入的令牌序列先转换为向量表示，经过编码器层计算内部表示（编码阶段），再由解码器层生成令牌序列（解码阶段）。
• 任务适配 ：序列到序列模型自然适用于机器翻译和抽象摘要等任务。对于输出不是令牌序列的任务，如分类和回归任务，以往多使用仅编码器模型。但Raffel等人提出将所有NLP任务都转化为向序列到序列模型输入文本并训练其生成输出文本的形式。

3. T5模型及其应用

• 模型预训练与微调 ：T5与BERT类似，先在大规模多样化文本语料库上进行自监督预训练，目标类似于BERT中的掩码语言建模，但针对序列到序列上下文进行了调整。之后使用特定任务的标注数据对预训练模型进行微调，每个任务都有特定的输入模板。
• 输入模板示例
  • 机器翻译 ：“translate E