LRJ-jonas 2022-11-25 08:49 采纳率: 37.5%
浏览 10

Masked-Self-Attention 的作用有两种解释,该信谁?

Masked-Self-Attention 的作用有两种解释,到底该信谁?

我很喜欢其中一个解释:“decoder会attend 到已经产生出来的 sequence,因为还没有产生出来的无法做attention。” 可是有人说:“如果不mask,那attention后面的词的时候前面已经预测的词会跟着变化。”我觉得他们理解错了。

你们觉得呢?
  • 写回答

1条回答 默认 最新

  • m0_61899108 2022-11-27 19:35
    关注

    第一种说的就很明白,第二种不理解。

    评论

报告相同问题?

问题事件

  • 创建了问题 11月25日