Tensorflow学习——Attention

最新推荐文章于 2022-10-27 21:15:00 发布

sgzyqqq

最新推荐文章于 2022-10-27 21:15:00 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： Tensorflow

本文链接：https://blog.csdn.net/sgzyqqq/article/details/78923971

本文介绍了TensorFlow库中tf.contrib.seq2seq.LuongAttention模块的Global Attention原理，该模块基于Effective Approaches to Attention-based Neural Machine Translation论文。Global Attention允许在encoder的所有信息中进行Attention操作，通过decoder的当前隐藏状态和encoder的时序特征向量计算权重，以确定对解码过程最有影响的部分。文章详细阐述了打分函数的三种类型，包括 additive、multiplicative 和 dot-product 方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.contrib.seq2seq.LuongAttention

init(
num_units,
memory,
memory_sequence_length=None,
scale=False,
probability_fn=None,
score_mask_value=float(‘-inf’),
name=’LuongAttention’
)

参数	含义
num_units	在encoder阶段产生了多个特征向量，每个特征向量的大小
memory	一个batch里，encoder阶段产生的所有的特征向量，在RNNencoder中，维数为[batch_size, max_time, num_units]，即encoder阶段产生了max_time个大小为num_units的特征向量
memory_sequence_length	记录memory中的特征向量的长度，维数是[batch_size,]，令memory中超过memory_sequence_length的值为0
scale	是否进行scale
probabili