tensorflow:embedding_lookup

最新推荐文章于 2022-12-07 17:44:22 发布

原创最新推荐文章于 2022-12-07 17:44:22 发布 · 2.2k 阅读

1 ·

CC 4.0 BY-SA版权

tensorflow 专栏收录该内容

69 篇文章

订阅专栏

本文通过一个具体的TensorFlow代码实例介绍了embedding_lookup函数的作用及其使用方法。embedding_lookup主要用于查找词嵌入向量，该函数可以高效地从大型词汇表中检索对应的嵌入向量，并在训练过程中更新这些向量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

embedding_lookup

import tensorflow as tf

embedding = tf.get_variable("embedding", initializer=tf.ones(shape=[10, 5]))
look_uop = tf.nn.embedding_lookup(embedding, [1, 2, 3, 4])
# embedding_lookup就像是给 其它行的变量加上了stop_gradient
w1 = tf.get_variable("w", shape=[5, 1])

z = tf.matmul(look_uop, w1)

opt = tf.train.GradientDescentOptimizer(0.1)

#梯度的计算和更新依旧和之前一样，没有需要注意的
gradients = tf.gradients(z, xs=[embedding])
train = opt.apply_gradients([(gradients[0],embedding)])

#print(gradients[4])

with tf.Session() as sess:
    tf.global_variables_initializer().run()
    print(sess.run(train))
    print(sess.run(embedding))

[[ 1.          1.          1.          1.          1.        ]
 [ 0.90580809  1.0156796   0.96294552  1.01720285  1.08395708]
 [ 0.90580809  1.0156796   0.96294552  1.01720285  1.08395708]
 [ 0.90580809  1.0156796   0.96294552  1.01720285  1.08395708]
 [ 0.90580809  1.0156796   0.96294552  1.01720285  1.08395708]
 [ 1.          1.          1.          1.          1.        ]
 [ 1.          1.          1.          1.          1.        ]
 [ 1.          1.          1.          1.          1.        ]
 [ 1.          1.          1.          1.          1.        ]
 [ 1.          1.          1.          1.          1.        ]]