weixin_43378751的博客

Attention机制，是根据目标给输入分配权重，并加权求和的操作。标准的输入为三部分，即Query, Key, Value。（下面简写为Q，K，V）标准的操作是根据Query和Key计算出一个score，并使用该score作为权重，对Value进行加权求和。即 step1, score = F(Q, K)step2, attention_weight = softmax(score)step3, output = sum(attention_weight * V)F是计算权重分数所使用的函数

tf.estimator.Estimator用法注：本文基本上是看着文档写的。总感觉写的还是差点意思。之后多用几次，有更多经验和体会再来改进吧。Estimator是tensorflow提供的高阶API，封装了train，eval，predict，export的功能。旨在简化和标准化tensorflow的使用。几个有用的link：API Doc：https://www.tensorflow....

一个tf Estimator Summary Hook 函数应用场景：最近在使用tf.estimator.DNNLinearCombinedClassifier时，希望能够使用tensorboard去看一下loss的下降曲线。虽然Tensorflow有提供了tf.train.SummarySaverHook，但是研究后发现，并不适用于tf.estimator.DNNLinearCombined...

tf.train.SummarySaverHook用法初始化函数如下__init__( save_steps=None, save_secs=None, output_dir=None, summary_writer=None, scaffold=None, summary_op=None)用法说明：1， save_steps和save_...

saved_model_cli的使用saved_model_cli提供了从命令行直接查看，调用tensorflow的方法。主要有show和run两个command。用法一，显示所有内容（tags，signatures，inputs，outputs）saved_model_cli show --all --dir 如：>> saved_model_cli show --all...

见：https://www.tensorflow.org/guide/autograph1，Tensorflow AutoGraph能够将普通的python代码转换成Tensorflow graph code。其引用方式如下：from tensorflow import contribautograph = contrib.autographAutograph支持eager mode（...

1 tf.Graph 和 tf.collectiontf.Graph包含两类信息：1，graph的结构信息，如operation的依赖信息。2，graph collections。Collections机制提供了对tf变量的分组管理。相关函数：tf.add_to_collection可将一组对象加入到一个collection，collection通过key来标示。（tf.Graph提供了...

(根据官文，要安装tf-nightly)Ragged Tensors即tf提供的不规则形状，或者说可变元素长度的tensor。比如：digits = tf.ragged.constant([ [3, 1, 4, 1], [], [5, 9, 2], [6], []])或者words...