tensorflow rnn阅读笔记

只是随便写写，fang’bian’zi’ji
ptb_word_lm.py:
1. 一些参数的定义
num_steps = time_step

1.在rnn中进行dropout时，对于rnn的部分不进行dropout，也就是说从t-1时候的状态传递到t时刻进行计算时，这个中间不进行memory的dropout；仅在同一个t时刻中，多层cell之间传递信息的时候进行dropout.
2. embedding_lookup（embedding，input_ids）：就是根据input_ids中的id，寻找embedding中的对应元素。这里输出的是一个三维的矩阵,对应着lstm输入数据的格式（batch_size,time_step,embedding_size）
3. tf.get_variable_scope().reuse_variables()这行代码不可少，不然会报错，应该是因为同一命名域(variable_scope)内不允许存在多个同一名字的变量的原因。
4. (cell_output, state) = cell(inputs[:, time_step, :], state)这是模型搭建的重点，inputs[:, time_step, :]是一个二维的矩阵，state保存了c和h的信息。实现了并行运算。