weixin_49139876的博客

注意力入门普通注意力机制的了深入理解因为GRU每次输入都是一个词一个词的输入,那么普通的Seq2seq框架 就需要每个词算一遍 注意力权重并对解码器输出进行bmm计算,得到加权的解码器词向量输出 这样解码器的GRU每次解码的时候不是仅仅只考虑当前的一个词,而是考虑前后3个词甚至更多个词才会将这个词翻译前向传播的结构就是这样,那么反向传播就是整个学习过程的精华,解码器GRU通过logsoftmax计算概率损失, 这样会知道每个词翻译错误的误差 然后向下传播知道每个词翻译的误差后 , GRU的权

话不多说上代码数据加载类from io import openimport unicodedataimport reimport randomimport torchimport torch.nn as nnimport torch.nn.functional as Ffrom torch import optim# 注册驱动device = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 起始标志SO.

from sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.linear_model import LinearRegressionfrom sklearn.metrics import mean_squared_errorfrom sklearn.li.