PyTorch实战：Seq2Seq模型详解与实现

前言

Seq2Seq模型用来处理nlp中序列到序列的问题，是一种常见的Encoder-Decoder模型架构，基于RNN同时解决了RNN的一些弊端(输入和输入必须是等长的)。Seq2Seq的模型架构可以参考
Seq2Seq详解
，也可以读论文原文
sequence to sequence learning with neural networks
.本文主要介绍如何用Pytorch实现Seq2Seq模型。

数据集的准备

本文使用的数据集极为简易，因为只是想要动手实践一下Seq2Seq模型进而更好的理解nlp中模型的搭建和训练。

首先构建字典

建立一个字母表(其实是一个字典，格式为序号:字母,一遍之后用序号检索字母)

char_list = [c for c in 'SEPabcdefghijklmnopqrstuvwxyz']
char_dic = {
   n:i for i,n in enumerate(char_list)}

手动创建数据集

seq_data = [['man', 'women'], ['black', 'white'], ['king', 'queen'], ['girl', 'boy'], ['up', 'down'], ['high', 'low']]

数据集只有6对单词，如果有合适的数据集模型的训练效果会好一点。

word embedding

本文采用的编码方式是one-hot编码。将数据集中单词组的第一个单词作为encoder的input输入，将第二个单词作为decoder的output输入，也将第二个单词作为计算loss的target.

需要