基于 torchtext 的文本预处理与 LSTM 实现教程

资源下载链接为： https://pan.quark.cn/s/3d8869c4a50f 以下是相关内容的整理： 版本说明：PyTorch 0.4.1、torchtext 0.2.3、python 3.6。 文件说明： 使用说明：提供了 notebook 版和标准 py 文件版。从零开始逐步实现 torchtext 文本预处理过程，包括截断补长、词表构建、使用预训练词向量、构建可用于 PyTorch 的可迭代数据等。参考教程可查看个人博客（第一个博客图片显示有问题，以第二个为准）。 代码中关于数据集中使用预训练词向量的部分已注释为 markdown 格式。若要使用预训练词向量（如 glove 开源预训练词向量），需在当前目录下创建 mycache 文件夹作为 cache 目录，并指定预训练词向量文件所在位置。glove 词向量可通过相关链接下载。 通过预训练的词向量构建词表的示例（以 glove.6B.300d 词向量为例）： cache = 'mycache' if not os.path.exists (cache): os.mkdir (cache) vectors = Vectors (name='/Users/wyw/Documents/vectors/glove/glove.6B.300d.txt', cache=cache) vectors.unkinit = init.xavieruniform_ TEXT.buildvocab(train, minfreq=5, vectors=vectors) TEXT.vocab.vectors