李威的博客

针对文本预处理问题，我们经常用到几个常见的语言模型，这里我就不做过多的介绍，如果大家想了解可以参考我的这篇博客。 接下来本文主要才去用了Word2Vec模型进行文本预处理。 因为我的电脑内存只有八G，不能一下处理所有的数据，我采用了分批次训练的方法，先把文件切成小文件，然后依次去取，采用生成器的方法，每次读完就释放内存。 训练词向量 ...

词袋模型 此模型下，一段文本（比如一个句子或是一个文档）可以用一个装着这些词的袋子来表示，这种表示方式不考虑文法以及词的顺序，例如下面两个句子： (1) John likes to watch movies. Mary likes movies too. (2) John also likes to watch football games. 基于以上两个文件，可以建构出下列清单: [ ...

使用Keras框架 ###导包 import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn import preprocessing from keras import backend backend.clear_session() from ke...