短文本聚类

1. 数据预处理

1.1 下载搜狗实验室提供的新闻预料(提取码krbd)

1.2 xml文本解析

extract_text.py ： 读取SogouCS_reduced文件夹下的文件，进行xml解析，得到每个新闻的content，并将其放在对应的分类文件夹下；

split_text.py ： 读取分类好的新闻预料（SogouCS_reduced_after文件夹下），采用jieba库进行分词，其中停用词表采用的是哈工大停用词表。

2. 分析数据

analysize_corpus.py： 统计每类新闻的篇幅数，并统计每条新闻的单词数。

各类别文章数统计如下（总计新闻337,046篇）：

其中去除有效词后，词数不超过50的新闻共计70,541篇（这里可认为是短文本，占总新闻的20.9%），具体分布如下：

3. 训练word2vector

3.1 数据准备

concate_multiclass_to_one_filehold.py ： 把SogouCS_reduced_after_split文件下的多个文件夹，合并到同一个文件夹下segment，方便训练词向量读取数据。

3.2 模型训练

train_word2vec.py： 利用gensim提供的api训练词向量。

3.3 效果评测

test_w2v.py : 测试训练的词向量的准确性。

与“互联网”最相似的10个单词

与“大学生”最相似的10个单词

与“哈工大”最相似的10个单词

4.得到短文本表示向量

4.1 提取短文本

get_short_corpus.py ： 从segment文件夹下读取语料，把单词数不差过max_word_count（这里设置为50）的新闻提取出来作为短文本，放置到short_corpus文件夹下。

4.2 获得文本表示向量

get_short_corpus_vector.py: 从short_corpus文件夹下读取文件，计算文本表示向量，这里一共提供两种方式：一种是直接把文档中单词的词向量求平均值，一种是指数加权平均。

visual_word_vector.py： 随机抽取200个文本，通过t-SNE进行降维，然后得到可视化结果。

简单平均效果图如下：

指数加权平均效果图如下：

5.聚类

5.1 基于word embedding的聚类

选择sklearn提供的kmeans进行聚类，聚类前的文本分类情况如下：

cluster_use_sklearn.py： 使用sklearn提供的kmeans api进行聚类，采用Fscore进行评测。

5.2 基于传统特征的聚类（tf-idf/LDA）

get_tf_idf.py： 读取short_corpus文件夹下的文本，利用sklearn提供的TfidfVectorizer计算tf_idf,并保存到文件夹short_corpus_with_tfidf下，其中tf_idf维度为1984。

注：运行速度特别慢。

lda_test.py ： 读取short_corpus文件夹下的文本，利用gensim提供的lda api训练模型并评测聚类的效果。

注：无。

get_doc2_vec.py ：  读取short_corpus文件夹下的文本，利用gensim提供的doc2vec api训练模型并评测聚类的效果。

注：样本量小的话，效果非常差（先在大样本下训练，再在小样本进行测试，效果依然不理想，这里猜测原因可能是由于短文本的词过于少，致使训练的参数过拟合了）。

聚类结果如下所示：

不同参数对应的聚类结果如下所示：