AmazonTopics:在亚马逊评论数据集上练习主题模型技术

这是一个正在进行的分析在线文本数据集的项目。 数据 正在分析两个不同的数据集。 亚马逊评论它可以从下载。 一些分布相似性实验可以从下载 代码 我们在这项工作中使用了和 。 大多数计算部分，如字数、散度计算，都是在 Spark 上进行的。 然后我们使用 IPython Notebook 来可视化结果，例如向量之间的距离。 IPython Notebook 文件位于notebook/ 。 在python/ ，有一些辅助脚本，例如数据解析器。 Spark 代码位于spark/ 。 spark/DistributionalSimilarity ：数据源来自分布相似性实验。 每个名词的构造向量。 向量的元素是每个动词与相应名词一起出现的次数。 输出由每对向量之间的 Jensen-Shannon 散度、向量以及向量的索引与相应单词之间的映射组成。 spark/JSDivergence :