[NLP论文阅读]Distributed Representations of Sentences and Documents

最新推荐文章于 2022-07-11 08:57:53 发布

原创

最新推荐文章于 2022-07-11 08:57:53 发布 · 2.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nlp #阅读

本文详细介绍了NLP中的CBOW和Skip-gram模型，以及Paragraph Vector（PV-DM和PV-DBOW）的概念。CBOW模型通过上下文预测目标词，Skip-gram则反之。Paragraph Vector考虑了单词顺序，为句子和文档提供表示。对于新Paragraph，可通过特定方式获取其id向量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.对CBOW模型和Skip-gram模型的介绍
首先，需要先介绍一下Mikolov另一篇文章中提出的CBOW模型和Skip-gram模型。
这里写图片描述
CBOW模型可以看做是一个三层结构：
输入层(input)：输入为Context(w)，Context(w)表示单词w的上下文，模型中采用了窗口的方式来对上下文进行限制。例如，确定上下文窗口的大小为2C，那么Context(w)就是语料库中单词w的前后各C个单词。
投影层(projection)：该层是对输入的2C个单词的词向量进行累加(sum)。
输出层(output)：该层的构造和早期的神经概率语言模型不同，它的结构是一棵二叉树。具体来说，它是以语料库中出现过的单词作为叶子节点(所以共有|V|个节点，V为语料库的单词表)，以单词出现的次数(词频)作为权重构造出的Huffman树。那么对于输入的上下文Context(w)的目标词w，w在输出层的Huffman中的位置是唯一确定的(可以通过Huffman编码确定)，从根节点到达w所在的叶子节点的路径上的每一个节点都可以看做是一个二分类过程(分类结果0,1分别对应着不同的概率)，进而w的概率P(w|Context(w))也可以通过将根节点到w所在叶子节点上每个概率连乘计算得到。模型希望最大化