词向量Word2vec的本质

最新推荐文章于 2024-08-21 11:18:36 发布

原创

最新推荐文章于 2024-08-21 11:18:36 发布 · 255 阅读

0 ·

CC 4.0 BY-SA版权

本文探讨了词向量Word2vec在自然语言处理（NLP）中的作用，包括词嵌入的概念，Word2vec模型的两种主要类型——Skip-gram和CBOW，并解释了其在知识图谱问答系统中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

词向量Word2vec的本质

1、NLP中的词语
在NLP中最细粒度的是词语，词语组成句子，句子再组成段落、文章。
2、词嵌入（词向量）
在数学中，我们学过映射的概念，即f(x)—>y，在一些数学模型如SVM分类器、神经网络只接收数值型输入，我们就需要把词语转换成数值形式，或者说嵌入到一个数学空间里，这种嵌入方式就叫词嵌入。
3、Word2vec模型
Word2vec就是词嵌入的一种方式。
4、语言模型
在NLP中，把f(x)—>y中的x看作是一个句子里的词语，y是这个词语的上下文词语，那么这里的f就是语言模型，也就是判断x和y放在一起是否符合人类语言。利用Word2vec寻找相似词，例如：对于一句话：她们夸周杰伦唱歌很好听。如果输入x是周杰伦，那么y可以是她们、夸、唱歌、很好听这些词；现有另一句话：她们夸我唱歌很好听。如果输入是x是我，那么这里的上下文y和上面一样。所以f(周杰伦)=f（我）= y，即我=周杰伦。
语言模型又分为Skip-gram模型（根据一个词语来预测上下文）和CBOW模型（根据上下文来预测词语）
Skip-gram的简单情形：Skip-gram的网络结构如图所示，x是one-hot encoder（用一个只含一个1、其他都是0的向量来唯一表示词语）形式的输入，y是在这v个词上输出的概率。

CBOW的简单情形：网络结构如图所示，这里是输入变成了多个单词，所以要对输入处理一下（一般是求均值），输出的cost function不变。
在这里插入图片描述