gensim.models.Word2Vec参数 size 如何选择？&&相似度如何判定？

最新推荐文章于 2023-04-18 14:46:21 发布

原创

最新推荐文章于 2023-04-18 14:46:21 发布 · 1.1w 阅读

0 ·

CC 4.0 BY-SA版权

本文通过实验探讨了 gensim.models.Word2Vec 中的 size 参数对训练结果的影响。随着维度从20增加到200，训练时间增加，不相关词汇逐渐减少，相关性排名更为精确。然而，相关系数并不完全反映词的相似性，需结合词性及排名来评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

size参数决定词向量训练的纬度，size如何选择，这里做了个实验

#!/usr/bin/env python
# coding=utf-8
# Creative time 2020/3/20
# Creator HongYuan Guo

from gensim.models import word2vec
from gensim.models import Doc2Vec
import time

class WordVector:

    def __init__(self):
        self.corpus_path = 'Corpus\corpus_**.txt'

    def Train_model(self,path,Size):
        sentences = word2vec.Text8Corpus(path)  # 加载语料
        model = word2vec.Word2Vec(sentences, size=Size)  # 默认window=5
        model.save('static_models\WordVector_JD60W_'+str(Size)+'.model')
        return model

    def get_model(self,path,size):
        try:
            model = Doc2Vec.load('static_models\WordVector_JD60W_'+str(size)+'.model')
            print('模型已存在')
        except:
            print('正在训练模型')
            self.Train_model(path,size)
            print('训练结束')
        finally:
            model = Doc2