【NLP】gensim保存存储和加载fasttext词向量模型

最新推荐文章于 2024-07-23 11:19:52 发布

原创最新推荐文章于 2024-07-23 11:19:52 发布 · 1.4k 阅读

7 ·

CC 4.0 BY-SA版权

NLP 专栏收录该内容

16 篇文章

订阅专栏

本文演示了如何使用Gensim库中的FastText模型训练小型语料库的词向量。通过实例化FastText模型，设置参数如vector_size、window和min_count，然后使用内置的common_texts数据集构建词汇表并进行训练。训练完成后，模型可以被保存和加载以供后续使用。这个过程对于理解词向量的训练流程非常有帮助。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以下举例训练小的语料库的方法，大的语料库，训练词向量操作流程不一样
参考https://radimrehurek.com/gensim_3.8.3/models/fasttext.html

from gensim.models import FastText
from gensim.test.utils import common_texts  # 内置一些例子

print(common_texts[0])
# ['human', 'interface', 'computer']
# 训练词向量
model = FastText(vector_size=4, window=3, min_count=1)  # instantiate
model.build_vocab(sentences=common_texts)
model.train(sentences=common_texts, total_examples=len(common_texts), epochs=10)  # train

# 保存
fname = "fasttext.model"
model.save(fname)
# 加载
model = FastText.load(fname)