doc2vec的基于新文本内容的增量训练方案

最新推荐文章于 2025-06-25 08:51:17 发布

DerrickOzil

最新推荐文章于 2025-06-25 08:51:17 发布

阅读量6.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：自然语言处理文章标签：自然语言处理 nlp 相似性计算情感分类

本文链接：https://blog.csdn.net/jackmcgradylee/article/details/77853192

该博客介绍了在线使用doc2vec时如何进行文本内容的增量训练，以保持模型的新鲜度，适用于实时的文本相似度计算和情感分析任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在线上使用doc2vec训练时，经常需要实时的更新模型，训练新的语料和句向量，来进行接下来的文本相似度、情感分析等工作。下面的代码简单概括了doc2vec的增量训练方案。

# @author：DerrickOzil
# date: 2017-09-04
# -*- coding: utf-8 -*-
import sys 
import gensim
import os
from gensim.models.doc2vec import Doc2Vec
reload(sys)
sys.setdefaultencoding('utf-8')

TaggededDocument = gensim.models.doc2vec.TaggedDocument

#获取语料集合
def get_datasest(filename,cate,x_train=[]):