jieba中文处理[分词、关键词抽取（TF-IDF 算法）(TextRank 算法)]_CodingPark编程公园

最新推荐文章于 2025-05-18 13:07:23 发布

TEAM-AG

最新推荐文章于 2025-05-18 13:07:23 发布

阅读量1.2w

点赞数 1

CC 4.0 BY-SA版权

分类专栏：自然语言处理文章标签：自然语言处理

版权由TEAM-AG团队所有

本文链接：https://blog.csdn.net/weixin_38411989/article/details/105434216

本文介绍了jieba中文处理工具的使用，包括分词、关键词抽取（TF-IDF和TextRank算法）、自定义词典的添加以及在搜索引擎中的应用。通过实例展示了jieba在全模式、精确模式、搜索引擎模式下的分词效果，并演示了如何使用HMM模型进行自定义词典的添加。同时，文章还讨论了基于TF-IDF和TextRank的关键词抽取方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章介绍

jieba是一个非常好用的中文工具，是以分词起家的，但是功能比分词要强大很多。
本文讲述 jieba 的一些用法包括：分词、关键词抽取（TF-IDF 算法）(TextRank 算法)等

知识扩充

jieba支持繁体字
比jieba更准确更高端的库：NLPIR
工业界自然语言处理库：spaCy

知识讲解

import jieba

'''
<h1>        分词        </h1>
'''

'''
📒
jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)

jieba.cut 方法接受三个输入参数:

需要分词的字符串
cut_all 参数用来控制是否采用全模式
HMM 参数用来控制是否使用 HMM 模型
jieba.cut_for_search 方法接受两个参数

需

了解本专栏