中文分词库jieba介绍

1.jieba库是较好的中文分词词库

2.jieba库分词思想有三步：定义前缀词典，构建字典树；生成句子有向图，路径规划输出最优路径；基于HMM模型求解decoding问题

3.生成句子有向图本质是贝叶斯网络，路径规划实质是求解联合概率分布

4.jieba的HMM模型的隐状态有四种：BMES，基于大量语料库初始化参数（初始概率分布，转移矩阵和发射矩阵）

分词是对文本预处理重要环节，英文分词可以针对空格切分达到很好的效果。而中国文字博大精深，需要用一定的方法处理。本文就介绍基于python第三方库jieba分词库，它是比较好的中文分词词库。jieba库的分词原理主要有三项：

• 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图(DAG)

• 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合

• 对于未登录词，采用了基于汉字成词能力的HMM模型，使用Viterbi算法求解

前缀词典与DAG

首先是前缀词典的扫描。jieba库是利用了Tier树进行高效扫描，Tier树中文名叫字典树、前缀树。它的用途主要是将字符串整合成树形。

比如由“清华”、“清华大学”、“清白”、“中华”、“华夏”五个中文词构成的Tier树：

这个树里面每一个方块代表一个节点，其中根节点Root不代表任何字符；紫色代表分支节点；绿色代表叶子节点。除根节点外每一个节点都只包含一个字符。从根节点到叶子节点，路径上经过的字符连接起来，构成一个词。而叶子节点内的数字代表该词在字典树中所处的链路（字典中有多少个词就有多少条链路），具有共同前缀的链路称为串。

字典树有以下三个特点：

• 具有相同前缀的词必须位于同一个串内

比如“清华”和“清白”两个词语，都有“清”这个前缀，那么在字典树上只需要构建一个“清”节点即可，这在一定程度减少存储空间。

• 字典树中的词只可共用前缀，不可共用词的其他部分

比如“华夏”和“中华”，这两个词都有共同的后缀“华”，但在字典树上必须是两条独立的链路，即字典树仅依靠公共前缀压缩字典存储空间。再看“清华大学”这个词语，“大学”也是一个词语，但是“清华大学”的后缀，所以“大学”必须从根节点开始重新构建。

• 一个完整的词必须从根节点开始，至叶子节点结束
  

字典树实质是一个有限