使用IKAnalyzer实现中文分词之Java实现（包含所有工具包）

共6个文件

jar：2个

dic：1个

xml：1个

中文分词

Analyzer

5星 · 超过95%的资源需积分: 50 161 浏览量 2015-03-30 18:54:13 上传评论 4 收藏 3.22MB ZIP 举报

资源推荐

资源详情

资源评论

收起资源包目录

使用IK Analyzer实现中文分词之Java实现.zip （6个子文件）

使用IK Analyzer实现中文分词之Java实现

stopword.dic 161B

IKAnalyzer中文分词器V2012_U5使用手册.pdf 846KB

IKAnalyzer2012_u6.jar 1.11MB

IkSegmentation.java 1KB

lucene-core-3.6.0.jar 1.46MB

IKAnalyzer.cfg.xml 414B

IKAnalyzer 中文分词器

V2012 使用手册

1.IK Analyzer 2012 介绍 .................................................................................................. 2

2.使用指南 ........................................................................................................................ 5

3.词表扩展 ...................................................................................................................... 12

4.针对 solr 的分词器应用扩展 ...................................................................................... 16

5.关于作者 ...................................................................................................................... 17

1.IK Analyzer 2012 介绍

IK Analyzer 是一个开源的，基于 java 语言开发的轻量级的中文分词工具包。从 2006

年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目

Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，

IK 发展为面向 Java 的公用分词组件，独立于 Lucene 项目，同时提供了对 Lucene 的默认

优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯

的词典分词向模拟语义分词衍化。

1.1 IK Analyzer 2012 结构设计

1.2 IK Analyzer 2012 特性

 采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和智能分词两种切分模式；

 在系统环境：Core2 i7 3.4G 双核，4G 内存，window 7 64 位， Sun JDK 1.6_29 64

位普通 pc 环境测试，IK2012 具有 160 万字/秒（3000KB/S）的高速处理能力。

 2012 版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出。

 采用了多子处理器分析模式，支持：英文字母、数字、中文词汇等分词处理，兼容韩文、

日文字符

 优化的词典存储，更小的内存占用。支持用户词典扩展定义。特别的，在 2012 版本，

词典支持中文，英文，数字混合词语。

1.3 分词效果示例

IK Analyzer 2012 版本支持细粒度切分和智能切分，以下是两种切分方式的演示样例。

文本原文 1:

IKAnalyzer 是一个开源的，基于 java 语言开发的轻量级的中文分词工具包。从 2006 年 12

月推出 1.0 版开始， IKAnalyzer 已经推出了 3 个大版本。

 智能分词结果:

ikanalyzer | 是 | 一个 | 开源 | 的 | 基于 | java | 语言 | 开发 | 的 | 轻量级 | 的 | 中

文 | 分词 | 工具包 | 从 | 2006年 | 12月 | 推出 | 1.0版 | 开始 | ikanalyzer | 已经 | 推

| 出了 | 3个 | 大 | 版本

 最细粒度分词结果:

ikanalyzer | 是 | 一个 | 一 | 个 | 开源 | 的 | 基于 | java | 语言 | 开发 | 的 | 轻量级

| 量级 | 的 | 中文 | 分词 | 工具包 | 工具 | 包 | 从 | 2006 | 年 | 12 | 月 | 推出 | 1.0 |

版 | 开始 | ikanalyzer | 已经 | 推出 | 出了 | 3 | 个 | 大 | 版本

文本原文 2:

张三说的确实在理

 智能分词结果:

张三 | 说的 | 确实 | 在理

 最细粒度分词结果:

张三 | 三 | 说的 | 的确 | 的 | 确实 | 实在 | 在理

文本原文 3

公路局正在治理解放大道路面积水问题

 智能分词结果:

公路局 | 正在 | 治理 | 解放 | 大道 | 路面 | 积水 | 问题

 最细粒度分词结果:

公路局 | 公路 | 路局 | 正在 | 治理 | 理解 | 解放 | 放大 | 大道 | 道路 | 路面 | 面积

| 积水 | 问题

文本原文 4

据路透社报道，印度尼西亚社会事务部一官员星期二(29 日)表示，日惹市附近当地时间 27

日晨 5 时 53 分发生的里氏 6.2 级地震已经造成至少 5427 人死亡，20000 余人受伤，近 20

万人无家可归。

 智能分词结果:

据 | 路透社 | 报道 | 印度尼西亚 | 社会 | 事务部 | 一 | 官员 | 星期二 | 29 日 | 表示 |

日 | 惹 | 市 | 附近 | 当地时间 | 27 日 | 晨 | 5 时 | 53 分 | 发生 | 的 | 里氏 | 6.2 级 |

地震 | 已经 | 造成 | 至少 | 5427 人 | 死亡 | 20000 | 余人 | 受伤 | 近 | 20 | 万人 |

无家可归

 最细粒度分词结果:

据 | 路透社 | 路透 | 社 | 报道 | 印度尼西亚 | 印度 | 尼 | 西亚 | 社会事务 | 社会 |

事务部 | 事务 | 部 | 一 | 官员 | 星期二 | 星期 | 二 | 29 | 日 | 表示 | 日 | 惹 | 市 |

附近 | 当地时间 | 当地 | 时间 | 27 | 日 | 晨 | 5 | 时 | 53 | 分发 | 分 | 发生 | 发 | 生

| 的 | 里氏 | 6.2 | 级 | 地震 | 已经 | 造成 | 至少 | 5427 | 人 | 死亡 | 20000 | 余人 |

受伤 | 近 | 20 | 万人 | 万 | 人 | 无家可归

2.使用指南

2.1 下载地址

GoogleCode 开源项目：http://code.google.com/p/ik-analyzer/

GoogleCode 下载：http://code.google.com/p/ik-analyzer/downloads/list

2.2 与相关项目的版本兼容

IK 分词器版本

Lucene 版本

Solr 版本

3.1.3GA 及先前版

兼容 2.9.1 及先前版本

没有 solr 接口

3.1.5GA

兼容 2.9.1 及先前版本

对 solr1.3 提供接口实现

3.1.6GA

兼容 2.9.1 及先前版本

对 solr1.3、solr1.4 提供接口实现

3.2.x

兼容Lucene2.9及3.0 版本

不支持 Lucene2.4 及先前

仅对 solr1.4 提供接口实现

评论收藏

内容反馈

Qsj251

2018-08-13

不错，可以用
bghlove

2018-09-17

可以用你不错，

getMax

粉丝: 1

使用IK Analyzer实现中文分词之Java实现（包含所有工具包）

最新资源

使用IK Analyzer实现中文分词之Java实现（包含所有工具包）

使用IK Analyzer实现中文分词之Java实现

中文分词java实现

IkAnalyzer分词工具

java 实现的中文分词算法（代码）

IK 分词器兼容Java

IKAnalyzer中文分词器 java

java版结巴分词工具

IK分词器

IK中文分词器

IKAnalyzer

IK Analyzer实现Java lucene中文分词相关资源架包

java实现中文分词simhash算法

Jcseg+Java中文分词器

Java IKAnalyzer 中文分词器

基于IKAnalyzer.NET的分词工具（包含dll）

IKAnalyzer 实现分词 词频统计

IKAnalyzer中文分词.rar

ikanalyzer-solr8.4.0_solr8_solr_ikanalyzer_中文分词_

IK Analyzer 中文分词器下载

中文分词java

IKAnalyzer 中文分词 完整java项目demo

Java中文分词

java IKAnalyzer 中文分词器

IKAnalyzer中文分词器

分词的jar包

IK分词器的配置笔记

Solr java IKAnalyzer词库

IKAnalyzer中文分词器V3.2使用

java版jieba分词统计，含1.02版本jar

在密码学和信息安全领域，**使用多个密钥（Multiple Keys）** 和**密钥轮换（Key Rotation）** 是保护敏感数据、抵御攻击的重要策略

IllegalThreadStateException翻译

最新资源

IKAnalyzer 实现分词词频统计

IKAnalyzer 中文分词完整java项目demo

在密码学和信息安全领域，使用多个密钥（Multiple Keys）和密钥轮换（Key Rotation）是保护敏感数据、抵御攻击的重要策略