Elasticsearch 英文分词 & 中文分词

叶康铭

于 2020-10-17 07:53:56 发布

阅读量6.8k

点赞数 6

CC 4.0 BY-SA版权

分类专栏： Elastic Stack 玩转系列

版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/m0_38030719/article/details/109103707

本文介绍了Elasticsearch的分词工作原理，包括字符过滤器、分词器和Token过滤器的角色。详细讨论了英文分词的五种模式，如standard、simple、whitespace、stop和keyword。同时，针对中文分词的挑战，推荐了analysis-icu和elasticsearch-analysis-ik插件作为增强解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于倒排索引来说，很重要的一件事情就是需要对文本进行分词，经过分词可以获取情感、词性、质性、词频等等的数据。

Elasticsearch 分词工作原理

在 Elasticsearch 中进行行分词的需要经过分析器的3个模块，字符过滤器将文本进行替换或者删除，在由分词器进行拆分成单词，最后由Token过滤器将一些无用语气助词删掉。
在这里插入图片描述

英文分词

在Elasticsearch 中共支持5种不同的分词模式，在不同的场景下发挥不同的效果。

standard (过滤标点符号)

GET /_analyze
{
   
   
  "analyzer": "standard",
  "text": "The programmer's holiday is 1024!"

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 2

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。