关于ElasticSearch 分词热更新的实现方式

最新推荐文章于 2022-10-28 11:25:42 发布
原创 最新推荐文章于 2022-10-28 11:25:42 发布 · 1.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #es #elasticsearch #mysql

这里写自定义目录标题


关于es 分词的热更新方式有两种

（1）修改ik分词器源码，然后手动支持从mysql中每隔一定时间，自动加载新的词库
（2）基于ik分词器原生支持的热更新方案，部署一个web服务器，提供一个http接口，通过modified和tag两个http响应头，来提供词语的热更新

因为网络更新的方式并不太稳定，主要以修改ik分词器源码的方式来进行实现。

源码下载地址：https://github.com/medcl/elasticsearch-analysis-ik 根据自行的es版本 更改pom版本号为对应版本

1.打开源码后，在org.wltea.analyzer.dic目录下创建一个线程类，线程方法为无限循环重复调用读取分词库的方法

在这里插入图片描述

2.找到org.wltea.analyzer.dic.Dictionary类的初始化方法initial，在其中加入刚刚创建的线程的启动

在这里插入图片描述

3.从刚刚创建的线程中调用的读取分词库的方法可知，其中核心的读取分词库的两个方法为loadMainDict，和 loadStopWordDict

在这里插入图片描述

4.找到loadMainDict的方法后，在其末尾添加上读取我们自行编写读取mysql的分词库方法

最低0.47元/天 解锁文章

新学期VIP享超值加赠
Elasticsearch IK分词器热更新
weixin_43827951的博客
08-27 965
简介 插件的下载地址: https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v6.8.1 主要原理: 创建热更新的http服务,配置IK远端更新地址；步骤如下: 修改IK配置文件 vi plugins/ik/config/IKAnalyzer.cfg.xml 修改 remote_ext_dict和remote_ext_...
ElasticSearch 重写IK分词器源码设置mysql热词更新词库1
08-08
在本文中，我们将探讨如何利用Elasticsearch的IK分词器并对其进行源码改造，以实现热词库的动态更新，特别是通过MySQL数据库进行热词和停用词的定时更新。首先，我们要了解IK分词器的几种常用词库配置方式。 **0. ...
Elasticsearch之中文分词器插件es-ik的自定义热更新词库
weixin_34174132的博客
02-25 918
    前提 Elasticsearch之中文分词器插件es-ik的自定义词库         　　先声明，热更新词库，需要用到，web项目和Tomcat。不会的，请移步 Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） Tomcat *的安装和运行（绿色版和安装版都适用） Tomcat的配置文件详解         1： 部署 h...
elasticsearch 扩展词、停止词热更新方案 - 附代码
gxd_feiyu的博客
04-30 1746
最近要实现的一些功能需要让ES的扩展词、停用词能够热更新，达到让搜索更精确的目的。再此记录一下操作流程： ES版本：7.11.2 IK分词器版本：7.11.2 方式一：通过加载远程的方式热加载扩展词，停用词 分词器下载路劲：https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.11.2 将下载的分词文件解压到 ~/elasticsearch/plugins/ik 目录，如果缺少相关目录进行创建 mkdi...
ElasticSearch-IK分词器热更新（源码）
m0_60162373的博客
04-13 3009
版本说明 ES版本 IK版本 Mysql版本 v7.6 v7.6.1 5.7 IK分词器源码下载：https://github.com/medcl/elasticsearch-analysis-ik 1. 修改maven依赖es版本号 我个人打开IK源码后，打开pom.xml文件，发现ES的版本并不是7.6.1，修改elasticsearch版本号为7.6.1。如果没有遇到可忽略。 <elasticsearch.version>7.6.1</e
Elasticsearch 分词器详解（热更新词库）
qq_34125999的博客
10-28 1908
【代码】Elasticsearch 分词器详解（热更新词库）
ElasticSearch基于Mysql热更新IK词典项目
10-31
综上所述，这个项目旨在解决Elasticsearch在处理中文时的动态词典更新问题，结合MySQL数据库的高效管理和更新能力，实现了词典的实时热更新，从而提高了系统的灵活性和适应性。在实施过程中，我们需要充分理解...
(源码)基于Elasticsearch和IK分词器的热更新中文分词系统.zip
最新发布
11-14
通过修改IK分词器源码，实现了从MySQL数据库中自动加载新词库的功能，支持Elasticsearch集群的热更新，无需重启节点即可实时加载新词。 ## 项目的主要特性和功能 1. 热更新功能支持从MySQL数据库中自动加载新词库...
elasticsearch ik分词词库热更新
ll535299的博客
08-01 816
原理: elasticsearch会每隔一分钟从config目录下的IKAnalyzer.cfg.xml文件指定的远程地址中拉取词库，进行更新 部署tomcat 下载地址：https://tomcat.apache.org/download-80.cgi 解压 [ajtuser@centos7 ~]$ tar -zvxf apache-tomcat-8.5.69.tar.gz [ajtuser@centos7 ~]$ mv apache-tomcat-8.5.69 /usr/loca.
elaseticsearch 配置ik分词器的热更新_ES6.0.0实战-IK分词器词库动态更新
weixin_39782545的博客
11-28 371
前言使用过IK Analysis plugin的兄弟都知道，要扩展IK的词库，有两种方式：通过ext_dict指定本地词库文件，例如：ext.dic通过remote_ext_dict指定远程词库请求地址，例如：http://yoursite.com/getCustomDict第一种方式扩展简单，但维护起来比较麻烦。假设ES集群包含多个节点，那么每个节点都要更新词库文件，而且要使其生效，还必须重启每...
Elasticsearch中文IK分词器基于mysql热更新
热门推荐
JAVA拾贝
12-08 1万+
Elasticsearch实战 step1 建立热词和停用词表 -- ---------------------------- -- Table structure for ik_hot_word -- ---------------------------- DROP TABLE IF EXISTS `ik_hot_word`; CREATE TABLE `ik_hot_word` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID', .
elasticsearch中文分词器插件elasticsearch-analysis-ik远程自定义词典热更新
荣耀之路
10-22 1174
elasticsearch analysis-ik 远程 自定义词典 热更新
ElasticSearch最新版(8.4.3) IK分词器基于mysql实现热更新词库
qq_34125999的博客
10-28 1707
阅读Dictionary类下的initial方法，基于该方法进行改造。
elaseticsearch 配置ik分词器的热更新_Elasticsearch入门到高手的成长阶梯-集成中文分词IK...
weixin_39679718的博客
11-30 144
1、IK的介绍Elasticsearch IK分析器插件是国内非常著名的开源中文分析器插件，它是基于国人所开发的另一款基于Luence 的IK分词器做的扩展，以达到对Elasticsearch的支持。Elasticsearch IK分词器是Java语言编写的，在Elasticsearch 0.16的时候就已经开始对其支持了，涵盖了Elasticsearch后续各版本的支持。它包括了ik_smart...
elaseticsearch 配置ik分词器的热更新_ES分词器简介
weixin_39612038的博客
11-30 209
文档相关位置 官网查询与索引流程中Analyzer的位置​ 我们从上图可以看出，Elasticsearch在倒排索引时会文本会使用设置的分析器，而输入的检索语句也会首先通过设置的相同分析器，然后在进行查询。Analyzer的组成分词器是专门处理分词的组件，由三部分组成Character Filters（针对原始文本处理，例如去除html 0或多个）Tokenizer（按照规则切分为单词...
elaseticsearch 配置ik分词器的热更新_Elasticsearch从入门到放弃：分词器初印象
weixin_39614637的博客
11-30 213
Elasticsearch 系列回来了，先给因为这个系列关注我的同学说声抱歉，拖了这么久才回来，这个系列虽然叫「Elasticsearch 从入门到放弃」，但只有三篇就放弃还是有点过分的，所以还是回来继续更新。之前我们聊过了 Elasticsearch 的索引和文档，不太熟悉的话可以先翻阅一下前文。今天再一起聊一下 Elasticsearch 的分词器。关于分词如果你是讲 Elasticsearc...
ElasticSearch IK分词器基于mysql实现热更新词库
qq_24223159的博客
05-10 1174
文章目录安装的是elasticsearch7.1.1打包jdk 环境配置测试常见问题解决 文档转载自： 采坑解决方案https://blog.csdn.net/hqd1870299/article/details/106660017/ ik源码修改参考：https://blog.csdn.net/Sterry_Gong/article/details/112347256 安装的是elasticsearch7.1.1 从https://github.com/medcl/elasticsearch-analys
elaseticsearch 配置ik分词器的热更新_Apache Solr搜索引擎搭建、配置、使用详细教程
weixin_39943383的博客
11-27 279
最近因业务中需要对数据库里面的数据进行多维度检索，完全依赖SQL已经无法满足业务的需求了，显然我们需要搜索技术的支持。这玩意也没啥可技术调研的，基本上就如下几种方案：自己搭建搜索引擎，采用ElasticSearch自己搭建搜索引擎，采用Solr使用云服务，使用阿里云的开放搜索产品或者ES产品业务场景：不需要数据实时同步数据量小、访问频次低，因此单机即可能提供各个字段的多维度模糊查询能简单快速上手，...
Elasticsearch IK分词器热加载词库插件
标签："es 热加载 elasticsearch elasticserach-ik ik分词器" 知识点： 1. "es"是Elasticsearch的简称，是本知识点集合中的核心。 2. "热加载"是一个软件工程术语，指的是在系统运行中对模块或组件进行实时更新的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值