ES介绍:
首先用户将数据提交到Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。
Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有0个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确分片。再平衡和路由是自动完成的。相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。
Elasticsearch使用Lucene,并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating,如果新文档与注册查询匹配,这对于通知非常有用。另一个特性称为“网关”,处理索引的长期持久性;例如,在服务器崩溃的情况下,可以从网关恢复索引。
Elasticsearch支持实时GET请求,适合作为NoSQL数据存储,但缺少分布式事务。
Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成集成解决方案,称为“ELK Stack”。
说明:
ES不能用root用户启动,否则会报错。
ES自带JDK,可以不用。自行安装JDK,版本要求较高,JDK11或JDK12。
主机规划:
cacer01: master
cacer02: slave
cacer03: slave
在每台主机上添加用户
useradd es
passwd es
下载,在01主机上,配置完拷贝到其他主机
elasticsearch-7.10.2-linux-x86_64.tar.gz
解压
tar -xzvf elasticsearch-7.10.2-linux-x86_64.tar.gz
mv elasticsearch-7.10.2-linux-x86_64 /usr/local/elasticsearch
更改目录用户
chown -R es:es /usr/local/elasticsearch
修改profile
vim /etc/profile
export JAVA_HOME=/usr/local/jdk-11.0.9 export ELASTICSEARCH_HOME=/usr/local/elasticsearch export PATH=$PATH:$JAVA_HOME/bin:$ELASTICSEARCH_HOME/bin |
设置文件打开数量和用户最大进程数
# ulimit -a 2、查看应用进程打开文件句柄数 # lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more 根据进程ID号来查看进程名 # ps aef|grep 24204 3、用户级限制修改 # vim /etc/security/limits.conf * soft nofile 300000 * hard nofile 300000 * soft nproc 102400 * hard nproc 102400 * soft memlock unlimited * hard memlock unlimited 4、系统级限制修改 # echo 6553560 > /proc/sys/fs/file-max (临时生效,重启机器后会失效) # vim /etc/sysctl.conf fs.file-max = 6553560 (永久生效) # reboot now |
设置最大虚拟内存区
echo "vm.max_map_count=262144" > /etc/sysctl.conf sysctl -p |
配置elasticsearch.yml
#集群名称,节点之间要保持一致 cluster.name: escluster #节点名称,集群内要唯一 node.name: es1 #表示该节点作为主节点 node.master: true #当前节点是否用于存储数据 node.data: true node.ingest: false
#系统调用过滤器检查 bootstrap.system_call_filter: false
#监听外部访问地址,设置为0.0.0.0可以让任何主机访问 network.host: 0.0.0.0 |