- 博客(9)
- 收藏
- 关注
RSS订阅
原创 Filebeat收集Elasticsearch7.3版本的慢日志
Elasticsearch7.3版本的慢日志收集为什么要收集： 最近由于线上的业务es的查询的出现了高负载，查询返回很慢的情况，开发经常找我们运维去拿日志，不管是es的节点集群日志，还是慢查询日志，还是索引的慢日志。在集群规模很小的时候可以写写脚本或者手动download下来就完事了，毕竟节点少。节点少也就意味着数据量小，业务量也不大。但是随着业务的增长，节点从之前的三个节点突增到了现在的18个节点的es集群。集群的日志量也比之前多的太多，开发看起来也不方便。像这种日志收集应该在很早之前就要弄掉的，
2021-01-13 14:39:14
796
原创 es7.3生产环境问题排查解决
1、 es集群打开分片数不足（1）错误描述：Validation Failed: 1: this action would add [5] total shards, but this cluster currently has [998]/[1000] maximum shards open;（2）解决方法：通过API设置集群分片数量，永久设置PUT /_cluster/settin...
2020-03-13 14:56:03
1925
原创 logstash7.3消费性能问题排查及调优
1、logstash吞吐量logstash的拉去速率太慢，吞吐量存在瓶颈，影响es的写入速率修改配置文件logstash.yml每次发送的事件数pipeline.batch.size: 2048发送延时pipeline.batch.delay: 50监视配置文件的改变，并且当配置文件被修改以后自动重新加载配置文件config.reload.automatic: true为了检查配...
2020-03-13 14:30:06
3119
原创 Ingress-nginx
Ingress-nginx一、ingress-controller介绍ingress-controller并不是k8s自带的组件，实际上ingress-controller只是一个统称，用户可以选择不同的ingress-controller实现，目前，由k8s维护的ingress-controller只有google云的GCE与ingress-nginx两个，其他还有很多第三方维护的ingre...
2020-02-10 16:36:59
717
原创 Hadoop+Spark + Hive高可用集群部署
Hadoop+Spark+Hive高可用分布式集群安装集群规划节点IP节点别名zookeeper节点JournalNode节点NodeManager节点DataNode节点zkfc节点NameNode节点ResourceManager节点192.168.99.61spark01zookeeperJournalNodeNodeManagerData...
2019-12-30 11:51:14
1885
原创 容器里部署的grafana添加zabbix数据源
进入grafana容器里面执行grafana-cli plugins install alexanderzobnin-zabbix-app重启grafana添加zabbix数据源Url http://192.168.88.182/api_jsonrpc.php修改ip地址或许加端口号填写正确的用户和密码以下模板可自己创建不需要自带的模板...
2018-11-27 14:26:02
1181
原创 centos7安装rabbitmq3.6.5
前提：systemctl stop firewalld 关闭防火墙关闭selinux查看getenforce临时关闭setenforce 0永久关闭sed-i'/SELINUX/s/enforcing/disabled/'/etc/selinux/configselinux的三种模式enforcing：强制模式，SELinux 运作中，且已经正确的开始限制...
2018-10-19 17:49:19
698
原创 es7.3的性能参数调优
1、es集群的索引分片设计不合理，导致分片数很多，监控压力也增大，严重影响到了es集群的稳定性。只能临时关闭监控索引，或者调整监控频率1）关闭监控PUT /_cluster/settings?pretty{"persistent": {"xpack.monitoring.collection.enabled": false}}2）监控频率调整 动态参数调整es的监控频率PUT /_cluster/settings{"persistent" : {"xpack.monitor
2020-12-09 15:57:14
3039
原创 es7.3基础学习
1、概述es是基于lucene的分布式，高扩展的数据搜索引擎；主要用于kafka->logstash->es->kibana的数据收集、存储、数据的可视化。2、名词释义（1） cluster：集群，集群中有master节点、data节点、协调节点、Igest节点（2） shards：索引的分片默认一个索引五个分片一个副本，分片一旦创建完成，就能在动态创建分片了，停机也没用...
2020-03-13 14:25:57
319
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人