菜鸟运维升级之路

在生产环境中,许多Web应用都将数据保存到 RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、 网站显示延迟等重大影响。Redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web等应用的速度、 提高可扩展性。提示：以下是本篇文章正文内容，下面案例可供参考redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key - Value数据库，即NoSQL。

在第一次真正接触并了解trivy工具是源自于前几周的CKS考试题目,通过参加该考试后,对k8s集群环境的安全更加注重，尤其是当镜像包含一些漏洞，我们需要在部署到环境前判断出是否存在高危漏洞，保护业务不受影响。因此为了在发布镜像前解决掉漏洞，所以将trivy集成到harbor中。Harbor 在生产环境中常用于企业级容器镜像仓库，提供可靠的镜像管理功能。而 Trivy则是一款高效的开源安全扫描工具，主要用于检测和报告镜像中的安全漏洞,可以将漏洞分为不同的等级。Harbor 集成Trivy工具，可以让企业能够在

kafka是一个分布式的基于发布/订阅模式的消息队列系统;是一个开源的分布式事件流平台,通过⾼性能TCP ⽹络协议进⾏通信的 服务器和 客户端组成,基于zookeeper协调的分布式日志系统。它适合离线和在线消费消息。kafka消息保留在磁盘上，并且在集群内复制防止数据丢失。发布/订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。

因为现阶段属于护网期,因此公司对服务器、业务的安全都很关注,只要再次期间被漏扫出来的漏洞，都需要及时响应处理,恰好昨天下午我负责维护的一个项目被漏扫出来了Consul未授权访问漏洞【原理扫描】HashiCorp Consul 安全漏洞(CVE-2021-41803)这两个漏洞，经过查询漏洞编号及名称，并验证该项目上的consul，才发现是因为该consul未配置任何安全认证,即当在浏览器访问consul的web界面时会直接暴露出已注册的services、nodes等相关信息，容易导致信息泄露。

本篇nginx温故而知新文章主要基于实际生产环境中所用到的知识总结出的一篇文章，主要包含ssl证书替换、平滑升级、nginx优化等知识点。同时这篇文章会不定期更新内容，将我自身遇到的一些实际问题及解决方法或者是nginx的新知识内容都会更新到此，希望对大家有用!

因为公司现有环境使用的mysql版本为mysql-5.7.32版本，比较落后，最近客户的几次漏扫总会扫出相应的mysql漏洞，在客户的强烈要求下必须要对mysql进行版本升级操作，但是直接从5.7升至8.0版本不太现实，因为两者不仅在配置文件及语法上有差异，同时功能上也有不同，而且客户侧也没有特别熟悉8.0版本的DBA，因此，接着使用5.7大版本，小版本跟客户协商确认后使用5.7.42版本。

因为现在生产和预发等环境使用的mysql版本是5.7.32,比较老旧,同时在每次漏扫时也会遇到不同的漏洞,有时因为版本低不好修复。因此，内部开会沟通升级改造mysql至8.0版本。但因为两者的差异，不敢随意更新变动，因此，申请环境在搭建一个单节点的8.0版本mysql，让研发和测试、架构组等同学分别验证业务在高版本上的可行性。所以本篇文章以源码搭建mysql-8.0.16版本为示例。仅供参考!!!

其实，在生产环境中安装部署minio单点或者集群非常容易,只需要在官网下载对应的二进制minio程序文件,然后配置账密启动即可，但这个过程不太优雅。从一个交付运维团队的角度出发,不管是提供的中间件安装包还是服务部署包，都肯定是要以繁化简，做到极致的封装来实现自己简单且维护性高的交付安装包,让客户能快速上手运维。因此本篇文章就针对常用的中间件minio进行一次x86_64架构服务器下的RPM包构建，其中封装进去了自己写的minio的启停脚本及数据目录的维护等过程。

承接rpmbuild基础知识章节和对应的背景要求,开始着手下载redis源码包、编写spec文件、构建出符合要求的redis安装包,具体方法如下所示。提示：以下构建文件及方式已在centos 7 x86_64系统架构上测试运行,一切均正常因为上述的redis.spec文件中引用了不少的宏变量,因此需要在此处定义。

不管是源码安装elasticsearch还是通过elastic官网的rpm包进行安装,在安装完成后都需要进行手动配置elastic的安全认证,这样不管从安装效率还是维护都比较麻烦,为了让安装和开启鉴权一起完成，本篇文章就使用rpmbuild自行构建elasticsearch-7.14.2的RPM包,安全认证插件使用的是search-guard,具体构建方式看下方文章即可。阅读下方文章前，请先阅读顶部的两章链接文件,先对整体知识有个大体上的了解。

首先,查看本文章前先阅读一下顶部的两篇文章,因为本篇文章主要依赖于ansible-playbook和通过rpmbuild构建好的minio安装包进行编写的,如果需要用我构建好的minioRPM包，可以在该地址自行下载(同时,写该篇文章不仅是为了加深playbook的使用,更是为了交付团队更好的交付。使得客户安装部署更加简洁明了,维护中间件更加方便。

整理部分生产环境中遇到的es集群问题及解决方案。提示：以下是本篇文章正文内容，下面案例可供参考例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

通过第五章内容，我们了解到了elasticdump工具只适合es数据量较小，且索引不是很多、很多的情况下适用，即大部分情况用于备份单个索引。但是在实际生产环境中，迁移整个es集群数据的次数也很多，因此elasticdump就很不适用，如果强硬使用还会导致服务器磁盘IO及CPU过高,容易产生告警，所以本篇文章再给大家推荐一个适用于生产环境的迁移工具logstash。本次分享的logstash迁移方法,最重要的一点就是源es和目标es网络要互相通，如果不通，这种方法会迁移失败。

es是一个分布式搜索和分析引擎。es存储的是序列化为json文档的复杂数据结构,而不是以列行数据的形式存储信息，当集群中有多个es节点时,存储的文档分布在整个集群中,可以从任何节点访问。es能够处理大量数据,并允许用户进行复杂的查询和聚合操作.它提供了丰富的API和工具,方便用户进行搜索、分析、监控、可视化等操作，还具有高可扩展性、可靠性。es节点的自动发现与故障转移的实现是基于Zen发现机制来实现的，Zen使用GossIp协议实现节点之间的信息交换,以尽可能快速的检测到新节点和丢失的节点。

通过第一章学习es集群搭建流程及es基本概念后，在本章内容中，我们主要对es的基本命令行操作进行一次基本学习,来源于工作中的整理。以上就是实际运维中自身用到最多次的命令,后续也会进行补充更新,通过这些操作更好的熟悉es的用法。也欢迎各位大佬们评论区进行补充，一起学习进步！

在企业实际生产环境中,避免不了要对es集群进行迁移、数据备份与恢复，以此来确保数据的可用性及完整性。因此，就涉及到了数据备份与恢复。本章主要以elasticdump工具为主，讲解备份操作及恢复操作。其余备份和恢复方法暂不涉及，总结来自于生产实战。迁移方式使用场景logstash。

本章主要分享一些es集群中常用到的插件以及插件的安装方式以上就是今天分享的常用插件及安装方法,希望能帮助大家在实际环境中使用到！

在实际生产环境中，中间件必须做到加密认证,因此本篇文章主要讲解以search-guard插件的方式实现es集群加密认证本篇文章主要以search-guard插件的方式来实现es集群的加密认证，包含了创建认证证书、创建新用户、修改密码等操作，还可以给不同的用户赋予不同的权限及设置不同的角色role，此处就不再过多讲解,后期会再新增一个基于x-pack加密认证。这两种方法就可以完全实现生产环境的应用。

收到集团侧安全团队邮件提示,MinIo verify接口(未授权问题)存在敏感信息泄露漏洞,攻击者通过构造特殊URL地址,读取系统敏感信息,其中包括环境变量,有的服务器还会获取到AK/SK，获取后可直接登录后台。建议升级到安全版本RELEASE.2023-03-20T20-16-18Z及以上,在waf上配置策略,拒绝所有post到/minio/bootstrap/verify的请求。因为还有环境的minio版本是RELEASE.2020-05-08T02-40-49Z。