公司服务器中的kafka消息中间件挂了，我是如何修复的？

Kafka：处理服务器挂了

在讲这个之前，首先介绍两个概念每个副本的最后一个offset，LEO就是最新的offset+1所有副本中最小的LEO.如果follower挂了，首先会从isr中退出，在这期间Leader和Follower继续接收数据，等到follower恢复之后，首先找到hw,并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步。其实这里有个问题，就是为什么要将log文件高于HW部分截取掉，不直接向Leader进行同步，因为Leader始终是数据比较多的？

Kafka某节点挂掉如何解决

互联网高频面试之消息中间件基本问题和知识点整理分析

Kafka——生产者、消费者、高可用机制、备份机制、消息可靠性

Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 1.1 kafka的基础架构 1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端； 2）Consumer ：消息消费者，向 kafka broker 取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负 责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所

消息中间件（Message Oriented Middleware，简称 MOM）是一种软件系统，用于在分布式环境中提供消息传递和信息传输服务。它位于应用程序之间，为应用提供一种标准的、可靠的方式去发送和接收消息。消息中间件通常包含消息队列、路由、传输协议等组件，支持异步通信和解耦设计。消息中间件是分布式系统中的重要组件，广泛应用于异步处理、应用解耦、流量削峰、数据同步和任务调度等场景。根据具体需求（如消息量、延迟要求、事务性等），选择合适的消息中间件可以帮助实现系统的解耦、异步处理和高可用性。

题目：kafka挂掉怎么处理 答案： kafka挂掉，flume有记录，日志有记录，短期没事 在生产环境中，如果某个kafka节点挂掉 正常处理办法： （1）先尝试重启一下，如果能正常启动，那就直接解决 （2）如果重启不行，考虑增加内存、CPU、网络带宽 （3）如果将kafka整个节点误删除，如果副本数大于等于2，可以按照服役新节点的方式重新服役一个新节点，并执行负载均衡 ...

将cron任务加入开启自启动，在 /etc/rc.local 文件中加入：systemctl restart crond。#获取kafka进程数量，正常情况下一台机器一个kafka，所以kakfa正常运行的时候肯定大于1。备注：如何查看是centos几： cat /etc/centos-release。如果上图的脚本有问题，可以采用sh -x command进行调试。#当进程小于等于1的时候启动kafka。2、将启动脚本加入定时任务。

kafka集群，一个节点挂掉，导致不可消费； kafka修改默认副本数； kafka为现有topic扩副本。

数据同步的时候消费者挂掉了 消费者挂掉的原因是因为内存溢出，为什么会内存溢出？ 后面发现线停到消费者，然后等待队列里面堆积很多消息之后在启动消费者，发现不一会儿就会出现内存溢出，排查发现是因为没有使用QOS预取，导致了消息一下子全部被拉取到消费者，导致消费者内存溢出。 解决方案：设置QOS的值为300，重新发布消费者，没有出现内存溢出 消息丢失 生产者----->MQ---------->消费者 1.网络等问题，生产者没有把消息发送过去 2.MQ没有把消息持久化，挂了 3.消费者没有消费完，挂.

目录 前言------对于只想解决这个问题的程序猿们，可以直接跳到"解决" 1.背景 2.问题 3.原因 4.解决（尾部有提供编译好的kafka包下载链接） 4.1kafka补丁版本下载 4.2编译kafka补丁版本 5.懒人福音 前言------对于只想解决这个问题的程序猿们，可以直接跳到"解决" 对于只想解决这个问题的程序猿们，可以直接跳到"解决" 对于只想解决这个问题的程序猿们，可以直接跳到"解决" 对于只想解决这个问题的程序猿们，可以直接跳到"解决" 1.背景 ..

下述方法可以快速恢复kafka集群，通过kafka机制，利用推荐方案重新json,重新分配分区和副本。

每天早上七点三十，准时推送干货Photo by Vanessa Serpas on UnsplashHello，大家好，我是阿粉，作为一个后端工程师不经历几次生产事故怎么能成长！阿粉工作...

Kafka崩溃恢复 ERROR Exiting Kafka

因为是线上服务，而且进程还在，就是不提供服务了，第一反应就是保留一下 stack 信息，先重启吧。Arthas 是一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。对于这些操作，都需要线程的各种信息，例如寄存器中到底有啥，堆使用信息以及栈方法代码信息等等等等，并且做这些操作的时候，线程需要暂停，等到这些操作完成，否则会有并发问题。

Kafka | 记一次修复Kafka分区所在broker宕机故障-引发当前分区不可用的思考过程