许诗宇的博客

可以通过实现 org.apache.kafka.clients.consumer.internals.PartitionAssignor 接口来实现。

注意：本文参考。

kafka是一个流式数据处理平台，他具有消息系统的能力，也有实时流式数据处理分析能力，只是我们更多的偏向于把他当做消息队列系统来使用。消息系统：kafka与传统的消息中间件都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，kafka还提供了大多数消息系统难以实现的消息顺序性保障及回溯性消费的功能。存储系统：kafka把消息持久化到磁盘，相比于其他基于内存存储的系统而言，有效的降低了消息丢失的风险。这得益于其消息持久化和多副本机制。

注意：本文参考Kafka英文官方文档中文参数。

目录消息积压简介生产端消费端已经消息积压，如何处理总结注意：本文参考消息队列的消息大量积压怎么办？_JavaEdge.的博客-CSDN博客_消息队列积压了大量消息怎么处理消息积压简介系统出现性能问题，来不及处理上游发的消息，导致消息积压。消息积压是正常现象，但积压太多就需要处理了。就像水库，日常蓄水是正常的，但下游泄洪能力太差，导致水库水位一直不停上涨，就不正常！日常开发使用MQ时，如何避免消息积压？若线上已出现积压了，如何应急？性能优化主要在生产者和消费..

目录单机模式普通集群模式镜像集群模式rabbitMQ对于高可用是基于主从的方式进行实现. 其有三种工作模式: 单机模式、普通集群模式、镜像集群模式单机模式单机模式，就是我们平常玩的demo，生产上肯定不能用。：普通集群模式即在多个服务器上部署多个MQ实例, 每台机器一个实例. 创建的每一个queue,只会存在一个MQ实例上. 但是每一个实例都会同步queue的元数据...

消息何去何从mandatory和immediate是channel.basicPublish方法中的两个参数，它们都有 当消息传递过程中不可达目的地时将消息返回给生产者的功能。RabbitMQ提供的备份交换器 (Alternate Exchange)可以将未能被交换器路由的消息（没有绑定队列或者没有匹配的绑定）存 储起来，而不用返回给客户端。对于初学者来说，特别容易将mandatory和i...

连接RabbitMQ下面的代码（代码清单)用来在给定的参数(IP地址、端口号、用户名、密码等）下 连接RabbitMQ:也可以选择使用URI的方式来实现Connection可以用来创建多个Channel实例，但是Channel实例不能在线程间共享， 应用程序应该为每一个线程开辟一个Channel。某些情况下Channel的操作可以并发运行，但 是在其他情况下会导致在网络上出现错...

RabbitMQ是一个由erlang开发的AMQP（Advanced Message Queue ）的开源实现https://www.rabbitmq.com/相关概念介绍RabbitMQ整体上是一个生产者与消费者模型，主要负责接收、存储和转发消息。可以把消 息传递的过程想象成：当你将一个包裹送到邮局，邮局会暂存并最终将邮件通过邮递员送到收 件人的手上，RabbitMQ就好比由邮局、邮...

目录幂等性解决方法让每个消息都会有唯一的消息 id幂等性幂等性是数学概念，即 f(x)=f(f(x))。在计算机领域，则是意为对同一个系统，使用同样的条件，一次请求和重复的多次请求对系统资源的影响是一致的。在调用接口时，总有一些特殊情况会导致接口进行重复的调用，如果不对这些情况做出处理，就可能导致脏数据，甚至是业务流程上的问题。比如，后台管理员在新增数据时，由于特殊原因，比...

目录异步处理应用解耦流量削锋日志处理消息通讯异步处理如果有操作A和操作B，原来是主要线程O内 顺序执行A，再执行B。现在为了执行速度，O内发送信息给 消息队列A和B，让线程A和B分别执行操作，执行完了后告诉O，执行完了，O再结束逻辑。场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种：串行的方式和并行方式。串行方式：将注册信息写入数据库成功后，...

目录消息队列简介消息队列简单使用这样发消息有什么好处呢？消息队列有什么特性？为什么需要消息队列？消息队列的好处业务解耦最终一致性广播错峰与流控顺序保证消息队列的坏处可用性降低复杂度变高一致性消息队列核心概念消息模式PTP点对点Pub/Sub发布订阅常用消息队列介绍RabbitMQActiveMQRocke...

消息队列消息队列简介及选型对比 https://blog.csdn.net/xushiyu1996818/article/details/104224797消息队列的幂等性 https://blog.csdn.net/xushiyu1996818/article/details/104234000消息队列的应用场景 https://blog.csdn.net/xushiyu...