芸灵fly的博客

说明 今天来记录一下在K8s下部署Kafka集群，本以为K8s发展到今天已经有很多人踩过坑了，安装个Kafka问题也不大，可自己还是遇到了坑o(╥﹏╥)o，由于我的K8s集群是1master多worker，所以可能多master的情况下配置也不一样，请酌情查看。 快速开始 master_ip:192.168.128.52 先创建一个命名空间，之后全在这操作 kubectl create namespace zookeeper Zookeeper集群的安装 创建zookeeper-svc.ya

说明 上次我们使用Amqp包进行MQ多数据源的接入，这次我们换一个包，使用SpringCloud里的Stream来进行接入。这次的接入方式要看起来更清晰好看一些，不用写配置Bean，通过bindings、binders、接口配置。 快速开始 引入包(我的Cloud版本为Greenwich.SR2) <dependency> <gr...

说明 最近来写几个使用SpringBoot下会遇到的多数据源的接入问题以及处理方式吧~。 在实际的项目中，我们经常会需要接入或者发给很多不同的MQ，那么在Springboot下有什么比较好的处理方式？当当当，AMQP(Advanced Message Queuing Protocol 高级消息队列协议)来啦，这是一个提供统一消息服务的应用层标准高级消息队列协议，是应用层协议的一个开放标准，为面...

说明MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。MQ是消...

说明kafka作为一种分布式消息队列的实现，采用发布订阅的消息模型。通过生产者把消息Topic存储在broke,消息者可以订阅多个感兴趣的topic进行消费。消费者需要自己保留一个offset，从kafka 获取消息时，只拉去当前offset 以后的消息。Kafka相比于其他MQ（activemq、rabbitmq）优点：1.高性能高吞吐量 ；  Kafka 集群可以透明的扩展，增加新的服务器进集...

说明 温故而知新ε≡٩(๑>₃<)۶ 一心向学，再次看Kafka，在这记录一下Kafka的学习笔记。 1 简介 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成...