hankin的博客

一、数据管道基本概念 在使用Kafka构建数据管道时，通常有两种使用场景：第一种：把Kafka作为数据管道的两个端点之一，例如，把Kafka里的数据移动到云上，或者把MongoDB里的数据移动到Kafka里；第二种：把Kafka作为数据管道两个端点的中间媒介，例如，为了把DB的数据移动到ElasticSearch上，需要先把它们移动到Kafka里，再将它们从Kafka移动到Elastic Sea...

一、与Spring集成 其实Spring和Kafka的集合，Spring是把Kafka当做一个消息中间件(MQ)来用，灵活性对比原生API还是没有那么灵活。具体代码实现，参见kafka-with-spring模块。 1、pom文件 <dependency> <groupId>org.springframework.kafka</groupId> ...

一、kafka核心机制 1、集群的成员关系 Kafka使用zookeeper来维护集群成员的信息，每个broker都有个唯一标识符，这个标识符可以在配置文件里指定，也可以自动生成。在broker启动的时候，它通过创建临时节点把自己的ID注册到zoo-keeper。Kafka组件订阅Zookeeper的/brokers/ids路径(broker在zookeeper上的注册路径)，当有b...

一、第一个Kafka程序 1、创建我们的主题 创建主题命令如下：kafka-topics.bat --zookeeper localhost:2181/kafka --create --topic hello-kafka --replication-factor 1 --partitions 4 2、生产者发送消息 我们这里使用Kafka内置的客户端API开发kafka应用程序。因为我们...

一、Kafka简介 1、什么是Kafka kafka最初是LinkedIn的一个内部基础设施系统。最初开发的起因是LinkedIn虽然有了数据库和其他系统可以用来存储数据，但是缺乏一个可以帮助处理持续数据流的组件。所以在设计理念上，开发者不想只是开发一个能够存储数据的系统，如关系数据库Nosql数据库、搜索引擎等等，更希望把数据看成一个持续变化和不断增长的流，并基于这样的想法构建出一个数据系统...