cl2010abc的专栏

安装zookeeper，本次采用单机模式部署在hadoop1，具体安装过程此处不赘述。修改配置文件config/server.properties。下载kafka安装包，并上传到对应目录下。安装JDK，具体安装过程此处不赘述。将配置好的安装包分发到两外两台主机上。启动zookeeper和kafka。修改两外两台主机上的配置。查看topic详细信息。修改topic分区数。

Kafka中的Topic是可以分区的，使用分区的好处是显而易见的，它可以合理的使用存储资源，提高并行度，一个Topic的多个分区分散在不同的主机上，可以充分利用集群资源。生产者发送的每一条消息最终只会进入某一个分区，决定消息和分区映射关系的就是Partitioner。Kafka默认分区器是DefaultPartitioner。......指明partition的情况下，直接将指明的值作为partition的值。

transaction log 是 kafka 的一个内部 topic，transaction log 有多个分区，每个分区都有一个 leader，该 leade对应哪个 kafka broker，哪个 broker 上的 transaction coordinator 就负责对这些分区的写操作。为了实现跨分区跨跨会话的事务，需要引入一个全局唯一的Transaction ID，并将生产者获得的id和Transaction ID绑定。当发生异常，事务将会回滚，终端消费者将不会收到消息。