Python操作分布式流处理系统Kafka

Kafka是一个分布式流处理系统，流处理系统使它可以像消息队列一样publish或者subscribe消息，分布式提供了容错性，并发处理消息的机制。kafka运行在集群上，集群包含一个或多个服务器。kafka把消息存在topic中，每一条消息包含键值（key），值（value）和时间戳（timestamp）。kafka有以下一些基本概念：Producer-消息生产者，就是向kafkabroker发消息的客户端。Consumer-消息消费者，是消息的使用方，负责消费Kafka服务器上的消息。Topic-主题，由用户定义并配置在Kafka服务器，用于建立Producer和Consumer之间的订阅