Python自定义消费Kafka至HDFS

📌Python自定义消费Kafka至HDFS

当Flume消费Kafka出现问题间隔很长时间才发现，此时需要将历史未消费的数据，通过Python脚本重新消费并写入到指定位置，之后在数仓建表等操作，具体代码如下【Kafka --> Python脚本 --> HDFS】

from kafka import KafkaConsumer
import json
from datetime import datetime
import time
from hdfs import InsecureClient

##### 自定义消费KAFKA 数据 #####

def consume_k