java consumer.poll_java – 无法在kafka consumer下设置’max.poll.records’,其中cons.poll仍然返回分区下的所有记录...

我创建了多线程消费者应用程序来处理各种分区.

查看各种博客,我开始了解’max.poll.records’属性,以便控制来自给定主题,分区的记录集.(因此它可以很快从记录循环中出来,因此调用cons.poll ()保持活力)

问题是我的处理逻辑需要时间来处理每条记录.

在启动Cons-2时,两者都开始在相同的分区上工作,因为Cons-1仍未进行重新平衡(即尚未发生cons.poll()).

增加消费者以便他们可以重新平衡他们自己,cons.poll()将不会发生,除非处理所有记录.

我可能不会去’session.timeout.ms’,因为开始新的消费者也可能开始使用与Cons-1相同的分区.

我尝试使用以下方法设置属性：

props.put("max.poll.records",1);

props.put("max.poll.records","1");

但都没有改变.来自民意调查的记录.

我正在使用Apache Kafka 9和Below API.

org.apache.servicemix.bundles

org.apache.servicemix.bundles.kafka-clients

0.9.0.1_1

解决方法:

max.poll.records属性在Kafka-0.10.0中发布.它在Kafka 0.9.0.1版本中不可用.请参阅release注释中的KAFKA-3007任务.

如果您对记录的处理花费了很多时间,则以下链接可能会有所帮助.

标签：java,apache-kafka,kafka-consumer-api

来源： https://codeday.me/bug/20190611/1219667.html