the kafka reader got an unknown error reading partition

最新推荐文章于 2024-08-14 15:05:13 发布

原创最新推荐文章于 2024-08-14 15:05:13 发布 · 661 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #golang

文章描述了一种在使用github.com/segmentio/kafka-go库时遇到的错误，具体是消费者在读取分区0时遇到了超时异常。示例代码显示了配置，其中`MaxWait`参数被设置为500毫秒。问题的解决方案是将`MaxWait`调整为3秒，因为这个参数影响的是数据获取的等待时间，过短可能导致频繁的IO超时异常和连接重建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

github.com/segmentio/kafka-go consumer报以下异常

the kafka reader got an unknown error reading partition 0 of timeout01 at offset 4: read tcp [localhost]:6210->[localhost]:9092: i/o timeout

示例:

	reader :=kafka.NewReader(kafka.ReaderConfig{
		Brokers:           []string{"localhost:9092"},
		GroupID:           "consumer-timeout",
		Topic:             "timeout01",
		ReadBatchTimeout:  500 * time.Millisecond,
		MaxWait:           500 * time.Millisecond,
		CommitInterval:    20 * time.Second,
		SessionTimeout:    30 * time.Second,
		HeartbeatInterval: 3 * time.Second,
		RetentionTime:     7 * 24 * time.Hour,
		StartOffset:       kafka.FirstOffset,
	})
	
	for {
		kafkaMsg,err :=reader.ReadMessage(context.Background())
		if err!=nil {
			fmt.Println("err:",err)
			continue
		}
		fmt.Println("message:",kafkaMsg)
	}

问题修复方案:

MaxWait 修改为 3*time.Second

max_wait不是fetch data wait time,包中仅reader.go 1493行代码中,conn.ReadBatchWith()中超时作用,设置过短会导致io/timeout异常,conn频繁以为异常重建