Kafka中默认的日志保存时间为7天,可以通过如下参数修改保存时间
- log.retention.hours,最低优先级小时,默认7天
- log.retention.minutes,分钟
- log.retention.ms,最高优先级毫秒
- log.retention.check.interval.ms,负责设置检查周期,默认五分钟
日志一旦超过了设置的时间,怎么处理呢?
Kafka中提供的日志清理策略有delete和compact两种
1)delete日志删除:将过期数据删除
`log.cleanup.policy = delete` 所有数据启用删除策略
基于时间:默认打开。以segment中所有记录中的最大时间戳作为该文件时间戳
如果一个segment中有一部分数据过期,一部分没有过期,怎么处理?
等没有过期的数据过期再进行删除
基于大小:默认关闭(生产环境中一般不会打开)。超过设置的所有日志总大小,删除最早的segment。
log.retention.bytes,默认等于-1,表示无穷大
2)compact日志压缩
对于相同key的不同value值,只保留最后一个版本
log.cleanup.policy = compact 所有数据启用压缩策略
压缩后的offset可能是不连续的,比如上图中没有6,当从这些offset消费消息时,将会拿到比这个offset大的offset对应的消息,实际上会拿到offset为7的消息,并从这个位置开始消费
这种策略只适合特殊场景,比如消息的key是用户ID,value是用户的资料,通过这种压缩策略,整个消息集里就保存了所有用户最新的资料