当前位置:首页>综合>正文

kafka默认清理周期

2023-05-23 18:08:47 互联网 未知 综合

kafka默认清理周期?

kafka默认清理周期

默认清理周期是7天。

kafka作为消息中间件,会临时存储消息,提供对外查询接口,数据默认存储168小时(7days),超时会被删除。

kafka采用多文件存储方式来保存数据,主要是有两个方面的考虑:

所有数据存储到一个文件,会使得存储文件比较大,影响查询的效率。

对于过期数据的清理,不太方便,需要清理掉过期数据,并将未过期的数据重新写入到文件,切分多个文件后,可以根据文件的日期,直接删除文件即可。

Kafka 的消息存储在磁盘中,为了控制磁盘占用空间,Kafka 需要不断地对过去的一些消息进行清理工作。Kafka 的每个分区都有很多的日志文件,这样也是为了方便进行日志的清理。在 Kafka 中,提供两种日志清理方式:


日志删除(Log Deletion):按照指定的策略直接删除不符合条件的日志。

日志压缩(Log Compaction):按照消息的 key 进行整合,有相同 key 的但有不同 value 值,只保留最后一个版本。