一、文件清理策略
1.1、文件清理策略的概述
-
Kafka 中默認(rèn)的日志保存時間為 7 天，可以通過調(diào)整如下參數(shù)修改保存時間。
參數(shù) 解釋 log.retention.hours 小時，最低優(yōu)先級（默認(rèn) 7天） log.retention.minutes 分鐘 log.retention.ms 毫秒，最高優(yōu)先級 log.retention.check.interval.ms 負(fù)責(zé)設(shè)置檢查周期（默認(rèn) 5 分鐘）
1.2、文件清理策略的官方文檔
-
參考官方文檔
官方文檔地址：https://kafka.apache.org/documentation/
1.3、日志超過了設(shè)置的時間如何處理
- Kafka 中提供的日志清理策略有 delete 和 compact兩種。
1.3.1、delete日志刪除（將過期數(shù)據(jù)刪除）
-
log.cleanup.policy = delete 所有數(shù)據(jù)啟用刪除策略。
（1）、基于時間：默認(rèn)打開。以 segment 中所有記錄中的最大時間戳作為該文件時間戳。
（2）、基于大小：默認(rèn)關(guān)閉。超過設(shè)置的所有日志總大小，刪除最早的 segment。log.retention.bytes，默認(rèn)等于-1，表示無窮大。
1.3.2、compact日志壓縮
- compact日志壓縮：對于相同key的不同value值，只保留最后一個版本。
-
log.cleanup.policy = compact 所有數(shù)據(jù)啟用壓縮策略
- 壓縮后的offset可能是不連續(xù)的，比如上圖中沒有6，當(dāng)從這些offset消費消息時，將會拿到比這個offset大的offset對應(yīng)的消息，實際上會拿到offset為7的消息，并從這個位置開始消費。
- 這種策略只適合特殊場景，比如消息的key是用戶ID，value是用戶的資料，通過這種壓縮策略，整個消息集里就保存了所有用戶最新的資料。
文章來源地址http://www.zghlxwxcb.cn/news/detail-706890.html
文章來源：http://www.zghlxwxcb.cn/news/detail-706890.html
到了這里，關(guān)于Kafka3.0.0版本——文件清理策略的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
