Kafka系統學習（12）

舊數據處理方式

Kafka將數據持久化到了硬盤上，允許配置一定的策略對數據清理，清理的策略有兩個：刪除和壓縮。Kafka把Topic中一個Partition大文件分成多個小文件段，通過多個小文件段，就容易定期清除或刪除已經消費完文件，減少磁盤占用。

對于傳統的消息隊列（Message Queue）而言，一般會刪除已經被消費的消息，而Kafka集群會保留所有的消息，無論其被消費與否。當然，因為磁盤限制，不可能永久保留所有數據（實際上也沒必要），因此Kafka需要處理舊數據。下面介紹日志的清理方式：1、delete 2、compact。

(1) delete

刪除的閾值有2種：過期的時間和分區內總日志大小。

(2) Compact

將數據壓縮，只保留每個key最后一個版本的數據。首先在broker的配置中設置log.cleaner.enable=true啟用cleaner，這個默認是關閉的。在topic的配置中設置log.cleanup.policy=compact啟用壓縮策略。

Kafka部分學習到此小結。

Kafka

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。