A(19)Kafka參數優化

1）Broker參數配置（server.properties）

1、網絡和io操作線程配置優化

broker處理消息的最大線程數（默認為3）

num.network.threads=cpu核數+1

broker處理磁盤IO的線程數

num.io.threads=cpu核數*2

2、log數據文件刷盤策略

每當producer寫入10000條消息時，刷數據到磁盤

log.flush.interval.messages=10000

每間隔1秒鐘時間，刷數據到磁盤

log.flush.interval.ms=1000

3、日志保留策略配置

保留三天，也可以更短 （log.cleaner.delete.retention.ms）

log.retention.hours=72

4、Replica相關配置

offsets.topic.replication.factor:3

這個參數指新創建一個topic時，默認的Replica數量,Replica過少會影響數據的可用性，太多則會白白浪費存儲資源，一般建議在2~3為宜。

2）Producer優化（producer.properties）

buffer.memory:33554432 (32m)

在Producer端用來存放尚未發送出去的Message的緩沖區大小。緩沖區滿了之后可以選擇阻塞發送或拋出異常，由block.on.buffer.full的配置來決定。

compression.type:none

默認發送不進行壓縮，推薦配置一種適合的壓縮算法，可以大幅度的減緩網絡壓力和Broker的存儲壓力。

4）Kafka內存調整（kafka-server-start.sh）

默認內存1個G，生產環境盡量不要超過6個G。

export KAFKA_HEAP_OPTS="-Xms4g -Xmx4g"

Kafka

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。