一、flume調優,用到了哪些?
source :

1 ,增加 source 個數,可以增大 source 讀取能力。
2 ,具體做法 : 如果一個目錄下生成的文件過多,可以將它拆分成多個目錄。每個目錄都配置一個 source 。
3 ,增大 batchSize : 可以增大一次性批處理的 event 條數,適當調大這個參數,可以調高 source 搬運數據到 channel 的性能。
channel :
1 ,memory :性能好,但是,如果發生意外,可能丟失數據。
2 ,使用 file channel 時,dataDirs 配置多個不同盤下的目錄可以提高性能。
3 ,transactionCapacity 需要大于 source 和 sink 的 batchSize 參數
sink :
增加 sink 個數可以增加消費 event 能力
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。