webpack4.0各個擊破(3)—— Assets篇
1579
2025-03-31
config.xml
max_table_size_to_drop
此參數在 /etc/ClickHouse-server/config.xml 中,應用于需要刪除表或分區的情況,默認是50GB,意思是如果刪除50GB以上的分區表會失敗。建議修改為0,這樣不管多大的分區表都可以刪除
max_concurrent_queries
最大并發查詢限制,默認100
users.xml
max_memory_usage
此參數在 /etc/ClickHouse-server/config.xml 中,表示單次Query占用內存最大值,超過的話會查詢失敗。建議盡量調大一些,同時保留一點給 OS
max_bytes_before_external_group_by
min_insert_block_size_rows=8192, min_insert_block_size_bytes
聚合需要分兩個階段進行:1.查詢并且建立中間數據 2.合并中間數據。
數據“溢出”到磁盤一般發生在第一個階段,如果沒有發生數據“溢出”,ClickHouse在階段1和階段2可能需要相同數量的內存
建議將max_memory_usage設置為max_bytes_before_external_group_by大小的兩倍
max_bytes_before_external_sort
與 max_bytes_before_external_group_by 類似,只不過將 group 換成了 sort
max_threads
設置單個查詢所能使用的最大線程個數,默認是CPU的核數 ‘auto(4)’
background_pool_size
后臺線程池的大小,merge線程就是在該線程池中執行,該線程池不僅僅是給merge線程用的,默認值16,允許的前提下建議改成cpu個數的2倍(線程數)
background_schedule_pool_size
執行后臺任務(復制表、Kafka流、DNS緩存更新)的線程數。默認128, 建議改成cpu個數的 16 倍(線程數)
background_distributed_schedule_pool_size
設置為分布式發送執行后臺任務的線程數,默認16,建議改成cpu個數的2倍(線程數)
max_partitions_per_insert_block
限制單個插入塊中的最大分區數。默認值:100,填0表示不限制。一旦單個SQL插入的數據分區塊數大于max_partitions_per_insert_block,就會報錯 Too many partitions for single INSERT block
補充
system庫里面的表都不是復制表 直接set只會在當前server生效
distribution查詢的時候會傳遞的,最終這些set其實全部保存在client端。隨著每個query走的(修改了一個server端,那么client查詢會默認將參數傳遞)
任務調度
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。