ClickHouse運維監控總結

1 監控目標

在ClickHouse運行時，我們需要確保數據庫實例正常運行的同時獲得最佳的表現性能。【摘自Monitor ClickHouse with Datadog】

2 監控指標說明

硬件資源利用率（當前HD已覆蓋）

處理器負載

磁盤存儲、RAM和網絡使用率

ClickHouse服務指標

系統指標（metrics）

system.metrics表用于統計ClickHouse服務在運行時，當前正在執行的高層次的概要信息，包括了正在執行的查詢總次數、正在發生的合并操作總次數等。具體的指標及描述通過執行查詢查select * from system.metrics \G,列舉前5條指標如下圖

系統事件（events）

system.events?用于統計 ClickHouse 服務在運行過程中已經執行過的高層次的 累積概要信息，包括總的查詢次數、總的SELECT查詢次數等，具體指標通過執行查詢select * from system.events，列舉前5條指標如下圖

系統異步指標（asynchronous_ metrics）

asynchronous_metrics 用于統計ClickHouse服務運行過程時，當前正在后臺 異步運行的高層次的概要信息，包括當前分配的內存、執行隊列中的任務數量等。 具體指標通過執行查詢select * from system.asynchronous_metrics，列舉前5條指標如下圖

查詢日志

查詢日志目前主要有6種類型，所有查詢日志在默認配置下都是關閉狀態，需要在config.xml文件配置，開啟日志后可以到對應的日志表進行日志查詢。

3 業界參考

DataDog是一家專注于數字性能監控的廠商,產品范圍包括應用性能監控、基礎設施監控、組件監控及日志監控等。當然，他們集成了ClickHouse。

概覽界面如下圖，展示了ClickHouse主要的網絡延時、啟動時間、內存等使用情況

讀寫性能概覽圖

Zookeeper鏈接性能指標

日志預覽

Sematext 也是一個可視化監控工具，支持了ClickHouse對接

事件監控

網絡監控&Zookeeper指標

MergeTree 指標

數據湖探索 DLI

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。