GaussDB(DWS)資源監控原理簡介及視圖應用

1.???????背景介紹

GaussDB(DWS)運行過程中使用的公共資源包含CPU、內存、IO、網絡、存儲空間以及數據庫共享資源(鎖、計數等)，作業在運行過程中總是希望獲得更多的公共資源，以獲得最好的執行性能。但是公共資源的濫用會導致數據庫系統的整體吞吐量下降，甚至業務長時間阻塞，影響其他作業的執行性能。因此公共資源的合理有效利用就成了數據庫系統長期穩定運行的關鍵，GaussDB(DWS)提供了多維度的資源監控手段，用于實時資源監控和公共資源異常使用的快速識別。

2.? ? ? ?資源監控原理

1. 作業內存監控

作業運行過程中動態申請的內存會進行記賬，作業stream線程與作業主線程使用同一塊內存地址進行內存記賬，因此作業內存監控時只需要作業主線程上報內存使用即可，stream線程不需要單獨上報內存使用。

2. 作業IO監控

GaussDB(DWS)作業IO監控為邏輯IO監控，在IO讀寫接口打樁，發生IO讀寫時進行記賬，stream線程使用主線程內存地址記賬，因此邏輯IO監控也只需要上報主線程邏輯IO使用信息即可。

3. 作業CPU監控

GaussDB(DWS)維護一個全局時鐘，用于作業CPU監控控制，全局時鐘每5s響應一次，作業運行過程中每個線程維護一個本地時鐘，本地時鐘與全局時鐘不相同時，進行一次CPU資源監控，并使用全局時鐘同步本地時鐘。作業線程在進行CPU資源監控時，stream線程同樣使用主線程內存地址記賬，因此CPU監控也只需要上報主線程CPU監控信息即可。

4. 用戶資源監控

DN每隔5s獲取所有作業資源監控數據，并將資源監控數據上報至所屬用戶，上報完成后，用戶進行資源監控數據匯總統計，統計得到用戶資源監控數據。CN每隔5s從DN收集一次用戶資源監控數據，并將集群內所有DN用戶資源監控數據進行累加得到用戶資源監控信息。

5. 資源池資源監控

DN每隔5s將用戶資源監控數據匯總至所屬資源池，上報完成后，資源池進行資源監控數據匯總統計，統計得到資源池資源監控數據。CN每隔5s從DN收集一次資源池資源監控數據，并將集群內所有DN資源池資源監控數據進行累加得到資源池資源監控信息。

3.? ? ? ?資源監控應用

1. 用戶資源監控

得益于架構整改和邏輯優化，目前用戶IO、內存和CPU監控全部可以實現對簡單作業和復雜作業的監控，同時CPU監控數據也已經修復為用戶維度。用戶資源監控信息中，DN上顯示當前DN資源監控信息，CN上顯示的是集群內所有DN資源監控信息的累積和。受限于版本規劃，當前暫不支持一個視圖查詢所有實例上用戶資源監控信息以及資源傾斜情況。

用戶資源實時監控視圖：pg_total_user_resource_info；

用戶資源歷史監控表：gs_wlm_user_resource_history；

用戶資源監控在最新版本修改較少，其他細節參考產品文檔，這里不做贅述。

2. 資源池資源監控

多租戶管理框架下，用戶關聯資源池執行查詢，用戶執行查詢占用的資源將匯總至關聯資源池上，通過資源池監控視圖用戶可以直觀的查詢到所有資源池的實時資源使用情況，同時也可以通過資源池監控歷史表查詢資源池資源的歷史使用情況。

資源池監控數據每5s更新一次，但是因為CN和DN時間差，實際監控數據更新時間可能會大于5s，正常不會超過10s。資源池監控數據每30s持久化一次，資源池監控和用戶監控邏輯基本一致，因此共用GUC參數控制持久化和老化，使用GUC參數enable_user_metric_persistent控制是否進行資源池監控數據持久化，使用GUC參數user_metric_retention_time控制資源池監控數據老化。

資源池實時運行信息監控視圖(單CN)：GS_RESPOOL_RUNTIME_INFO；

資源池實時運行信息監控視圖(所有CN)：PGXC_RESPOOL_RUNTIME_INFO；

資源池實時資源監控視圖(單CN)：GS_RESPOOL_RESOURCE_INFO；

資源池實時資源監控視圖(所有實例)：PGXC_RESPOOL_RESOURCE_INFO；

資源池歷史資源監控表(單CN)：GS_RESPOOL_RESOURCE_HISTORY；

資源池歷史資源監控視圖(所有實例)：PGXC_RESPOOL_RESOURCE_HISTORY。

數據倉庫服務 GaussDB(DWS)

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。