HBase（十一）集群監(jiān)控

Hbase使用hadoop的監(jiān)控框架，基于MetricsContext的可用的實現(xiàn)：

GangliaContext：指標推送到Ganglia

FileContext：指標寫入磁盤文件

TimeStampingFileContext：寫入文件的同時，加入時間戳前綴

CompositeContext：可以多管道，如寫入Ganglia和文件

NullContext：關(guān)閉監(jiān)控

NullContextWithUpdateThread：不生成監(jiān)控指標，但是啟動聚合統(tǒng)計線程。用于JMX監(jiān)控。

Hbase內(nèi)部用MetricsBase容器類跟蹤，其包含各種消息發(fā)生的鉤子。

集成配置文件是hadoop-metrics.properties，針對Ganglia和JMX等有不同的配置。

Nagios集成可以通過JMX媒介。

Master實際并不干什么活，所以監(jiān)控的指標遠遠小于region server：

cluster requests：集群請求數(shù)，匯總所有region server的數(shù)據(jù)。

split time：重啟后拆分WAL的時間

split size：查分WAL的大小。

region服務器要監(jiān)控的指標較多，大概分6類

塊緩存策略類似oracle的數(shù)據(jù)塊緩存的策略，后續(xù)讀取使用邏輯讀而不是物理讀。底層是HFile從HDFS讀取的塊，內(nèi)存不足時會被清除。

count：當前緩存的數(shù)據(jù)塊數(shù)量

site：當前緩存占用java heap大小

free：當前緩存還可以用多少heap

evicted：內(nèi)存滿需要被清除的塊數(shù)目

hit：緩存命中

miss：緩存失效

hit ratio：緩存命中率

合并監(jiān)控類指標，要合并成功后才更新，是個持久更新的指標，并不復位。

compaction size：要合并的存儲文件總大小，單位byte

compaction time：合并操作總時間

compaction queue size：監(jiān)控一個region server有多少文件在排隊等待合并

memstore size MB：server上所有memstore占用的總heap大小。

flush queue size：將要被flush到磁盤的region數(shù)目。

flush size：flush到磁盤的大小，持續(xù)統(tǒng)計值，單位byte

flush time：flush所占用的時間，持續(xù)統(tǒng)計值

store files：當前server所有存儲文件的數(shù)目

stores：（沒搞清楚和上一個指標有啥區(qū)別）

store file index size MB：所有文件中，塊索引和元數(shù)據(jù)索引的總大小

fs read latency：文件系統(tǒng)讀延時，單位ms

fs write latency：文件系統(tǒng)寫延時，單位ms

fs sync latency：WAL同步到文件系統(tǒng)的延時，單位ms

read request count：讀，如get的數(shù)量

write request count：寫，如put的數(shù)量

requests：每秒請求數(shù)，定時輪詢更新數(shù)據(jù)。

regions：當前server在線region數(shù)目。

主要監(jiān)控client和server間的RPC交互，這個監(jiān)控在master和region server上看到的是一樣的，因為是共享一套監(jiān)控系統(tǒng)。

區(qū)分master和region，會在region相關(guān)的API操作增加region后綴。

所有API基本都會監(jiān)控，有兩個和API無關(guān)的監(jiān)控單獨說一下：

RPC Processing Time：服務端執(zhí)行RPC消耗的時間，會統(tǒng)計所有RPC調(diào)用時間，取平均值

RPC Queue Time：RPC排隊時間，即操作到達和實際執(zhí)行的時間差

監(jiān)控內(nèi)存類，如堆和非堆內(nèi)存使用情況

GC類，主要是gc數(shù)，和gc時間，注意gc時間過長引起的zk租期超時的假死問題

線程類，如新建、運行、阻塞線程的情況

錯誤日志，監(jiān)控error的日志。

這類監(jiān)控更多用來核對配置和系統(tǒng)信息，如hbase 版本、編譯時間等等。

轉(zhuǎn)載請注明出處：華為云博客 https://portal.hwclouds.com/blogs

hbase

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。