Storm集群的監(jiān)控與管理

Storm集群的監(jiān)控與管理

主機(jī)信息監(jiān)控:

對主機(jī)信息進(jìn)行監(jiān)控

Ganglia分布式監(jiān)控系統(tǒng)：CPU負(fù)載、內(nèi)存負(fù)載、硬盤利用率、I/O負(fù)載、網(wǎng)絡(luò)流量等等（開源）

Zabbix:進(jìn)程監(jiān)控，當(dāng)發(fā)現(xiàn)Nimbus、supervisor等進(jìn)程掛掉后，可以重啟并報警（開源）

日志監(jiān)控:

對nimbus和supervisor進(jìn)程進(jìn)行監(jiān)控

當(dāng)任務(wù)失敗時，可以通過輸出Debug級日志，查看相關(guān)日志文件（nimbus.log, supervisor.log , worker.log …)，定位具體的失敗原因。

日志等級（從低往高）：

TRACE,

DEBUG,

INFO,

WARN,

ERROR,

FATAL

下圖是nimbus上的日志:

下圖是supervisor上的日志:

可以通過日期找到相應(yīng)的日志文件，然后排查問題。

Storm UI

也可以通過storm ui的web頁面查看當(dāng)前任務(wù)的狀態(tài)，前面有描述。

HTTP 任務(wù)調(diào)度

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。