Kafka CPU高排查思路

Top命令查看CPU使用率高的進(jìn)程

su - omm切換到omm用戶，jstack -l 進(jìn)程pid >> 文件路徑

top -H -p 進(jìn)程pid，查看CPU使用率高的線程

"printf "%x\n" 線程號(hào)"，將CPU高的線程號(hào)轉(zhuǎn)換成16進(jìn)制

在jstack文件中搜索16進(jìn)制的線程號(hào)查看具體的導(dǎo)致CPU高的線程來進(jìn)一步分析

集群規(guī)劃不合理

執(zhí)行命令grep -c processor /proc/cpuinfo查看CPU核數(shù)，執(zhí)行df -h命令查看Kafka磁盤掛載數(shù)，建議每個(gè)節(jié)點(diǎn) 磁盤掛載數(shù)<=processor/2，掛載過多磁盤會(huì)導(dǎo)致CPU繁忙。

Kafka配置中查看num.io.threads、num.network.threads、num.replica.fetchers配置，num.io.threads和num.network.threads配置值一般建議是磁盤個(gè)數(shù)的倍數(shù)，但不超過CPU核數(shù)。num.replica.fetchers配置值一般建議不超過5，同步線程數(shù)過多也會(huì)造成CPU繁忙。

分區(qū)設(shè)置不合理：分區(qū)數(shù)一般設(shè)置為節(jié)點(diǎn)個(gè)數(shù)的倍數(shù)，單個(gè)節(jié)點(diǎn)分區(qū)數(shù)不超過2000。如果分區(qū)設(shè)置不合理，所有的生產(chǎn)和消費(fèi)都集中在某個(gè)節(jié)點(diǎn)上，也可能導(dǎo)致CPU過高。

操作系統(tǒng)句柄數(shù)過高

查看操作系統(tǒng)句柄數(shù)：cat /var/log/osinfo/statistics/file-nr.txt

統(tǒng)計(jì)各進(jìn)程打開句柄數(shù)：lsof -n|awk '{print }'|sort|uniq -c|sort -nr

查看進(jìn)程使用句柄數(shù)：lsof -p 進(jìn)程pid | wc -l

如果句柄數(shù)高，排查使用句柄數(shù)高的進(jìn)程是否有句柄泄漏；排查操作系統(tǒng)日志，查看是否存在TCP內(nèi)存溢出等。

C++客戶端版本不兼容

CPU高的線程在獲取元數(shù)據(jù)信息，kafka-request.log日志中大量獲取全部topic的元數(shù)據(jù)信息

jstack信息中CPU高的線程信息如下圖所示：

Request日志開debug后，大量獲取全部Topic元數(shù)據(jù)信息，且耗時(shí)很長(zhǎng)，如下圖所示：

集群中分區(qū)數(shù)很多，CPU長(zhǎng)時(shí)間頻繁處理獲取全部topic及分區(qū)元數(shù)據(jù)信息的請(qǐng)求導(dǎo)致CPU升高。

解決辦法是升級(jí)C++版本到與服務(wù)端對(duì)應(yīng)的版本。

Logstash版本過低與高版本服務(wù)端不兼容

logstash版本過低，請(qǐng)求全部topic的元數(shù)據(jù)信息，21005端口訪問未加權(quán)限的topic，請(qǐng)求全部topic的元數(shù)據(jù)信息導(dǎo)致獲取加了權(quán)限的topic信息時(shí)請(qǐng)求deny，具體表現(xiàn)是kafka-authorizer.log日志中大量請(qǐng)求Deny的日志，如下圖所示：

CPU頻繁處理大量deny請(qǐng)求導(dǎo)致CPU異常升高

解決辦法是升級(jí)Logstash到與服務(wù)端對(duì)應(yīng)的版本。

sssd異常

使用id -Gn名稱返回結(jié)果異常，sssd服務(wù)有問題，如下圖所示：

kafka-authorizer.log日志為大量打印某用戶不屬于kafka組或者kafkaadmin組，如下圖所示：

服務(wù)器的kafka無法正常鑒權(quán)，導(dǎo)致用戶頻繁訪問此服務(wù)器，cpu異常升高。

解決辦法是排查sssd異常的原因并恢復(fù)sssd。

EI企業(yè)智能 FusionInsight

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。