Kafka監(jiān)控利器

開發(fā)過(guò)程中，kafka幾乎是標(biāo)配的Mq，如果有一個(gè)kafka的監(jiān)控助手，哪就更完美了，常用的kafka監(jiān)控工具有 KafkaOffsetMonitor 、Kafka Manager、Capillary、Kafka Eagle，經(jīng)過(guò)測(cè)試，最后決定使用Kafka Manager。這篇文章主要介紹Kafka Manager安裝及使用。

硬件環(huán)境：

Centos

kafka-manager-1.3.2.1 為了方便我已經(jīng)分享到百度網(wǎng)盤，點(diǎn)擊下載即可?https://pan.baidu.com/s/1J4B_YnSauUbhtTCHA3y11A

kafka單機(jī)或者集群的運(yùn)行實(shí)例

一、安裝

1.?下載及解壓

在Centos建個(gè)存放Kafka Manager 的文件夾，我的存放目錄中在home下，執(zhí)行如下命令新建文件夾

1

mkdir?/home/kafka-manager

然后轉(zhuǎn)到改目錄，把點(diǎn)擊下載kafka-manager，下載后把壓縮包放到新建的目錄下，執(zhí)行解壓命令

1

unzip kafka-manager-1.3.2.1.zip

可以根據(jù)具體環(huán)境修改配置文件?./conf/application.conf，我的配置信息為

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

# Copyright 2015 Yahoo Inc. Licensed under the Apache License, Version 2.0

# See accompanying LICENSE file.

# This is the main configuration file for the application.

# ~~~~~

# Secret key

# ~~~~~

# The secret key is used to secure cryptographics functions.

# If you deploy your application to several instances be sure to use the same key!

play.crypto.secret="^

play.crypto.secret=${?APPLICATION_SECRET}

# The application languages

# ~~~~~

play.i18n.langs=["en"]

play.http.requestHandler =?"play.http.DefaultHttpRequestHandler"

play.http.context =?"/"

play.application.loader=loader.KafkaManagerLoader

kafka-manager.zkhosts="localhost:2181"

kafka-manager.zkhosts=${?ZK_HOSTS}

pinned-dispatcher.type="PinnedDispatcher"

pinned-dispatcher.executor="thread-pool-executor"

application.features=["KMClusterManagerFeature","KMTopicManagerFeature","KMPreferredReplicaElectionFeature","KMReassignPartitionsFeature"]

akka {

loggers = ["akka.event.slf4j.Slf4jLogger"]

loglevel =?"INFO"

}

basicAuthentication.enabled=false

basicAuthentication.username="admin"

basicAuthentication.password="password"

basicAuthentication.realm="Kafka-Manager"

kafka-manager.consumer.properties.file=${?CONSUMER_PROPERTIES_FILE}

一般為默認(rèn)即可，一切就緒就可以執(zhí)行如下命令啟動(dòng)，

2. 啟動(dòng)

1

nohup?./bin/kafka-manager?-Dconfig.file=./conf/application.conf -Dhttp.port=9111 >kafka-manager.log 2>&1 &

確認(rèn)下是否啟用，執(zhí)行如下命令

1

netstat?-an |grep?9111

結(jié)果顯示，顯示 9111 端口在監(jiān)聽狀態(tài)，說(shuō)明我們的服務(wù)已經(jīng)啟動(dòng)。

在瀏覽器中查看，輸入你的主機(jī)名或者ip+端口即可，顯示如下，即說(shuō)明kafka-manager成功安裝

二、使用

添加kafka

點(diǎn)擊Cluster，選擇添加 Add Cluster 選擇，根據(jù)kafka實(shí)例填寫即可，主要配置ZK，其它信息，根據(jù)業(yè)務(wù)需要改動(dòng)。

我的配置信息如下：

2.?查看信息

1)???????? 集群信息

主要顯示版本信息、Topics、Brokers，點(diǎn)擊Topics數(shù)量或者Brokers數(shù)量即可進(jìn)入相應(yīng)的詳情列表

2)???????? Brokers

主要顯示Topic的操作及列表，及每個(gè)topic的主要信息，點(diǎn)擊具體的topic，即可查看詳情

3)???????? Topics

顯示某個(gè)topic的具體信息，非常的詳細(xì)

4)???????? Consumers

a)???????? 首先我們啟動(dòng)一個(gè)消費(fèi)者，集群中的任何一個(gè)實(shí)例即可，執(zhí)行如下命令

1

./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic **********

**********為消費(fèi)的Topic。

b)???????? 消費(fèi)啟動(dòng)后，點(diǎn)擊Consumers，顯示如下

點(diǎn)擊消費(fèi)者，即可查看該消費(fèi)者的詳細(xì)信息

主要涉及Partition、Logsize、Consumer Offset

關(guān)于kafka-manager就介紹到這里，如果你有更好的監(jiān)控工具，也拿出來(lái)一塊分享吧

云監(jiān)控服務(wù)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。