Kafka命令行使用指南

創(chuàng)建主題：

./kafka-topics.sh --create --topic topic_zkx --partitions 2 --replication-factor 2 --zookeeper host1:24002/kafka

查看主題：

./kafka-topics.sh --list --zookeeper host1:24002/kafka

修改主題：

./kafka-topics.sh --alter --topic topic_zkx --config max.message.bytes=128000 --zookeeper host1:24002/kafka

查看單個Topic詳細(xì)信息

./kafka-topics.sh --describe --zookeeper host1:24002/kafka --topic topic_zkx

刪除主題：

./kafka-topics.sh --delete --topic topic_zkx --zookeeper host1:24002/kafka

發(fā)布消息：（消息往哪個partition寫？一次只寫一個partition還是同時寫多個partition？）

bin/kafka-console-producer.sh --broker-list host1:21007 --topic topic_zkx --producer.config config/producer.properties

1、指定key值的情況：默認(rèn)hash分區(qū)的方式寫數(shù)據(jù)，也支持自定義分區(qū)

2、不指定key值的情況：輪流往所有的partition里面發(fā)送數(shù)據(jù)

讀取消息：（指定topic而不指定partition的情況下，如何消費(fèi)數(shù)據(jù)？）

bin/kafka-console-consumer.sh --topic topic_zkx --bootstrap-server host1:21007 --new-consumer --consumer.config config/consumer.properties

1、如果消費(fèi)者數(shù)量

2、如果消費(fèi)者數(shù)量>=partition數(shù)量，那么消費(fèi)者只消費(fèi)屬于自己的partition的數(shù)據(jù)。

Question：對消費(fèi)者可見的問題：

實(shí)驗(yàn)現(xiàn)象：生產(chǎn)一條，就能消費(fèi)一條

理論：生產(chǎn)者發(fā)布消息追加到最后一個段文件中，并實(shí)現(xiàn)leader和follower之間的數(shù)據(jù)同步，同步完成后，消息公開給消費(fèi)者。

當(dāng)發(fā)布的消息數(shù)量達(dá)到設(shè)定值或者經(jīng)過一定時間后，段文件寫入磁盤中。

Question3:

Kafka consumer在消費(fèi)數(shù)據(jù)的時候如何得知leader的位置信息？

直接詢問任意存活的broker。

Kafka

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。