【云小課】應(yīng)用平臺(tái)第7課 Kafka Manager，您的Kafka界面管理專家

Kafka是一個(gè)擁有高吞吐、可持久化、可水平擴(kuò)展、支持流式數(shù)據(jù)處理等多種特性的分布式消息流處理中間件，采用分布式消息發(fā)布與訂閱機(jī)制，在日志收集、流式數(shù)據(jù)傳輸、在線/離線系統(tǒng)分析、實(shí)時(shí)監(jiān)控等領(lǐng)域有廣泛的應(yīng)用。

華為云Kafka服務(wù)是一款基于開(kāi)源社區(qū)版Kafka提供的消息隊(duì)列服務(wù)，向您提供計(jì)算、存儲(chǔ)和帶寬資源獨(dú)占式的Kafka專享實(shí)例。華為云Kafka控制臺(tái)提供購(gòu)買實(shí)例、創(chuàng)建Topic、開(kāi)啟轉(zhuǎn)儲(chǔ)和變更規(guī)格等功能，但是在控制臺(tái)創(chuàng)建Topic時(shí)，Topic中許多參數(shù)無(wú)法設(shè)置，且Topic創(chuàng)建完成后無(wú)法增加分區(qū)數(shù)。

Topic命名規(guī)則：

華為云Kafka控制臺(tái)：創(chuàng)建Topic時(shí)，支持設(shè)置分區(qū)數(shù)、副本數(shù)、老化時(shí)間、是否同步復(fù)制和是否同步落盤。

Kafka Manager：創(chuàng)建Topic時(shí)，支持設(shè)置分區(qū)數(shù)、副本數(shù)、老化時(shí)間、broker接收Topic消息的最大長(zhǎng)度、Topic日志段文件的大小和Topic的壓縮類型等等。

增加分區(qū)數(shù)：

Topic創(chuàng)建完成后，一般出現(xiàn)以下情況時(shí)，需要增加分區(qū)數(shù)。

創(chuàng)建Topic時(shí)，設(shè)置的分區(qū)數(shù)比較小，不滿足業(yè)務(wù)需求。

生產(chǎn)消息的速度遠(yuǎn)遠(yuǎn)大于消費(fèi)消息，導(dǎo)致消息阻塞。

如果您正在遭受以上2個(gè)問(wèn)題的困擾，那就讓我們一起來(lái)學(xué)習(xí)下通過(guò)Kafka Manager創(chuàng)建Topic和增加分區(qū)數(shù)吧。當(dāng)然，Kafka Manager除了這2個(gè)功能，還包括查看集群信息、查看主機(jī)節(jié)點(diǎn)信息和查看消費(fèi)組信息等，本期云小課暫不介紹，感興趣的童鞋戳這里。

使用Kafka Manager前，您需要先購(gòu)買Kafka實(shí)例：戳這里。本期云小課以開(kāi)啟公網(wǎng)訪問(wèn)的Kafka實(shí)例為例介紹，如果未開(kāi)啟公網(wǎng)訪問(wèn)，需要通過(guò)一臺(tái)與Kafka實(shí)例相同VPC和相同安全組的Windows彈性云服務(wù)器訪問(wèn)Kafka Manager。購(gòu)買Kafka實(shí)例后，您可以通過(guò)瀏覽器登錄Kafka Manager，無(wú)需另外安裝。

登錄Kafka Manager

1、在華為云Kafka控制臺(tái)，單擊實(shí)例名稱，進(jìn)入實(shí)例詳情界面。

2、在“實(shí)例信息”中查看Kafka Manager登錄地址、用戶名和密碼。

如果您忘記了密碼，單擊“重置Manager密碼”，修改密碼。

3、在瀏覽器中輸入Kafka Manager登錄地址，彈出登錄對(duì)話框，輸入用戶名和密碼。

創(chuàng)建Topic

在控制臺(tái)創(chuàng)建Topic，Topic中許多參數(shù)無(wú)法設(shè)置。

在華為云Kafka控制臺(tái)創(chuàng)建Topic：

1、在華為云Kafka控制臺(tái)中，單擊實(shí)例名稱，進(jìn)入實(shí)例詳情界面。

2、在“Topic管理”頁(yè)簽，單擊“創(chuàng)建Topic”，輸入以下參數(shù)，單擊“確定”。

參數(shù)

說(shuō)明

系統(tǒng)為您自動(dòng)生成了Topic名稱，您可以根據(jù)需要修改。

創(chuàng)建Topic后不能修改名稱。

設(shè)置Topic的分區(qū)數(shù)，分區(qū)數(shù)越大消費(fèi)的并發(fā)度越大。該參數(shù)設(shè)置為1時(shí)，消費(fèi)消息時(shí)會(huì)按照先入先出的順序進(jìn)行消費(fèi)。

取值范圍：1-20，默認(rèn)值：3

為每個(gè)Topic設(shè)置副本的數(shù)量，Kafka會(huì)自動(dòng)在每個(gè)副本上備份數(shù)據(jù)，當(dāng)其中一個(gè)Broker節(jié)點(diǎn)故障時(shí)數(shù)據(jù)依然是可用的，副本數(shù)越大可靠性越高。該參數(shù)設(shè)置為1時(shí)，表示只有一份數(shù)據(jù)。

取值范圍：1-3，默認(rèn)值：3

Topic中的消息超過(guò)老化時(shí)間后，消息將會(huì)被刪除，老化的消息無(wú)法被消費(fèi)。

取值范圍：1-168，默認(rèn)值：72

指后端收到生產(chǎn)消息請(qǐng)求并復(fù)制給所有副本后，才返回客戶端。開(kāi)啟同步復(fù)制后，需要在客戶端配置acks=-1，否則無(wú)效。

當(dāng)副本數(shù)為1時(shí)，不能選擇同步復(fù)制功能。

同步落盤是指生產(chǎn)的每條消息都會(huì)立即寫入磁盤。

開(kāi)啟：生產(chǎn)的每條消息都會(huì)立即寫入磁盤，可靠性更高。

關(guān)閉：生產(chǎn)的消息存在內(nèi)存中，不會(huì)立即寫入磁盤。

在Kafka Manager創(chuàng)建Topic：

1、在Kafka Manager中，單擊kafka_cluster，進(jìn)入集群詳情界面。

2、單擊“Topic > Create”，進(jìn)入創(chuàng)建Topic界面。

3、輸入以下參數(shù)，單擊“Create”。

參數(shù)

說(shuō)明

Topic名稱，您可以根據(jù)需要修改。

創(chuàng)建Topic后不能修改名稱。

指定一個(gè)時(shí)間間隔，它將用于寫入到日志的數(shù)據(jù)強(qiáng)制進(jìn)行文件同步。

例如：如果這個(gè)值被設(shè)置為1，將在每條消息之后進(jìn)行文件同步。如果是5，將在每5條消息后進(jìn)行文件同步。建議不要設(shè)置這個(gè)值。

如果使用“delete”的保留策略，這項(xiàng)配置就是指在刪除日志之前，日志所能達(dá)到的最大尺寸。

默認(rèn)情況下，沒(méi)有尺寸限制，只有時(shí)間限制。

強(qiáng)制進(jìn)行fsync日志到磁盤的時(shí)間間隔。

例如，如果設(shè)置為1000，那么每1000ms就需要進(jìn)行一次fsync。建議不要設(shè)置這個(gè)值。

Topic的日志保留策略，取值為：delete或者compact。

delete：當(dāng)日志的回收時(shí)間或者尺寸限制到達(dá)時(shí)將丟棄舊的部分。

compact：當(dāng)日志的回收時(shí)間或者尺寸限制到達(dá)時(shí)將壓縮日志。

控制Kafka添加一個(gè)索引入口到它的偏移索引的頻率。

默認(rèn)設(shè)置是確保索引信息大約每4096字節(jié)。更多的索引允許在日志中讀取時(shí)跳躍到離期望的位置更近的地方，但是這樣會(huì)讓索引更大。建議不要設(shè)置這個(gè)值。

顯示“Done”，表示創(chuàng)建成功。

增加分區(qū)數(shù)

創(chuàng)建成功Topic后，分區(qū)數(shù)只支持增加，不支持減少，欲知詳情戳這里。

1、?在Kafka Manager中，單擊“Topic > List”，進(jìn)入Topic列表界面。

2、單擊Topic名稱，進(jìn)入Topic詳情界面。

3、單擊“Add Partitions”，進(jìn)入增加分區(qū)界面。

4、輸入分區(qū)數(shù)，單擊“Add Partitions”。

顯示“Done”，表示分區(qū)增加成功。

增加的分區(qū)數(shù)不能超過(guò)Topic分區(qū)總數(shù)，否則會(huì)增加失敗。不同規(guī)格的Kafka實(shí)例Topic分區(qū)總數(shù)不同，具體戳這里。

云小課 分布式消息服務(wù) Kafka

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。