從零開始實施推薦系統(tǒng)的落地部署——36.推薦系統(tǒng)案例（二十六）解決DLV的請求響應(yīng)體過長和python連接kafka無數(shù)據(jù)問題

1.在華為云數(shù)據(jù)可視化DLV里，使用WT雙軸線狀圖時，剛開始，顯示數(shù)據(jù)化展示沒有問題，等過了1—2天，出現(xiàn)異常。但是經(jīng)查詢發(fā)現(xiàn)mysql里的數(shù)據(jù)沒有問題，考慮的是不是基礎(chǔ)版的存儲空間不夠的原因，但是在文檔找不到如何查詢DLV的存儲空間。只能提交工單，經(jīng)華為云研發(fā)工程師確認(rèn)，DLV查詢請求返回的數(shù)據(jù)總大小是有限制的。控制的是每個請求響應(yīng)體的長度，不是從數(shù)據(jù)條數(shù)限制的。而且跟DLV版本的無關(guān)。而采集的數(shù)據(jù)是股市交易在4小時里每3秒在獲取一次數(shù)據(jù)，2天內(nèi)獲取9千多條數(shù)據(jù)。做展示的每3秒顯示的效果圖會導(dǎo)致請求項議題長度過長而無法獲取數(shù)據(jù)。根據(jù)推算，1分鐘有20條數(shù)據(jù)，1個小時就有20*60等于1200條數(shù)據(jù)，4小時的數(shù)據(jù)為4800條。所以解決的辦法有2種：（1）統(tǒng)計每天的平均交易額度，這樣能把4800條數(shù)據(jù)合為一條數(shù)據(jù)，這樣就減少請求響應(yīng)體長度，可展示20到30年的數(shù)據(jù)展示。但是有缺點是無法很好展示當(dāng)天的變化效果圖。如左下圖所示（2）不需要減少響應(yīng)體長度，只要控制時間范圍設(shè)置為一天，缺點是只能顯示當(dāng)天的一天數(shù)據(jù)可視化效果圖。如右上圖所示。

2.現(xiàn)在有很多大數(shù)據(jù)的案例都是根據(jù)java或scala開發(fā)的，但是我想統(tǒng)一使用python來開發(fā)，之前選用python-kafka的第三方庫在虛擬機上測試把數(shù)據(jù)寫入到kafka，運行正常，沒有報錯。但是在kafka的消費端無數(shù)據(jù)。已經(jīng)測試過kafka，確保kafka運行沒有問題。

from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='192.168.56.112:9092',key_serializer=str.encode)

producer.send('test',da5)

在找不到原因的情況下，只好使用pykafka把數(shù)據(jù)寫入到kafka消費端。代碼如下：

class operateKafka:

def __init__(self):

myhosts = "kafka1.wuyi.com:9092"

client = KafkaClient(hosts=myhosts)

self.topic = client.topics['test']

在使用命令查看消費之前產(chǎn)生的數(shù)據(jù)./kafka-console-consumer.sh --bootstrap-server kafka1.wuyi.com:9092 --topic share --from-beginning

總結(jié)一下，雖然使用華為云的數(shù)據(jù)可視DLV制作大屏展示比較容易，而且不需要像flask等那樣搭建網(wǎng)站，使用圖表功能只要拖拽到指定的頁面，通過簡單的設(shè)置就可以做出漂亮的數(shù)據(jù)可視圖表。但是我們還是要注意一下，它的請求響應(yīng)體的長度不能過長，否則不能獲取數(shù)據(jù)做展示。對于使用python連接kafka，但遇到像python-kafka那樣找不到原因，那么就需要變通思維，換一種方式去解決。

Kafka Python 數(shù)據(jù)可視化 DLV

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。