使用DLI Flink SQL進行電商實時業(yè)務(wù)數(shù)據(jù)分析的操作感想

參加華為云大數(shù)據(jù)分析7天訓練營，學習《第四章 項目實踐：使用DLI Flink SQL進行電商實時業(yè)務(wù)數(shù)據(jù)分析》，除了根據(jù)操作文檔步驟和https://bbs.huaweicloud.com/blogs/269814（使用DLI Flink SQL進行電商實時業(yè)務(wù)數(shù)據(jù)分析）的操作博客來做，還可以根據(jù)自己現(xiàn)有的服務(wù)器，搭建mysql和kafka來減少實驗的操作費用。

1.雖然已經(jīng)部署了k8s，但是因NFS存儲有點問題，為了避免麻煩部署docker版的mysql，但是要特別注意mysql5.7的版本，要mysql:5.7.30以上的版本才能支持arm64，如果是之前的版本會報下面的錯誤。

還有記得把mysql容器的文件/etc/mysql/mysql.conf.d/mysqld.cnf拷貝出來，修改字符如下：

[mysqld]

character_set_server=utf8

[client]

default-character-set=utf8

修改完成后拷貝到容器的相關(guān)目錄里，記得要重啟mysql容器。

2.部署docker版的kafka，經(jīng)過mysql的經(jīng)驗，要找支持arm64的docker版kafka。

2.1先部署支持arm64的zookeeper，命令如下：

docker pull pi4k8s/k8szk:v3.4.14

docker run -itd --name zookeeper -p 2181:2181 -e ZK_REPLICAS=1 -e ZK_HEAP_SIZE=512M --hostname=zk-1 -v /opt/moudles/zookeeper/data:/var/lib/zookeeper -v /opt/moudles/zookeeper/log:/var/log/zookeeper pi4k8s/k8szk:v3.4.14 /bin/bash -c "/usr/bin/zkGenConfig.sh && /usr/bin/zkServer.sh start-foreground"

2.2部署支持arm64的kafka

docker pull iecedge/cp-kafka-arm64:5.0.1

docker run -d --name=kafka -p 1099:1099 -p 9092:9092 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.146:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.146:9092 -e KAFKA_JMX_PORT=1099 -e KAFKA_JMX_HOSTNAME=192.168.0.146 -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 -e KAFKA_HEAP_OPTS="-Xmx512M -Xms512M" -v /opt/moudles/kafka/data:/var/lib/kafka/data iecedge/cp-kafka-arm64:5.0.1

2.3部署完后，下載kafka的源碼包：

cd /opt/softwares

wget? https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

tar zxf /opt/softwares/kafka_2.12-2.3.0.tgz -C /opt/modules/

cd /opt/modules/kafka_2.12-2.3.0/bin

2.4 創(chuàng)建topic

./kafka-topics.sh --create --zookeeper 192.168.0.146:2181 --replication-factor 1 --partitions 1 --topic trade_order

2.5查看創(chuàng)建topic的數(shù)目

./kafka-topics.sh --list --zookeeper 192.168.0.146:2181

2.6 kafka生產(chǎn)者

./kafka-console-producer.sh --broker-list 192.168.0.146:9092 --topic trade_order

2.7 kafka消費者

./kafka-console-consumer.sh --bootstrap-server 192.168.0.146:9092 --topic trade_order --from-beginning

3.在根據(jù)手冊添加IP地址：192.168.0.146即可，就是在DLV大屏鏈接數(shù)據(jù)庫的時候，要特別注意的是填寫連接代理時，選擇CDN的DGC-default_xXlycHxY，會默認找到mysql數(shù)據(jù)庫。就會成功連接mysql。

制作好的大屏，可以點擊發(fā)布，獲得分享鏈接：https://console.huaweicloud.com/dlv/vision/share/?id=5b8f49d4f11f4de594a4717c3ff4f634&locale=zh-cn®ion=cn-north-4如圖所示：

通過學習和操作使用DLI Flink SQL進行電商實時業(yè)務(wù)數(shù)據(jù)分析，了解到DLI和DLV不但可以支持華為云上的mysql和kafka產(chǎn)品，還支持在彈性云服務(wù)器搭建mysql和kafka。之前以為docker版的軟件可以跨任何平臺使用，但是通過這一次在鯤鵬服務(wù)器上搭建docker的mysql和kafka，才知道對于cup的X86和arm還是有區(qū)別。

SQL 數(shù)據(jù)可視化 DLV 數(shù)據(jù)挖掘 數(shù)據(jù)湖探索 DLI 鯤鵬

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應(yīng)法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。