華為云實時流計算日志分析實踐

CS介紹

大數據計算，實時性越強，越有價值。數據隨著時間增長價值迅速衰減，數據永遠是臨時的，而分析永遠是有時效性的。實時的產品推薦，實時的產品質量反饋，在線風險分析。都可以是數據產生極大的價值。華為云實時流計算服務，打造最優秀的云上實時流計算平臺，為客戶創造前所未有的極致體驗。

實時流計算服務，簡稱CS，采用全托管的服務方式，使得用戶無需感知計算集群。只需聚焦于Stream SQL業務，即時執行作業，就可以完成實時流計算的數據分析。

適用場景

CS服務的使用，聚焦于互聯網和物聯網場景，適用于實時性要求高、吞吐量大的業務場景。主要應用在互聯網行業中小企業、物聯網、車聯網、金融反欺詐等多種行業應用場景，如互聯網汽車、日志在線分析、在線機器學習、在線圖計算、在線推薦算法應用等。

實驗介紹

本示例從DIS數據源讀取數據，實時分析日志信息，向OBS輸出源寫數據。通過本示例，你會學習到：

創建并運行Flink SQL應用

完成“日志分析”示例場景

創建DIS通道

進入DIS控制臺，點擊右側 購買接入通道 ，創建一個DIS通道：注意選擇通道所在 區域為北京一 , 數據源類型 選擇 CSV ，通道名稱 填寫 input-dis 。

最終完成參考如下圖：

創建OBS桶

區域北京一

桶名稱自定義，本示例為：outputs-obs

存儲類型：標準存儲

桶策略：私有

創建完畢后，打開OBS桶，新建文件夾，名稱為logInfos

創建Flink SQL作業

登錄實時流計算CS控制臺，點擊新建作業，輸入自定義名稱，選擇模板? [云生態]DIS-CS-OBS樣例模板，點擊確認

確認完畢后，在編輯處，如果以上名稱全部按照本文檔命名，那么這里不需要做任何修改。可以直接看下一步。

如果DIS名稱不一致，修改如下channel參數，為你自己設定的名稱

如果OBS名稱不一致，只需要修改obs_dir 參數，目錄指向自己obs目錄名稱，本示例為"outputs-obs/logInfos", 如下圖

修改完畢后，點擊“語義校驗”提示無錯誤后，點擊提交按鈕。

注意，右側參數SPUs? 2 并行數1保持默認即可，不需要修改。最后核對信息如下；確認無誤后，點擊確認按鈕

發送DIS數據

使用DIS Agent向云上DIS通道發送CSV結構的數據，DIS Agent是一個本地運行的代理，監控本地文件變化，一旦文件中有新的數據追加，就會即時把新增的數據發送到DIS通道中，類似flume。

啟動DIS Agent步驟：

1.?????? 下載DIS Agent Url：https://dis-publish.obs-website.cn-north-1.myhwclouds.com/dis-agent-1.1.0.zip

2. 本地解壓

3. 修改 conf/agent.yml

4. 啟動 DIS Agent : Linux環境 bin/start-dis-agent.sh ； Windows環境 bin/start-dis-agent.bat

修改conf/agent.yml參數指導：

AK、SK

ak/sk:進入console控制臺->右上角 我的賬號 選擇"我的憑證"-> "管理訪問秘鑰"->"新增訪問秘鑰"

projectId

進入console控制臺->右上角 我的賬號 選擇"我的憑證"-> "項目列表"中選擇"cn-north-1"對應的"項目ID"

DISStream DIS創建的名稱

filePattern填寫數據文件所在的路徑，參考示例如下：D:/disagent-cw/dis-agent-1.1.0/data/*.log

注意：目錄間隔符為/ ，并不是\，因為直接從windows路徑中復制會成為\

剩余其他參數不需要變化。修改完畢后注意保存。

發送DIS數據

本示例下的是python程序,文件名稱為send.py ,windows主機前提是安裝了python程序才可以執行：

import time

for idx in range(10000):

with open("test.log", mode = "a+") as f:

f.write("api.huaweicloud.com||45.249.212.44||15421010072.675||200||651||228||POST

/x/report/heartbeat HTTP/1.1||-||Mozilla/5.0 (Windows NT 6.0; rv:34.0) Gecko/20100101

Firefox/34.0||-||200||0.033||-.918nw0fj-||0.033||140.206.227.10:80" + "\n" +

"api.huaweicloud.com||45.249.212.52||15421010072.875||200||651||228||POST /details/jobs

HTTP/1.1||-||Mozilla/5.0 (Windows NT 6.0; rv:34.0) Gecko/20100101 Firefox/34.0||-

||200||0.033||-.918nw0fj-||0.033||140.206.227.10:80" + "\n")

time.sleep(60)

啟動程序

以上內容編輯完成后，需要將send.py 放到之前在agent.yml中filePattern參數指定的目錄路徑下執行點擊send.py 啟動程序；本文示例路徑為D:/disagent-cw/dis-agent-1.1.0/data/

send.py啟動截圖（上圖）

啟動python程序后，再啟動DIS Agent程序，DIS Agent : Linux環境 bin/start-dis-agent.sh ； Windows環境 bin/start-dis-agent.bat

DIS Agent啟動截圖（上圖）

登錄到obs控制臺，查看產生的數據。并且我們可以下載下來，打開查看

打開log_out.1文件如下截圖：

我們也可以在cs任務列表中進行查看任務

資源刪除

如果您已經完成本示例，記得刪除以下資源，以免資源繼續產生費用，首先刪除CS的Flink SQL作業，然后刪除DIS通道，最后刪除OBS桶，刪除obs桶需要先刪除桶內的數據，才能刪除桶。

實時流計算服務 CS

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。