【云知易】Cloud Stream實時流計算服務 入門 01 快速入門

本文為大家介紹如何快速使用Cloud Stream實時流計算服務?；玖鞒倘缦拢?/p>

1.???????? 準備數據源和數據輸出通道

2.???????? 準備對象存儲服務

3.???????? 申請實時流計算服務

4.???????? 創建并提交作業

5.???????? 從數據源接入實時數據

6.???????? 查看作業信息及運行結果

7.???????? 刪除作業

為了方便大家了解使用過程，我們將通過一個簡單的樣例，介紹如何快速使用Cloud Stream服務。

樣例場景為實時錄入學生科目成績并輸出成績大于90分的學生信息。

針對該場景，我們需要創建一個作業，并且該作業有一個輸入流和一個輸出流。輸入流用于實時錄入學生科目成績，輸出流用于輸出成績大于90分的學生信息。

準備數據源和數據輸出通道

首先，我們要為樣例作業開通如下所示的兩個DIS（數據接入服務）通道，分別用作作業的數據源和數據輸出通道，且DIS通道必須與Cloud Stream服務的作業處于同一個區域。具體操作請參見DIS服務的“用戶指南?>?操作指南?>?使用DIS >?開通DIS通道”。

?????????????用于作業輸入流的DIS通道：

通道名稱：csinput

分區數量：3

數據轉儲：無

?????????????用于作業輸出流的DIS通道：

通道名稱：csoutput

分區數量：3

數據轉儲：無

準備對象存儲服務

如果新建作業時，需要為作業存儲運行日志、保存checkpoint信息或存放調試數據，則需要先在對象存儲服務（OBS）中申請一個OBS桶，且OBS桶必須與Cloud Stream服務的作業處于同一個區域。

如果您已經申請了OBS桶，可以跳過這一步。

在本樣例中，需要申請一個OBS桶。示例如下：

區域：中國華北區1

桶名稱：smoke-test

存儲類別：標準存儲

申請實時流計算服務

用戶可以在Cloud Stream服務的管理控制臺頁面，申請實時流計算服務。

步驟 1???? 在瀏覽器中訪問公有云網站www.huaweicloud.com。

步驟 2???? 單擊頁面右上角的“控制臺”，然后輸入帳號、密碼登錄。

如您尚未注冊公有云，可單擊“免費注冊”，根據界面提示注冊一個公有云帳號。

步驟 3???? 在管理控制臺首頁，選擇“所有服務 > 數據分析 > 實時流計算服務”，進入Cloud Stream管理控制臺。

步驟 4?????在Cloud Stream管理控制臺頁面單擊左上角的，選擇區域，如“中國華北區1”。

步驟 5?????單擊“申請實時流計算服務”，進入“申請實時流計算服務”頁面。

步驟 6?????勾選“我已閱讀并同意《華為云數據接入服務協議》”?和“《華為云用戶協議》”，然后單擊“申請”。

步驟 7?????申請實時流計算服務成功后，系統將自動跳轉到“概覽”頁面，如下圖所示。

創建并提交作業

使用實時流計算服務，首先要創建一個作業，假設創建一個名稱為“JobSample”的作業。

步驟 1?????在Cloud Stream管理控制臺的左側導航欄中，單擊“作業管理”，進入“作業管理”頁面。

步驟 2?????單擊“新建”，彈出“新建作業”頁面，配置作業信息，如下圖所示：

步驟 3?????單擊“確認”，進入“編輯”頁面，在SQL語句編輯區域中會顯示“默認”模板的SQL語句。

步驟 4?????在SQL語句編輯區域中，可以根據作業的實際需要，編寫SQL語句。在本樣例中，我們使用“默認”模板的SQL語句即可，具體SQL語句如下所示：

/**? ???*?該示例從DIS讀取數據并將查詢結果寫入DIS? ???*?>>>>>>>>>>>>>>>>>>>>請務必確保您的賬戶下已在數據接入服務（DIS）里創建了您配置的通道<<<<<<<<<<<<<<<<<<<?90;

SQL語句主要包含3個部分：

l??創建輸入流：流定義中的字段信息需要與往入流DIS通道錄入的數據格式一致。流定義的with中的參數需要與入流DIS通道的信息一致。

l??創建輸出流：流定義中with中的參數需要與用作出流的DIS通道的信息一致。

l??業務邏輯：根據需求場景編寫SQL語句，并將結果數據插入到出流。

步驟 5?????SQL語句編寫完成后，單擊“語義校驗”，驗證SQL正確性。

只有語義校驗成功后，才可以執行“調試”、“提交”或“啟動”作業的操作。

如果校驗成功，提示“SQL語義校驗成功”。

如果校驗失敗，會在錯誤的SQL語句前面顯示紅色的“X”記號，鼠標移動到“X”號上可查看詳細錯誤，請根據錯誤提示修改SQL語句。

步驟 6?????在“編輯”頁面的右側?“運行參數設置”頁簽，設置運行參數。如下圖所示：

步驟 7?????單擊“調試”，“編輯”頁面右側自動跳轉到“調試參數設置”頁簽，配置調試參數，然后單擊“開始調試”。

在本樣例中，“數據輸入方式”設置為“手動錄入”，?您也可以設置為“OBS”方式，前提是需要先將測試數據存放到配置項“數據轉儲地址”指定的OBS桶中。

調試成功會彈出“調試結果”頁面。

如果調試結果符合預期，說明作業可以正常運行。

如果調試結果不符合預期，說明作業業務邏輯可能存在問題，請修改SQL語句后再重新調試。

步驟 8?????單擊“保存”，保存作業和相關參數。

步驟 9?????單擊“提交”，此時顯示“作業費用清單”頁面，公測期間是免費的，單擊“確認”，將作業提交并啟動。

提交作業后，系統將自動跳轉到“作業管理”頁面，新創建的作業將展現在作業列表中，在“狀態”一列中可以查看作業狀態。

作業狀態為“提交中”，表示作業正在提交，請耐心等待。提交成功后，作業狀態變為“運行中”。

如果作業狀態為“提交失敗”或“運行異常“，表示作業提交或運行失敗。請在作業列表中，單擊作業名稱“JobSample”，然后單擊“調試日志”，查看作業運行日志。請根據日志解決故障后，再重新提交作業。

從數據源接入實時數據

前面已經申請了DIS通道作為數據源，提交作業成功后，用戶就可以將數據通過DIS通道不斷上傳至DIS服務，實現向Cloud Stream服務的作業提供實時流數據源。在本樣例中，我們將構造本地數據并上傳至DIS通道“csinput”， 具體操作請參見DIS服務的“用戶指南 > 操作指南 > 使用DIS > 發送數據到DIS服務”。

樣例數據示例如下，錄入學生科目成績，每條記錄包含4個字段，即學號、姓名、科目、成績：

1,zhangxx,math,95

2,lixx,math,90

3,wangxx,math,85

4,chenxx,math,92

查看作業信息及運行結果

步驟 1?????作業提交后，在“作業管理”頁面的作業列表中，單擊作業名稱“JobSample”，可以查看作業的詳細信息。

具體可以查看作業詳情、儀表盤、執行計劃、任務列表、審計日志和調試日志。

步驟 2?????如果用戶需要查看作業的輸出結果，需要到DIS上查看用于作業輸出流的DIS通道上的數據，詳細操作請參見DIS的“用戶指南?>?操作指南?>?從DIS?服務獲取數據”。

刪除作業

樣例作業運行成功后，如果不再需要本樣例作業，可以將它刪除，以免浪費資源或占用配額。刪除作業步驟如下：

步驟 1?????在Cloud Stream管理控制臺的“作業管理”頁面，在作業列表中，找到名稱為“JobSample”的作業所在行，在“操作”一列中單擊“更多”，再單擊“刪除”。

步驟 2?????在彈出的確認對話框中，單擊“確認”完成操作。

更多內容，請參見Cloud Stream實時流計算服務的幫助中心（http://support.huaweicloud.com/cs/index.html）。

云知易

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。