華為云大數據分析7天訓練營（二）

第二章 大數據發展趨勢和Spark介紹

數據湖探索（Data Lake Insight，簡稱 DLI）是完全兼容 Apache Spark、Apache Flink、openLooKeng（基于 Apache Presto）生態，提供一站式的流處理、批處理、交互式分析的Serverless 融合處理分析服務。用戶不需要管理任何服務器，即開即用。支持標準SQL/Spark SQL/Flink SQL，支持多種接入方式，并兼容主流數據格式。數據無需復雜的抽取、轉換、加載，使用 SQL 或程序就可以對云上 CloudTable、RDS、DWS、CSS、OBS、ECS 自建數據庫以及線下數據庫的異構數據進行探索

作業：1.登錄控制臺 2.選擇隊列 3.創建數據庫 4.創建表? 5.執行SQL查詢語句

1.登錄控制臺

地址： 大數據分析工具_數據湖探索_DLI_大數據計算分析服務-華為云

點擊進入控制臺

2.選擇隊列

① 在“總覽”頁面，單擊左側導航欄中的“SQL 編輯器”或 SQL 作業簡介右上角的“創建作業”，可進入“SQL 編輯器”頁面。

點擊是，創建桶成功

② 在 SQL 編輯器頁面，選擇默認的隊列“default”。

該隊列為服務默認的共享隊列，隊列大小按需分配，自動擴展。用戶在不確定所需隊列大小或沒有可創建隊列空間的情況下，可以使用該隊列執行作業。

3.創建數據庫

①在 SQL 語句編輯區域中，輸入 SQL 語句創建數據庫。如，創建名稱為 DB1 的數據庫：CREATE DATABASE DB1

② 單擊“更多”中的“語法校驗”，校驗成功后，再單擊“執行”。在 SQL 語句編輯區域的下方，顯示執行結果。

勾選同意? 點擊確定

4.創建表

① 在“數據庫”下拉框中，選擇新創建的數據庫 db1。

② 在 SQL 語句編輯區域中，輸入 SQL 語句創建數據表。例如，創建名稱為 Table1 的數據表，數據文件在 OBS 上的路徑為“obs://dli/dli/data.csv ”。

create table table1 (id int, name string) using csv options (path'obs://dli/dli/data.csv')

說明：所使用的數據需先上傳至 OBS 中。假設所使用的數據為如下所示：

id name1 Michael

2 Andy

3 Justin

③ 語法校驗成功后，單擊“執行”。在 SQL 語句編輯區域的下方，顯示執行結果。

注意這里地址寫你自己的obs地址

首先在控制臺搜索obs進入obs

點擊桶名字進入桶詳情頁面 選擇對象? 然后上傳對象將data.csv上傳

點擊data.csv? 之后復制obs路徑 填到path

語法校驗

執行語句

5.執行SQL查詢語句

①在 SQL 語句編輯區域中，輸入查詢語句對數據進行分析。例如：查詢 DB1 數據庫的 Table1 數據表中的 1000 條數據。

SELECT * FROM db1.table1 LIMIT 1000

② 語法校驗成功后，單擊“執行”。在 SQL 語句編輯區域的下方，顯示執行結果。

到此作業完成--記得刪除資源

刪除obs-先刪對象 再刪桶

刪除作業/數據庫/表

附件： data.zip 179B 下載次數：9次

大數據 數據挖掘 機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。