華為云大咖說—大數據應用開發指導

華為云大咖說-大數據應用開發指導

趙軍 華為云MRS服務架構師

這次課程分為三大部分

第一部分：公有云基本概念

第二部分：華為云MRS服務介紹

第三部分：MRS解決方案場景及案例

一公有云基本概念

首先是第一組概念，按照公有云資源池模型可分為Region和AZ。這兩種模式為用戶提供標準化的計算池以構建不同的應用。每個AZ都有自己的獨立空間，因此可以避免連續的故障發生。而對于客戶來講，可以根據需求的不同做出相關選擇。

接下來需要了解的是VPC-虛擬機私有云

VPV就是我們可以訪問的網絡，虛擬機部署在不同的子網?，子網就是網段， 而安全組就類似于防火墻。

ESC 彈性虛擬機

需要注意的是華為虛擬機多種多樣，各種性能都有，考慮成本到成本需求的不同，用戶可以根據自己的業務來選擇相關的EPC。

EVS 云硬盤

EVS是一個模擬盤，不是真正的物理盤。它的好處就是想用什么樣子的磁盤就可以申請什么樣子的磁盤，申請速度非常快。

二華為云MRS服務介紹

隨著信息化和智能化的到來，大家親身體驗到數據呈爆炸式的增長，例如我們每天都會刷威信，刷微博和拍照片等等。還有很多看不到的數據改變，例如智能水表，電表和音響都可以聯網， 時時刻刻都產生各種數據。以往絕大多數企業都會選擇使用Hadoop去解決問題，但是隨著數據種類和數量的轉變，線下部署Hadoop卻也顯現出各種問題。

那MRS 云服務有哪些優點呢？

在數據的處理方面，MRS可以幫助節省成本，因為MRS云服務只有存儲成本沒有計算成本，使用后數據的處理過程被立即釋放效率非常高。

MRS組建的相關技術有哪些呢？

有時候數據很多，那數據到底存放在哪里呢？(利用MRS存儲技術?)

HDFS存儲技術擁有比較智能的高容錯性，認為硬件總是不可靠的。同時高吞吐量會為大文件存儲提供空間，支持存儲的空間也是TB-PB級別的數據。HBase存儲技術可存放海量數據的同時吞吐量也很高，而且能夠同時處理結構化和非結構化的數據，不需要完全擁有傳統關系數據庫所具備的ACID特性。

大數據是怎么來到MRS這個平臺的呢？(利用MRS數據接入技術)

Flume數據接入技術采用流式方式采集和傳送數據，程序配置好后，不需要外部條件觸發的情況下，一直監控數據源就可以源源不斷地采集并且傳送數據到目的地。Kafka數據接入技術的優點是消息持久化到硬盤并且吞吐量高， 系統是分布式的易擴展而且容錯性也很好 。Sqoop數據接入技術的優點是圖形化，高吞吐量，高性能以及安全可靠。

數據怎樣分析以及工作呢？(利用MRS數據分析技術?)

MapRedue數據分析技術的優點是易于編程，同時擁有良好的擴展性和高容錯性。 Hive數據分析技術優點是基于MapReduce的，同時支持多種存儲格式，例如文本ORC/RC File，Hbase，Parquet等等，而且還提供SQL查詢能力。Spark數據分析技術可以基于內存進行快速查詢， 還提供了多種算子，易用性高。

最后MRS流式技術更好地為用戶服務

Storm流式技術依靠事件驅動，可以連續查詢。數據在應用時先計算不存儲。響應是實時的，延遲很低。SparkStreaming 流式技術吞吐量高，容錯能力強。

三MRS實際應用場景以及應用案例

場景1：海量數據的分析計算和準實時查詢

場景2：低時延流式處理

案例1：助力內部客戶實現智能CBG運維和BI

案例2：離線數據處理場景(分析與預測)

此外，同學們通過相關的學習，提出了不少反思問題。

問題1：自己用虛擬機搭建的集群用來學習可不可以？

回答1：不太建議自己搭建，自己搭建比較費時費力。用MRS搭建很方便，而且價格便宜費用在2元一小時左右。

問題2：現在國內有阿里云 騰訊云，國外有微軟云 AWS 谷歌云等，現在華為云的優勢方面能說一下嘛？就是選擇華為云而不選擇其他的？

回答2：簡單點說我們現在就是恪守邊界，上不碰應用下不碰數據。而華為最大的優勢就在于提供一個平臺，可以讓更多的伙伴參與進來。

問題3：大數據上云背后是基于什么上云的？是虛擬機還是容器？

回答3：目前是基于虛擬機機，此外還支持本地盤的應用。

最后感謝大家的參與，大家可以關注華為云DevCloud官方微信，回復“大數據指導”，獲取今晚PPT。也歡迎大家持續關注華為云DevCloud直播間，關注后續課程，學知識，領禮品~

視頻l連接：https://m.qlchat.com/wechat/page/topic-intro?topicId=00003012106091

以上文字內容由【內容眾創興趣小組-Tom forever】整理

大數據開發 彈性云服務 大數據 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。