【我的物聯網成長記5】如何進行物聯網大數據分析？

在物聯網時代，數量龐大的“物”會產生PB級的海量數據，傳統的數據處理服務的處理速度已無法跟上數據產生的速度。如果沒法及時分析與利用這龐大的物聯網設備數據，就無法將數據的價值最大化，大數據分析能力的建設對物聯網企業來說又成為了一個新的挑戰。針對這種情況，大數據處理服務應運而生。服務提供商提供大數據處理平臺，為企業消除了大數據處理的效率問題和可靠性問題，讓企業能夠專注于物聯網數據的分析與利用。

----------方案總覽----------

物聯網大數據根據數據類型的不同，分析方式也不同。

實時數據

有些數據的實時性很強，如果沒有及時分析處理就會失去價值，甚至可能造成損失，我們稱之為實時數據。典型的實時數據包括設備位置信息、設備實時狀態等，應用于實時監控、實時告警等場景，例如，車輛實時上報位置數據，實時分析后呈現到交通監控中心的大屏上，交通專家根據實時數據下達各種交通控制決策，如紅綠燈時間調整等。為了實現高實時性，我們可以采用實時流分析方案，從物聯網平臺對外的數據通道中實時提取流動數據，分析和處理之后再輸出至數據通道繼續流轉，保證呈現的數據永遠是最“新鮮”的。

時序數據

有些數據實時性沒那么強，但是和時間順序強相關，分析后的數據需要分類后按時序儲存，并提供按時序瀏覽、查詢數據的能力，我們稱之為時序數據。典型的時序數據包括設備移動軌跡、股票價格曲線等，應用于行為分析、趨勢預測等場景，例如，基于物聯網的公路監控系統保存了近期所有車輛的行駛軌跡，警方可隨時從中提取指定嫌疑人車輛的形式的軌跡，推測出嫌疑人的目的地，從而進行包抄逮捕。時序數據的分析一般依賴于時序數據庫，數據保存至時序數據庫進行分類與排序，再由其他應用或服務從數據庫中獲取進行進一步處理。

離線數據

還有一些數據，對于實時性和有序性的要求都沒那么強，分析時數據已經固化，我們稱之為離線數據。典型的離線數據包括產品銷量數據、景點游客數據等，應用于統計分析，總結盤點等場景，例如，物聯網平臺將自動售貨機上報的銷售數據匯總后保存，然后定期使用大數據分析平臺分析銷售數據，以報表形式呈現給廠家，協助廠家進行銷售策略的調整。離線分析的挑戰主要在于龐大的數據量，一般會采用分布式處理的方案來提升海量數據分析的效率。

在本文中，我們將為您重點介紹實時分析和離線分析兩種方案，時序分析方案我們下次再分享（具有物聯網時序分析能力的華為云數據分析服務后續也將上線，敬請期待）。

--------實時分析方案--------

首先，讓我們了解一下這個方案使用的服務。

設備接入服務：設備接入是華為OceanConnect物聯網平臺對海量設備進行聯接、數據采集/轉發、遠程控制的云服務。可實現海量設備與云端之間雙向通信連接、設備數據采集上云，支持上層應用通過調用API遠程控制設備，還提供了與華為云其他云服務無縫對接的規則引擎，可應用于各種物聯網場景。設備接入服務還可以搭配設備管理服務使用，可實現產品模型定義、設備生命周期可視化管理，提供強大的面向行業應用開放能力，幫助企業快速構建創新的物聯網業務。

數據接入服務（DIS）：數據接入服務（Data Ingestion Service）為處理或分析流數據的自定義應用程序構建數據流管道，主要解決云服務外的數據實時傳輸到云服務內的問題。數據接入服務每小時可從數十萬種數據源（如IoT數據采集、日志和定位追蹤事件、網站點擊流、社交媒體源等）中連續捕獲、傳送和存儲數TB數據。

實時流計算服務（CS）：實時流計算服務（Cloud Stream Service），是運行在公有云上的實時流式大數據分析服務，全托管的方式用戶無需感知計算集群，只需聚焦于Stream SQL業務，即時執行作業。

對象存儲服務：對象存儲服務（Object Storage Service，OBS）是一個基于對象的海量存儲服務，為客戶提供海量、安全、高可靠、低成本的數據存儲能力，包括：創建、修改、刪除桶，上傳、下載、刪除對象等。其中對象是OBS中數據存儲的基本單位，用戶上傳至OBS的數據都以對象的形式保存在桶中，而桶是是OBS中存儲對象的容器。

數據倉庫服務（DWS）：數據倉庫服務（Data Warehouse Service）是一種基于公有云基礎架構和平臺的在線數據處理數據庫，提供即開即用、可擴展且完全托管的分析型數據庫服務。DWS是基于華為融合數據倉庫GaussDB產品的云原生服務，兼容標準ANSI SQL 99和SQL 2003，同時兼容PostgreSQL/Oracle數據庫生態，為各行業PB級海量大數據分析提供有競爭力的解決方案。

數據可視化服務（DLV）：數據可視化服務（Data Lake Visualization）是一站式數據可視化平臺，適配云上云下多種數據源，提供豐富多樣的2D、3D可視化組件，采用拖拽式自由布局，旨在幫助您快速定制和應用屬于您自己的數據大屏。

該方案的數據流向如下：

物聯網平臺將設備上報的數據通過規則引擎功能轉發至數據接入服務（DIS）。

實時流計算服務（CS）從DIS的通道中獲取實時數據，通過SQL語句分析并處理后，再寫入另一個DIS通道。

DIS以對象存儲服務（OBS）為中介將分析結果轉儲至數據倉庫服務（DWS）。

數據可視化服務（DLV）讀取分析結果呈現為可視化報表。

實現該方案，您需要進行以下操作：

在DWS中創建一個集群并完成基本配置。

創建兩條DIS通道，我們分別稱之為輸入通道和輸出通道，然后為輸出通道創建一個轉儲任務，將數據轉儲至DWS的集群。轉儲時會使用OBS桶臨時存儲轉儲數據，若沒有OBS桶請創建一個。

在設備接入服務中創建一條規則，將設備上報數據轉發至DIS的輸入通道。

在CS中創建一個作業，實現從DIS輸入通道中獲取數據，分析處理后輸出至DIS輸出通道的功能。

在DLV中創建數據連接從DWS中獲取數據，再創建數據大屏將數據可視化展示。

將上報數據的設備接入物聯網平臺（設備接入服務），并控制其上報數據。

詳細操作指導請參考各個服務的幫助文檔，本文不再贅述。

--------離線分析方案--------

首先，讓我們了解一下這個方案使用的服務，前面已經介紹過的服務此處不再重復介紹。

MapReduce服務：MapReduce服務（MRS）是一個在華為云上部署和管理Hadoop系統的服務，一鍵即可部署Hadoop集群。MRS提供租戶完全可控的企業級大數據集群云服務，輕松運行Hadoop、Spark、HBase、Kafka、Storm等大數據組件，并具備在后續根據業務需要進行定制開發的能力。

該方案的數據流向如下：

物聯網平臺將設備上報的數據通過規則引擎功能轉發至數據接入服務（DIS）。

DIS使用對象存儲服務（OBS）作為中介，再將數據轉儲至MapReduce服務（MRS）。

MRS從OBS獲取用戶定制的分析程序包，運行程序分析數據，并保存分析結果（可寫入持久化數據庫或寫成文件）。

數據可視化服務（DLV）讀取分析結果呈現為可視化報表。

實現該方案，您需要進行以下操作：

在MRS中創建一個Hadoop分析集群。

參考MRS的開發指南開發一個大數據分析程序，實現讀取JSON格式的數據分析并處理，然后寫入本地數據庫或者寫成文件存到OBS。程序開發完成后需打包成JAR文件并上傳至OBS桶，若您沒有OBS桶請創建一個。

創建一條DIS通道，然后為該通道創建一個轉儲任務，將數據轉儲至MRS的集群。

在設備接入服務中創建一條規則，將設備上報數據轉發至DIS的通道。

將上報數據的設備接入物聯網平臺（設備接入服務），并控制其上報數據。

在MRS中創建一個作業，執行OBS桶中的大數據分析程序。

在DLV中創建數據連接從MRS數據庫或OBS中讀取數據，再創建數據大屏將數據可視化展示。

詳細操作指導請參考各個服務的幫助文檔，本文不再贅述，但針對這個方案中的其中一種場景，我們提供了包含詳細操作步驟和代碼樣例的物聯網微認證，若您感興趣，可購買微認證快速體驗物聯網大數據分析流程。

>>點我訪問微認證頁面

下期預告：【我的物聯網成長日記6】由淺入深了解NB-IoT

IoT 物聯網 IoT 大數據

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。