【華為IoT Openlab】一個圍繞數(shù)據(jù)分析服務(wù)端到端解決方案的體驗

文檔說明

本文檔介紹如何使用華為云IoT云服務(wù)構(gòu)建端到端的解決方案，主要的圍繞華為云數(shù)據(jù)分析服務(wù)（IoTA）展開。

通過本文檔，您可以了解一個基于華為云設(shè)備接入服務(wù)（IoTDA）和IoTA的端到端的解決方案，在文檔中會給出解決方案的簡明集成指導(dǎo)，并且最后給出一個簡單Step-by-Step的demo指導(dǎo)，方便伙伴體驗。

方案說明

解決方案主要基于華為云IoTDA和IoTA。

整體解決方案說明

下面是端（Device）到端（行業(yè)應(yīng)用）的一個解決方案。

其中設(shè)備采集數(shù)據(jù)通過華為云IoTDA上云，本部分數(shù)據(jù)既可以直接推送給行業(yè)應(yīng)用，也可以提供給華為云的IoTA，通過數(shù)據(jù)分析的一系列分析動作后，得出分析結(jié)果，通過華為云數(shù)據(jù)接入服務(wù)（DIS）提供給行業(yè)應(yīng)用。

圖中涉及各模塊的含義請參看下文介紹。

解決方案消息時序簡圖

相關(guān)模塊介紹

設(shè)備介紹

這里的設(shè)備是指各種各樣的物聯(lián)網(wǎng)設(shè)備，設(shè)備具有采集數(shù)據(jù)的能力。

華為云的IoTDA服務(wù)支持設(shè)備通過固網(wǎng)、2G/3G/4G/5G、NB-IoT、Wifi等多種網(wǎng)絡(luò)接入。支持設(shè)備以多種協(xié)議接入，一般通用常見的有MQTT和LWM2M/CoAP，本解決方案以MQTT為主。更多接入方式請參看平臺簡介。

為了加快設(shè)備的快速接入，IoTDA為設(shè)備提供了強大的開放能力。建議您查看設(shè)備接入指引。

設(shè)備接入云服務(wù)（IoTDA）

具體請參看平臺簡介了解。IoTDA提供了設(shè)備接入和設(shè)備管理的兩大塊功能。

在本解決方案中，主要使用其設(shè)備協(xié)議接入、設(shè)備管理、數(shù)據(jù)轉(zhuǎn)發(fā)功能。IoTDA實現(xiàn)了MQTT的協(xié)議，設(shè)備可以通過原生的MQTT協(xié)議和IoTDA通信，并且IoTDA可以將已經(jīng)格式化后的數(shù)據(jù)直接轉(zhuǎn)發(fā)給行業(yè)應(yīng)用或其他云服務(wù)或其他第三方組件，方便進一步分析處理。其中，IoTDA對數(shù)據(jù)進行格式化是通過產(chǎn)品模型特性實現(xiàn)的。

IoTDA能夠?qū)υO(shè)備進行管理，如增刪改查等。

IoTDA不存儲設(shè)備歷史數(shù)據(jù)。

數(shù)據(jù)分析服務(wù)（IoTA）

具體請參看產(chǎn)品簡介了解。IoTA提供了數(shù)據(jù)存儲、數(shù)據(jù)清洗、數(shù)據(jù)分析等功能。

在本解決方案中，主要使用其數(shù)據(jù)時序存儲、管道（Pipeline）、數(shù)據(jù)孿生（DT）、實時流分析等功能。通過時序存儲可以保存設(shè)備產(chǎn)生的溫冷數(shù)據(jù)，方便行業(yè)應(yīng)用或其他第三方實時獲取。通過Pipeline可以進行數(shù)據(jù)清洗、轉(zhuǎn)換，對數(shù)據(jù)進行靈活的格式化等，方便進一步分析處理。通過DT可以構(gòu)建物理設(shè)備環(huán)境的邏輯模型，靈活的拖拉拽操作方式提供靈活的抽象。通過實時流分析可以從設(shè)備流數(shù)據(jù)中分析出關(guān)鍵事件，特別是拖拉拽的算子編排操作，以及與ModelArts等分析服務(wù)的打通，方便伙伴快速構(gòu)造自己的算法方案。

數(shù)據(jù)接入服務(wù)（DIS）

華為云DIS是數(shù)據(jù)流處理的中間件，類似kafka，具體參看產(chǎn)品概述。

本解決方案中，IoTA對設(shè)備數(shù)據(jù)分析后的分析結(jié)果吐到DIS中，行業(yè)應(yīng)用通過DIS獲取分析的結(jié)果。

行業(yè)應(yīng)用對接介紹

在上文的解決方案拓撲圖介紹中，行業(yè)應(yīng)用既可以通過IoTDA直接獲取設(shè)備數(shù)據(jù)，也可以通過DIS獲取IoTA的實時流分析結(jié)果。其實行業(yè)應(yīng)用也可以通過IoTA獲取設(shè)備歷史保存的數(shù)據(jù)。

行業(yè)應(yīng)用通過IoTDA獲取設(shè)備數(shù)據(jù)。這里的設(shè)備數(shù)據(jù)一般指設(shè)備實時上報的業(yè)務(wù)數(shù)據(jù)、告警數(shù)據(jù)等。IoTDA支持多種方式為行業(yè)應(yīng)用提供數(shù)據(jù)，一般有以下幾種：

1、? HTTP API訂閱推送。行業(yè)應(yīng)用調(diào)用IoTDA的開放的訂閱API，提供callbackurl。當(dāng)IoTDA收到設(shè)備數(shù)據(jù)后可以推送給行業(yè)應(yīng)用，具體參見鏈接。

2、? AMQP 訂閱推送。AMQP是一種隊列新消息協(xié)議。行業(yè)應(yīng)用實現(xiàn)了AMQP客戶端，對接IoTDA后可以收到推送的設(shè)備數(shù)據(jù)。具體參見鏈接。

3、? 規(guī)則引擎的數(shù)據(jù)轉(zhuǎn)發(fā)。規(guī)則引擎是IoTDA提供的關(guān)鍵特性，允許創(chuàng)建數(shù)據(jù)轉(zhuǎn)發(fā)規(guī)則，設(shè)備上報數(shù)據(jù)后，可以觸發(fā)規(guī)則，進而將數(shù)據(jù)轉(zhuǎn)發(fā)給行業(yè)應(yīng)用或第三方組件，具體參看規(guī)則轉(zhuǎn)發(fā)。

行業(yè)應(yīng)用通過DIS獲取IoTA分析結(jié)果。行業(yè)應(yīng)用需要集成DIS提供的SDK，通過SDK從DIS實例中取得數(shù)據(jù)。

行業(yè)應(yīng)用通過IoTA獲取設(shè)備歷史數(shù)據(jù)。

集成開發(fā)指南

主要介紹本解決方案中，如何進行集成開發(fā)。

集成指南需要申請華為云賬戶。

IoTDA集成指導(dǎo)

IoTDA的集成指導(dǎo)包含設(shè)備的集成，主要介紹設(shè)備如何進行開發(fā)、IoTDA如何集成等，IoTDA與行業(yè)應(yīng)用的對接放在下文中的“行業(yè)應(yīng)用集成指導(dǎo)”中。

在開始IoTDA集成指導(dǎo)前，建議按照快速玩轉(zhuǎn)平臺的指導(dǎo)進行應(yīng)用和設(shè)備快速接入的體驗。

準(zhǔn)備工作

需要開通華為云IoTDA。IoTDA有一定的免費消息和設(shè)備額度，足夠完成解決方案的體驗和測試，具體收費策略參看鏈接。

產(chǎn)品模型創(chuàng)建

產(chǎn)品模型創(chuàng)建是和IoTDA對接的基礎(chǔ)。產(chǎn)品模型是對設(shè)備與設(shè)備場景的抽象，定義了設(shè)備的類型、型號、協(xié)議等基本身份屬性，以及上下行數(shù)據(jù)的字段定義。產(chǎn)品模型的定義請參看鏈接。

建議采用在線開發(fā)產(chǎn)品模型，請參看指導(dǎo)。

設(shè)備代碼的開發(fā)

本解決方案中，建議使用PahoMqtt SDK或者IoTDA的Device SDK進行開發(fā)，IoTDA分別提供SDK和demo供使用，請參看Device SDK開發(fā)和PahoMqtt SDK開發(fā)。

另外華為也對市面上的一些廠家模組進行認證，認證過的模組天然具有和IoTDA通信的能力，用戶可以直接集成模組硬件，具體參看鏈接。

設(shè)備的管理

設(shè)備與IoTDA對接中，涉及設(shè)備管理的一般操作流程如下

step 1、?????????? 產(chǎn)品模型定義和創(chuàng)建；

step 2、?????????? 在IoTDA上注冊設(shè)備；

注冊設(shè)備時需要關(guān)聯(lián)到產(chǎn)品模型；有通過API和console界面兩種注冊設(shè)備的辦法。

注冊后的設(shè)備處于離線狀態(tài)，在console界面上可以觀察到。

step 3、?????????? 設(shè)備上線；

需要設(shè)備側(cè)發(fā)起設(shè)備上線，具體包括建鏈、登錄等。

設(shè)備上線后，在console界面上可以觀察到設(shè)備處于在線狀態(tài)。

step 4、?????????? 設(shè)備上報數(shù)據(jù)；

設(shè)備側(cè)發(fā)起上報數(shù)據(jù)，上報后在IoTDA的console頁面上可以看到。

注意：產(chǎn)品模型中需要定義上報數(shù)據(jù)的字段。

step 5、?????????? 設(shè)備接收命令下發(fā)；

命令有兩種下發(fā)途徑，一種是行業(yè)應(yīng)用通過IoTDA API接口下發(fā)，命令經(jīng)由IoTDA轉(zhuǎn)發(fā)給設(shè)備。另一種是直接在IoTDA的console上直接進行命令下發(fā)。

注意：產(chǎn)品模型中需要定義命令，才能夠下發(fā)命令。

除此之外，IoTDA還可以對設(shè)備修改和刪除等基本管理功能。

IoTA集成指導(dǎo)

準(zhǔn)備工作

需要申請IoTA的公測資格，目前IoTA還未正式商用。公測期間，所有IoTA的資源免費。

數(shù)據(jù)源的配置

IoTA使用前需要配置數(shù)據(jù)源，即配置從哪里獲取待分析的數(shù)據(jù)。配置指導(dǎo)請參看鏈接，在本解決方案中，采用從IoTDA中獲取數(shù)據(jù)的配置，即數(shù)據(jù)源是IoTDA。

Pipeline的創(chuàng)建

數(shù)據(jù)管道的作用數(shù)據(jù)清洗和格式化，然后進行標(biāo)準(zhǔn)化輸出，方便數(shù)據(jù)分析或其他第三方服務(wù)對數(shù)據(jù)進行處理分析，在整體流程中的位置如下。

目前產(chǎn)品文檔中Pipeline的介紹資料暫缺，可以參看下文中Demo操作指導(dǎo)。

資產(chǎn)建模

資產(chǎn)建模即資產(chǎn)模型的創(chuàng)建，即DT，簡介和指導(dǎo)請參看鏈接。

在console界面上，用戶可以通過拖拉拽的方式，通過層級化的視圖展示資產(chǎn)的有機組織關(guān)系。視圖中還包含了實測點和虛測點，可以對相關(guān)傳感器的測量數(shù)值直接展示或處理后進行展示。比如一個機房中包含多種用途多種類型的設(shè)備或傳感器，通過視圖可以展現(xiàn)其層級歸屬關(guān)系，機房中的傳感器是動態(tài)變化的，設(shè)備的數(shù)量和類型有增減，通過修改視圖來匹配這種變化。

實時分析算法構(gòu)建

實時數(shù)據(jù)分析的簡介指導(dǎo)請參看鏈接。

為了降低門檻，對數(shù)據(jù)實時分析作業(yè)的創(chuàng)建也提供了拖拉拽的圖形化流編排能力，實時分析封裝了通用的算子組件，如數(shù)據(jù)聚合、數(shù)據(jù)計算等，并且可以關(guān)聯(lián)FunctionGraph、ModelArts等云服務(wù)，提供更為強大的功能。

實時分析出的數(shù)據(jù)可以顯示在資產(chǎn)模型中，可以同時輸出給DIS。

行業(yè)應(yīng)用集成指導(dǎo)

行業(yè)應(yīng)用集成對接IoTDA和IoTA。

通過IoTDA和IoTA開放的應(yīng)用使能能力，行業(yè)應(yīng)用可以進行設(shè)備管理、命令下發(fā)、訂閱推送、查詢歷史數(shù)據(jù)、資產(chǎn)建模、作業(yè)管理等功能。

行業(yè)應(yīng)用對接IoTDA

行業(yè)應(yīng)用與IoTDA的對接一般通過IoTDA的API完成，如果設(shè)備管理、數(shù)據(jù)上下行等。API列表參看鏈接，具體集成參看API使用指導(dǎo)。

IoTDA為行業(yè)應(yīng)用提供的API都是restful風(fēng)格的，并且提供了各種語言的SDK和demo，以便伙伴盡快集成。

另外，在IoTDA向行業(yè)應(yīng)用推送數(shù)據(jù)場景下，也可以通過AMQP協(xié)議與華為云IoT平臺對接，請參看鏈接。

行業(yè)應(yīng)用通過DIS獲取數(shù)據(jù)分析結(jié)果

行業(yè)應(yīng)用需要集成DIS的SDK，請參看鏈接。

如果需要體驗，請參看下文中的demo。

行業(yè)應(yīng)用通過API獲取IoTA中保存的歷史數(shù)據(jù)

由于目前公測期，API暫未開放，如果需要申請使用，請?zhí)峁蔚絀oTA。

Demo單步指導(dǎo)

參看《一個小CASE：IoT解決方案端到端體驗指南》

物流解決方案簡介

//TODO

IoT 數(shù)據(jù)挖掘 設(shè)備接入 IoTDA

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。