遙感影像領頭羊GBDX流程引擎能力分析

1????? 什么是GBDX

美國數字地球公司（DigitalGlobe），是衛星遙感數據市場2家壟斷級提供商之一（另一家是歐洲的AirBus空中客車）。其發射的WorldView-4號衛星，是當今（2020年）全球分辨率最高、反應最敏捷的商業成像衛星。

Geospatial Big Data platform (GBDX)是DigitalGlobe公司出品的，一個功能強大的地理空間數據大數據分析平臺（X可以表示exchange，extend之意）。整體基于云架構模式，允許用戶在GBDX上訪問其全球高分辨率衛星影像動態庫，從而提取各類有意義的洞察，例如地物識別、大規模變化檢測等。

具體可以去官網了解詳情：https://www.maxar.com/products/gbdx。

咱們主要分析他們的workflow流程引擎的能力，即大規模影像分析流程的能力。

2????? Workflow流程引擎能力

遙感影像，好比是地球的自拍照。而自拍照嘛，總得各種美顏一下。比如照片是多張小幅的，你要拼成完整大圖（圖像鑲嵌）。比如拍的歪的，需要調正角度（正射校準）。顏色有深有淺，得美化一下（勻光勻色）。

影像解譯，除了原始照片的處理，還需要進行信息提取（extraction），然后做信息洞察（analytical insight）。

當需要處理的面積比較大的時候，就需要大量的計算單元進行業務處理，并按照workflow流程的順序進行。

2.1????? Docker容器

GBDX平臺支持（并僅支持）使用Docker容器作為影像處理的獨立單元。這還是比較貼近當前云原生發展大趨勢的。Docker這種輕量級虛擬化技術，目前已席卷全球，為傳統軟件的安裝部署帶來了革命性的變革。

Docker容器使得應用程序可以在幾乎任何地方以相同的方式運行。所以開發人員在開發機上創建并測試好容器后，無需任何修改就能夠在生產系統的虛擬機、物理服務器或公有云主機上運行。這使得業務處理邏輯不再綁定環境，不需要耗費大量的精力在環境維護上，也給遙感影像處理平臺帶來便捷靈活性。

2.2????? 流程順序控制

Workflow就是一個流程，一般來說是一個DAG圖。比如：

目前GBDX的流程語法描述如下：

所以當前GBDX僅支持流程按順序執行，并不支持DAG依賴方式。相對而言，能力僅僅達到夠用，不能說強大。

2.3????? 影像數據加載

容器里面的算法，就是用來處理各種影像數據的。而由于影像數據比較龐大（特別是高清影像）。如何將數據“加載”到容器里面，是一個需要解決問題。

GBDX通過定義了規則，來幫助用戶拷貝數據到容器中的特定目錄下。由于容器跑完就會銷毀，所以上一步容器的輸出結果，也會被拷貝到下一個容器的輸入目錄里面。

按理來說，這樣的數據加載，在跨節點處理（集群規模較大時，跨節點是比較常見的）會有影響到處理性能。當前云原生模式下，一般都是把數據所在卷，通過共享的模式，直接掛載至容器中處理。

2.4????? 步驟是否成功的判斷

如果是基于Kubernetes平臺，一個容器執行是否成功的判斷，是有云原生統一標準的。即執行進程退出碼是否為0。 這GBDX自己定義了一種規范：用戶需要將執行結果寫入一個指定的文件。/mnt/work/status.json

這里對流程遷移，稍有耦合。即用戶需要修改原來的腳本，來適配這種“規范”。

2.5????? 步驟間傳遞結果

如果上一步驟，需要有信息傳遞給下一步。GBDX也定義了一套規范：input目錄和output目錄。即要求用戶將結果寫入 output目錄，然后GBDX會自動將上一步驟的output目錄，拷貝至下一步驟的input目錄。

2.6????? 并發處理

按理來說，在進行大規模遙感影像處理時，是要求有Docker容器的并發處理能力的。特別是基于可伸縮的云平臺場景。但遺憾的是，GBDX并未提供Docker容器并發處理的能力。

2.7????? 處理超時控制

業務腳本有可能出現異常，需要有超時檢測機制。GBDX支持設置每個步驟的超時時間：

不過不支持設置整個流程的超時時間。

2.8????? 流程結束通知。

通常，流程結束后，（無論成功or失敗）需要通知用戶，通過郵件、短信等。畢竟，有些流程一跑就是好幾個小時，不可能一直等在旁邊。這樣方便用戶了解業務進度。

GBDX也支持流程結束通知，但是并不是郵件or短信。 而是回調一個URL完事。

當然，這個也還算是比較通用。因為你可以在URL收到回調后，再次觸發發送郵件之類的。

2.9????? 批量投遞workflow任務

有時候，同樣的處理流程，需要批量執行。比如拿到7天的數據，需要對每天的數據都進行同一個workflow處理。這時候，就可以選擇批量投遞處理任務。對客戶來說是一個不錯的便捷方式。GBDX就支持批量投遞workflow流程。

3????? 總結

GBDX作為地理遙感領頭羊DigitalGlobe出品的地理空間大數據分析平臺，利用了Docker輕量級容器一次構建，隨處可運行的優勢，非常方便用戶進行流程的開發&遷移。是一個與時俱進的產品。

在作為遙感影像處理的workflow流程引擎上，GBDX提供了大量優秀的能力，來輔助用戶開發自己的workflow流程。

同時，我們也看到，GBDX在流程靈活性控制、并發處理、數據加載管理等方面依然存在不足。也是華為云地理遙感解決方案可以重點突破的地方。

Docker 遙感 地理智能體 GeoGenius

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。