實時語義分割

傳統語義分割將研究重點定位于提高模型的分割表和評價指標，而不考慮摸型的計算效率，因此不利于模型被部署于自動駕駛、盲人視覺輔助等實時性要求極高的環境感知應用。

實時語義分割對比非實時語義分割，如下圖所示：

紅色虛線右側代表實時語義分割模型，橫坐標代表每秒的運算幀數，縱坐標代表模型在Cityscape測試集上的表現指標。實時語義分割隨著ENet 的問世而得到了廣泛研究。

實時語義分割研究方案主要分為三類：

１）設計輕量化模塊結構，如DUpsampling模塊、ERF-PSPNet采用的殘差分解卷積模塊等；

２）設計新型網絡設計范式，如ICNet 和 BiSeNet采用的多支路進行信息補充的結構、將超分辨率算法引入指導低分辨率圖像語義分割的方式、利用知識蒸餾指導實時語義分割網絡的訓練等；

３）采用輕量級基礎網絡提取低級特征信息，如SwiftNet和DFANet等。

ENet：采用殘差網絡結構和輕量的模塊設計提高了模型的計算效率。ERFNet 和 ERF-PSPNet 利用殘差分解卷積模塊在保證良好特征抽取能力的基礎上進一步減少計算參數從而提升計算效率。此外，基于數據的上采樣池化模塊（DUpsampling）使得模型可以在更小的特征圖上恢復信息，進而可以在低分辨率特征圖上獲取信息，從而減少運算量。

ICNet 和 BiSeNet：為了讓實時語義分割的輸出結果在兼具運算效率的同時具有更加精細的空間細節，學界對ICNet和BiSeNet這類多支路網絡結構進行了大量研究。它們的具體思路是將網絡結構分成兩條支路，其中一條深層網絡支路用來處理低分辨率的圖像，去提取出圖像的語義信息從而減少計算量；另一條淺層網絡支路用來處理高分辨率圖像，去獲取低級的空間分布特征信息從而修正語義信息的空間精細程度，最終融合層將各支路信息通過相關模塊進行特征融合。這類網絡在輸出精細程度、語義信息提取能力和計算效率上進行了良好的平衡。

2018 年，Yu 等人提出了 BiSeNet（Bilateral Segmentation Network）將語義分割 任務分為兩大路徑：空間路徑和上下文路徑。其中空間路徑主要用于解決空間信息的缺 失，而上下文路徑則用于解決感受野縮小的問題。BiSeNet 主要用于實時語義分割，在 精度和速度上力求兼顧。

超分辨算法：Wang等人將超分辨算法和語義分割算法相結合去提升計算效率，其通過共享編碼器的方式有效地提取低分辨率圖像的低級特征信息，再利用超分辨算法支路在模型訓練過程中修正語義分割網絡的輸出精細程度，并在最終的前向傳播過程中將超分辨支路去除從而可以使得語義分割模型在低分辨率圖像上完成特征提取和整合。

輕量級特征提取網絡：此外，一系列以輕量級特征提取網絡為基礎網絡的實時語義分割模型被廣泛提出并投入應用，SwiftNet采用ResNet-18為基礎網絡并結合U-Shape型編碼器－解碼器結構達到了良好的分割表現；DFANet采用改良的Xception網絡作為基礎網絡，并讓特征圖多次經過該特征提取網絡進而得到不同分辨率下的特征圖從而進一步提取有效的語義信息。

2019 年，越來越多的研究者在考慮語義分割任務的實時性與精度的兼顧。例如，曠視科技提出的 DFANet（Deep Feature Aggregation Network） 就通過所設計的級聯子網 和級聯子階段來聚合相應的特征，同時具有實時性和準確性。

參考文獻：

面向交通場景感知的語義分割技術研究 .項凱特

面向智能車場景的語義分割算法研究 .向 石 方

機器學習 網絡

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。