通過Faster R-CNN梳理兩階段目標(biāo)檢測算法框架

Faster?CNN是一個具有里程碑意義的，也是目前用得非常多的兩階段目標(biāo)檢測算法，完全搞懂Faster?R-CNN的算法原理對理解兩階段目標(biāo)檢測算法框架非常有幫助。之前下功夫?qū)W過一次Faster?R-CNN，但當(dāng)時沒有自己整理，現(xiàn)在發(fā)現(xiàn)很多細節(jié)都不是很清楚。現(xiàn)在決定親自整理一遍，順便做一次分享，有錯誤的地方希望讀者指正。

緣起

首先要知道，為什么要提出Faster?R-CNN，也就是Faster?R-CNN要解決的是什么問題。根據(jù)名字我們知道Faster R-CNN是Fast?R-CNN的改進版，效果上應(yīng)該比后者更快。為了不局限于這一種算法，而是深入理解兩階段算法的框架，我們還要回去再看看Fast?R-CNN，甚至更早的R-CNN做了些什么。

R-CNN

R-CNN是第一個用深度學(xué)習(xí)解決目標(biāo)檢測問題的算法，也是兩階段法的奠基者。對于兩階段法，我最初的理解是將目標(biāo)檢測的兩個任務(wù)——定位和分類——分兩步獨立完成，但這么理解越到后來越覺得有問題：算法的很多細節(jié)解釋不通。后來看了一些博客才明白，所謂兩階段不是按任務(wù)類別分的，而是按算法解決問題的過程分的。

在用深度學(xué)習(xí)解決目標(biāo)檢測問題以前，傳統(tǒng)目標(biāo)檢測也可以理解為兩階段的，第一階段是區(qū)域選擇（滑框）和提取手工設(shè)計特征（如HOG等），第二階段是根據(jù)選擇的區(qū)域和提取的特征進行分類（例如SVM等）和邊框回歸。深度學(xué)習(xí)在計算機視覺的分類任務(wù)上取得了優(yōu)異表現(xiàn)后，用深度卷積神經(jīng)網(wǎng)絡(luò)取代手工設(shè)計對圖像提取特征，這就是R-CNN。同時R-CNN還將區(qū)域選擇的方式由滑框換成選擇性搜索（Selective?Search，SS），這一過程被稱作區(qū)域提名（region?proposal）。

R-CNN流程：

區(qū)域提名（SS）? -->?CNN提取特征 -->?SVM分類 -->?邊框回歸

R-CNN存在的問題：

由于全連接層的存在，對圖片的提名區(qū)域需要固定的尺寸，這就需要對不同大小的圖片進行剪裁或變形，這對圖片特征是很嚴重的破壞；

雖然將滑框換成了選擇性搜索，在一定程度上減少了冗余，但生成的候選區(qū)域依然存在重疊，這就使卷積依然存在算力冗余。

SPPNet

SPPNet的命名來源是空間金字塔池化（Spatial?Pyramid?Pooling，SPP），根據(jù)名字我們可以知道，SPPNet最大的特點是在全連接層前引入的金字塔池化層，以此來將輸入的任意尺度特征圖（feature?map）處理成特定維度的輸出，以適應(yīng)全連接層的輸入需要。SPPNet還將區(qū)域選擇和特征提取調(diào)換了順序，先卷積提取特征再進行區(qū)域選擇，這對緩解卷積算力冗余有很大幫助。

SPPNet流程：

CNN提取特征 -->?區(qū)域提名（SS） -->?SVM分類 -->?邊框回歸

Fast?R-CNN

Fast?R-CNN完全吸取了SPPNet的優(yōu)點，但將空間金字塔池化層精簡為RoI（Region?of?Interest）池化層。Fast R-CNN最重要的改變是將分類和回歸作為并行任務(wù)一同放進了神經(jīng)網(wǎng)絡(luò)中，兩個任務(wù)共享CNN提取的特征，并將SVM分類器替換成了softmax函數(shù)，實驗證明，兩項任務(wù)并行可以相互促進。

Fast?R-CNN流程：

CNN提取特征 -->?區(qū)域提名（SS） -->?分類（softmax）+邊框回歸

Faster?R-CNN

回顧Fast?R-CNN發(fā)現(xiàn)，區(qū)域提名部分還是顯得過于粗暴，存在大量冗余，如果這一部分也能像CNN學(xué)習(xí)圖像特征一樣學(xué)習(xí)邊框特征就好了。Faster?R-CNN就對這一環(huán)節(jié)設(shè)計了RPN（Region?Proposal?Network）來完成區(qū)域提名的工作，也就是在CNN網(wǎng)絡(luò)之后直接接一個RPN網(wǎng)絡(luò)（如下圖），對CNN提取的特征學(xué)習(xí)生成提名區(qū)域。這一過程同樣是通過在CNN生成的特征圖上滑框來完成的，但需要對生成的大量原始框進行一個是否包含目標(biāo)物體的簡單預(yù)分類，并從中按一定比例選取正負樣本框送到后面的網(wǎng)絡(luò)訓(xùn)練，在送之前還要對選取的正樣本框進行一次回歸。這一階段就是兩階段法中的第一階段。

RPN生成的樣本框再經(jīng)過RoI?pooling進入后續(xù)的分類和回歸網(wǎng)絡(luò)進行訓(xùn)練，此后與Fast R-CNN相同，這是兩階段法的第二階段。

Faster?R-CNN流程：

CNN提取特征 -->?區(qū)域提名（RPN） -->?分類（softmax）+邊框回歸

參考文章

1. Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[C]//Advances in neural information processing systems. 2015: 91-99.

文章鏈接：http://papers.nips.cc/paper/5638-faster-r-cnn-towards-real-time-object-detection-with-region-proposal-networks.pdf

2. Girshick R. Fast r-cnn[C]//Proceedings of the IEEE international conference on computer vision. 2015: 1440-1448.

文章鏈接：http://openaccess.thecvf.com/content_iccv_2015/html/Girshick_Fast_R-CNN_ICCV_2015_paper.html

3.?Girshick R, Donahue J, Darrell T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 580-587.

文章鏈接：http://openaccess.thecvf.com/content_cvpr_2014/html/Girshick_Rich_Feature_Hierarchies_2014_CVPR_paper.html

4.He K, Zhang X, Ren S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2015, 37(9): 1904-1916.

文章鏈接：http://tinman.cs.gsu.edu/~bhashithe/qualifiers/papers/region/spp-net.pdf

5.https://blog.csdn.net/v_JULY_v/article/details/80170182

神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。