深度學(xué)習(xí)和目標(biāo)檢測(cè)系列教程 7-300：先進(jìn)的目標(biāo)檢測(cè)Faster R-CNN架構(gòu)

@Author：Runsen

Faster R-CNN

由于Fast R-CNN 過(guò)程中仍然存在一個(gè)瓶頸，即ROI Projection。眾所周知，檢測(cè)對(duì)象的第一步是在對(duì)象周圍生成一組潛在的邊界框。在 Fast R-CNN 中，ROI Projection是使用Selective Search創(chuàng)建的，發(fā)現(xiàn)一個(gè)非常緩慢的過(guò)程是整個(gè)對(duì)象檢測(cè)過(guò)程的瓶頸。

選擇性搜索是一個(gè)緩慢且耗時(shí)的過(guò)程，會(huì)影響網(wǎng)絡(luò)的性能。因此，任少清等人提出了一種對(duì)象檢測(cè)算法，該算法消除了選擇性搜索算法，讓網(wǎng)絡(luò)學(xué)習(xí)了區(qū)域提議區(qū)域提議。

Faster R-CNN與 Fast R-CNN 類似，圖像作為輸入，提供給提供卷積特征圖的卷積網(wǎng)絡(luò)。不是在特征圖上使用選擇性搜索算法來(lái)識(shí)別區(qū)域提議，而是使用單獨(dú)的網(wǎng)絡(luò)來(lái)預(yù)測(cè)ROI Projection。然后使用 RoI 池化層對(duì)預(yù)測(cè)的區(qū)域建議進(jìn)行重新整理，然后使用 RoI 池化層對(duì)建議區(qū)域內(nèi)的圖像進(jìn)行分類并預(yù)測(cè)邊界框的偏移值。

從上圖可以看出，F(xiàn)aster R-CNN 比Fast R-CNN要快得多。因此，它是目前先進(jìn)的目標(biāo)檢測(cè)算法。

為什么不將這些相同的 CNN 結(jié)果重用于區(qū)域提議，而不是運(yùn)行單獨(dú)的選擇性搜索算法

讓我們看一個(gè)Faster R-CNN的思想，首先，讓我們了解一下具有不同縱橫比和尺度的重疊ROI的概念。

從圖像中，我們看到很多物體相互重疊。在電視機(jī)里看到一輛汽車、一輛自行車、一個(gè)拿著電視機(jī)的人和一只狗。選擇性搜索可以解決這個(gè)問題，但我們最終會(huì)得到大量的 ROI。我們需要想一個(gè)能有效解決這個(gè)問題的想法。

如果我們?cè)诓煌膶?duì)象周圍繪制邊界框，它看起來(lái)是這樣的。

實(shí)現(xiàn)這一點(diǎn)有點(diǎn)復(fù)雜，但 Anchor Boxes 的想法使它變得簡(jiǎn)單。讓我們了解這些錨框的含義。

通常，對(duì)象可以放入方形盒子中，也可以放入長(zhǎng)方形和寬，或長(zhǎng)方形和高。從廣義上講，它們可以說(shuō)是大的、小的或中等的。因此，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，可以使用 3 種不同比例和 3 種不同縱橫比的框檢測(cè)圖像中的任何對(duì)象。

在Feature Map上使用不同大小的滑動(dòng)窗口（如上圖的9個(gè)所示）。這個(gè)概念被稱為特征金字塔。這涉及在特征圖頂部使用 9 種不同大小的滑動(dòng)窗口。

RPN

區(qū)域提議網(wǎng)絡(luò) (RPN) 從將輸入圖像饋送到卷積神經(jīng)網(wǎng)絡(luò)開始。首先調(diào)整輸入圖像的大小，使其最短邊為 600 像素，長(zhǎng)邊不超過(guò) 1000 像素。

網(wǎng)絡(luò)的輸出特征（由H x W表示）通常比輸入圖像小得多，這取決于網(wǎng)絡(luò)模型的步幅。在Faster R-CNN論文中使用的兩個(gè)網(wǎng)絡(luò)模型（VGG、ZF-Net），網(wǎng)絡(luò)步長(zhǎng)都是 16。這意味著網(wǎng)絡(luò)輸出特征中的兩個(gè)連續(xù)像素對(duì)應(yīng)于輸入圖像中相距 16 個(gè)像素的兩個(gè)點(diǎn)。

下圖顯示了 在輸入圖像上，3 種不同縱橫比和 3 種不同尺寸的 9 個(gè)可能的錨點(diǎn)放置，使用的錨點(diǎn)具有 1282、2562、5122的 3 個(gè)盒子區(qū)域比例和 1:1、1:2 和 2:1 的 3 個(gè)縱橫比。

Faster R-CNN架構(gòu)

如下為整體框架結(jié)構(gòu)，結(jié)合上述過(guò)程來(lái)看，主要是三部分，Extrator進(jìn)行特征提取、RPN 生成候選框、RoIHead對(duì)候選框進(jìn)行分類并調(diào)整目標(biāo)預(yù)測(cè)框的位置與大小。

Faster R-CNN使用了預(yù)訓(xùn)練的VGG16作為backbone進(jìn)行特征提取，實(shí)現(xiàn)方法是加載預(yù)訓(xùn)練模型，抽取并分離前面的卷積層和后面的全連接層，固定卷積層中部分層的權(quán)重，用作特征提取，而全連接層則給 RoIHead 用作分類和回歸。

Faster R-CNN 聯(lián)合訓(xùn)練有 4 個(gè)損失：

RPN分類（IoU 大于 0.5 Object foreground/ IoU 介于 0.1 和 0.5background）

RPN 回歸（Anchor → ROI）

Fast RCNN 分類（對(duì)象類）。

Fast RCNN 回歸（ROI → Bounding Box）

總結(jié)，R-CNN 和 Fast R-CNN 都使用基于 CPU 的區(qū)域提議算法，例如選擇性搜索算法，每張圖像大約需要 2 秒并在 CPU 計(jì)算上運(yùn)行。Faster R-CNN論文通過(guò)使用另一個(gè)卷積網(wǎng)絡(luò)（RPN）來(lái)生成區(qū)域提議來(lái)解決這個(gè)問題。這不僅將每個(gè)圖像的區(qū)域提議時(shí)間從 2 秒降低到 10 毫秒，而且還允許區(qū)域提議階段與以下檢測(cè)階段共享層，從而導(dǎo)致特征表示的整體改進(jìn)。

深度學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。