Mask R-CNN解讀

摘要

本文提出了一個(gè)概念上簡單、靈活和通用的目標(biāo)實(shí)例分割框架。該方法有效地檢測(cè)圖像中的目標(biāo)，同時(shí)為每個(gè)實(shí)例生成高質(zhì)量的分割掩碼。該方法被稱為 Mask R-CNN，在 Faster R-CNN的基礎(chǔ)上，通過添加一個(gè)分支來預(yù)測(cè)一個(gè)目標(biāo)掩碼，并與現(xiàn)有的目標(biāo)檢測(cè)分支并行。Mask R-CNN很容易訓(xùn)練，只增加了很小的開銷，可以以5幀/秒的速度運(yùn)行。

此外，Mask R-CNN很容易推廣到其他任務(wù)，例如，人體姿態(tài)估計(jì)。本文在COCO數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，結(jié)果表明Mask R-CNN在實(shí)例分割、目標(biāo)檢測(cè)和人關(guān)鍵點(diǎn)檢測(cè)任務(wù)上優(yōu)于其他所有的單一模型。

代碼開源： https://github.com/facebookresearch/Detectron

一、引言

原則上，Mask R-CNN 是 Faster R-CNN 的直觀擴(kuò)展，但正確構(gòu)建 Mask 分支對(duì)于良好的結(jié)果至關(guān)重要。最重要的是，F(xiàn)aster RCNN 不是為網(wǎng)絡(luò)輸入和輸出之間的像素對(duì)像素對(duì)齊而設(shè)計(jì)的。這一點(diǎn)在 RoIPool 中最為明顯，它實(shí)際上是處理實(shí)例的核心操作，它執(zhí)行粗空間量化來提取特征。為了修正偏差，我們提出了一個(gè)簡單的、無量化的層，稱為 RoIAlign，它忠實(shí)地保持準(zhǔn)確的空間位置。

盡管看似一個(gè)很小的變化，但是 RoIAlign 具有很大的影響力。它將 Mask 精度提高了10%至50%，在更嚴(yán)格的定位指標(biāo)下顯示出更大的增益。其次，我們發(fā)現(xiàn)將掩碼和類預(yù)測(cè)分離是必要的: 我們?yōu)槊總€(gè)類獨(dú)立預(yù)測(cè)一個(gè)二進(jìn)制掩碼，類之間不存在競爭，并依靠網(wǎng)絡(luò)的 RoI 分類分支來預(yù)測(cè)類別。相比之下，F(xiàn)CN 通常進(jìn)行逐像素的多類分類，分割和分類相結(jié)合，根據(jù)我們的實(shí)驗(yàn)，對(duì)于實(shí)例分割效果較差。

二、Mask R-CNN

2.1 Faster R-CNN

Faster R-CNN由兩個(gè)階段組成。第一個(gè)階段，稱為區(qū)域建議網(wǎng)絡(luò)(RPN)，提出候選對(duì)象邊界框。第二階段，本質(zhì)上是Fast R-CNN，使用 RoIPool 從每個(gè)候選框中提取特征，并進(jìn)行分類和邊界框回歸。這兩個(gè)階段所使用的特征可以共享，以便更快地推理。

2.2 Mask R-CNN

Mask R-CNN 采用相同的兩階段流程，第一階段相同(即RPN)。在第二階段，在預(yù)測(cè)類和框偏移的同時(shí)，Mask R-CNN 也為每個(gè) RoI 輸出一個(gè)二進(jìn)制掩碼。我們的方法遵循了 Fast R-CNN 的方法，它并行地應(yīng)用了邊界盒分類和回歸，在很大程度上簡化了原始R-CNN的多階段結(jié)構(gòu)。

2.3 Mask Representation

掩碼對(duì)輸入對(duì)象的空間布局進(jìn)行編碼。因此，不同于類標(biāo)簽或盒偏移不可避免地被全連接(fc)層壓縮成短輸出向量，提取掩碼的空間結(jié)構(gòu)可以通過卷積提供的像素到像素的對(duì)應(yīng)來自然地解決。

具體來說，我們使用 FCN 從每個(gè)RoI預(yù)測(cè) m × m 掩碼。這使得蒙版分支中的每一層都可以保持明確的 m × m 對(duì)象空間布局，而無需將其折疊成缺乏空間維度的矢量表示。與以往依靠fc層進(jìn)行掩碼預(yù)測(cè)的方法不同，我們的全卷積表示需要較少的參數(shù)，而且實(shí)驗(yàn)證明更準(zhǔn)確。

這種像素到像素的行為需要我們的RoI特性(它們本身就是小的特性映射)很好地對(duì)齊，以忠實(shí)地保持顯式的每個(gè)像素的空間對(duì)應(yīng)。這促使我們開發(fā)了以下的RoIAlign層，它在蒙版預(yù)測(cè)中扮演著關(guān)鍵的角色。

2.4 RoIAlign

RoIPool 是從每個(gè) RoI 中提取小特征圖(例如7×7)的標(biāo)準(zhǔn)操作。RoIPool 首先將一個(gè)浮點(diǎn)的 RoI 量化到特征映射的離散粒度上，然后將這個(gè)量化的 RoI 細(xì)分為空間容器，這些空間容器本身也被量化，最后將每個(gè)容器所覆蓋的特征值進(jìn)行聚合(通常是通過最大池化)。量化，例如，通過計(jì)算[x/16]對(duì)連續(xù)坐標(biāo)x進(jìn)行量化，其中16是特征地圖步幅，[·]是四舍五入;同樣地，在劃分為多個(gè)容器時(shí)進(jìn)行量化(例如7×7)。這些量化引入了RoI和提取的特征之間的偏差。雖然這可能不會(huì)影響分類，這對(duì)小的轉(zhuǎn)換是穩(wěn)健的，但它對(duì)預(yù)測(cè)像素精確的蒙版有很大的負(fù)面影響。

為了解決這個(gè)問題，我們提出了一個(gè) RoIAlign 層，它消除了 RoIPool 的苛刻量化，將提取的特征與輸入正確對(duì)齊。我們提出的改變很簡單: 我們避免對(duì) RoI 邊界進(jìn)行量化(即，我們使用x/16而不是[x/16])。我們使用雙線性插值來計(jì)算每個(gè)RoI bin中四個(gè)定期采樣的位置上輸入特征的精確值，并將結(jié)果(使用max或average)匯總，詳見圖3。我們注意到，只要不執(zhí)行量化，結(jié)果對(duì)精確的采樣位置或采樣的點(diǎn)數(shù)并不敏感。

三、網(wǎng)絡(luò)架構(gòu)

Mask R-CNN 的網(wǎng)絡(luò)架構(gòu)較為簡單，由兩大塊組成：

用于對(duì)整個(gè)圖像進(jìn)行特征提取的卷積主干網(wǎng)絡(luò)。

用于邊界盒識(shí)別和掩碼預(yù)測(cè)的網(wǎng)絡(luò)頭，分別應(yīng)用于每個(gè)RoI。

如下圖所示，是網(wǎng)絡(luò)頭的示意圖，其主干網(wǎng)絡(luò)分別采用的是 ResNet 和 FPN 的主干網(wǎng)絡(luò)部分。

四、實(shí)驗(yàn)

1、實(shí)例分割效果

2、消融實(shí)驗(yàn)

3、目標(biāo)檢測(cè)

4、行人姿態(tài)估計(jì)

AI 神經(jīng)網(wǎng)絡(luò)

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。