深度殘差收縮網絡：（四）注意力機制下的閾值設置

對于基于深度學習的分類算法，其關鍵不僅在于提取與標簽相關的目標信息，剔除無關的信息也是非常重要的，所以要在深度神經網絡中引入軟閾值化。閾值的自動設置，是深度殘差收縮網絡的核心貢獻。需要注意的是，軟閾值化中的閾值，需要滿足一定的條件。這篇文章中的閾值設置，事實上，是在注意力機制下進行的。下面分別介紹閾值需要滿足的條件、注意力機制以及具體的閾值設置方法。

（1）閾值需要滿足的條件

在軟閾值化中，閾值的取值有一定的要求：首先，閾值必須是正數；其次，閾值不能太大，否則輸出會全部為零。

更重要的是，每個樣本，應該有不同的閾值。這是因為，許多樣本所含的噪聲量經常是不同的。

例如，樣本A所含噪聲較少，樣本B所含噪聲較多。那么，在降噪算法里面，樣本A的閾值就應該大一點，樣本B的閾值就應該小一些。在深度學習算法里，由于這些特征沒有明確的物理意義，閾值的大小也無法得到解釋。但是道理是相通的，即每個樣本應該有不同的閾值。

（2）注意力機制

注意力機制可以從視覺的角度進行解釋。人類能夠通過快速掃描圖像，發現目標物體，進而將更多的注意力集中在目標物體上，以捕獲更多細節，同時抑制其他區域的無關信息。

Squeeze-and-Excitation Network(SENet)是一種典型的帶有注意力機制的深度學習方法。對于不同的樣本，不同通道上的特征，在分類任務中的重要程度，經常是不同的。SENet可以學習一組權重，自動地調整不同通道的特征的大小。這個過程，就相當于施加不同的注意力在各個通道的特征上（見下圖）。

需要注意的是，每個樣本，都有自己獨特的一組權重。任意兩個樣本，它們的這些權重，都是不同的。在SENet中，具體的網絡結構如下圖所示。學習權重的路徑就是，全局池化→全連接層→ReLU→全連接層→Sigmoid。

（3）具體的閾值設置方法

深度殘差收縮網絡采用了一個子網絡來自動地設置閾值。這個子網絡的結構，就借鑒了上述的SENet。

首先來看“通道之間共享閾值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-shared Thresholds，簡稱DRSN-CS)”。我們可以看到，在紅色虛線框里的子網絡，學習得到了一個閾值，應用在特征圖的所有通道上。

在這個子網絡中，首先對輸入特征圖內的所有元素，取絕對值。然后經過全局均值池化(Global Average Pooling, GAP)和求平均(Average)，就得到了一個特征。為了方便描述，將這個特征記為A。在另一條路徑中，全局均值池化之后的特征，輸入到一個小型的全連接網絡之中。這個全連接網絡以一個Sigmoid激活函數作為最后一步，其目的在于將輸出調整到0和1之間，記為α。最終的閾值就是α×A。這樣的話，閾值就是，一個0和1之間的數字×特征圖的絕對值的平均值。通過這種方式，保證了閾值不僅為正數，而且不會太大。

然后再看“逐通道不同閾值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-wise Thresholds，簡稱DRSN-CW)”。與上述的DRSN-CS相似，在紅色虛線框里的子網絡，學習得到了一組閾值。以相同的方式，確保了閾值有著合適的取值范圍。

值得指出的是，通過這種方式，不同的樣本就有了不同的閾值。在一定程度上，也可以理解為一種注意力機制：注意到不重要的特征，將它們剔除掉；或者說，注意到重要的特征，將它們保留下來。另外，雖然跨層的恒等路徑(Identity shortcut)將不重要的特征也傳遞到了高層特征中，但是通過很多殘差模塊的堆疊，這些不重要的特征所占的比重越來越低，最終實現不重要特征的消除。

前三篇的內容：

深度殘差收縮網絡：（一）背景知識 https://www.cnblogs.com/yc-9527/p/11598844.html

深度殘差收縮網絡：（二）整體思路 https://www.cnblogs.com/yc-9527/p/11601322.html

深度殘差收縮網絡：（三）網絡結構 https://www.cnblogs.com/yc-9527/p/11603320.html

原文的鏈接：

M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/8850096

人工智能 機器學習 AI

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。