深度殘差收縮網絡：（三）網絡結構
深度殘差收縮網絡（Deep Residual Shrinkage Network）是深度殘差學習（Deep Residual Network, ResNet）的一種改進，發表在IEEE Transactions on Industrial Informatics上，面向的是數據包含噪聲的情況。
（1）回顧一下深度殘差網絡的結構
在下圖中，(a)-(c)分別是三種殘差模塊，(d)是深度殘差網絡的整體示意圖。BN指的是批標準化(Batch Normalization)，ReLU指的是整流線性單元激活函數(Rectifier Linear Unit)，Conv指的是卷積層(Convolutional layer)，Identity shortcut指的是跨層的恒等映射，RBU指的是殘差模塊(Residual Building Unit)，GAP是全局均值池化(Global Average Pooling)，FC是全連接層(Fully Connected Layer)。
C表示特征圖的通道數，W表示特征圖的寬度，1表示特征圖的高度始終為1（這是因為這篇文章以一維的振動信號作為輸入）。
在Conv后的括號中，K表示卷積層中卷積核的個數。當K=C時，輸出特征圖的通道數為C。當K=2C時，輸出特征圖的通道數為2C。/2表示的是卷積核每次移動的步長為2，從而使得輸出特征圖的寬度減半。
我們可以看到，在圖(a)中，輸入特征圖的尺寸為C×W×1，輸出特征圖的尺寸也是C×W×1，也就是說，特征圖的尺寸保持不變。在圖(b)中，輸出特征圖的尺寸減小為C×(0.5W)×1，換言之，寬度減小為原先的一半。在圖(c)中，輸出特征圖的尺寸變為2C×(0.5W)×1，即不僅寬度減小為原先的一半，而且通道數增加了一倍。
（2）深度殘差收縮網絡的網絡結構
在該論文中，提出了兩種深度殘差收縮網絡(Deep Residual Shrinkage Networks，簡稱DRSN)。第一種是“通道之間共享閾值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-shared Thresholds，簡稱DRSN-CS)”，第二種是“逐通道不同閾值的深度殘差收縮網絡(Deep Residual Shrinkage Networks with Channel-wise Thresholds，簡稱DRSN-CW)”。
在下圖中，(a)表示一種改進后的殘差模塊，名為“殘差收縮模塊-通道之間共享閾值(Residual Shrinkage Building Unit with Channel-shared thresholds，簡稱RSBU-CS)”；(b)表示的是DRSN-CS的整體結構示意圖；(c)表示另一種改進后的殘差模塊，名為“殘差收縮模塊-逐通道不同閾值(Residual Shrinkage Building Unit with Channel-wise thresholds，簡稱RSBU-CW)”；(d)表示的是DRSN-CW的整體結構示意圖。
其中，M表示的是全連接層神經元的個數。M=C表示神經元的個數與之前特征圖的通道數相等，M=1表示神經元的個數為1。Absolute表示對特征圖中的每個元素取絕對值，Average表示求特征圖內所有元素的平均值。
可以看出，深度殘差收縮網絡的整體結構，和傳統的深度殘差網絡，沒有區別。其區別在于殘差模塊的不同。在改進后的殘差模塊中，不僅有一個軟閾值化函數作為非線性層，而且嵌入了一個子網絡，用于自動地設置軟閾值化所需要的閾值。
前兩篇的內容：
深度殘差收縮網絡：（一）背景知識 https://www.cnblogs.com/yc-9527/p/11598844.html
深度殘差收縮網絡：（二）整體思路 https://www.cnblogs.com/yc-9527/p/11601322.html
原文的鏈接：
M. Zhao, S. Zhong, X. Fu, B. Tang, and M. Pecht, “Deep Residual Shrinkage Networks for Fault Diagnosis,” IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898
https://ieeexplore.ieee.org/Document/8850096
版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。
版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。
相關文章