《AI安全之對抗樣本入門》—1.3.2　參數共享

1.3.2　參數共享

本質上隱藏層的一個節點與輸入層一個節點的連接，對應的就是一個連接參數，大量的連接也就意味著大量的參數需要計算，僅依靠局部連接技術是無法進一步減少計算量的，于是人們又提出了參數共享。所謂的參數共享是基于這樣一個假設，一部分圖像的統計特性與完整圖像的相同。回到上面的例子，每個隱藏層的節點只與輸入層的100個節點連接，這樣每個隱藏層節點就具有100個參數，全部隱藏層就具有1000000×100 = 108個參數，使用參數共享后，每個隱藏層的節點都具有完全相同的參數，全部隱藏層就只有100個參數需要計算了，這大大減少了計算量，而且即使處理更大的圖像，只要單一隱藏層節點與輸入層連接的個數不變，全部隱藏層的參數個數也不會變。這種共享參數的機制，可以理解為針對圖像的卷積操作。假設如圖1-13所示，具有一個4×4大小的圖像和一個大小為2×2的卷積核。

大小為2×2的卷積核對原始圖像第1塊大小為2×2的圖像進行卷積操作，得到卷積結果為2，如圖1-14所示。

圖1-13　原始圖像與卷積核

圖1-14　卷積核對原始圖像第1個2×2的塊進行處理

大小為2×2的卷積核對原始圖像第2塊大小為2×2的圖像進行卷積操作，得到卷積結果為1，如圖1-15所示。

圖1-15　卷積核對原始圖像第2個2×2的塊進行處理

如果大小為2×2的卷積核依次對原始圖像進行卷積操作，移動的步長為2，那么最終將獲得一個2×2的新圖像，如圖1-16所示。

圖1-16　卷積核對原始圖像處理后的結果

可見卷積處理后圖像的大小與卷積核的大小無關，僅與步長有關，對應的隱藏層的節點個數也僅與步長有關。另外需要說明的是，卷積核處理圖像邊際時會出現數據缺失，這個時候需要將圖像補全，常見的補全方式有兩種，分別是same模式和valid模式，same模式會使用0數據補全，而且保持生成圖像與原始圖像大小一致。

same模式會使用大小為2×2的卷積核依次對原始圖像進行卷積操作，移動的步長為1，最終獲得一個4×4的新圖像如圖1-17所示。這里需要再次強調的是，當步長為1時，無論卷積核大小如何，處理前后圖像大小不變；只有當步長大于1時，處理后的圖像才會變小。

圖1-17　卷積核對原始圖像處理后的結果

AI 神經網絡

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。