【小樣本學習】小樣本學習概述

隨著深度學習技術的不斷發展，圖像識別的精度不斷提升。深度學習取得成功的關鍵因素之一是大規模的數據進行模型訓練。與機器相比，人類卻可以通過少量樣本快速學習新事物。小樣本學習模擬人類快速學習新事物的能力，主要研究如何通過少量樣本學習識別模型。由于在大多數場景下，圖像的獲取與標注是十分困難的，近年來小樣本學習逐漸成為當前的熱點研究問題。本文從小樣本學習定義，當前主流方法以及小樣本學習的前沿方向三個角度，對小樣本學習進行全面的分析。

1. 小樣本學習定義

小樣本學習主要研究如何通過少量樣本學習識別模型。目前學術界普遍研究的是N-way-K-shot問題。即進行N個類別的識別，每類有K個樣本。通常情況下K比較小。當前的小樣本識別方法主要利用了元學習的方法，通過大量的輔助數據學習元知識，遷移到目標任務中。因此，在小樣本學習中，還包含與目標任務相似的其他任務的數據，如下圖所示。

2. 小樣本學習主流方法

本節內容從數據，模型，優化三個方面對當前的主流方法進行劃分。

（1）數據：小樣本學習的根本問題在于目標任務數據量少，難以訓練出魯棒的識別模型。因此，擴充數據可以從根本上解決小樣本問題。目前應用較廣的擴充數據的方法包括傳統的數據增強方法（如旋轉，平移，縮放等）；不同前景背景拼接，生成多樣化圖像；相似類的類內變化遷移；從弱標注數據中篩選出與目標任務相似的樣本（半監督場景）；圖像生成方法（GAN, VAE）等生成多樣化的圖像或特征。

（2）模型：從模型的角度解決小樣本問題，其關鍵在于如何利用輔助數據學習魯棒的，泛化性強的模型。[a] 多任務學習模型：該類方法主要利用了不同任務之間的相關性，共享底層特征，然后針對不同任務學習任務獨有特征。通過參數共享的方法，可以有效減少新任務需要學習的參數數量。 [b] 度量學習模型：該類方法的主要思想是通過輔助任務學習泛化性強的度量空間，在不更新參數的情況下可以適用到新任務中。由于該類方法無需更新模型參數，在一定程度上可以避免目標任務過擬合現象。目前該類方法在小樣本識別中可以達到相對較好的性能，研究比較廣泛。[c] 記憶模型：該類方法主要模擬了人的記憶機制，通過在輔助任務中學習記憶模塊，不斷積累知識，應用到新任務中，從而提升模型的泛化性。

（3）優化：從優化的角度解決小樣本問題，其關鍵在于如何設計優化方法來避免小樣本數據帶來的過擬合現象。[a] 模型微調：采用一定的策略進行模型微調（如提前終止；部分參數更新等），避免小樣本數據導致模型過擬合。 [b] 元學習初始化：該類方法的主要思想是學習適用于不同任務的魯棒的初始化參數，使得在新任務中通過少量樣本，少量迭代優化次數便可獲得性能好的識別模型。[c] 元學習優化器：與傳統方法不同（通過梯度下降的方式進行模型更新），該類方法的主要思想是學習元優化器，可以根據任務輸出模型更新的參數，指導模型更新，避免少量數據帶來的模型過擬合問題。

3. 小樣本學習前沿方向

（1）數據生成：數據生成從根本上解決小樣本問題。目前基于生成的方法在小樣本學習中被廣泛使用。該類方法的研究點在于如何利用少量樣本生成多樣性強，信息量豐富的樣本。

（2）元學習：元學習在小樣本識別中被廣泛使用，它通過輔助數據學習元知識遷移到目標任務中。該類方法是最接近人類認知的方法，但如何學習知識，積累知識，避免過擬合，仍然處于起步階段，具有很大的研究空間。

（3）知識利用：在數據量少的情況下，通過語義知識輔助圖像識別是一種比較合理的方法。語義知識（如屬性，文本描述等）是經過人類抽象的語義信息，可以有效的表示不同的類別。通過語義知識可以有效輔助目標類的識別任務。該類方法的挑戰在于如何定義并提取與類別相關，遷移性較強的語義信息。

（4）廣義小樣本識別：目前的小樣本識別任務主要研究小樣本類別的分類。但現實世界中不僅只有小樣本類，具有大量數據的輔助類同樣需要識別。泛化小樣本識別將輔助類與小樣本類放到一起同時識別。該任務的核心在于如何解決數據不均衡的分類問題，避免在大數據類別上的過擬合現象。

（5）小樣本檢測與分割：檢測和分割的應用比較廣泛。相比于識別任務，檢測與分割的難點在于目標的定位。如何利用小樣本數據識別并定位目標存在更大的挑戰，具有更大的研究價值。

EI EI創新孵化Lab

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。