模型獨立學習：多任務學習與遷移學習

導讀：機器學習的學習方式包括監(jiān)督學習和無監(jiān)督學習等。針對一個給定的任務，首先要準備一定規(guī)模的訓練數(shù)據(jù)，這些訓練數(shù)據(jù)需要和真實數(shù)據(jù)的分布一致，然后設(shè)定一個目標函數(shù)和優(yōu)化方法，在訓練數(shù)據(jù)上學習一個模型。此外，不同任務的模型往往都是從零開始來訓練的，一切知識都需要從訓練數(shù)據(jù)中得到。這也導致了每個任務都需要準備大量的訓練數(shù)據(jù)。在實際應用中，我們面對的任務往往難以滿足上述要求，比如訓練任務和目標任務的數(shù)據(jù)分布不一致，訓練數(shù)據(jù)過少等。這時機器學習的應用會受到很大的局限。并且在很多場合中，我們也需要一個模型可以快速地適應新的任務。因此，人們開始關(guān)注一些新的學習方式。

本文中將介紹兩種典型的“模型獨立的學習方式”：多任務學習和遷移學習。這里“模型獨立”是指這些學習方式不限于具體的模型，不管是前饋神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)還是其他模型。

01

多任務學習

一般的機器學習模型都是針對單一的特定任務，比如手寫體數(shù)字識別、物體檢測等。不同任務的模型都是在各自的訓練集上單獨學習得到的。如果有兩個任務比較相關(guān)，它們之間會存在一定的共享知識，這些知識對兩個任務都會有所幫助。這些共享的知識可以是表示（特征）、模型參數(shù)或?qū)W習算法等。目前，主流的多任務學習方法主要關(guān)注于表示層面的共享。

多任務學習（Multi-task Learning）是指同時學習多個相關(guān)任務，讓這些任務在學習過程中共享知識，利用多個任務之間的相關(guān)性來改進模型在每個任務上的性能和泛化能力。多任務學習可以看作是一種歸納遷移學習（Inductive Transfer Learning），即通過利用包含在相關(guān)任務中的信息作為歸納偏置（Inductive Bias?

機器學習 遷移學習

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔相應法律責任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實的內(nèi)容，請聯(lián)系我們jiasou666@gmail.com 處理，核實后本網(wǎng)站將在24小時內(nèi)刪除侵權(quán)內(nèi)容。