多任務學習中的目標權重平衡（2）

本文介紹多任務學習中目標權重平衡方法GradNorm。

傳統多任務目標函數構造的問題：

多任務損失函數定義如下：

相應的，隨機梯度下降的權重更新公式如下：

（注釋：這里是共享層最后一層的權重，具體和多任務學習的網絡構造有關，這里不做具體介紹。）

當某一個任務的梯度占據主導地位，或者任務梯度沖突時，權重更新可能并不是最優的。

改進方法：

本次介紹方法Gradnorm，通過調整不同loss的數量級和學習速度來平衡多個任務的學習情況。

Loss的數量級通過以下公式獲得

其中為其中一個loss針對共享層參數求梯度的二范數，用量衡量第i個loss的數量級；相應的代表了所有loss梯度的期望。

學習速度通過以下公式獲得

其中為第i個loss在t時刻的loss除以0時刻的loss，衡量第i個任務的反向訓練速度，越小表示訓練越快；代表了所有任務中，第i個任務的相對訓練速度

Gradnorm通過數量級和學習速度兩個方面來構造Gradient Loss，具體公式如下：

其中α為超參數，如果某個loss數量級過大或者過小，訓練速度過快，則會導致Gradient Loss變大，相應的Gradient Loss會反應在中每個任務的權重項w_i上。具體的，w_i的更新方式為：

參考文獻：

[1]. Chen Z, Badrinarayanan V, Lee C Y, et al. Gradnorm: Gradient normalization for adaptive loss balancing in deep multitask networks[C]//International Conference on Machine Learning. PMLR, 2018: 794-803.

機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。