多任務學習中的目標權重平衡（3）

本文介紹多任務學習中目標權重平衡方法。

傳統多任務目標函數構造的問題：

多任務損失函數定義如下：

相應的，隨機梯度下降的權重更新公式如下：

（注釋：這里是共享層最后一層的權重，具體和多任務學習的網絡構造有關，這里不做具體介紹。）

當某一個任務的梯度占據主導地位，或者任務梯度沖突時，權重更新可能并不是最優的。

Dynamic Task Prioritization - 動態任務優先

1. 本方法首先引入了Key Performance Indicators（KPI）參數，通常是準確率或者平準準確率，用于代表任務的難易程度。

KPI隨著輪次的增加不斷修正，

其中α代表discount factor，可以自定義，τ代表輪次。

2. 其次，基于KPI的定義，每個任務的權重可以表示為

對于KPI越高的任務，一般準確率較高，權重也會相應較小。

3. 最后，基于每個任務的權重，我們可以給出整個loss函數為：

其中FL函數，代表上面的。

參考文獻：

【1】. Guo M, Haque A, Huang D A, et al. Dynamic task prioritization for multitask learning[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 270-287.

【2】.知乎專欄：https://zhuanlan.zhihu.com/p/269492239

機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。