ALBERT：更少參數(shù)量的預(yù)訓(xùn)練語言模型

相比于BERT模型，ALBERT主要做了兩項(xiàng)改進(jìn)，一是減少了模型參數(shù)量，而是提出了更有效的句子對(duì)順序預(yù)測(cè)任務(wù)。

減少模型參數(shù)的策略

詞向量矩陣分解

傳統(tǒng)的詞向量矩陣大小為

V

×

H

V \times H

V×H，其中

V

V

V是詞典大小，

H

H

H是模型隱狀態(tài)大小。為了降低詞向量的參數(shù)量，ALBERT將詞向量矩陣拆分為兩個(gè)小矩陣

V

×

E

V \times E

V×E和

E

×

H

E \times H

E×H，其中

H

>

>

E

H>>E

H>>E。通過這種策略有效減少了詞向量參數(shù)。

跨層參數(shù)共享

原始BERT由多層transformer的encoder構(gòu)建而成，為了減少參數(shù)量，ALBERT使不同層共享同一份參數(shù)，主要包括前向神經(jīng)網(wǎng)絡(luò)層（feed-forward network, FFN）和注意力參數(shù)。

ALBERT的參數(shù)量與BERT參數(shù)量的比較：

不同策略參數(shù)共享的性能差異

句子對(duì)次序預(yù)測(cè)任務(wù)（SOP）

原始BERT中采用下一句子預(yù)測(cè)（NSP）任務(wù)來建模句子對(duì)之間的信息，希望在下游相關(guān)句子對(duì)任務(wù)中有更好的表現(xiàn)。ALBERT將NSP任務(wù)替換為相對(duì)更困難的SOP任務(wù)，即預(yù)測(cè)兩個(gè)句子的順序是否正確。其中，正例數(shù)據(jù)是來源于相同文檔中的兩個(gè)句子，而負(fù)例數(shù)據(jù)是交換位置后的兩個(gè)句子。

SOP和NSP兩者的比較

總結(jié)

ALBERT xxlarge以更少的參數(shù)量實(shí)現(xiàn)了更好的結(jié)果，這是ALBERT的主要優(yōu)勢(shì)。但從訓(xùn)練速度上來看，其相比于BERT卻慢了三倍，這說明減少參數(shù)量不一定會(huì)加速模型的訓(xùn)練速度。從ALBERT的改進(jìn)策略來看，我們可以得出以下簡(jiǎn)單的結(jié)論：增大模型結(jié)構(gòu)、引入更復(fù)雜的預(yù)訓(xùn)練任務(wù)是提升模型的性能有效手段。

自然語言處理基礎(chǔ) 語言理解

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。