百度RocketQA系列搜索技術論文解析（三）

傳統的搜索通常將召回和精排兩個階段分開進行，本文提出了一個聯合訓練模型，將召回模型（Retriever）看做精排模型（Re-ranker）的蒸餾，從而將兩個模型一起聯合訓練。并據此想法提出了名為動態列表蒸餾（dynamic listwise distillation）的方法，來適應排序模型與傳統模型的不同。另一方面，在RocketQA的數據增強手段基礎上，提出了混合數據增強的方法。最終實驗結果表明，RocketQAv2在召回和精排兩個模型上都達到了state-of-art的效果。

研究問題：

如何將召回模型和精排模型聯合訓練：傳統模型的聯合訓練通常依靠參數共享、加權聯合loss等方式進行，但是召回模型與精排模型有著不同的訓練范式。一般而言，召回模型采用listwise的方式進行訓練，每個batch內對每一個query進行盡可能多的負采樣，而精排模型一般采用pointwise或者pairwise的方式進行訓練，batch內只對query進行一個采樣或者一對正負采樣。

提出方案；

動態列表蒸餾（dynamic listwise distillation）：針對精排模型（Re-ranker），每個batch內，對query采樣一個正樣本和一組負樣本，采取有監督多分類的loss進行優化；針對召回模型（Retriever），將召回模型看做精排模型的蒸餾，采用KL散單對召回模型進行優化。

混合數據增強（hybrid data augmentation）：訓練過程中，為了得到盡可能多的偽標注數據，使用RocketQA的召回模型對語料生成大量偽標注數據，在其中采用RocketQA的精排模型對生成的偽標注數據進行降噪（僅采用得分非常高的正例和得分非常低的負例），混合使用未降噪偽標注數據和降噪的未標注數據。

訓練過程：采用訓練好的RocketQA的召回模型（Retriever）和精排模型（Re-ranker）對RocketQAv2的模型進行初始化，使用上述混合數據增強策略與基于KL散度的動態列表蒸餾Loss對模型進行fine-tuning。

實驗及結論：

同樣在MSMARCO和Natural Questions數據集上進行實驗，效果超過RocketQA。

Reference

[1] RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering

[2] PAIR: Leveraging Passage-Centric Similarity Relation for Improving Dense Passage Retrieval

[3] RocketQAv2: A Joint Training Method for Dense Passage Retrieval and Passage Re-ranking

機器學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。