華為云獲得HotpotQA多跳知識推理問答評測第一
日前,華為云在知識計算領域的多跳知識推理問答取得重大進展。基于自然語言處理領域的領先技術積累,華為云語音語義創新Lab聯合華為諾亞方舟實驗室在國際權威的HotpotQA評測Fullwiki Setting賽道榮登榜首,在答案模糊準確率和聯合模糊準確率(Joint F1)等指標上均達到第一。
HotpotQA評測(Fullwiki Setting賽道)最新榜單(截至2021年1月20日)
作為企業重要的信息載體,數字化文檔記錄了大量企業知識,如何快速幫助企業員工從數字化文檔中獲得答案,是企業文檔維護人員的痛點。為解決此問題,一方面需要較強的閱讀理解技術,另一方面還需要構建一套復雜的開放域問答流程。
HotpotQA評測數據是斯坦福、CMU和蒙特利爾大學聯合推出的新型問答數據集,由斯坦福的Manning教授和深度學習三巨頭之一的Bengio牽頭構建,該數據集由多跳復雜問題以及對應的答案組成,同時包含佐證證據用來解釋答案的來源。
在斯坦福此前公布的SQUAD評測任務中,機器已經多次超過人類,該評測僅需要從單個篇章中找到與問題有關的答案即可,故相對簡單。然而,HotpotQA評測需要從整個wikipedia或者多篇文章中找出問題相關的答案,同時要求返回問題到答案的推理鏈,難度大大增加更具有挑戰性。該評測也吸引了來自谷歌、微軟、Facebook等知名研究機構以及CMU、Stanford、華盛頓大學、清華大學、北京大學等知名高校。
挑戰多跳只是推理技術高點
HotpotQA評測的難點在于機器要結合多篇文章進行多跳推理才能得出答案,并返回佐證證據。該評測分為Distractor Setting和 Fullwiki Setting兩個賽道。Fullwiki Setting相較于Distractor Setting更為復雜也更接近實用價值,需要從整個維基百科文檔中抽取文檔,然后再從文檔中提取段落,最后從段落中抽取答案,而Distractor Setting賽道會提供10篇備選的篇章。如何從大量文檔段落中去多跳搜索候選,然后理解候選段落的內容提取佐證證據成為比賽的關鍵。
華為云聯合華為諾亞方舟實驗室,提出了新的檢索目標hop,用于收集維基百科中隱藏的推理證據,解決復雜多跳問題,同時結合beam search對答案進行排序和融合。
從維基百科文本圖譜中檢索跳轉(Hops)
如今,企業面臨著數字化、知識化轉型,知識化轉型重要的關鍵技術就是知識的理解和推理,該技術對企業知識轉型具有重大的意義和推動作用。2020年華為云推出知識計算解決方案,企業可以基于華為云知識計算解決方案打造自己的知識計算平臺,用于研發、生產、運營、銷售、售后服務等企業核心流程。目前,該方案已在石油、汽車、醫療、化纖、煤焦化、鋼鐵、交通等行業率先實踐。
5G游戲 云游戲
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。
版權聲明:本文內容由網絡用戶投稿,版權歸原作者所有,本站不擁有其著作權,亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容,請聯系我們jiasou666@gmail.com 處理,核實后本網站將在24小時內刪除侵權內容。