深度學習核心技術精講100篇（十七）-多標準中文分詞（ Multi-Criteria-CWS）

前言

論文：https://arxiv.org/pdf/1712.02856.pdf? ；

代碼和語料：https://github.com/hankcs/multi-criteria-cws?。

本文參見上面論文及代碼，介紹了一種簡潔優雅的多標準中文分詞方案，可聯合多個不同標準的語料庫訓練單個模型，同時輸出多標準的分詞結果。通過不同語料庫之間的遷移學習提升模型的性能，在10個語料庫上的聯合試驗結果優于絕大部分單獨訓練的模型。模型參數和超參數全部共享，復雜度不隨語料庫種類增長。

自然語言處理，特別是中文處理中，語料庫往往珍稀且珍貴。具體到中文分詞，也是如此。為了做出一個實用的系統，不光需要高效的算法，大規模語料庫也必不可少。然而對于缺乏經費的研究團隊和個人，卻往往只能得到sighan2005等屈指可數的幾個小型語料庫。即便如此，這些語料庫的標注規范還互不兼容?

中文分詞 深度學習

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。