《TensorFlow自然語言處理》—1.2　自然語言處理的任務

1.2　自然語言處理的任務

在現實世界中，NLP有很多實際的應用。一個好的NLP系統可以執行許多NLP任務。當你在Google上搜索今天的天氣或使用谷歌翻譯將“how are you？”翻譯成法語時，你依賴NLP中的此類任務的一個子集。這里列出一些最普遍的任務，本書涵蓋這些任務中的大部分：

分詞：該任務將文本語料庫分隔成原子單元（例如，單詞）。雖然看似微不足道，但是分詞是一項重要任務。例如，在日語中，詞語不以空格或標點符號分隔。

詞義消歧（WSD）：WSD是識別單詞正確含義的任務。例如，在句子“The dog barked

at the mailman”和“Tree bark is sometimes used as a medicine”中，單詞bark有兩種不同的含義。WSD對于諸如問答之類的任務至關重要。

命名實體識別（NER）：NER嘗試從給定的文本主體或文本語料庫中提取實體（例如，人物、位置和組織）。例如，句子“John gave Mary two apples at school on Monday”將轉換為[John]name gave [Mary]name [two]number apples at [school]organization on [Monday.]time。NER在諸如信息檢索和知識表示等領域不可或缺。

詞性（PoS）標記：PoS標記是將單詞分配到各自對應詞性的任務。它既可以是名詞、動詞、形容詞、副詞、介詞等基本詞、也可以是專有名詞、普通名詞、短語動詞、動詞等。

句子/概要分類：句子或概要（例如，電影評論）分類有許多應用場景，例如垃圾郵件檢測、新聞文章分類（例如，政治、科技和運動）和產品評論評級（即正向或負向）。我們可以用標記數據（即人工對評論標上正面或負面的標簽）訓練一個分類模型來實現這項任務。?

語言生成：在語言生成中，我們使用文本語料庫（包含大量文本文檔）來訓練學習模型（例如，神經網絡），以預測后面的新文本。例如，可以通過使用現有的科幻故事訓練語言生成模型，來輸出一個全新的科幻故事。

問答（QA）：QA技術具有很高的商業價值，這些技術是聊天機器人和VA（例如，Google Assistant和Apple Siri）的基礎。許多公司已經采用聊天機器人來提供客戶支持。聊天機器人可用于回答和解決客戶的直接問題（例如，更改客戶的每月學習計劃），這些任務無須人工干預即可解決。QA涉及NLP的許多其他方面，例如信息檢索和知識表示。結果，所有這些任務都使得開發QA系統變得非常困難。

機器翻譯（MT）：MT是將句子/短語從源語言（例如，德語）轉換為目標語言（例如，英語）的任務。這是一項非常具有挑戰性的任務，因為不同的語言具有不同的形態結構，這意味著它不是一對一的轉換。此外，語言之間的單詞到單詞關系可以是一對多、一對一、多對一或多對多，這在MT文獻中被稱為單詞對齊問題。

最后，為了開發一個可以幫助人們完成日常任務的系統（例如，VA或聊天機器人），許多這些任務需要合并執行。正如在前面的例子中看到的那樣，當用戶問：“你能告訴我附近有不錯的意大利餐館嗎？”需要完成幾個不同的NLP任務，比如語音轉換到文本、語義和情感分析、問答和機器翻譯。在圖1.1中，我們對不同的NLP任務進行層級分類，將它們分為不同的類型。首先有兩大類：分析（分析現有文本）和生成（生成新文本）任務。然后將分析分為三個不同的類別：句法（基于語言結構的任務）、語義（基于意義的任務）和實用（難以解決的公開問題）：

圖1.1　流行NLP任務在更廣泛意義下的層級分類

了解了NLP中的各種任務后，讓我們繼續了解如何借助機器解決這些任務。

自然語言處理 TensorFlow

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。