【云駐共創(chuàng)】2022 年 NLP 模型發(fā)展趨勢(shì)是什么樣的？

1.什么是NLP？

英文全稱： Natural Language Processing；

中文全稱：自然語言處理。

隨著計(jì)算機(jī)在人類社會(huì)中的地位越來越重要，計(jì)算機(jī)理解文本和語言就變成了技術(shù)發(fā)展的重中之重。自然語言處理是計(jì)算機(jī)科學(xué)和計(jì)算語言學(xué)中的一個(gè)領(lǐng)域，用于研究人類（自然）語言和計(jì)算機(jī)之間的相互作用。

1.1 NLP發(fā)展史

1947年，美國科學(xué)家韋弗（W. Weaver）博士和英國工程師布斯（A. D. Booth）提出了利用計(jì)算機(jī)進(jìn)行語言自動(dòng)翻譯的設(shè)想，機(jī)器翻譯從此步入歷史舞臺(tái)。

1957 年，麻省理工學(xué)院的語言學(xué)教授諾姆·喬姆斯基提出 “要使計(jì)算機(jī)理解語言，就必須更改句子的結(jié)構(gòu)。”

1958 年，省理工學(xué)院的人工智能研究先驅(qū)約翰·麥卡錫（John McCarthy）研究符號(hào)運(yùn)算及應(yīng)用需求。麥卡錫帶領(lǐng)由 MIT 學(xué)生組成的團(tuán)隊(duì)開發(fā)了一門全新的表處理語言?LISP，賦予了編程語言更強(qiáng)的數(shù)學(xué)計(jì)算能力。

1964 年，麻省理工學(xué)院人工智能實(shí)驗(yàn)室的德裔計(jì)算機(jī)科學(xué)家約瑟夫·維岑鮑姆編寫了自然語言對(duì)話程序?ELIZA。

1981 年，偉博斯提出了一種前饋神經(jīng)網(wǎng)絡(luò)模型 MLP?。

1986 年，羅斯·昆蘭(Ross Quinlan)提出了?ML 算法（決策樹）。

1997年，LSTM?遞歸神經(jīng)網(wǎng)絡(luò)（RNN）模型被引入。

2001年，法國 AI 專家約書亞·本吉奧（Yoshio Bengio）提出了全新的語言神經(jīng)網(wǎng)絡(luò)模型——模型使用前饋神經(jīng)網(wǎng)絡(luò)描述了一種不使用連接來形成循環(huán)的人工神經(jīng)網(wǎng)絡(luò)。

2011年，美國蘋果公司SIRI第一次在普通消費(fèi)者中使用NLP。

2014年，尤金·古斯特曼（Eugene Goostman）開發(fā)的結(jié)合NLP的聊天程序，成為有史以來首臺(tái)通過圖靈測(cè)試的計(jì)算機(jī)。

2018年，OpenAI提出的GPT 模型可以? 遷移到NLP中。

2019年，?GPT-2 擁有 15 億參數(shù)。

2020年，GPT-3 已經(jīng)擁有驚人的 1750 億參數(shù)。

未來，GPT-N可能會(huì)有更多的突破。

1.2 NLP的主要研究方向

內(nèi)容分類：語言文檔摘要，包括內(nèi)容警報(bào)，重復(fù)檢測(cè)，搜索和索引。

主題發(fā)現(xiàn)和建模：捕獲文本集合的主題和含義，并對(duì)文本進(jìn)行高級(jí)分析。

上下文提取：自動(dòng)從基于文本的源中提取結(jié)構(gòu)化數(shù)據(jù)。

情緒分析：識(shí)別存儲(chǔ)在大量文本中的總體情緒或主觀意見，用于意見挖掘。

文本到語音和語音到文本的轉(zhuǎn)換：將語音命令轉(zhuǎn)換為文本，反之亦然。

文檔摘要：自動(dòng)創(chuàng)建摘要，壓縮大量文本。

機(jī)器翻譯：自動(dòng)將一種語言的文本或語音翻譯成另一種語言。

2.常見的NLP模型簡述

2.1?word2vec

word2vec分為CBOW和Skip-Gram兩種模型。

CBOW模型的訓(xùn)練輸入是某一個(gè)特征詞的上下文相關(guān)的詞對(duì)應(yīng)的詞向量，輸出就是這特定的一個(gè)詞的詞向量。

Skip-Gram模型和CBOW的輸入是特定的一個(gè)詞的詞向量，輸出是特定詞對(duì)應(yīng)的上下文詞向量。

CBOW適合小型數(shù)據(jù)庫，Skip-Gram適合大型語料。Skip-Gram模型的訓(xùn)練需要更長的時(shí)間。

2.2 seq2seq

Seq2Seq:Sequence-to-sequence

輸入一個(gè)序列，輸出另一個(gè)序列,這種模型輸入序列和輸出序列的長度是可變的。

2.3 Attention model

Attention model是Decoder 的輸出會(huì)與Encoder每一個(gè)時(shí)間點(diǎn)的輸出進(jìn)行分?jǐn)?shù)計(jì)算。實(shí)現(xiàn)方法多種多樣，Attention model提升了LSLTM，GRU的整體性能。

2.4 Transformer（vanilla）

transformer的結(jié)構(gòu)由encoder編碼和decoder解碼組成。

如圖是Transformer 的 encoder 部分，輸入是一個(gè) token 序列，先對(duì)其進(jìn)行 embedding 稱為向量，然后輸入給神經(jīng)網(wǎng)絡(luò)，輸出是大小為 H 的向量序列，每個(gè)向量對(duì)應(yīng)著具有相同索引的 token。

2.5 ELMO

ELMO是兩個(gè)雙層向LSTM模型，結(jié)合上下文來理解詞義。

2.6 GPT

GPT是結(jié)合pre-training和fine-tuning的通用學(xué)習(xí)方式，轉(zhuǎn)移到多態(tài)NLP任務(wù)中，只需要微調(diào)。

2.7 Transformer（universal）

Transformer（universal）是ACT模型動(dòng)態(tài)調(diào)整symbol計(jì)算次數(shù),可以獲得最優(yōu)的向量表達(dá)。它可以讓機(jī)器翻譯更準(zhǔn)確，在NLP任務(wù)中通用性很強(qiáng)。

2.8 BERT

BERT是一種多層雙向Transformer編碼器，其中的Transformer與原始的Transformer是相同的。

2.9 GPT2

GPT2模型可以在零樣本下獲取SOFA,經(jīng)過訓(xùn)練后，它的高容量模型能夠盡可能的提高語料庫的多樣性，無需監(jiān)督學(xué)習(xí)。

2.10 Transformer-XL

Transformer-XL是分段方式建模，遞歸機(jī)制。使用相對(duì)位置編碼重新實(shí)現(xiàn)positon embedding。長文檔使用此模型的建模能力提升明顯。

2.11 MASS

MASS:Masked Sequence to Sequence Pre-training for Language Generation

MASS的模型框架:

MASS的優(yōu)點(diǎn)：

GPT和BERT可以提供強(qiáng)大的pretrain的模型，這有利于下游的transfer learning的任務(wù)。

Seq2Seq保證了高質(zhì)量的完成語言生成任務(wù)。

2. 12 XLNet

XLNet是采用回歸語音模型，輸入全排列引入上下文信息，使用最新的Transorner-XL模型，直接使用相對(duì)位置編碼，將遞歸機(jī)制整合到全排列設(shè)定中。

3.2022年NLP模型發(fā)展的趨勢(shì)

我們先來看下NLP的五個(gè)階段：

3.1 GPT4到來？

從OpenAI 論文中透露出來的信息：GPT-4主要提示在AI模型上，當(dāng)前的模型主要集中在文本上，GPT4模型可以將可編輯文本生成圖像。通過處理文本和圖像的模型就是本文視覺融合。另一個(gè)新的功能可能是人類強(qiáng)勢(shì)介入機(jī)器學(xué)習(xí)來指導(dǎo)模型，去抑制不理想模型，這就是人類反饋和強(qiáng)化學(xué)習(xí)模型。強(qiáng)大任務(wù)，可能好會(huì)使GPT-4的參數(shù)成倍的增加。

3.2 非原始數(shù)據(jù)在創(chuàng)建新模型中發(fā)揮作用？

AI的發(fā)展速度和方向，有一個(gè)十分重要的功能AI的數(shù)據(jù)合成功能，合成數(shù)據(jù)可能是音視頻、文字和圖像的合成，這種的新的數(shù)據(jù)參數(shù)對(duì)NLP的用例，會(huì)造就新的NLP模型出現(xiàn)。

3.3 WS5階段更多社會(huì)功能模型因?yàn)轶w驗(yàn)創(chuàng)造新模型

現(xiàn)在科技社會(huì) 中出現(xiàn)了很多新的概念，智慧醫(yī)療、智慧交通、智慧城市、智慧農(nóng)業(yè)、智能家居，這些還在發(fā)展還遠(yuǎn)遠(yuǎn)沒有達(dá)到頂峰的領(lǐng)域，都是為了人類社會(huì)更好的體驗(yàn)，對(duì)應(yīng)硬件設(shè)備終端、互聯(lián)網(wǎng)終端的幾何倍增長，會(huì)使對(duì)應(yīng)功能的新的NLP模型出現(xiàn)，這個(gè)模型可能是解決了一個(gè)設(shè)備的數(shù)據(jù)采集，會(huì)獲得其他設(shè)備的相互學(xué)習(xí)，相互響應(yīng)。

總結(jié)

不同的階段，不同的模型為之服務(wù)。我們現(xiàn)在所看到的各種模型，很多都是模型組合，模型微調(diào)生成新的模型，多模態(tài)NLP的標(biāo)準(zhǔn)數(shù)據(jù)集可大規(guī)模視覺+文本、甚至視覺+文本+語音Transformer模型的訓(xùn)練。

經(jīng)過近幾年的發(fā)展趨勢(shì)來看，NLP的模型在2022年會(huì)有突破性創(chuàng)新模型的出現(xiàn)嗎？總體上依然是現(xiàn)有多模型疊加和對(duì)現(xiàn)有模型的管理，優(yōu)化。

隨著科技的發(fā)展，人們和科技依賴關(guān)系的突破性進(jìn)展，AI，元宇宙等概念的落地和發(fā)展，促使NLP模型不局限與BERT的優(yōu)化，GPTn的的進(jìn)化實(shí)現(xiàn)，期待這一天的到來。

本文整理自華為云社區(qū)【內(nèi)容共創(chuàng)】活動(dòng)第14期。

https://bbs.huaweicloud.com/blogs/336904

任務(wù)27.2022 年 NLP 模型發(fā)展趨勢(shì)是什么樣的？

機(jī)器翻譯 知識(shí)圖譜 語言理解 上云必讀 AI

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。

版權(quán)聲明：本文內(nèi)容由網(wǎng)絡(luò)用戶投稿，版權(quán)歸原作者所有，本站不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。如果您發(fā)現(xiàn)本站中有涉嫌抄襲或描述失實(shí)的內(nèi)容，請(qǐng)聯(lián)系我們jiasou666@gmail.com 處理，核實(shí)后本網(wǎng)站將在24小時(shí)內(nèi)刪除侵權(quán)內(nèi)容。