10.8論文筆記1-基于雙嵌入層和CNN層情感面提取的序列標記

開篇之前先回顧兩個基本模型的概念，end2end,sqe2sqe和注意力機制

這篇筆記基于《double embedding and cnn-based sequence labeling fro aspect extraction》 Hu Xu, Bing liu, ACL18。from chicago University and Tinghua University

在細粒度情感分析中獲取情感分析的對象是十分重要的一個任務。這篇文章介紹了如何通過兩個預處理的embedding層結合CNN模型來解決獲取情感分析方面對象的方法，這種方法雖然簡單，但是在沒有附加任何新的信息的情況下卻獲得了很好的實驗效果。 #####目的介紹 ? ? ? ? 受施方面特征提取是情感分析模型的一個重要任務，主要目的是從意見文本中提取意見的施加對象，例如“他的速度快的難以置信。”在這段文本中速度就是文本意見施加的對象。受施方面特征提取一般使用有監督學習，相關研究包括詞法分析，深度神經網絡分析等等。盡管這些模型取得了較好的效果，但是對于一個模型還應考慮這兩個問題：1、如何在人工干預較少的情況下獲取一個可接受的自動特征表示結果；2、根據occam剃刀原則，（從綜合效果上考慮）簡練的模型往往優于復雜的。本文基于上述觀點提出了這樣一個簡單的模型。 ######特征提取 ? ? ? ? 為實現第一個目的本文提出了一種雙嵌入機制來進行方面特征提取。嵌入層是模型的第一個層，所有的信息都是在這一層進行編碼。嵌入層的編碼質量直接決定了下面解碼層的解碼質量?，F有模型一般使用通用的嵌入方式如glove或者其他根據文本與訓練好的模型。但是在情感分析的受施方面提取是一個非常復雜的過程，對于復雜的領域情感分析受施對象的提取過程中需要使用細分領域的詞嵌入模型。例如對于筆記本電腦而言“速度”指的是每秒鐘指令的執行次數而對于交通工具則是每小時行駛的公里數。所以盡管領域內的詞嵌入訓練模型規模不大但是卻非常重要，本文將充分結合使用通用詞嵌入和領域詞嵌入數據，使得嵌入層的編碼能獲取增多的信息。 ######簡化模型 為實現本文提出的第二個目的（簡單高效）本文使用CNN神經網絡，LSTM具有先天的順序依賴特性，前向傳播和后向傳播過程都要求數據順序進入系統，使得系統的運行效率不高；但是CNN中的卷積和池化操作通常是為了進行抽象順序輸入而進行的操作，從而使得輸出和輸入不能建立直接的對應關聯關系。 本文實現了雙嵌入CNN（DE-CNN），這是首次第一次將雙嵌入和純基于CNN的序列數據處理模型結合起來。 #####相關工作 12年開始就有人進行情感分析篇章、句子和受施方面等不同層次作分析，然而對受施方面的分析從04年就已經開始了，受施方面的分析方法既有使用的有監督學習的也有無監督學習的。其中無監督學習的方法主要有頻繁模式挖掘、語法規則和文法規則以及主題模型等word alignment和label propagation等。 監督學習的方法通常都是指有crf(條件隨機場模型)、最近深度學習也已經應用在了有監督受施方面對象提取的過程中，比如LSTM模型、和人工特征結合的注意力機制等都取得了很好的效果。 已有的詞嵌入包含跨領域和領域特定的詞嵌入方法，然而我們需要的是受施方面特征提取完全匹配的特定領域。CNN最近也被用在命名個體識別方面。CNN分類器同樣也被用在情感分析中，我們采用的CNN序列特征提取，保留了CNN的簡單和可并行化的特點。 ####模型介紹 提出的模型包含兩個嵌入層和4個卷積層，一個全連接層共享所有詞匯的位置，一個softmax層產生標簽結果。標簽結果未y={B,I,O}

這兩個嵌入層是不可訓練的，其主要原因是不能可能一邊輸入而對同一個詞語編碼的形式卻發生了變化。 論文中使用的兩個嵌入層疊加的方式為按位疊加的方式 $$x^{(1)} = x^g \oplus x^d$$ 然后將結果輸入卷積神經網絡中，卷積神經網絡則使用多個一維的過濾層，每個層都是尺寸為r的過濾器使用的卷積核為k = 2c +1其卷積操作核ReLU的激活器作用為： $$x_{i,r} ^{(l+1)} = max(0,({\sum} { w *x+ b_r ^{(l)}}）) \qquad (編輯器真難用tex支持不全，幫助又相當有限）$$

使得卷積層可以對上下文為C的單詞進行處理，卷積核的大小為偶數，同時對于第一個卷積層使用兩種大小的卷積核，而對于其他層（2,3,4層）使用相同大小的卷積核。最后使用給一個全連接層和一個softmax層進行分類。本文并未使用最大化池化，因為對于序列標簽而言需要每個序列的單詞內容而不是抽象出來的內容。 ####實驗 #####數據集的選擇 根據最近一些論文的啟示，使用了SemEval challenge的兩個情感分析受施方面的基準數據庫，第一個是筆記本電腦領域的數據庫來源于SemVal-2014年的子任務；第二個是來自于餐館領域的數據庫來源于SemVal-2016的子任務。這兩個數據庫都包含了包含已標明受施對象評論語句的句子和篇章。直接使用了nltk對文章內容進行分詞。 對于通用的嵌入層，我們使用840B.300d.embeddings這個訓練結果（網上都有，glove的或者word2vec的都有）對于領域數據我們收集了筆記本電腦和餐館的評論語料庫，和fastText進行訓練。laptop評論語料庫來自于Amazon Review DataSet,餐館語料庫來自于Yelp Review DataSet Chanllenge，中關于餐館的部分。訓練參數為100維的30輪迭代，保持了fastText中的超參數。同時使用fastText對詞典外的單詞使用subWord N-gram詞嵌入

。 #####基準方法 實驗分為三組：使用標準評價方法對數據庫進行評價。前兩組的結果是來自于Li&Lam的論文，第一組則是使用單任務方法進行實驗。 ######第一組 CRF 條件隨機場 IHS_RD 和 NLANGP原有挑戰賽最好的系統 WDEmb 使用詞嵌入增強的CRF 線性上下文和獨立輸入路徑的詞嵌入輸入。 LSTM 簡單的雙向LSTM BiLSTM BiLSTM-CNN-CRF NER社區的效果最好的模型 ######第二組是一個多任務學習使用gold-standard *** term/setiment 語法

CRNCRF Wang等人16年提出的結合遞歸神經網絡和CRF進行方面及意見項協同抽取的模型，處理意見注釋，他還適用于人工特征提取。 CMLA Wang等人17年提出的多層注意力連接神經網絡適用于方面及意見項協同抽取的模型。 MIN Li & Lam等人提出的多任務學習框架，共包含三個LSMT，前兩個用于方面和意見提取，第三個用于決定情感傾向。 ######第三組是DE—CNN的變種 glove-CNN Domain-CNN maxPoll-DE-CNN DE-OOD-CNN DE-goole-CNNN DE-CNN_CRF 這幾個模型看名字就知道用的什么結構，不贅述。 #####超參數 卷積核大小k = 3或5 第一層CNN 128個卷積單元 c為上下文窗口中的第c個詞，c=1是使用k = 3 c = 2時使用k=5 其他層每個層使用256個卷積單元使用k=5的卷積核。 dropout = 0.55 adma的學習速率為0.0001 ####結果分析 當然文主提出的模型最棒了。 ####結論 該文章提出的基于CNN的受施面提取模型基于雙嵌入層機制沒有使用任何的監督方式，實驗顯示效果很好。

本文轉載自異步社區

神經網絡

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。

版權聲明：本文內容由網絡用戶投稿，版權歸原作者所有，本站不擁有其著作權，亦不承擔相應法律責任。如果您發現本站中有涉嫌抄襲或描述失實的內容，請聯系我們jiasou666@gmail.com 處理，核實后本網站將在24小時內刪除侵權內容。