面向情感分析的深度學習技術研究淺析

唐裕彪

（中國移動通信集團重慶有限公司，重慶 401121）

1 情感分析概述

情感分析采用自然語言來處理和挖掘文本的技術，對帶有情感色彩的主觀性文本描述進行分析、處理和識別的過程。文本情感分析涵蓋了自然語言處理、文本挖掘、信息檢索、信息抽取、機器學習等多個領域，得到眾多學者以及研究機構的廣泛關注，成為自然語言處理領域的熱點研究問題。情感分析包含了文檔級、句子級、方面級三個層次[1]。文檔級情感分析假設整個文檔只包含關于一個主題的觀點；句子級的情感分析同樣假設一個句子中只表達一個主題；方面級情感分析旨在判斷所討論的每個方面所表達的情感極性。目前，方面級情感分類的深度學習領域正在蓬勃發(fā)展，其目標是確定用戶在評論中對給定方面表達的意見是積極的、消極的還是中性的。

2 面向情感分析的深度學習技術

基于深度學習的方面級情感分類可分為用于方面級情感分類的遞歸神經網絡，用于方面情感分類的循環(huán)神經網絡，用于方面級情感分類的基于注意機制的循環(huán)神經網絡，用于方面級情感分類的卷積神經網絡，用于方面級情感分類的存儲記憶網絡[2]。

2.1 遞歸神經網絡

遞歸神經網絡是一種從數據中學習有向無環(huán)圖結構的神經網絡。它可以看作是遞歸神經網絡的一種推廣。給定一個句子的結構表示，采用遞歸的方式由下至上來產生父表示，其中短語可以依照組合的形式標記出來，從而可以得到一個句子完整的表示方法。然后，一個句子的表示被用來對給定的輸入句子進行類似情感分類的最終預測。相關研究模型有遞歸神經網絡。

2.2 循環(huán)神經網絡

在這一分類中，模型可以分為三大類：循環(huán)神經網絡、雙向循環(huán)神經網絡、混合循環(huán)神經網絡。相關研究模型如下：

（1）目標獨立長短期記憶神經網絡。它利用兩個長短期記憶神經網絡，從關于給定方面的左上下文和右上下文學習表示。在此之后，將最后的隱藏向量連接起來，并將它們輸入決策層，以預測句子在這個方面的情感極性。

（2）廣義回歸神經網絡。該模型采用雙向循環(huán)神經網絡來克服池化函數的缺點，為此提出了兩種門控神經網絡。首先，它利用雙向廣義回歸神經網絡將句子中的單詞連接起來，以便在隱藏狀態(tài)上應用池化函數，而不是單詞嵌入函數，以便更好地表示方面及其上下文。其次，采用三向門控神經網絡結構對句子中所提到的方面與其周圍語境之間的相互作用進行建模。

2.3 基于注意機制的循環(huán)神經網絡

注意機制已成功應用于多種自然語言處理任務中，如機器翻譯、智能問答、語義理解等[3]。各種基于注意力的循環(huán)神經網絡模型最近被引入到方面級情感分析中，它可以有效地關注句子的重要部分。方面級情感分析的基于注意力的循環(huán)神經網絡模型可分為基本注意力的循環(huán)神經網絡模型和基于交互注意力的循環(huán)神經網絡模型。單跳注意長短期記憶神經網絡模型是一種基于方面嵌入，以方面表示與詞嵌入的拼接為輸入，利用長短期記憶神經網絡的隱藏狀態(tài)進行注意計算。在這個模型中，連接注意是用來捕捉句子中給定方面的重要部分。

2.4 存儲記憶網絡

存儲記憶網絡為方面級情感分類引入了一種端到端記憶網絡，它利用一種外部記憶機制來捕捉句子中與給定方面有關的重要信息。此外，還有人提出一種基于記憶網絡的重復注意機制，針對各個方面捕捉長距離分離的情感信息。為了克服記憶模型的近視問題，提出了句子級內容注意機制。方面級情感分類的多跳注意機制的深度記憶網絡，在外部存儲器上采用了一種多跳注意機制來關注上下文詞項的重要性水平，明確地捕獲了語境詞的重要信息，用于推斷特定方面的情感極性。這些重要度和文本表示通過多個計算層進行計算，這些計算層是具有外部記憶的以注意為基礎的神經模型。

2.5 聯邦學習

2.5.1 情感分析安全

情感分析的安全問題主要存在3種威脅：惡意客戶端修改模型更新，破壞全局模型聚合；惡意分析者通過對模型更新信息的分析推測源數據情感隱私信息；惡意服務器企圖獲得客戶端的情感源數據。針對以上威脅，增強聯邦學習隱私安全性的主流方案與經典機器學習隱私保護技術結合，包括差分隱私（DP，Differential Privacy）、安全多方計算（MPC，secure Multi-party Computation）、同態(tài)加密（HE，Homomorphic Encryption）等技術。

2.5.2 信任與激勵機制

學術界通過結合區(qū)塊鏈技術做出了大量研究。區(qū)塊鏈是比特幣的底層技術，它作為一種安全可靠、不可篡改和支持查詢驗證的分布式分類賬，被應用于解決各類數據安全存儲和信任問題。聯邦學習通過集成區(qū)塊鏈能夠以一種安全、高度抗中斷和可審計的方式記錄其模型更新，為系統(tǒng)框架提供可問責性和不可否認性。同時，區(qū)塊鏈的激勵機制作為一種經濟回報能夠根據構建模型時客戶端的貢獻給予相應的獎勵。

2.5.3 研究熱點

（1）系統(tǒng)異構。在基于聯邦學習的情感分析環(huán)境中，由于參與訓練的客戶端之間硬件配置、網絡帶寬、電池容量等不同，各終端設備的計算能力、通信速度和存儲能力各不相同。除此之外，基于聯邦學習的情感分析架構通常會限制終端設備參與訓練的數量，尤其是在數百萬設備參與的訓練中，處于活躍狀態(tài)的往往只有數百個客戶端。每個客戶端并不一定可靠，隨時可能因為網絡故障、算力限制等問題退出現有訓練，這些系統(tǒng)級別的異構會給模型整體效能造成極大的挑戰(zhàn)。因此，適用于系統(tǒng)異構的聯邦學習算法必須滿足3點要求：客戶端的低參與率；兼容不同的硬件結構；能夠容忍訓練設備的中途退出。

（2）統(tǒng)計異構。不同的終端設備通常使用各式各樣的方式生成、存儲和傳輸用戶情感數據，因此各設備之間數據的特征和體量可能有很大的不同，導致數據呈非獨立同分布和非平衡分布。盡管這類分布的數據集可以通過通信效率優(yōu)化的方式處理，但仍然存在一些針對統(tǒng)計異構的解決方法，如通過多任務學習框架學習不同的局部模型。類似于元學習，多任務學習由于對個性化和特定于設備建模的支持，已經成為解決數據統(tǒng)計異構性的主流方法。

（3）無線通信。在5G技術日益普及的今天，基于聯邦學習的情感分析開始被逐漸應用于無線網絡領域。由于無線信道的帶寬容量有限，因此在發(fā)送情感數據之前，需要對模型更新進行量化壓縮，在這種模式下，一個重要的考慮因素是當存在量化誤差時模型更新的魯棒性。除了通信帶寬，無線通信中復雜的噪聲和干擾也是加劇信道瓶頸的因素。因此，開發(fā)適用于無線通信的聯邦學習算法具有突出的研究意義。

除了對聯邦學習本身技術的改進，最新的研究進展包括結合邊緣計算在情感分析領域的應用。由于部分終端設備并沒有足夠的計算資源，同時為了滿足智能決策的低時延響應，邊緣計算在云中心和終端設備之間添加了邊緣服務器作為中介層，聯邦學習作為其“操作系統(tǒng)”滿足了智能邊緣設備實時決策、多點協(xié)同、自主可控的要求。充分利用智能邊緣服務器計算、存儲、傳輸能力，改變傳統(tǒng)集中上傳情感數據進行決策的方式，破解了傳統(tǒng)集中式機器學習數據難以聚合、隱私難以保護、云中心的單點故障等問題，為未來多功能集群、跨多智能設備的實時情感分析提供了可靠的技術保障。

2.6 多模態(tài)情感分析

由于人類的語言行為通常呈現為多模態(tài)混合的形式，比如自然語言、面部特征以及聲學行為，因此在處理這類多模態(tài)情感數據時就會面臨這樣的困難：一是由于對于每種模態(tài)序列采樣速率的不同導致數據不對齊；二是跨模態(tài)元素之間具有遠距離的依賴，這種依賴性會對特征融合帶來一定的影響。

針對上述問題，傳統(tǒng)的處理方法是通過人工預處理強制地將視覺和聲覺特征與詞的分辨率對齊，然后基于這種對齊后的時間步長來對多模態(tài)之間的相互作用進行建模，沒有將原始多模態(tài)特征之間長距離的依賴性考慮在內。多模態(tài)轉換模型，以端到端的方式來直接學習沒有對齊的模態(tài)特征表示，其核心是雙向的跨模態(tài)注意機制，該機制關注不同時間步長的多模態(tài)序列之間的交互作用，并潛移默化地使一個模態(tài)去適應另一個模態(tài)。

在高維上，模型通過一個前饋融合進程從多個跨模態(tài)轉移來合并多模態(tài)時間序列，每個跨模態(tài)轉換器通過學習跨兩種模態(tài)特征的注意力，使用來自源模態(tài)的低維特征去反復強化目標模態(tài)。因此，多模態(tài)轉換模型使用該跨模態(tài)轉換器對所有的模態(tài)對進行建模，然后由一個序列模型使用融合的特征進行預測。

由于人類的多模態(tài)語言序列不像詞嵌入那樣離散且具有良好的代表性，模態(tài)序列之間有很大的頻率差異，使用注意力機制將一個模態(tài)潛移默化地去適應另一個模態(tài)，從而可以將模態(tài)之間長距離的依賴性考慮在內。

2.7 可搜索加密

（1）為了保護情感數據的機密性，情感數據需要采用端到端方式進行加密；此外，靈活的訪問控制（AC）在數據共享中起著至關重要的作用。

（2）數據擁有者：自身的存儲和計算資源不足，需將本地資源文檔外包給云服務器存儲。首先，數據擁有者將外包文檔加密并生成檢索索引，將密文文檔和檢索索引一起外包給云服務器。其次，當數據擁有者想要檢索某個特定關鍵詞時，生成該關鍵詞的檢索陷門，并提交給云服務器進行檢索。

（3）一般的可搜索加密方案包含四個算法：一是用戶生成秘鑰，用戶輸入安全參數，返回密鑰；二是用戶生成密文的檢索索引，輸入密鑰和明文數據庫，返回檢索索引；三是用戶生成關鍵詞的檢索門限，輸入關鍵詞，返回關鍵詞的檢索門限；四是服務器執(zhí)行檢索操作。

3 結束語

文本情感分析可實現對主題詞描述情感極性的有效識別，本文簡要概述了情感分析的概念及其分類。詳細討論了面向方面情感分析的深度學習模型。未來，在方面級情感分析的研究中，文本情感預訓練粒度控制技術、結構語言訓練模型決策技術以及可解釋性方面情感分析技術等將是該領域的熱點研究方向。