基于雙層特征的彝語數(shù)據(jù)情感自動標(biāo)注方法

何 俊，張彩慶，張?jiān)骑w，張德海，李小珍

（1.昆明學(xué)院信息工程學(xué)院，昆明 650214；2.云南大學(xué)外國語學(xué)院，昆明 650206；3.云南大學(xué)軟件學(xué)院，昆明 650206）

（*通信作者電子郵箱369885901@qq.com）

0 引言

人工智能的蓬勃發(fā)展，特別是以深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）為代表的深度學(xué)習(xí)方法獲得突破性的進(jìn)展，極大地促進(jìn)了語音智能化的研究進(jìn)程。然而，由于深度學(xué)習(xí)模型必須用大量準(zhǔn)確的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練才能獲得好的效果，近年來以人工為主的數(shù)據(jù)標(biāo)注已經(jīng)成為一個(gè)龐大的產(chǎn)業(yè)［1-2］，但人工標(biāo)注費(fèi)時(shí)耗力、錯(cuò)誤率高、質(zhì)量參差不齊，因此自動或半自動數(shù)據(jù)標(biāo)注的研究已然迫在眉睫。而情感是智能的一部分，是一種特殊的智能［3］。當(dāng)前語音情感識別已成為人機(jī)交互領(lǐng)域的研究熱點(diǎn)。由于公開的小語種情感標(biāo)注數(shù)據(jù)非常少［4］，特別是彝語情感標(biāo)注數(shù)據(jù)屬于稀缺資源，嚴(yán)重阻礙了彝語智能化發(fā)展進(jìn)程。為了獲得彝語語音情感標(biāo)注數(shù)據(jù)，本文以扶貧日志中大量的彝語語音記錄和文本數(shù)據(jù)為基礎(chǔ)，結(jié)合彝語的特點(diǎn)，分別在聲學(xué)層（Acoustics）和語言層（Language）提取識別特征，融合特征后用分類器進(jìn)行訓(xùn)練，以獲得大量自動標(biāo)注數(shù)據(jù)，為彝語情感研究提供帶標(biāo)注數(shù)據(jù)資源，推進(jìn)彝語智能化研究進(jìn)程。

本文的主要工作包括：

1）針對彝語情感詞綴豐富的特點(diǎn)，提出一種雙層情感特征提取、融合和對齊方法；

2）設(shè)計(jì)彝語情感特征融合、對齊和自動標(biāo)注算法；

3）通過該方法可獲得大量彝語情感自動標(biāo)注數(shù)據(jù)，為其他小語種數(shù)據(jù)標(biāo)注研究提供方法參考。

1 相關(guān)工作

近年來，研究者們對數(shù)據(jù)標(biāo)注進(jìn)行了大量研究和探索，眾包模式和許多商業(yè)平臺應(yīng)運(yùn)而生［5-6］，并催生出一個(gè)勞動密集型的數(shù)據(jù)標(biāo)注產(chǎn)業(yè)。文獻(xiàn)［7］中提出一種“興趣+收獲+報(bào)酬”數(shù)據(jù)標(biāo)注模式，系統(tǒng)研究了社會標(biāo)注模式的內(nèi)在機(jī)理，所提出的標(biāo)注策略在語音數(shù)據(jù)標(biāo)注領(lǐng)域值得借鑒。然而，數(shù)據(jù)自動標(biāo)注成為研究熱點(diǎn)后，人們希望通過自動或半自動標(biāo)注數(shù)據(jù)來取代人力，并在圖像自動標(biāo)注研究中取得較大成功［8-9］。但計(jì)算機(jī)生成的標(biāo)注和人工標(biāo)注仍存在較大差距，圖像自動標(biāo)注還有很多問題亟須解決［10］。在小語種數(shù)據(jù)標(biāo)注方面，研究者們利用學(xué)習(xí)和分類模型實(shí)現(xiàn)半自動標(biāo)注，并取得了一些成果。如：文獻(xiàn)［11］中用隱馬爾可夫模型（Hidden Markov Model，HMM）對沒有時(shí)間標(biāo)注的藏語訓(xùn)練語音基元進(jìn)行自動標(biāo)注，取得了比較接近人的效果，但沒有擴(kuò)展到整個(gè)語音數(shù)據(jù)標(biāo)注。文獻(xiàn)［12］中利用強(qiáng)化學(xué)習(xí)方法標(biāo)注壯語的詞性，并與神經(jīng)網(wǎng)絡(luò)結(jié)合來緩解模型對訓(xùn)練語料庫的依賴。文獻(xiàn)［13］中利用神經(jīng)網(wǎng)絡(luò)模型對韻律邊界進(jìn)行標(biāo)注，融合了靜音時(shí)長和文本特征融合，可提高標(biāo)注的效率，該方法對本文研究有一定的啟發(fā)。目前，語音情感識別研究工作在情感描述模型的引入、情感語音庫的構(gòu)建、情感特征分析等方面已取得長足發(fā)展。文獻(xiàn)［14］中提出的FEELTRACE 情感標(biāo)注系統(tǒng)為語音情感數(shù)據(jù)的標(biāo)注提供了標(biāo)準(zhǔn)化工具；文獻(xiàn)［15］中的面向語音情感特征提取開放式工具包openSMILE，實(shí)現(xiàn)了包括能量、基頻、時(shí)長、Mel 倒譜系數(shù)等在內(nèi)的常用語音情感特征的批量自動提?。晃墨I(xiàn)［16］中提出的大型多媒體情感數(shù)據(jù)庫SEMAINE為語音情感識別的研究和發(fā)展提供了公開的、豐富的、高質(zhì)量的自然情感語料。這些研究成果為本研究工作提供了基礎(chǔ)。

綜上所述，國內(nèi)外研究者對數(shù)據(jù)自動及半自動標(biāo)注、圖像自動標(biāo)注等方面進(jìn)行了大量研究，并取得一些成果。盡管目前在語音情感識別方面已進(jìn)行多年研究，但在小語種情感數(shù)據(jù)標(biāo)注方面的研究還處于起步階段，而彝語數(shù)據(jù)自動標(biāo)注的研究尚不多見。

2 雙層特征提取

2.1 彝語情感標(biāo)注

目前絕大多數(shù)語言情感標(biāo)注研究工作的特征提取都集中在聲學(xué)層，主要從韻律、頻譜和音質(zhì)等方面，以幀為單位進(jìn)行提取。而彝語由東部、南部、西部、北部、東南部和中部六大分支方言組成，各分支方言語音存在較大差異。此外，彝語在發(fā)展過程中不斷與漢語融合、演化，產(chǎn)生了大量漢語借來詞，使文字和發(fā)音變得更加復(fù)雜。這些因素給彝語數(shù)據(jù)情感標(biāo)注帶來極大的障礙。但彝語除了在聲學(xué)層具有豐富的情感外，在語言文字上也有豐富的情感詞綴，這些詞綴對情感識別和標(biāo)注有很大的幫助。如表1所示。

因此，本文在傳統(tǒng)語音情感特征單層提取方法的基礎(chǔ)上，加入文字情感特征，提出雙層特征彝語情感自動標(biāo)注方法。本文方法的實(shí)現(xiàn)過程包括：彝語語料的聲學(xué)特征和語言特征提取、特征融合及對齊、情感分類和訓(xùn)練、自動標(biāo)注等步驟，彝語情感自動標(biāo)注流程和框架如圖1所示。

圖1 彝語情感自動標(biāo)注流程Fig.1 Flowchart of automatic emotion annotation of Yi language

表1 彝文情感詞綴示例Tab.1 Examples of emotional affixes in Yi language

2.2 聲學(xué)層特征提取

情感特征提取的效果會直接影響情感自動標(biāo)注的正確率。本文采取通用方法，從彝語語音中提取基頻、共振峰和梅爾倒頻譜系數(shù)三類特征。

1）基頻特征。通過對語音的基音頻率檢測將不同語音區(qū)分出來。采用相關(guān)函數(shù)法［17］進(jìn)行計(jì)算，如式（1）所示。

其中：Ri(k)表示第i幀自相關(guān)函數(shù)；Si(m)表示一幀語音信號的第m個(gè)采樣值；N表示幀長；k表示時(shí)間的延遲量。函數(shù)與語音信號的周期一致，通過尋找自相關(guān)函數(shù)波峰的延遲即可找到語音信號的周期，從而進(jìn)行基頻標(biāo)注。

2）共振峰特征。共振峰包含在語音頻譜之中，頻譜包含的最大值即為共振峰。采用線性預(yù)測法進(jìn)行計(jì)算［18］，如式（2）所示。

其中：G表示增益；p表示階數(shù)；ak表示模型的系數(shù)。該方法能夠在由預(yù)測系數(shù)構(gòu)成的多項(xiàng)式中精確地估計(jì)共振峰參數(shù)，可以得到一組優(yōu)良的語音信號模型參數(shù)。

3）梅爾倒頻譜系數(shù)特征［19］。語音信號經(jīng)過梅爾濾波器處理后可以得到近似人耳的頻譜信號，通過信號提取得到頻譜特征。計(jì)算方法如式（3）所示。

其中：f為采樣頻率；Q和D為語音的頻率參數(shù)，需要根據(jù)彝語特點(diǎn)訓(xùn)練得到，Q通常在2 000 Hz左右，D在800 Hz左右，參數(shù)可通過模型訓(xùn)練得到。

2.3 語言層特征提取

按下列方法提取語言層特征：

1）n-gram 分詞。利用n-gram 模型對彝文句子進(jìn)行分詞，分別提取unigram、bigram、trigram 特征，表示為集合Fu、Fb和Ft。

2）情感詞綴特征提取。在分詞基礎(chǔ)上，按表1 示例的情感詞綴特征進(jìn)行分類，即按照含有情感詞綴對詞匯進(jìn)行分類，記為集合Fc。結(jié)合分詞特征結(jié)果集合，可以得到情感詞匯集合，如式（4）所示。

3）詞匯情感分類。將彝語情感分為7 種類型：中性（nertral）、生氣（anger）、害怕（fear）、高興（joy）、悲傷（sadness）、厭惡（disgust）、無聊（boredom）。在集合F中分別進(jìn)行7 種情感標(biāo)注，得到彝文情感詞匯標(biāo)注集。

2.4 雙層特征融合和對齊

因?yàn)槁晫W(xué)層和語言層特征分別在幀層面和詞匯層面提取特征，完全在不同的問題空間中，要實(shí)現(xiàn)自動標(biāo)注必須通過特征融合和對齊處理，之后才能采用分類器進(jìn)行訓(xùn)練。下面介紹分層特征融合和對齊方法。

為了實(shí)現(xiàn)特征融合，可將幀層面的高維特征映射到詞匯層面的低維特征，即從微觀特征映射為宏觀特征。設(shè)X=，X∈RD為幀特征的D維空間；，Y∈Rd為詞匯特征的d維空間。其中：d＜＜D，則定義F：X→Y為幀特征空間到詞匯特征空間的映射。由于幀和詞匯都是可識別的，因此該映射是一個(gè)線性變換。

由于語音是由聲道的連續(xù)運(yùn)動而產(chǎn)生的，是一組前后相關(guān)性很強(qiáng)的序列。而語言特征則受到詞法、字典以及語言模型的約束，二者均為強(qiáng)相關(guān)序列?？梢岳酶髯缘南嚓P(guān)性和加入＜Blank＞單元實(shí)現(xiàn)對齊，如圖2所示。

圖2 雙層特征對齊示意圖Fig.2 Schematic diagram of double-layer feature alignment

參考生成式序列模型（Generative Sequence Model，GSM）思路，融合生成雙層特征，如式（5）所示。

其中：l1和l2分別是聲學(xué)特征序列和語言特征序列；π是融合后的特征狀態(tài)序列，πt是第t個(gè)狀態(tài)；P(πt|πt-1)是轉(zhuǎn)移概率，P(πt)是先驗(yàn)概率；B是融合特征序列集合。

式（6）說明B決定了特征序列融合的集合，通過在l2的每兩個(gè)詞匯之間插入可選的＜Blank＞單元實(shí)現(xiàn)特征對齊。融合后的特征放入同一個(gè)特征空間，并作為同一個(gè)特征序列交給分類器處理。

3 特征融合分類器及算法

3.1 分類器選擇

分類器一定程度上可能會影響自動標(biāo)注的效果。為探索不同分類器對彝語數(shù)據(jù)情感標(biāo)注正確率的影響情況，采用多種分類進(jìn)行對比研究，尋求最佳方法。目前已有不少模型分類器被語音情感識別研究者們所嘗試，使用最廣泛的有隱馬爾可夫模型（Hidden Markov Model，HMM）［11］、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）［20］、支持向量機(jī)（Support Vector Machine，SVM）［21］、k最鄰近（k-Nearest Neighbor，k-NN）［22］、長短期記憶（Long Short-Term Memory，LSTM）［23］等模型和算法。結(jié)合這些分類器在語音識別領(lǐng)域的性能表現(xiàn)情況，本文選擇HMM、CNN 和SVM 三種代表性模型進(jìn)行對比實(shí)驗(yàn)。

HMM 模型以句子為自動標(biāo)注基本單位，每個(gè)HMM 將融合后的詞匯特征序列為模型的觀察狀態(tài)，7 種情感類型為模型的隱含狀態(tài)。利用訓(xùn)練數(shù)據(jù)集完成初始狀態(tài)、轉(zhuǎn)移矩陣等參數(shù)訓(xùn)練后，得出每一個(gè)彝語句子情感狀態(tài)的預(yù)測結(jié)果，根據(jù)模型預(yù)測結(jié)果進(jìn)行情感自動標(biāo)注。CNN模型同樣以句子為單位進(jìn)行分類，第1層使用一維的卷積層，卷積核數(shù)設(shè)為16，第2層采用32 個(gè)卷積核，窗口長度確定為10，卷積步長設(shè)定為1，下采樣因子為2。為防止過擬合，在訓(xùn)練中更新參數(shù)時(shí)按0.3的概率隨機(jī)斷開輸入神經(jīng)元。每個(gè)樣本循環(huán)20 輪進(jìn)行訓(xùn)練。不斷調(diào)整優(yōu)化參數(shù)，根據(jù)分類結(jié)果進(jìn)行自動標(biāo)注。SVM 模型的訓(xùn)練思路與傳統(tǒng)的語音識別分類處理方法類似，先設(shè)置參數(shù)C和γ的值為0.2，然后再根據(jù)模型的表現(xiàn)，每次乘以0.1作為一個(gè)步長，搜索最優(yōu)參數(shù)，直至模型訓(xùn)練完成，按照每一個(gè)句子的情感識別結(jié)果進(jìn)行標(biāo)注。先完成三種模型的分類訓(xùn)練，比較自動標(biāo)注的效果，然后選擇效果較優(yōu)的方法完成后續(xù)實(shí)驗(yàn)。

3.2 特征融合算法

算法1 先分別提取聲學(xué)層和語言層的情感特征再生成特征序列，然后根據(jù)需要插入＜Blank＞單元，最后將對齊后的特征序列進(jìn)行合并。假設(shè)彝語語料按詞匯為單位計(jì)算的長度為n，每個(gè)詞匯的平均幀數(shù)為m，則最壞情況下的時(shí)間復(fù)雜度為O(n2×m)。若每次都是首次完成對齊，則時(shí)間復(fù)雜度O(n×m)，因此可以采用適當(dāng)調(diào)大模型的對齊閾值來減少時(shí)間開銷。

3.3 自動標(biāo)注算法

算法2 以句子為單位進(jìn)行標(biāo)注，根據(jù)分類器識別或預(yù)測結(jié)果逐一進(jìn)行情感標(biāo)注。若一個(gè)句子中出現(xiàn)大于一種的情感特征，如：同時(shí)出現(xiàn)“生氣”“害怕”兩種特征，則分類器會根據(jù)概率選擇可能性最大的一種情感特征進(jìn)行標(biāo)注。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

標(biāo)注自動化程度與訓(xùn)練數(shù)據(jù)質(zhì)量、模型性能、質(zhì)量檢測和糾錯(cuò)方法等都有密切的關(guān)系，其中模型性能與建模是否充分結(jié)合語種特點(diǎn)有較大關(guān)系。云南省少數(shù)民族精準(zhǔn)扶貧日志數(shù)據(jù)庫中記錄了大量訪談?wù)Z音和記錄數(shù)據(jù)，其中一些彝族聚集區(qū)的語音是彝語數(shù)據(jù)，這些數(shù)據(jù)包含音源基本信息（姓名、性別、年齡、地址、時(shí)間等）。從數(shù)據(jù)中抽取原始語音數(shù)據(jù)并整理對應(yīng)的彝語文字，篩選部分不含其他語種、噪聲少、停頓少的優(yōu)質(zhì)語料作為實(shí)驗(yàn)數(shù)據(jù)。得到的彝語語音數(shù)據(jù)共840 min，其中男性460 min，女性380 min，對應(yīng)的彝文有12 545 個(gè)句子，不含13歲以下兒童和70歲以上老人，音頻格式以WAV為主，彝文格式為TXT 文件。實(shí)驗(yàn)數(shù)據(jù)集如表2 所示。發(fā)音和詞匯區(qū)別都以北部方言為參照對象［24］，區(qū)分方法參考《中文語音識別系統(tǒng)通用技術(shù)規(guī)范》（GB/T 21023—2007），且忽略個(gè)體發(fā)音區(qū)別因素。情感詞綴占比是指該方言樣本數(shù)據(jù)中帶情感詞綴的句子數(shù)占句子總數(shù)的百分比；發(fā)音區(qū)別占比是指該方言樣本數(shù)據(jù)中發(fā)音有區(qū)別的句子數(shù)占句子總數(shù)的百分比；詞匯區(qū)別占比定義類似［25］。

此外，手工標(biāo)注部分?jǐn)?shù)據(jù)采用Praat 工具完成，但標(biāo)注過程難免會引入少量錯(cuò)誤，為了降低實(shí)驗(yàn)難度，本研究忽略該誤差，假設(shè)人工標(biāo)注結(jié)果完全正確，并作為自動標(biāo)注正確與否的參照標(biāo)準(zhǔn)。同時(shí)，由于分支方言間詞匯區(qū)別不大，忽略該因素。

表2 彝語實(shí)驗(yàn)數(shù)據(jù)集統(tǒng)計(jì)數(shù)據(jù)Tab.2 Statistical data of Yi language experimental dataset

4.2 實(shí)驗(yàn)結(jié)果

首先，分別采用HMM、CNN 和SVM 三種分類器對樣本數(shù)據(jù)的7種情感進(jìn)行自動標(biāo)注，實(shí)驗(yàn)結(jié)果如表3所示。

表3 三種分類器自動標(biāo)注和人工標(biāo)注正確句子數(shù)量比較Tab.3 Number comparison of correct sentences by automatic and manual annotation with three classifiers

表3 給出人工（Artificial）對12 545 個(gè)句子的標(biāo)注結(jié)果和HMM、CNN、SVM 三種分類器自動標(biāo)注的正確句子數(shù)量，標(biāo)注結(jié)果按nertral、anger、fear、joy、sadness、disgust、boredom 等7 種情感類型進(jìn)行句子數(shù)量的統(tǒng)計(jì)。為了便于比較，三種分類器自動標(biāo)注結(jié)果只給出與人工標(biāo)注一致的數(shù)量，即假設(shè)標(biāo)注為正確的句子數(shù)量。

其次，以SVM 為分類器，分別對僅使用聲學(xué)層特征、僅使用語言層特征和雙層特征融合三類情況進(jìn)行自動標(biāo)注實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表4所示。

表4 四種標(biāo)注方法正確句子數(shù)量比較Tab.4 Number comparison of correct sentences of four annotation methods

表4 給出上述四類標(biāo)注方法的7 種情感類型的句子標(biāo)注結(jié)果，分別是：人工標(biāo)注（Artificial）、僅采用聲學(xué)層特征的自動標(biāo)注（Acoustics）、僅采用語言層特征的自動標(biāo)注（Language）和雙層特征融合情況下的自動標(biāo)注（Fusion）四種結(jié)果。與表3 相同，三種自動標(biāo)注方法（后三列）只給出與人工標(biāo)注一致的數(shù)量，即假設(shè)標(biāo)注為正確的句子數(shù)量。

本文將正確的自動標(biāo)注句子數(shù)量與人工標(biāo)注句子數(shù)量的比值定義為自動標(biāo)注正確率，如式（7）所示。

其中：ALA表示自動標(biāo)注正確率；ANCS表示自動標(biāo)注正確句子數(shù)量；NMMS表示人工標(biāo)注句子數(shù)量。

表5 是在表4 基礎(chǔ)上對自動標(biāo)注正確率進(jìn)行統(tǒng)計(jì)的結(jié)果。

表5 自動標(biāo)注正確率統(tǒng)計(jì) 單位：%Tab.5 Statistics of automatic annotation accuracy unit：%

4.3 實(shí)驗(yàn)分析

1）三種分類器自動標(biāo)注和人工標(biāo)注對比分析，結(jié)果如圖3所示。結(jié)合表3統(tǒng)計(jì)結(jié)果可知，三種分類器自動標(biāo)注的平均正確率為63.5%，其中HMM 為62.6%、CNN 為63.7%、SVM為64.2%，說明不同分類器對自動標(biāo)注的正確率影響不大，而SVM 略優(yōu)于其他兩種分類器。另外，自動標(biāo)注對不同情感類型的標(biāo)注正確率有較大差異，下面將進(jìn)一步對比。

圖3 自動標(biāo)注與人工標(biāo)注對比Fig.3 Comparison of automatic and manual annotation

2）自動標(biāo)注數(shù)量和正確率對比分析如圖4～5 所示。從圖4 可以看出，四種方法標(biāo)注的正確句子數(shù)量存在較大差異，其中：人工標(biāo)注全部樣本12 545個(gè)句子，Acoustics正確標(biāo)注句子6 033 個(gè)，Language 正確標(biāo)注句子4 315 個(gè)，F(xiàn)usion 正確標(biāo)注句子8 051個(gè)，說明雙層特征融合方法的正確標(biāo)注句子數(shù)量比僅提取一層特征方法有明顯增加。

圖4 四種標(biāo)注方法的正確標(biāo)注數(shù)量對比Fig.4 Number comparison of correct annotations of four annotation methods

結(jié)合表4 實(shí)驗(yàn)結(jié)果可以看出，Acoustics 的ALA為48.1%，Language 的ALA為34.4%，正確率并不高。Fusion 的ALA為64.2%，說明雙層特征融合方法使自動標(biāo)注的正確率明顯提高。此外，從圖5 可以看出7 種情感類型的ALA存在較大差異。

圖5 自動標(biāo)注與人工標(biāo)注的正確率對比Fig.5 Accuracy comparison between automatic and artificial annotation

3）7個(gè)情感類型的自動標(biāo)注結(jié)果對比如圖6所示。從圖6可以看出，除了nertral 情感類型標(biāo)注正確率（67.6%）比較高以外，anger、joy 情感的標(biāo)注正確率（60.2%、55%）明顯高于boredom 和disgust 等情感類型，其中boredom 的標(biāo)注正確率僅37.1%，說明不同情感類型的識別和自動標(biāo)注效果差異較大，對生氣、高興等相對“外在”的情感類型自動標(biāo)注正確率較高，而對無聊、厭惡等相對“含蓄”的情感類型更不容易識別和自動標(biāo)注，是后續(xù)人工補(bǔ)充核查的重點(diǎn)。

圖6 雙層融合標(biāo)注與單層標(biāo)注的正確率對比Fig.6 Accuracy comparison between double-layer fusion and single-layer annotation

綜上所述，通過對比實(shí)驗(yàn)和分析可以得出結(jié)論：雙層特征融合方法使自動標(biāo)注正確率明顯提高，從僅聲學(xué)層的48.1%和僅語言層的34.4%提高到雙層融合的64.2%。驗(yàn)證了本文所提出方法的有效性。三種分類器自動標(biāo)注結(jié)果差異較小，而不同情感類型的自動標(biāo)注效果差異較大，該結(jié)果可為后續(xù)人工核查提供參考依據(jù)。

5 結(jié)語

本文針對彝語的特點(diǎn)，提出分別從聲學(xué)層和語言層提取情感特征并進(jìn)行特征融合和對齊，再用分類器進(jìn)行情感識別后完成自動標(biāo)注的方法。從扶貧日志數(shù)據(jù)中篩選彝語語音和整理出對應(yīng)的彝文作為樣本數(shù)據(jù)，完成數(shù)據(jù)自動標(biāo)注實(shí)驗(yàn)，并以人工標(biāo)注的結(jié)果為參照進(jìn)行對比分析。實(shí)驗(yàn)結(jié)果表明，本文提出的雙層特征融合方法使自動標(biāo)注正確率明顯提高，驗(yàn)證了該方法的科學(xué)性和有效性。下一步可深入研究不同情感類型自動標(biāo)注正確率提升方法。