采用多級特征的多標(biāo)簽長文本分類算法

王浩鑌，胡 平

1.西安交通大學(xué) 軟件學(xué)院，西安 710000

2.西安交通大學(xué) 管理學(xué)院，西安 710000

隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的變革和移動社交平臺的飛速發(fā)展，問答社區(qū)憑借著良好的交互特性為知識傳播提供了新的渠道和平臺。與此同時，人們對知識的專業(yè)性、時效性以及獲取知識的速度有著更高的要求，這些因素的累計推動了問答社區(qū)的飛速發(fā)展，問答社區(qū)的活躍用戶數(shù)呈爆發(fā)式增長，隨之增加的是大量的用戶交互數(shù)據(jù)和文本數(shù)據(jù)。與普通文本相比，這些網(wǎng)絡(luò)文本數(shù)據(jù)大都是未經(jīng)規(guī)范化加工編輯的長文本，包含諸多新詞以及網(wǎng)絡(luò)詞語，問答社區(qū)文本數(shù)據(jù)的這些特點無疑增加了研究的難度。根據(jù)研究目的對文本數(shù)據(jù)進(jìn)行分類是數(shù)據(jù)挖掘的重要手段，目前的分類算法重要集中在二分類和多分類領(lǐng)域，這種分類算法只允許分配一個標(biāo)簽給文本對象，這類算法也被稱為單標(biāo)簽分類。由于問答社區(qū)文本數(shù)據(jù)語義豐富，一個回答文本可能涉及多個標(biāo)簽，因此，未經(jīng)處理編輯的非標(biāo)準(zhǔn)長文本的多標(biāo)簽分類是一個亟待解決的問題。

1 文本多標(biāo)簽分類算法研究綜述

隨著大數(shù)據(jù)時代的到來，多標(biāo)簽文本分類（Multilabel Classification）算法引起了更多學(xué)者的關(guān)注。Zhang等[1]認(rèn)為有效利用標(biāo)簽相關(guān)信息是多標(biāo)簽分類技術(shù)成功的關(guān)鍵?，F(xiàn)有標(biāo)簽相關(guān)性策略可以大致分為三大類：（1）一階策略，多標(biāo)簽分類任務(wù)采用label-by-label 方式處理，從而忽略了其他標(biāo)簽的共存。（2）二階策略，通過考慮標(biāo)簽之間的成對關(guān)系，來解決多標(biāo)簽分類任務(wù)。（3）高階策略，通過考慮標(biāo)簽之間的高階關(guān)系來解決多標(biāo)簽分類任務(wù)。Tsoumakas 等[2]從解決問題的角度出發(fā)，將多標(biāo)簽分類算法歸納為兩類：一類是問題轉(zhuǎn)化，另一類是算法自適應(yīng)。問題轉(zhuǎn)化方法是轉(zhuǎn)化問題形式，使之適合現(xiàn)有算法。這類算法的代表算法主要包括一階方法二值相關(guān)性[3]（Binary Relevance）和高階方法分類器鏈[4]（Classifier Chains），將多標(biāo)簽學(xué)習(xí)任務(wù)轉(zhuǎn)換為標(biāo)簽排序問題[5]（Calibrated Label Ranking），和高階方法隨機(jī)k標(biāo)簽集[6]（Random K-Label Sets）。總體來說，這類方法有考慮標(biāo)簽之間的聯(lián)系，但在數(shù)據(jù)量大或標(biāo)簽較多的數(shù)據(jù)集上的表現(xiàn)不盡如人意；算法自適應(yīng)是指更改算法，從而使其能夠處理多標(biāo)簽數(shù)據(jù)，也就是改進(jìn)算法，適用數(shù)據(jù)。這類算法通過采用流行的學(xué)習(xí)技術(shù)直接處理多標(biāo)簽數(shù)據(jù)來解決多標(biāo)簽學(xué)習(xí)問題。具體代表性的算法有：一階方法ML-KNN[7]采用惰性學(xué)習(xí)技術(shù)，一階方法ML-DT[8]采用采用決策樹技術(shù)，二階方法Rank-SVM[9]采用核函數(shù)，二階方法CML[10]采用信息論技術(shù)。

近年來，神經(jīng)網(wǎng)絡(luò)在自然語言領(lǐng)域取得了巨大的成功，一些神經(jīng)網(wǎng)絡(luò)模型也在多標(biāo)簽文本分類任務(wù)中得到了應(yīng)用，并取得了重要進(jìn)展。Zhang等[11]使用了具有兩兩排序損失函數(shù)的全連通神經(jīng)網(wǎng)絡(luò)。Kurata 等[12]提出使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）進(jìn)行分類。Chen等[13]利用CNN和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）捕捉文本的語義信息。Chen 等[14]提出了注意力機(jī)制和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）聯(lián)合學(xué)習(xí)模型用于多標(biāo)簽分類。Qin等[15]提出了一種自適應(yīng)的RNN序列模型。然而，在預(yù)測標(biāo)簽時，他們要么忽略了標(biāo)簽之間的相關(guān)性，要么沒有考慮文本內(nèi)容貢獻(xiàn)的差異。這一領(lǐng)域的一個里程碑是序列到序列（Seq2Seq）模型在多標(biāo)簽文本分類中的應(yīng)用，Nam 等[16]利用循環(huán)神經(jīng)網(wǎng)絡(luò)來代替分類器鏈。Yang 等[17]將多標(biāo)簽分類問題轉(zhuǎn)換為序列生成問題并提出新型解碼器結(jié)構(gòu)。Lin等[18]通過多層擴(kuò)展卷積產(chǎn)生更高層次的語義單位表示并結(jié)合注意力機(jī)制來進(jìn)行多標(biāo)簽分類。

2 基于多級特征的多標(biāo)簽長文本分類算法

2.1 模型提出

通過進(jìn)一步探究神經(jīng)網(wǎng)絡(luò)的更多應(yīng)用，本文發(fā)現(xiàn)Seq2Seq 模型[19-21]，全稱Sequence to Sequence，可以將一個源序列轉(zhuǎn)化成一個不定長度的目標(biāo)序列，源序列和目標(biāo)序列往往沒有相同的長度。因此，本文考慮使Seq2Seq模型來生成目標(biāo)序列，也就是文本的多標(biāo)簽，以此來解決多標(biāo)簽分類問題。

本文受Seq2Seq 模型在機(jī)器翻譯領(lǐng)域取得巨大成功的啟發(fā)，提出一種基于Seq2Seq模型框架的新型編解碼器結(jié)構(gòu)的多標(biāo)簽分類算法，本文把它稱為基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法模型，所提出的模型由一個編碼器和一個解碼器組成，編碼器將輸入序列編碼成固定維度的向量，然后解碼器從固定維度的向量中解碼出相應(yīng)的輸出向量。由于在文本分類領(lǐng)域中Seq2Seq模型的應(yīng)用很少，所以本文主要參考機(jī)器翻譯領(lǐng)域?qū)eq2Seq模型的改進(jìn)策略，來提高模型的準(zhǔn)確率。

本文基于Encoder-Decoder 結(jié)構(gòu)來解決序列到序列的問題，在Encoder結(jié)構(gòu)中，本文分別從詞語層面和語義層面兩個維度來提取信息。針對語義層面的特征，本文首先采用兩層Bi-LSTM 結(jié)構(gòu)來對輸入的文本進(jìn)行編碼，可以更好地捕捉雙向的語義依賴，并且參照谷歌神經(jīng)翻譯系統(tǒng)[22]（GNMT）的網(wǎng)絡(luò)架構(gòu)，以堆棧的方式，后接兩層LSTM 結(jié)構(gòu)，以捕獲輸入和輸出之間的細(xì)微差別。針對詞語層面的特征，本文采用空洞卷積[23]結(jié)構(gòu)來進(jìn)行特征的提取，采用三層空洞卷積，通過增加感受野的大小來捕獲多尺度上下文信息。由于Seq2Seq 的核心是其解碼部分，大部分改進(jìn)基于此，所以在Decoder結(jié)構(gòu)中，采用兩層Stack LSTM[24]，通過LSTM結(jié)構(gòu)處理標(biāo)簽序列依賴關(guān)系來考慮標(biāo)簽之間的相關(guān)性，本文對于基礎(chǔ)解碼方法Greedy Search（貪心搜索）進(jìn)行了改進(jìn)，采用了Beam Search（束集搜索）方法，此外，引入Attention機(jī)制使得解碼時，每一句都有針對性地關(guān)注當(dāng)前有關(guān)的編碼結(jié)果，從而減少了編碼器輸出表示的學(xué)習(xí)難度，由于有來自兩個方向的語義向量，因此，本文引入混合注意力機(jī)制來處理兩個層次的信息。

2.2 模型實現(xiàn)

基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法包含四個部分：第一部分主要是編碼器（Encoder）層，第二部分主要是解碼器（Decoder）層，第三部分是Attention 模塊，第四部分是序列選擇模塊，以下針對各部分進(jìn)行詳細(xì)介紹。改進(jìn)后的基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法的具體步驟如下所示：

2.2.1 編碼器（Encoder）層

本文首先按照單詞出現(xiàn)次數(shù)的降序，將序列中前50 000 個單詞采用one-hot 編碼表示，每個單詞都有其對應(yīng)的one-hot 編碼，由于one-hot 編碼向量的稀疏性和高維度，需要通過嵌入矩陣把這個單詞表示成一個低維度的連續(xù)值，也就是稠密的嵌入向量xi，因此，xi就是這個單詞的向量表示。本文使用Bi-LSTM 從正、反兩個方向讀取文本序列x，同時計算正、反兩個方向上的隱藏狀態(tài)h1和h2，將兩個方向上的隱藏狀態(tài)合并可以得到最終隱藏狀態(tài)-hi。Bi-LSTM從正、反兩個方向上讀取輸入文本的向量序列，在訓(xùn)練結(jié)束后，級聯(lián)兩個輸出序列的特征向量，從而優(yōu)化了LSTM的信息抽取能力。

由于RNN 模型及其變型在前向傳播的過程中，隨著處理文本長度的增加，會出現(xiàn)梯度消失問題。因此，本文采用了堆疊式LSTM，也稱用于序列分類的棧式LSTM，本文發(fā)現(xiàn)深層LSTM 的各項指標(biāo)明顯優(yōu)于淺層LSTM，通過添加網(wǎng)絡(luò)的深度，提高訓(xùn)練的效率，獲得更高的準(zhǔn)確性。本文將兩個LSTM堆疊在一起，使得模型能夠?qū)W習(xí)更高層次的特征表示。堆疊LSTM 是挑戰(zhàn)序列預(yù)測問題的穩(wěn)定技術(shù)，可以定義為由多個LSTM層組成的LSTM模型，上面的LSTM層提供序列輸出而不是單個值輸出到下面的LSTM 層。本文將兩個LSTM 堆疊到一起，使得模型能夠?qū)W習(xí)更高層次的特征表示。第一層LSTM 返回其所有輸出序列，同時也作為第二層LSTM的輸入序列，而第二層LSTM只返回輸出序列的最后一步結(jié)果，從而使其維度降低。

通過Bi-LSTM和堆疊式LSTM結(jié)合的方式，本文從源文本中提取到了語義層面的信息，通過分析發(fā)現(xiàn)，語義層面的信息不能充分代表文本的特征，為了更全面地獲取文本的特征，需要引入其他的特征提取方法，從不同維度對源文本進(jìn)行特征的聯(lián)合抽取。由于卷積神經(jīng)網(wǎng)絡(luò)（CNN）在靜態(tài)特征抽取方面的不俗表現(xiàn)，本文將其引入到模型的Encoder中，在卷積策略上，本文采用空洞卷積（Dilated Convolution）?？斩淳矸e可以在不增加參數(shù)的前提下，僅僅通過添加空洞，就能以指數(shù)級的速度來擴(kuò)大卷積核的感受野，從而無需下采樣。因此，空洞卷積更有可能捕獲長期依賴。此外，本文采用不同擴(kuò)張率（Dilation Rate）的空洞卷積，因為相同的擴(kuò)張率或具有相同公因數(shù)的擴(kuò)張率會導(dǎo)致網(wǎng)格化效應(yīng)（Gridding Effects），這種錯誤會損失信息的連續(xù)性，為了避免網(wǎng)格化效應(yīng)，擴(kuò)張率只能有一個公因數(shù)。在本文的模型中，采用了三層空洞卷積且三層的擴(kuò)張率不同，其中卷積核大小為3×3，擴(kuò)張率為1、2、3（擴(kuò)張率只有一個公因數(shù)），步長為1，這種參數(shù)設(shè)置可以有效避免網(wǎng)格化效應(yīng)，并且在不損失覆蓋范圍的前提下允許訪問更長距離的信息。由于本文要在源文本中捕獲詞語層面的特征，而不是更高層次的單詞表示，所以在卷積操作中不需要使用填充（Padding）。采用三層空洞卷積，既可以通過小擴(kuò)張率捕獲單詞之間的短語級信息（局部相關(guān)關(guān)系），又可以通過大擴(kuò)張率捕獲句子級信息（長期依賴關(guān)系）。

編碼器處理序列輸入并壓縮信息到一個固定長度的上下文向量（Context Vector）中，而上下文向量被當(dāng)作是輸入序列的語義概要。隨著句子的長度逐漸變長，上下文向量c的表達(dá)能力會逐漸下降，因為它沒法完全保留輸入序列的大部分信息。因此，本文引入注意力機(jī)制。

2.2.2 Attention模塊

固定長度上下文向量具有一個致命的缺點，即無法記憶長句子，一旦完成編碼器輸入序列的處理，就會遺忘開始的部分。此外，當(dāng)模型預(yù)測不同的標(biāo)簽時，并不是文本中的所有字（單詞）都對于標(biāo)簽有相同的貢獻(xiàn)。因此，本文引入注意力機(jī)制。

通過實驗對比和分析幾種主流的注意力機(jī)制，本文發(fā)現(xiàn)Luong[20]提出局部注意力模型和全局注意力模型能夠很好地應(yīng)用到本文網(wǎng)絡(luò)架構(gòu)中。局部注意力模型首先預(yù)測當(dāng)前目標(biāo)單詞的大致對齊位置，然后引入窗口概念，在窗口中心位置應(yīng)用窗口計算上下文向量，即每次計算上下文向量時不再考慮Decoder 的全部隱藏狀態(tài)，只考慮輸入序列隱藏狀態(tài)中的一個子集。而全局注意力模型每次均考慮先前Decoder所有的隱藏狀態(tài)。經(jīng)過實驗對比并綜合考慮之后，為了更好地保留所有隱藏層狀態(tài)，本文決定采用全局注意力機(jī)制，雖然會增加計算成本，但是對比性能有明顯的提升。此外，注意力機(jī)制繞開了長距離編碼器的編碼，直接向解碼器提供了上下文信息，縮短了信息的傳遞距離，在解碼的每一步都可以直接訪問源文本的信息，從而減輕了在Encoder-Decoder框架下由于一個時間步上過深的計算圖而導(dǎo)致梯度消失。

全局注意力模型在計算上下文向量ct時，會考慮Encoder 的所有隱藏狀態(tài)，則每個時間步所對應(yīng)的權(quán)重向量at的計算公式如公式（1）所示：

其中，ht表示Decoder 第t個時間步的隱藏狀態(tài)，-hi表示Encoder第i個時間步的隱藏狀態(tài)。采用Concat模式來進(jìn)行權(quán)重計算，如公式（2）所示：

上式中的Wa為參數(shù)權(quán)重。在計算完權(quán)重向量at后，將其對Encoder 的隱藏狀態(tài)進(jìn)行加權(quán)平均得到此刻的上下文向量ct，如公式（3）所示：

在t時刻，全局注意力模型的計算路徑是ht→at→ct，模型最終輸出t時刻的上下文向量ct。

由于要處理語義層面（LSTM編碼器）的特征向量，和詞語層面（CNN編碼器）的特征向量，因此，本文采用混合注意力機(jī)制。首先，通過CNN 編碼器和注意力機(jī)制生成詞語層面新的表示outputc；其次，將outputc和LSTM 編碼器生成的特征向量一起作為全局注意力的源輸入，并得到語義層面新的表示outputt，以便通過詞語層面的指導(dǎo)從源文本中提取語義層面的信息。最后，采用加和策略將二者進(jìn)行融合，如公式（4）所示：

2.2.3 解碼器（Decoder）層

注意力機(jī)制允許解碼器在每一個時間步t處考慮整個編碼器輸出的隱藏狀態(tài)序列h1,h2,…,ht，從而將編碼器更多的信息分散地保存在所有隱藏狀態(tài)向量中，而解碼器在使用這些隱藏向量時，就能決定對哪些向量更關(guān)心。在前兩個模塊中，編碼器結(jié)合注意力機(jī)制將整個輸入序列的信息編碼成了上下文向量ct，而解碼器則需要根據(jù)上下文向量輸出序列y1,y2,…,yt。解碼器在每個時間步上的輸出，不僅需要處理RNN 編碼器的語義表示，也要處理CNN編碼器的詞語表示。Decoder在第t時刻的隱藏狀態(tài)ht計算如式（5）所示：

其中，ht-1表示t-1 時刻的隱藏狀態(tài)，ct表示t時刻的上下文向量，b(yt-1)表示在yt-1的分布下采用束集搜索（Beam Search）搜索概率最高的k個標(biāo)簽嵌入，yt-1表示標(biāo)簽空間在t-1 個時間步下的概率分布，本文自定義輸出層來計算輸出序列的概率分布，如式（6）、式（7）所示：

其中，Wb、Wc、Wd表示參數(shù)權(quán)重，引入Ht表示前t-1個時間步的標(biāo)簽預(yù)測情況，以此來避免標(biāo)簽的重復(fù)預(yù)測。

2.2.4 序列選擇模塊

當(dāng)完成前面的工作后，需要使用模型生成新的序列，也就是本文所需要的標(biāo)簽集。在解碼器階段，嵌入向量b(yt-1)在式（5）中表示的是在yt-1的分布下概率最高的標(biāo)簽嵌入，利用GreedySearch（貪心搜索）來最大價值利用yt-1分布，即每一次解碼都選取概率最大的那個值，該方法雖然奏效，但由于檢索空間太小，無法保證最優(yōu)解，顯然不是最優(yōu)的。因為如果在時間步t上的預(yù)測是錯誤的，在后續(xù)的預(yù)測過程中，可能會得到一系列錯誤的預(yù)測標(biāo)簽，也稱為Exposure Bias。Exposure Bias的不斷累積會造成解碼誤差累積問題，其根源在于序列解碼的實現(xiàn)過程。

Beam Search（束集搜索）在一定程度上緩解了這一問題，本文采用了束集搜索解碼方式，例如指定Beam Size 為5，則該方法的本質(zhì)是在解碼的各個階段保留5個候選句子，最后再選擇概率最大的序列。針對不同的數(shù)據(jù)集，本文選取合適的Beam Size。通過考慮多個標(biāo)簽的概率，該模型能減少由于先前時間步的錯誤預(yù)測而造成的損失并且增加輸出的準(zhǔn)確率。

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)介紹

（1）知乎回答文本（Zhihu）

該數(shù)據(jù)集是自行收集并制作的，本文從知乎問答社區(qū)收集了英語學(xué)習(xí)話題下的60 383 條回答，覆蓋13 個類別，是一個中文多標(biāo)簽數(shù)據(jù)集。

（2）Reuters Corpus Volume I（RCV1-V2）

該數(shù)據(jù)集由Lewis等[25]提供，是一個公開數(shù)據(jù)集，包括80多萬篇由路透社有限公司為文本多標(biāo)簽分類提供的新聞專題故事，每個新聞專題故事都可以分配多個主題，總共有103個主題。

（3）Arxiv Academic Paper Dataset（AAPD）

該數(shù)據(jù)集由Yang 等[17]提供，是一個公開數(shù)據(jù)集，它包括55 840篇計算機(jī)科學(xué)領(lǐng)域的論文摘要，每篇摘要可以分配多個學(xué)科，總共有54個學(xué)科。

本文將每個數(shù)據(jù)集按照訓(xùn)練集∶測試集∶驗證集=8∶1∶1的比例分配，統(tǒng)計結(jié)果如表1所示。

表1 數(shù)據(jù)集統(tǒng)計Table 1 Dataset statistics

3.2 實驗評估指標(biāo)

本文采用漢明損失（?）、準(zhǔn)確率（+）、召回率（+）和F1 值（+）來評估算法的有效性。需要注意的是，（?）表示越小越好，（+）表示越大越好。

3.3 損失函數(shù)曲線圖

基于多級特征的多標(biāo)簽長文本分類算法模型在Zhihu 數(shù)據(jù)集訓(xùn)練中得到的損失函數(shù)圖如圖1 所示，其中，縱坐標(biāo)表示損失函數(shù)的函數(shù)值，橫坐標(biāo)表示模型的迭代次數(shù)。

圖1 基于Zhihu數(shù)據(jù)集的損失函數(shù)圖Fig.1 Loss function graph based on Zhihu dataset

從圖1中可以看出，在剛開始訓(xùn)練的時候，損失函數(shù)呈現(xiàn)大幅度下降，表明模型在朝著正確收斂的方向進(jìn)行。隨著迭代步數(shù)的增加，損失函數(shù)的下降速度變慢，模型開始呈現(xiàn)出收斂的態(tài)勢。在模型收斂的過程中，損失函數(shù)會出現(xiàn)波動，這是因為本文在計算交叉熵?fù)p失函數(shù)（CrossEntropyLoss）的過程中采用了自適應(yīng)矩估計（Adam）優(yōu)化器，引入了自適應(yīng)學(xué)習(xí)率，從而使損失函數(shù)出現(xiàn)波動。隨著時間推移，可以看到損失函數(shù)波動變小且趨于平穩(wěn)，并且損失函數(shù)值趨于0.003，最終模型收斂。

3.4 實驗結(jié)果對比與分析

表2 給出了在Zhihu 數(shù)據(jù)集上，本文提出的模型與FastText、TextCNN、HAN、SGM和SGM+GE等相關(guān)算法比較的結(jié)果，可以看出在基于Zhihu中文長文本數(shù)據(jù)集下，本文所提出的模型在四個評估維度上都有優(yōu)異的表現(xiàn)。

表2 Zhihu實驗結(jié)果對比Table 2 Comparison of Zhihu experiment results

表3給出了在公開數(shù)據(jù)集RCV1-V2上，本文提出的模型與基于該數(shù)據(jù)集的相關(guān)算法的比較結(jié)果，可以看出在基于標(biāo)注的公開數(shù)據(jù)集上，本文提出的模型在漢明損失、召回率和F1值這三個方面有著更優(yōu)異的表現(xiàn)。

表3 RCV1-V2實驗結(jié)果對比Table 3 Comparison of RCV1-V2 experiment results

表4給出了在公開數(shù)據(jù)集AAPD上，本文提出的模型與基于該數(shù)據(jù)集的相關(guān)算法的比較結(jié)果，可以看出在基于標(biāo)注的公開數(shù)據(jù)集上，本文提出的模型在漢明損失和F1值這兩個方面有著更優(yōu)異的表現(xiàn)。

表4 AAPD實驗結(jié)果對比Table 4 Comparison of AAPD experiment results

從表2～4中可以看出，算法在三個數(shù)據(jù)集四個評價指標(biāo)下的結(jié)果有很大差異。首先，不同的對比算法在同一個數(shù)據(jù)集下的結(jié)果比較相近，沒有出現(xiàn)較大差異。其次，同一個算法在不同數(shù)據(jù)集下的結(jié)果也出現(xiàn)了這種差異。綜上所述，算法結(jié)果的差異在于數(shù)據(jù)集自身，而數(shù)據(jù)集的差異主要體現(xiàn)在以下三點：（1）中/英數(shù)據(jù)集；（2）標(biāo)簽綜述與文本總數(shù)的差異；（3）文本平均字?jǐn)?shù)的差異。

3.5 消融實驗

本文在編碼器層、Attention 模塊、解碼器層和序列選擇模塊分別進(jìn)行了改進(jìn)，為了驗證模塊改進(jìn)的有效性，在Zhihu數(shù)據(jù)集下進(jìn)行了消融實驗，實驗結(jié)果如表5所示。

表5 消融實驗結(jié)果對比Table 5 Comparison of ablation experiment results

其中，NoDC 表示編碼器層沒有采用空洞卷積，僅使用LSTM 編碼器獲取語義層面特征的模型，Additive表示在Attention 模塊僅僅將兩個層面的特征向量進(jìn)行加和的模型，GreedySearch表示在序列選擇模塊采用貪心搜索方法的模型。

4 結(jié)束語

本文從深度學(xué)習(xí)網(wǎng)絡(luò)模型出發(fā)，提出基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法，并且從編碼器（Encoder）層、Attention 模塊、解碼器（Decoder）層、序列選擇模塊四部分對原始的基于Seq2Seq 模型框架的編解碼結(jié)構(gòu)模型進(jìn)行改進(jìn)。為了驗證本文所提出算法的優(yōu)劣，除了自己收集的知乎數(shù)據(jù)集（Zhihu）外，還增加了RCV1-V2、AAPD 兩個公開數(shù)據(jù)集，經(jīng)過三個數(shù)據(jù)集的算法驗證，本文所提出的算法在F1、召回率和漢明損失這三個評價指標(biāo)上均領(lǐng)先于其他同類算法。