• 
    

    
    

      99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

      采用多級特征的多標(biāo)簽長文本分類算法

      2021-08-06 08:23:40王浩鑌
      計算機(jī)工程與應(yīng)用 2021年15期
      關(guān)鍵詞:編碼器標(biāo)簽卷積

      王浩鑌,胡 平

      1.西安交通大學(xué) 軟件學(xué)院,西安 710000

      2.西安交通大學(xué) 管理學(xué)院,西安 710000

      隨著互聯(lián)網(wǎng)產(chǎn)業(yè)的變革和移動社交平臺的飛速發(fā)展,問答社區(qū)憑借著良好的交互特性為知識傳播提供了新的渠道和平臺。與此同時,人們對知識的專業(yè)性、時效性以及獲取知識的速度有著更高的要求,這些因素的累計推動了問答社區(qū)的飛速發(fā)展,問答社區(qū)的活躍用戶數(shù)呈爆發(fā)式增長,隨之增加的是大量的用戶交互數(shù)據(jù)和文本數(shù)據(jù)。與普通文本相比,這些網(wǎng)絡(luò)文本數(shù)據(jù)大都是未經(jīng)規(guī)范化加工編輯的長文本,包含諸多新詞以及網(wǎng)絡(luò)詞語,問答社區(qū)文本數(shù)據(jù)的這些特點無疑增加了研究的難度。根據(jù)研究目的對文本數(shù)據(jù)進(jìn)行分類是數(shù)據(jù)挖掘的重要手段,目前的分類算法重要集中在二分類和多分類領(lǐng)域,這種分類算法只允許分配一個標(biāo)簽給文本對象,這類算法也被稱為單標(biāo)簽分類。由于問答社區(qū)文本數(shù)據(jù)語義豐富,一個回答文本可能涉及多個標(biāo)簽,因此,未經(jīng)處理編輯的非標(biāo)準(zhǔn)長文本的多標(biāo)簽分類是一個亟待解決的問題。

      1 文本多標(biāo)簽分類算法研究綜述

      隨著大數(shù)據(jù)時代的到來,多標(biāo)簽文本分類(Multilabel Classification)算法引起了更多學(xué)者的關(guān)注。Zhang等[1]認(rèn)為有效利用標(biāo)簽相關(guān)信息是多標(biāo)簽分類技術(shù)成功的關(guān)鍵?,F(xiàn)有標(biāo)簽相關(guān)性策略可以大致分為三大類:(1)一階策略,多標(biāo)簽分類任務(wù)采用label-by-label 方式處理,從而忽略了其他標(biāo)簽的共存。(2)二階策略,通過考慮標(biāo)簽之間的成對關(guān)系,來解決多標(biāo)簽分類任務(wù)。(3)高階策略,通過考慮標(biāo)簽之間的高階關(guān)系來解決多標(biāo)簽分類任務(wù)。Tsoumakas 等[2]從解決問題的角度出發(fā),將多標(biāo)簽分類算法歸納為兩類:一類是問題轉(zhuǎn)化,另一類是算法自適應(yīng)。問題轉(zhuǎn)化方法是轉(zhuǎn)化問題形式,使之適合現(xiàn)有算法。這類算法的代表算法主要包括一階方法二值相關(guān)性[3](Binary Relevance)和高階方法分類器鏈[4](Classifier Chains),將多標(biāo)簽學(xué)習(xí)任務(wù)轉(zhuǎn)換為標(biāo)簽排序問題[5](Calibrated Label Ranking),和高階方法隨機(jī)k標(biāo)簽集[6](Random K-Label Sets)。總體來說,這類方法有考慮標(biāo)簽之間的聯(lián)系,但在數(shù)據(jù)量大或標(biāo)簽較多的數(shù)據(jù)集上的表現(xiàn)不盡如人意;算法自適應(yīng)是指更改算法,從而使其能夠處理多標(biāo)簽數(shù)據(jù),也就是改進(jìn)算法,適用數(shù)據(jù)。這類算法通過采用流行的學(xué)習(xí)技術(shù)直接處理多標(biāo)簽數(shù)據(jù)來解決多標(biāo)簽學(xué)習(xí)問題。具體代表性的算法有:一階方法ML-KNN[7]采用惰性學(xué)習(xí)技術(shù),一階方法ML-DT[8]采用采用決策樹技術(shù),二階方法Rank-SVM[9]采用核函數(shù),二階方法CML[10]采用信息論技術(shù)。

      近年來,神經(jīng)網(wǎng)絡(luò)在自然語言領(lǐng)域取得了巨大的成功,一些神經(jīng)網(wǎng)絡(luò)模型也在多標(biāo)簽文本分類任務(wù)中得到了應(yīng)用,并取得了重要進(jìn)展。Zhang等[11]使用了具有兩兩排序損失函數(shù)的全連通神經(jīng)網(wǎng)絡(luò)。Kurata 等[12]提出使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)進(jìn)行分類。Chen等[13]利用CNN和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)捕捉文本的語義信息。Chen 等[14]提出了注意力機(jī)制和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)聯(lián)合學(xué)習(xí)模型用于多標(biāo)簽分類。Qin等[15]提出了一種自適應(yīng)的RNN序列模型。然而,在預(yù)測標(biāo)簽時,他們要么忽略了標(biāo)簽之間的相關(guān)性,要么沒有考慮文本內(nèi)容貢獻(xiàn)的差異。這一領(lǐng)域的一個里程碑是序列到序列(Seq2Seq)模型在多標(biāo)簽文本分類中的應(yīng)用,Nam 等[16]利用循環(huán)神經(jīng)網(wǎng)絡(luò)來代替分類器鏈。Yang 等[17]將多標(biāo)簽分類問題轉(zhuǎn)換為序列生成問題并提出新型解碼器結(jié)構(gòu)。Lin等[18]通過多層擴(kuò)展卷積產(chǎn)生更高層次的語義單位表示并結(jié)合注意力機(jī)制來進(jìn)行多標(biāo)簽分類。

      2 基于多級特征的多標(biāo)簽長文本分類算法

      2.1 模型提出

      通過進(jìn)一步探究神經(jīng)網(wǎng)絡(luò)的更多應(yīng)用,本文發(fā)現(xiàn)Seq2Seq 模型[19-21],全稱Sequence to Sequence,可以將一個源序列轉(zhuǎn)化成一個不定長度的目標(biāo)序列,源序列和目標(biāo)序列往往沒有相同的長度。因此,本文考慮使Seq2Seq模型來生成目標(biāo)序列,也就是文本的多標(biāo)簽,以此來解決多標(biāo)簽分類問題。

      本文受Seq2Seq 模型在機(jī)器翻譯領(lǐng)域取得巨大成功的啟發(fā),提出一種基于Seq2Seq模型框架的新型編解碼器結(jié)構(gòu)的多標(biāo)簽分類算法,本文把它稱為基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法模型,所提出的模型由一個編碼器和一個解碼器組成,編碼器將輸入序列編碼成固定維度的向量,然后解碼器從固定維度的向量中解碼出相應(yīng)的輸出向量。由于在文本分類領(lǐng)域中Seq2Seq模型的應(yīng)用很少,所以本文主要參考機(jī)器翻譯領(lǐng)域?qū)eq2Seq模型的改進(jìn)策略,來提高模型的準(zhǔn)確率。

      本文基于Encoder-Decoder 結(jié)構(gòu)來解決序列到序列的問題,在Encoder結(jié)構(gòu)中,本文分別從詞語層面和語義層面兩個維度來提取信息。針對語義層面的特征,本文首先采用兩層Bi-LSTM 結(jié)構(gòu)來對輸入的文本進(jìn)行編碼,可以更好地捕捉雙向的語義依賴,并且參照谷歌神經(jīng)翻譯系統(tǒng)[22](GNMT)的網(wǎng)絡(luò)架構(gòu),以堆棧的方式,后接兩層LSTM 結(jié)構(gòu),以捕獲輸入和輸出之間的細(xì)微差別。針對詞語層面的特征,本文采用空洞卷積[23]結(jié)構(gòu)來進(jìn)行特征的提取,采用三層空洞卷積,通過增加感受野的大小來捕獲多尺度上下文信息。由于Seq2Seq 的核心是其解碼部分,大部分改進(jìn)基于此,所以在Decoder結(jié)構(gòu)中,采用兩層Stack LSTM[24],通過LSTM結(jié)構(gòu)處理標(biāo)簽序列依賴關(guān)系來考慮標(biāo)簽之間的相關(guān)性,本文對于基礎(chǔ)解碼方法Greedy Search(貪心搜索)進(jìn)行了改進(jìn),采用了Beam Search(束集搜索)方法,此外,引入Attention機(jī)制使得解碼時,每一句都有針對性地關(guān)注當(dāng)前有關(guān)的編碼結(jié)果,從而減少了編碼器輸出表示的學(xué)習(xí)難度,由于有來自兩個方向的語義向量,因此,本文引入混合注意力機(jī)制來處理兩個層次的信息。

      2.2 模型實現(xiàn)

      基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法包含四個部分:第一部分主要是編碼器(Encoder)層,第二部分主要是解碼器(Decoder)層,第三部分是Attention 模塊,第四部分是序列選擇模塊,以下針對各部分進(jìn)行詳細(xì)介紹。改進(jìn)后的基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法的具體步驟如下所示:

      2.2.1 編碼器(Encoder)層

      本文首先按照單詞出現(xiàn)次數(shù)的降序,將序列中前50 000 個單詞采用one-hot 編碼表示,每個單詞都有其對應(yīng)的one-hot 編碼,由于one-hot 編碼向量的稀疏性和高維度,需要通過嵌入矩陣把這個單詞表示成一個低維度的連續(xù)值,也就是稠密的嵌入向量xi,因此,xi就是這個單詞的向量表示。本文使用Bi-LSTM 從正、反兩個方向讀取文本序列x,同時計算正、反兩個方向上的隱藏狀態(tài)h1和h2,將兩個方向上的隱藏狀態(tài)合并可以得到最終隱藏狀態(tài)-hi。Bi-LSTM從正、反兩個方向上讀取輸入文本的向量序列,在訓(xùn)練結(jié)束后,級聯(lián)兩個輸出序列的特征向量,從而優(yōu)化了LSTM的信息抽取能力。

      由于RNN 模型及其變型在前向傳播的過程中,隨著處理文本長度的增加,會出現(xiàn)梯度消失問題。因此,本文采用了堆疊式LSTM,也稱用于序列分類的棧式LSTM,本文發(fā)現(xiàn)深層LSTM 的各項指標(biāo)明顯優(yōu)于淺層LSTM,通過添加網(wǎng)絡(luò)的深度,提高訓(xùn)練的效率,獲得更高的準(zhǔn)確性。本文將兩個LSTM堆疊在一起,使得模型能夠?qū)W習(xí)更高層次的特征表示。堆疊LSTM 是挑戰(zhàn)序列預(yù)測問題的穩(wěn)定技術(shù),可以定義為由多個LSTM層組成的LSTM模型,上面的LSTM層提供序列輸出而不是單個值輸出到下面的LSTM 層。本文將兩個LSTM 堆疊到一起,使得模型能夠?qū)W習(xí)更高層次的特征表示。第一層LSTM 返回其所有輸出序列,同時也作為第二層LSTM的輸入序列,而第二層LSTM只返回輸出序列的最后一步結(jié)果,從而使其維度降低。

      通過Bi-LSTM和堆疊式LSTM結(jié)合的方式,本文從源文本中提取到了語義層面的信息,通過分析發(fā)現(xiàn),語義層面的信息不能充分代表文本的特征,為了更全面地獲取文本的特征,需要引入其他的特征提取方法,從不同維度對源文本進(jìn)行特征的聯(lián)合抽取。由于卷積神經(jīng)網(wǎng)絡(luò)(CNN)在靜態(tài)特征抽取方面的不俗表現(xiàn),本文將其引入到模型的Encoder中,在卷積策略上,本文采用空洞卷積(Dilated Convolution)??斩淳矸e可以在不增加參數(shù)的前提下,僅僅通過添加空洞,就能以指數(shù)級的速度來擴(kuò)大卷積核的感受野,從而無需下采樣。因此,空洞卷積更有可能捕獲長期依賴。此外,本文采用不同擴(kuò)張率(Dilation Rate)的空洞卷積,因為相同的擴(kuò)張率或具有相同公因數(shù)的擴(kuò)張率會導(dǎo)致網(wǎng)格化效應(yīng)(Gridding Effects),這種錯誤會損失信息的連續(xù)性,為了避免網(wǎng)格化效應(yīng),擴(kuò)張率只能有一個公因數(shù)。在本文的模型中,采用了三層空洞卷積且三層的擴(kuò)張率不同,其中卷積核大小為3×3,擴(kuò)張率為1、2、3(擴(kuò)張率只有一個公因數(shù)),步長為1,這種參數(shù)設(shè)置可以有效避免網(wǎng)格化效應(yīng),并且在不損失覆蓋范圍的前提下允許訪問更長距離的信息。由于本文要在源文本中捕獲詞語層面的特征,而不是更高層次的單詞表示,所以在卷積操作中不需要使用填充(Padding)。采用三層空洞卷積,既可以通過小擴(kuò)張率捕獲單詞之間的短語級信息(局部相關(guān)關(guān)系),又可以通過大擴(kuò)張率捕獲句子級信息(長期依賴關(guān)系)。

      編碼器處理序列輸入并壓縮信息到一個固定長度的上下文向量(Context Vector)中,而上下文向量被當(dāng)作是輸入序列的語義概要。隨著句子的長度逐漸變長,上下文向量c的表達(dá)能力會逐漸下降,因為它沒法完全保留輸入序列的大部分信息。因此,本文引入注意力機(jī)制。

      2.2.2 Attention模塊

      固定長度上下文向量具有一個致命的缺點,即無法記憶長句子,一旦完成編碼器輸入序列的處理,就會遺忘開始的部分。此外,當(dāng)模型預(yù)測不同的標(biāo)簽時,并不是文本中的所有字(單詞)都對于標(biāo)簽有相同的貢獻(xiàn)。因此,本文引入注意力機(jī)制。

      通過實驗對比和分析幾種主流的注意力機(jī)制,本文發(fā)現(xiàn)Luong[20]提出局部注意力模型和全局注意力模型能夠很好地應(yīng)用到本文網(wǎng)絡(luò)架構(gòu)中。局部注意力模型首先預(yù)測當(dāng)前目標(biāo)單詞的大致對齊位置,然后引入窗口概念,在窗口中心位置應(yīng)用窗口計算上下文向量,即每次計算上下文向量時不再考慮Decoder 的全部隱藏狀態(tài),只考慮輸入序列隱藏狀態(tài)中的一個子集。而全局注意力模型每次均考慮先前Decoder所有的隱藏狀態(tài)。經(jīng)過實驗對比并綜合考慮之后,為了更好地保留所有隱藏層狀態(tài),本文決定采用全局注意力機(jī)制,雖然會增加計算成本,但是對比性能有明顯的提升。此外,注意力機(jī)制繞開了長距離編碼器的編碼,直接向解碼器提供了上下文信息,縮短了信息的傳遞距離,在解碼的每一步都可以直接訪問源文本的信息,從而減輕了在Encoder-Decoder框架下由于一個時間步上過深的計算圖而導(dǎo)致梯度消失。

      全局注意力模型在計算上下文向量ct時,會考慮Encoder 的所有隱藏狀態(tài),則每個時間步所對應(yīng)的權(quán)重向量at的計算公式如公式(1)所示:

      其中,ht表示Decoder 第t個時間步的隱藏狀態(tài),-hi表示Encoder第i個時間步的隱藏狀態(tài)。采用Concat模式來進(jìn)行權(quán)重計算,如公式(2)所示:

      上式中的Wa為參數(shù)權(quán)重。在計算完權(quán)重向量at后,將其對Encoder 的隱藏狀態(tài)進(jìn)行加權(quán)平均得到此刻的上下文向量ct,如公式(3)所示:

      在t時刻,全局注意力模型的計算路徑是ht→at→ct,模型最終輸出t時刻的上下文向量ct。

      由于要處理語義層面(LSTM編碼器)的特征向量,和詞語層面(CNN編碼器)的特征向量,因此,本文采用混合注意力機(jī)制。首先,通過CNN 編碼器和注意力機(jī)制生成詞語層面新的表示outputc;其次,將outputc和LSTM 編碼器生成的特征向量一起作為全局注意力的源輸入,并得到語義層面新的表示outputt,以便通過詞語層面的指導(dǎo)從源文本中提取語義層面的信息。最后,采用加和策略將二者進(jìn)行融合,如公式(4)所示:

      2.2.3 解碼器(Decoder)層

      注意力機(jī)制允許解碼器在每一個時間步t處考慮整個編碼器輸出的隱藏狀態(tài)序列h1,h2,…,ht,從而將編碼器更多的信息分散地保存在所有隱藏狀態(tài)向量中,而解碼器在使用這些隱藏向量時,就能決定對哪些向量更關(guān)心。在前兩個模塊中,編碼器結(jié)合注意力機(jī)制將整個輸入序列的信息編碼成了上下文向量ct,而解碼器則需要根據(jù)上下文向量輸出序列y1,y2,…,yt。解碼器在每個時間步上的輸出,不僅需要處理RNN 編碼器的語義表示,也要處理CNN編碼器的詞語表示。Decoder在第t時刻的隱藏狀態(tài)ht計算如式(5)所示:

      其中,ht-1表示t-1 時刻的隱藏狀態(tài),ct表示t時刻的上下文向量,b(yt-1)表示在yt-1的分布下采用束集搜索(Beam Search)搜索概率最高的k個標(biāo)簽嵌入,yt-1表示標(biāo)簽空間在t-1 個時間步下的概率分布,本文自定義輸出層來計算輸出序列的概率分布,如式(6)、式(7)所示:

      其中,Wb、Wc、Wd表示參數(shù)權(quán)重,引入Ht表示前t-1個時間步的標(biāo)簽預(yù)測情況,以此來避免標(biāo)簽的重復(fù)預(yù)測。

      2.2.4 序列選擇模塊

      當(dāng)完成前面的工作后,需要使用模型生成新的序列,也就是本文所需要的標(biāo)簽集。在解碼器階段,嵌入向量b(yt-1)在式(5)中表示的是在yt-1的分布下概率最高的標(biāo)簽嵌入,利用GreedySearch(貪心搜索)來最大價值利用yt-1分布,即每一次解碼都選取概率最大的那個值,該方法雖然奏效,但由于檢索空間太小,無法保證最優(yōu)解,顯然不是最優(yōu)的。因為如果在時間步t上的預(yù)測是錯誤的,在后續(xù)的預(yù)測過程中,可能會得到一系列錯誤的預(yù)測標(biāo)簽,也稱為Exposure Bias。Exposure Bias的不斷累積會造成解碼誤差累積問題,其根源在于序列解碼的實現(xiàn)過程。

      Beam Search(束集搜索)在一定程度上緩解了這一問題,本文采用了束集搜索解碼方式,例如指定Beam Size 為5,則該方法的本質(zhì)是在解碼的各個階段保留5個候選句子,最后再選擇概率最大的序列。針對不同的數(shù)據(jù)集,本文選取合適的Beam Size。通過考慮多個標(biāo)簽的概率,該模型能減少由于先前時間步的錯誤預(yù)測而造成的損失并且增加輸出的準(zhǔn)確率。

      3 實驗結(jié)果與分析

      3.1 實驗數(shù)據(jù)介紹

      (1)知乎回答文本(Zhihu)

      該數(shù)據(jù)集是自行收集并制作的,本文從知乎問答社區(qū)收集了英語學(xué)習(xí)話題下的60 383 條回答,覆蓋13 個類別,是一個中文多標(biāo)簽數(shù)據(jù)集。

      (2)Reuters Corpus Volume I(RCV1-V2)

      該數(shù)據(jù)集由Lewis等[25]提供,是一個公開數(shù)據(jù)集,包括80多萬篇由路透社有限公司為文本多標(biāo)簽分類提供的新聞專題故事,每個新聞專題故事都可以分配多個主題,總共有103個主題。

      (3)Arxiv Academic Paper Dataset(AAPD)

      該數(shù)據(jù)集由Yang 等[17]提供,是一個公開數(shù)據(jù)集,它包括55 840篇計算機(jī)科學(xué)領(lǐng)域的論文摘要,每篇摘要可以分配多個學(xué)科,總共有54個學(xué)科。

      本文將每個數(shù)據(jù)集按照訓(xùn)練集∶測試集∶驗證集=8∶1∶1的比例分配,統(tǒng)計結(jié)果如表1所示。

      表1 數(shù)據(jù)集統(tǒng)計Table 1 Dataset statistics

      3.2 實驗評估指標(biāo)

      本文采用漢明損失(?)、準(zhǔn)確率(+)、召回率(+)和F1 值(+)來評估算法的有效性。需要注意的是,(?)表示越小越好,(+)表示越大越好。

      3.3 損失函數(shù)曲線圖

      基于多級特征的多標(biāo)簽長文本分類算法模型在Zhihu 數(shù)據(jù)集訓(xùn)練中得到的損失函數(shù)圖如圖1 所示,其中,縱坐標(biāo)表示損失函數(shù)的函數(shù)值,橫坐標(biāo)表示模型的迭代次數(shù)。

      圖1 基于Zhihu數(shù)據(jù)集的損失函數(shù)圖Fig.1 Loss function graph based on Zhihu dataset

      從圖1中可以看出,在剛開始訓(xùn)練的時候,損失函數(shù)呈現(xiàn)大幅度下降,表明模型在朝著正確收斂的方向進(jìn)行。隨著迭代步數(shù)的增加,損失函數(shù)的下降速度變慢,模型開始呈現(xiàn)出收斂的態(tài)勢。在模型收斂的過程中,損失函數(shù)會出現(xiàn)波動,這是因為本文在計算交叉熵?fù)p失函數(shù)(CrossEntropyLoss)的過程中采用了自適應(yīng)矩估計(Adam)優(yōu)化器,引入了自適應(yīng)學(xué)習(xí)率,從而使損失函數(shù)出現(xiàn)波動。隨著時間推移,可以看到損失函數(shù)波動變小且趨于平穩(wěn),并且損失函數(shù)值趨于0.003,最終模型收斂。

      3.4 實驗結(jié)果對比與分析

      表2 給出了在Zhihu 數(shù)據(jù)集上,本文提出的模型與FastText、TextCNN、HAN、SGM和SGM+GE等相關(guān)算法比較的結(jié)果,可以看出在基于Zhihu中文長文本數(shù)據(jù)集下,本文所提出的模型在四個評估維度上都有優(yōu)異的表現(xiàn)。

      表2 Zhihu實驗結(jié)果對比Table 2 Comparison of Zhihu experiment results

      表3給出了在公開數(shù)據(jù)集RCV1-V2上,本文提出的模型與基于該數(shù)據(jù)集的相關(guān)算法的比較結(jié)果,可以看出在基于標(biāo)注的公開數(shù)據(jù)集上,本文提出的模型在漢明損失、召回率和F1值這三個方面有著更優(yōu)異的表現(xiàn)。

      表3 RCV1-V2實驗結(jié)果對比Table 3 Comparison of RCV1-V2 experiment results

      表4給出了在公開數(shù)據(jù)集AAPD上,本文提出的模型與基于該數(shù)據(jù)集的相關(guān)算法的比較結(jié)果,可以看出在基于標(biāo)注的公開數(shù)據(jù)集上,本文提出的模型在漢明損失和F1值這兩個方面有著更優(yōu)異的表現(xiàn)。

      表4 AAPD實驗結(jié)果對比Table 4 Comparison of AAPD experiment results

      從表2~4中可以看出,算法在三個數(shù)據(jù)集四個評價指標(biāo)下的結(jié)果有很大差異。首先,不同的對比算法在同一個數(shù)據(jù)集下的結(jié)果比較相近,沒有出現(xiàn)較大差異。其次,同一個算法在不同數(shù)據(jù)集下的結(jié)果也出現(xiàn)了這種差異。綜上所述,算法結(jié)果的差異在于數(shù)據(jù)集自身,而數(shù)據(jù)集的差異主要體現(xiàn)在以下三點:(1)中/英數(shù)據(jù)集;(2)標(biāo)簽綜述與文本總數(shù)的差異;(3)文本平均字?jǐn)?shù)的差異。

      3.5 消融實驗

      本文在編碼器層、Attention 模塊、解碼器層和序列選擇模塊分別進(jìn)行了改進(jìn),為了驗證模塊改進(jìn)的有效性,在Zhihu數(shù)據(jù)集下進(jìn)行了消融實驗,實驗結(jié)果如表5所示。

      表5 消融實驗結(jié)果對比Table 5 Comparison of ablation experiment results

      其中,NoDC 表示編碼器層沒有采用空洞卷積,僅使用LSTM 編碼器獲取語義層面特征的模型,Additive表示在Attention 模塊僅僅將兩個層面的特征向量進(jìn)行加和的模型,GreedySearch表示在序列選擇模塊采用貪心搜索方法的模型。

      4 結(jié)束語

      本文從深度學(xué)習(xí)網(wǎng)絡(luò)模型出發(fā),提出基于多級特征和混合注意力機(jī)制的多標(biāo)簽分類算法,并且從編碼器(Encoder)層、Attention 模塊、解碼器(Decoder)層、序列選擇模塊四部分對原始的基于Seq2Seq 模型框架的編解碼結(jié)構(gòu)模型進(jìn)行改進(jìn)。為了驗證本文所提出算法的優(yōu)劣,除了自己收集的知乎數(shù)據(jù)集(Zhihu)外,還增加了RCV1-V2、AAPD 兩個公開數(shù)據(jù)集,經(jīng)過三個數(shù)據(jù)集的算法驗證,本文所提出的算法在F1、召回率和漢明損失這三個評價指標(biāo)上均領(lǐng)先于其他同類算法。

      猜你喜歡
      編碼器標(biāo)簽卷積
      基于3D-Winograd的快速卷積算法設(shè)計及FPGA實現(xiàn)
      從濾波器理解卷積
      電子制作(2019年11期)2019-07-04 00:34:38
      無懼標(biāo)簽 Alfa Romeo Giulia 200HP
      車迷(2018年11期)2018-08-30 03:20:32
      基于FPGA的同步機(jī)軸角編碼器
      不害怕撕掉標(biāo)簽的人,都活出了真正的漂亮
      海峽姐妹(2018年3期)2018-05-09 08:21:02
      基于傅里葉域卷積表示的目標(biāo)跟蹤算法
      基于PRBS檢測的8B/IOB編碼器設(shè)計
      標(biāo)簽化傷害了誰
      JESD204B接口協(xié)議中的8B10B編碼器設(shè)計
      電子器件(2015年5期)2015-12-29 08:42:24
      基于多進(jìn)制查詢樹的多標(biāo)簽識別方法
      黄梅县| 蒙阴县| 平遥县| 永寿县| 铁岭市| 钟山县| 朝阳区| 德昌县| 邯郸市| 教育| 桐乡市| 齐河县| 新津县| 绥芬河市| 梁平县| 盱眙县| 沧源| 黔南| 靖州| 河曲县| 收藏| 来安县| 杂多县| 汕头市| 甘南县| 怀柔区| 乐业县| 隆尧县| 安图县| 汤阴县| 繁峙县| 蒙城县| 南丰县| 东海县| 柳河县| 峡江县| 渝中区| 登封市| 靖远县| 花垣县| 扶风县|