• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于cw2vec與BILSTM的 中文商品評(píng)論情感分類

    2020-06-19 08:45:58高統(tǒng)超張?jiān)迫A
    軟件導(dǎo)刊 2020年4期
    關(guān)鍵詞:注意力機(jī)制

    高統(tǒng)超 張?jiān)迫A

    要:針對(duì)方面級(jí)情感分類算法在中文領(lǐng)域商品評(píng)論中性能不佳的問(wèn)題,從實(shí)際應(yīng)用場(chǎng)景出發(fā),基于cw2vec模型并結(jié)合BiLSTM模型,進(jìn)行中文商品評(píng)論方面級(jí)情感分類。通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,訓(xùn)練中文詞向量,提取評(píng)論語(yǔ)句文字筆畫信息特征;然后對(duì)評(píng)論語(yǔ)料構(gòu)建基于注意力機(jī)制的BiLSTM模型進(jìn)行情感分類,計(jì)算注意力向量權(quán)重,利用雙向網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)捕捉語(yǔ)義依賴信息。實(shí)驗(yàn)結(jié)果表明,當(dāng)訓(xùn)練語(yǔ)料分布合理時(shí),該方法準(zhǔn)確率達(dá)到83.2%,比Skip-gram模型提高了3.3%。該方法在中文方面級(jí)情感分類任務(wù)上能獲取中文語(yǔ)義信息,分類效果更好,有效提高了分類準(zhǔn)確率。

    關(guān)鍵詞:情感分類;cw2vec模型;BiLSTM模型;注意力機(jī)制

    DOI: 10. 11907/rjdk.191 800

    開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

    中圖分類號(hào):TP301

    文獻(xiàn)標(biāo)識(shí)碼:A

    文章編號(hào):1672-7800( 2020)004-0079-05

    Sentiment Classification of Chinese Product Reviews

    Based on cw2vec and BiLSTM

    GAO Tong-chao, ZHANG Yun-hua

    (Sch.ool of Inform ation , Zh.e.jiang Sci- Tech UrLiver.sity , Harzgzhou 3 1 00 1 8 . C^ ina )

    Abstract: Aiming at the poor performance of aspect level sentiment classification algorithm in Chiiiese comruodity review. based onthe actual application scenario. we combine the BiLSTM ruodel ivith the cw2vec model to classif'y Chinese commodi'y revie,vs. The datais pre-processed. the Chinese word vector is trained. and the feature inforruation of' the corument sentence text is extracted. Then. theBiLSTM model based on the attentionmechanism is constructed to classify the annotation corpus, calculate the weight of the attentionvector. and capture the semantic dependence information hy using the characteristics of' the bidirectional network structure. The experi-mental resulfs show that u-hen the training corpus distribution is reasonable. the accuracy rate of' this method is 83.2% . which is 3.3%higher than that of the Skip-gram model. This method can obtain Chinese senlantic inf'ormation on the Chinese aspect level sentimentclassif'ication task . and the classification effect is better. which effectively improves the classification accuracy .Key Words : sentiruent classification; cw2vec model; BiLSTM model; attention mechanism

    O 引言

    《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示,截至2018年12月,我國(guó)網(wǎng)絡(luò)購(gòu)物用戶數(shù)量是6.10億,網(wǎng)上零售交易額達(dá)到90 065億元,同比增長(zhǎng)23.9%[1]。用戶進(jìn)行網(wǎng)絡(luò)購(gòu)物后給出商品評(píng)論,數(shù)量成千上萬(wàn),復(fù)雜多樣。對(duì)評(píng)論語(yǔ)句采用情感分析,能夠幫助商家調(diào)整銷售策略,指導(dǎo)潛在用戶合理選擇商品。情感分析也被稱為意見(jiàn)挖掘、傾向分析,是白然語(yǔ)言處理領(lǐng)域的一個(gè)基礎(chǔ)任務(wù)[2]。目前,研究者廣泛認(rèn)同根據(jù)情感極性分類對(duì)象的粒度大小,將情感分類分為3個(gè)層面:文檔級(jí)、句子級(jí)、實(shí)體與方面級(jí)(aspect)[3]。2016年Wang等。[4]利用英文數(shù)據(jù)集SemEval-2014 Task4,提出基于注意力(Attention)機(jī)制的LSTM,并在模型的輸入和隱藏層中添加方面詞語(yǔ)義向量,保證方面情感信息獲得更多注意力,使情感分類結(jié)果更加準(zhǔn)確;2018年王新波[5]基于英文數(shù)據(jù)集,引入依存關(guān)系等外部信息解決長(zhǎng)距離信息捕獲不充分問(wèn)題,提高特定方面級(jí)情感分類的準(zhǔn)確率,但無(wú)法利用中文數(shù)據(jù)集進(jìn)行分類。漢字表意豐富,博大精深,比英文單詞表達(dá)的內(nèi)容更加復(fù)雜,漢字之間的多重組合形成的語(yǔ)義信息比英文單詞更復(fù)雜多樣。由于中英文的差異性,許多英文研究成果無(wú)法直接運(yùn)用于中文語(yǔ)義分析。

    以上方法在中文商品數(shù)據(jù)集上還沒(méi)有進(jìn)行過(guò)有效研究。鑒于此,本文在現(xiàn)有詞向量模型和文本情感分類方法基礎(chǔ)上,利用網(wǎng)絡(luò)爬蟲技術(shù)[6]獲得原始實(shí)驗(yàn)數(shù)據(jù),通過(guò)cw2vec模型訓(xùn)練的詞向量作為BiLSTM模型的輸入數(shù)據(jù),進(jìn)行中文商品評(píng)論方面級(jí)情感分類,在實(shí)驗(yàn)中取得了較好的實(shí)驗(yàn)結(jié)果,對(duì)于研究中文領(lǐng)域文本情感分析具有重要價(jià)值。

    1 cw2vec模型

    在自然語(yǔ)言處理領(lǐng)域,詞向量模型扮演著舉足輕重的角色,在許多任務(wù)中都發(fā)揮著至關(guān)重要的作用,比如機(jī)器翻譯、情感分類等。傳統(tǒng)詞向量研究方式是單點(diǎn)表示(One-hot representation)法。根據(jù)分類詞典[7]對(duì)所有單詞進(jìn)行排序,每個(gè)單詞都有對(duì)應(yīng)的位置,用一個(gè)與單詞數(shù)量等長(zhǎng)的數(shù)組表示某單詞,單詞所在的位置值為l,其余位置的值用0表示。這種方法的優(yōu)點(diǎn)是比較直觀,然而存在的問(wèn)題是需要對(duì)大量語(yǔ)料數(shù)據(jù)進(jìn)行整理,無(wú)法計(jì)算單詞之間的相似度。2013年谷歌提出基于神經(jīng)網(wǎng)絡(luò)的word2vec[8-9]工具,用于運(yùn)算詞向量。在隨后的發(fā)展過(guò)程中,該算法在實(shí)際實(shí)驗(yàn)中取得了良好效果,同時(shí)也在不斷改進(jìn)。2014年基于矩陣分布式表示的GloVe模型。10。被提出,通過(guò)分解“詞一詞”矩陣得到詞表示,但是相關(guān)算法只適合用在由羅馬字母構(gòu)成的單詞中。對(duì)于中文而言,漢字由許多筆畫構(gòu)成,字與詞都包含著豐富的語(yǔ)義。在自然語(yǔ)言處理相關(guān)任務(wù)中,中文語(yǔ)料處理起來(lái)比較困難。此外,對(duì)于中文漢字的詞向量研究比英文晚,本文使用較先進(jìn)的基于Skip -gram模型改進(jìn)的cw2vec模型。該模型利用漢字一筆一面的結(jié)構(gòu)信息和聯(lián)系,獲得分布式詞向量,能夠保證不損失詞向量語(yǔ)義信息。cw2vec模型以負(fù)采樣進(jìn)行計(jì)算。

    在cw2vec模型中,定義單詞與其上下義之間的相似函數(shù)sirri(W,c)如下:

    其中,m表示當(dāng)前詞語(yǔ)的。元筆面向量,c表示上下文詞語(yǔ)的詞向量,S(w)為當(dāng)前詞語(yǔ)w的n元筆畫集合,m是集合S(w)的n元筆畫元素。基于當(dāng)前詞語(yǔ)w對(duì)上下文詞語(yǔ)c的預(yù)測(cè)進(jìn)行建模,給定詞語(yǔ)w的概率計(jì)算,采用soft-max函數(shù)進(jìn)行模擬預(yù)測(cè),如式(2)所示。

    其中,c是詞匯表V中的單詞。采用負(fù)采樣方式,用基于分布的“負(fù)面”抽樣的上下文單詞集合替換復(fù)雜分母。目標(biāo)函數(shù)計(jì)算如式(3)所示。

    其中,w是當(dāng)前詞語(yǔ),c是上下義詞語(yǔ), 是Sigmoid函數(shù),T(w)是當(dāng)前詞語(yǔ)劃窗內(nèi)的所有詞語(yǔ)集合,D是訓(xùn)練語(yǔ)料的所有文本,c是隨機(jī)選擇的詞語(yǔ),作為負(fù)樣例,^是隨機(jī)選擇詞語(yǔ)的個(gè)數(shù)P[]是負(fù)樣例c 7按照詞頻分布進(jìn)行的采樣。

    2 BiLSTM模型

    2.1 注意力機(jī)制

    注意力( Attention)機(jī)制以將當(dāng)前任務(wù)目標(biāo)相關(guān)的關(guān)鍵信息從各種信息中挑選出來(lái)為主要目標(biāo),本質(zhì)上看注意力機(jī)制和人類的選擇性視覺(jué)注意力機(jī)制相似…。注意力機(jī)制早先用于NLP領(lǐng)域的機(jī)器翻譯,如圖1所示,在Encod-er-Decoder模型[12]中運(yùn)用注意力機(jī)制。

    模型中上下文( Contex)向量cI是權(quán)重化之后的值,用于當(dāng)前時(shí)刻f輸入序列的向量。其表達(dá)式如式(4)所示。

    其中,i是Encoder端的第i個(gè)詞語(yǔ),H,是Encoder端第J個(gè)詞語(yǔ)的隱向量,A是Encoder端第/個(gè)詞語(yǔ)與Decoder端第i個(gè)詞語(yǔ)之間的權(quán)值。n ,的計(jì)算如式(5)所示。 其中,e表示Encoder端位置上第i個(gè)詞語(yǔ)對(duì)Decoder端位置上第i個(gè)詞語(yǔ)產(chǎn)生的影響,e。的計(jì)算方法如式(6)所示。

    其中,a是一個(gè)函數(shù),利用Decoder網(wǎng)絡(luò)最新的隱藏層狀態(tài)s,及編碼器端第1個(gè)單詞的隱藏層輸出h作為輸入,計(jì)算得到e。。

    在時(shí)刻f,Decoder解碼出的詞語(yǔ)yt取決于所有Encod-er端隱藏狀態(tài)根據(jù)注意力權(quán)重的加權(quán)組合。并且,注意力權(quán)重的計(jì)算取決于Encoder單元的最新?tīng)顟B(tài)與Encoder端隱藏層狀態(tài)集合的相互作用,即模型可以利用已解碼序列信息有選擇地對(duì)源語(yǔ)言序列進(jìn)行編碼,從而生成更準(zhǔn)確的譯文。

    2.2 基于注意力機(jī)制的BiLSTM模型

    長(zhǎng)短期記憶網(wǎng)絡(luò)(ISTM)是單向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),是一種特殊的RNN,它的m現(xiàn)可以用來(lái)解決RNN在訓(xùn)練中不能夠處理長(zhǎng)期依賴的問(wèn)題[13]。從網(wǎng)絡(luò)結(jié)構(gòu)看,存在的問(wèn)題是在計(jì)算當(dāng)前神經(jīng)單元狀態(tài)時(shí)可以很好地利用前序序列信息,而后序序列信息無(wú)法得以有效利用。在進(jìn)行更細(xì)粒度的分類任務(wù)時(shí),需要關(guān)注情感詞、否定詞和副詞等之間的關(guān)聯(lián)交互作用,但是單向LSTM在詞語(yǔ)的表示學(xué)習(xí)過(guò)程無(wú)無(wú)法充分利用文本全局信息,無(wú)法有效捕捉更微弱語(yǔ)義信息[14]。此外,利用最后時(shí)刻的長(zhǎng)序列隱藏層輸出作為句子序列的向量表示,其受序列頭、尾部的影響會(huì)不一致。為了解決以上問(wèn)題,本文將信息反向輸入給模型,將單向LSTM網(wǎng)絡(luò)結(jié)構(gòu)模型設(shè)計(jì)成雙向長(zhǎng)短期記憶網(wǎng)絡(luò)(BiLSTM)結(jié)構(gòu)模型。模型網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

    可以看出,BiLSTM模型是雙向LSTM,增加了反向?qū)硬糠?,在前后序列學(xué)習(xí)過(guò)程中,對(duì)于第t個(gè)單詞而言,在時(shí)刻f輸出的前饋層向量和反向?qū)酉蛄糠謩e用矗.∈Rd和h∈Rd表示,其中d是隱藏層向量的維度。前饋層向量h.和反向?qū)酉蛄縣進(jìn)行拼接,用 標(biāo)記隱藏層輸出向量。BiL-STM通過(guò)捕獲文本中遠(yuǎn)距離的依賴關(guān)系[15],即使網(wǎng)絡(luò)經(jīng)過(guò)多層合成計(jì)算,也仍然能夠?qū)⑽谋镜闹饕Z(yǔ)義信息保存下來(lái)。

    BiLSTM模型結(jié)合注意力機(jī)制能夠有效利用給定的不同方面信息,關(guān)注評(píng)論語(yǔ)句中的不同位置,判斷語(yǔ)句的主觀情感傾向。模型結(jié)構(gòu)如圖3所示,模型最下面一層是輸入層,將經(jīng)過(guò)詞向量訓(xùn)練的輸入序列輸入到模型中,用 表示隱藏層的輸出矩陣,Ⅳ表示序列長(zhǎng)度,d表示隱藏層輸出的向量維度。模型中的方面向量用v。表示。

    將組合隱藏層出向量與方面向量,利用雙曲正切函數(shù)進(jìn)行非線性激活,如式(7)所示。

    式(7)中, 和 均為參數(shù)矩陣,eN是數(shù)值全為1、長(zhǎng)度為Ⅳ的列向量, 表示復(fù)制Ⅳ份v。并進(jìn)行組合。向量矩陣M包含序列信息和方面信息,對(duì)其進(jìn)行映射,利用Softmax函數(shù)輸出概率分布 ,如式(8)所示。

    式(8)中, 。模型的重點(diǎn)是注意力權(quán)重向量計(jì)算。a表示一個(gè)Ⅳ維注意力向量,每個(gè)維度的值代表相應(yīng)位置隱藏層輸出的權(quán)重?cái)?shù)。對(duì)隱藏層輸出進(jìn)行加權(quán),可以得到對(duì)應(yīng)給定方面的輸入序列的語(yǔ)義表示r∈Rd,如式(9)所示。

    為了更好地提升模型的實(shí)驗(yàn)效果,將序列尾部的隱藏層輸出h。加入到語(yǔ)句序列的表示中[16],如式(10)所示。

    其中, 是最終輸入語(yǔ)句序列,w和w均為映射參數(shù)矩陣,然后利用Softmax函數(shù)作出情感傾向判斷。

    3 實(shí)驗(yàn)驗(yàn)證及實(shí)驗(yàn)分析

    3.1實(shí)驗(yàn)環(huán)境

    本文實(shí)驗(yàn)環(huán)境配置如表1所示。

    3.2實(shí)驗(yàn)框架

    cw2vec模型利用中文漢字筆畫之間的聯(lián)系,更好地融合詞與詞的語(yǔ)義關(guān)聯(lián)信息,訓(xùn)練中文詞向量,改善了詞向量的質(zhì)量,再將詞向量作為BiLSTM模型輸入層傳人,利用BiLSTM模型的特點(diǎn),使得情感分類任務(wù)上的分類效果進(jìn)一步得到提高。實(shí)驗(yàn)框架如圖4所示。

    (1)數(shù)據(jù)預(yù)處理。對(duì)于中文數(shù)據(jù)集而言,用于方面級(jí)商品評(píng)論情感分析的語(yǔ)料庫(kù)較少。本文利用Scrapy框架技術(shù)爬取文本數(shù)據(jù),采用中文分詞組件工具Jieba精確模式[17]進(jìn)行分詞和詞性標(biāo)注,手動(dòng)分配方面信息詞語(yǔ)。

    (2)特征向量。在利用cW2vec模型提取中文漢字筆畫信息的特征向量時(shí),需要對(duì)漢字進(jìn)行筆畫拆分,本文利用Pvthon腳本從漢典獲取筆畫信息。

    (3)情感分類。目前,情感分類方法主要是基于詞典的情感分析和基于機(jī)器學(xué)習(xí)的情感分析,相關(guān)算法研究有很多種,如人T神經(jīng)網(wǎng)絡(luò)(RNN)、支持向量機(jī)(SVM)、K緊鄰(KNN)等[18]。本文對(duì)BiLSTM網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,然后進(jìn)行情感分類。

    3.3實(shí)驗(yàn)數(shù)據(jù)

    目前,用于方面級(jí)情感分類的數(shù)據(jù)集是英文的SemEval-2014 Task4[19],包含餐館和筆記本電腦兩個(gè)領(lǐng)域的用戶評(píng)論數(shù)據(jù)。每個(gè)領(lǐng)域的數(shù)據(jù)集分成正向、負(fù)向和中立3種不同的情感粒度。本文利用爬蟲技術(shù)在某商城網(wǎng)站上獲取了50000條關(guān)于冰箱的客戶評(píng)價(jià)數(shù)據(jù),但是獲取的商品評(píng)論中正負(fù)類評(píng)論語(yǔ)句差異比例不平衡,同時(shí)也存在很多過(guò)短評(píng)論語(yǔ)句和特殊表情符號(hào)語(yǔ)句,這樣的語(yǔ)料會(huì)導(dǎo)致實(shí)驗(yàn)結(jié)果與真實(shí)結(jié)果出現(xiàn)偏差,不適合進(jìn)行分類實(shí)驗(yàn)。為了解決這些問(wèn)題,本文實(shí)驗(yàn)時(shí)在眾多語(yǔ)料中選取其中的10000條語(yǔ)句,分成正向、負(fù)向和中立3種情感極性語(yǔ)句。訓(xùn)練其中的6000條評(píng)論語(yǔ)句,將其余4000條評(píng)論用作測(cè)試語(yǔ)句,這樣可以保證分類的正確性。此外,每條評(píng)論語(yǔ)句包含了相應(yīng)的方面信息和極性判斷。本文目標(biāo)是識(shí)別具有相應(yīng)方面信息句子的極性。數(shù)據(jù)統(tǒng)計(jì)如表2所示。

    3.4參數(shù)設(shè)置與評(píng)價(jià)指標(biāo)

    實(shí)驗(yàn)數(shù)據(jù)處理完成后,通過(guò)cw2vec模型進(jìn)行詞向量訓(xùn)練,參數(shù)設(shè)置會(huì)影響詞向量的質(zhì)量以及最終分類模型訓(xùn)練結(jié)果。本文詞向量維度選擇150,詞窗口大小為5。BiL-STM模型中方面向量維度和隱藏層大小為300,學(xué)習(xí)率為0.01,L2正則化權(quán)重為0.01。在評(píng)估方面級(jí)情感分類任務(wù)的表現(xiàn)時(shí),采用常用評(píng)價(jià)標(biāo)準(zhǔn),用accuracv[20]作為方法評(píng)估標(biāo)準(zhǔn).T是正確預(yù)測(cè)的樣本數(shù),N是樣本總數(shù),準(zhǔn)確度是測(cè)量所有樣本中正確預(yù)測(cè)樣本的百分比。計(jì)算如式(12)所示。

    3.5 實(shí)驗(yàn)結(jié)果與分析

    在相同數(shù)據(jù)上,本文選擇基于CBOW模型和基于Skip-gram模型的word2vec作為參照實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示。在實(shí)驗(yàn)過(guò)程中,為了減輕由于隨機(jī)初始化產(chǎn)生的性能波動(dòng),運(yùn)行10次訓(xùn)練算法。表3報(bào)告了平均準(zhǔn)確度,可以看出,平均而言本文模型優(yōu)于其它組合模型方法。采用CBOW模型和Skip-gram模型,基于英文字母進(jìn)行詞向量訓(xùn)練,對(duì)于中文漢字而言,沒(méi)有利用漢字的結(jié)構(gòu)信息。cw2vec模型表現(xiàn)較好,能夠有效捕捉漢字特征信息,魯棒性好。

    4 結(jié)語(yǔ)

    中文文本情感分析研究是目前計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn),具有很高的商業(yè)價(jià)值和科學(xué)研究?jī)r(jià)值。本文將提取漢字筆畫特征的cw2vec模型和一種基于神經(jīng)網(wǎng)絡(luò)的BiLSTM模型進(jìn)行組合并用于中文商品評(píng)論情感分類,對(duì)輸入的文本進(jìn)行詞向量訓(xùn)練,通過(guò)分析中文漢字表達(dá)特點(diǎn)獲取分布式向量,根據(jù)BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn),將前后單詞語(yǔ)義信息保留下來(lái)進(jìn)行情感分類。通過(guò)實(shí)驗(yàn)比較,結(jié)果表明,本文方法在情感分類任務(wù)上擁有良好表現(xiàn),具有重要的技術(shù)參考價(jià)值。在后續(xù)研究中,將著重分析句法結(jié)構(gòu)并探索詞匯之間的依存關(guān)系,進(jìn)一步提高情感分類精度。

    參考文獻(xiàn):

    [l]CNNIC.中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[EB/OL]. 2018-08-[1].http://www.cnnic.net.cn/hh'fzyj/hlwxzbg/hlwtjb g/201902/P020190228510533388308.pdf.

    [2]劉曉彤,田大銅融合深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的在線評(píng)論情感分析[J].軟件導(dǎo)刊,2019.18(2):1-4.

    [3]LIU B.Sentiment anah- sis and opinion mining[M]California: Morgan&Claypool Publishers, 2012.

    [4]WANC W,PAN S J,DAHLMEIER D. et al. Recursive neural condi-tional random fields for aspect-based sentiment analysis[DB/OLl.arxiv.org/pdf/1603.06679.pdf

    [5]王新波用戶評(píng)論方面級(jí)情感分析算法研究[D]北京:北京郵電大學(xué),2018.

    [6] 劉宇,鄭成煥.基于Scrapy的深層網(wǎng)絡(luò)爬蟲研究[J].軟件,2017,38(7):111-114

    [7]黃仁,張衛(wèi).基于word2rec的互聯(lián)網(wǎng)商品評(píng)論情感傾向研究[J].計(jì)

    算機(jī)科學(xué),2016, 43(SI):387-389

    [8]KANDOLA E J,HOFMANN T. POGCIO T. et al.A neural prohahilis-tic. language model [J]. Studies in Fuzziness and Soft Computing,2006. 194:137-186

    [9]MIKOLOV T. CHEN K. CORRADO G,et al. Efficient estimation ofword representations in vector space[J]. Computer Scienc.e, 2013.

    [10]PENNINGTON J, SOCHER R,MANNINC C Glo,'e: global vectorsfor word representation[C]. Proceedings nf the 2014 Conference onEmpirical Methods in Natural Language Processing(EMNLP), 2014.

    [11]BAHDANAL D. CHO K, BENGIO Y. Neural mac.hine translation bvjointly learning to align and translate[J].Computer Science, 2014

    [12]SUTSKEVER I, VINYALS 0,LE Q V. Sequence to Sequence Learn-ing with Nreural Networks[Z]2014.

    [13] 黃磊,杜昌順基于遞歸神經(jīng)網(wǎng)絡(luò)的文本分類研究[J].北京化工 大學(xué)學(xué)報(bào)(自然科學(xué)版),2017,44(1):98-104

    [14]何原野基于深度學(xué)習(xí)的多標(biāo)簽文本分類方法[D].昆明:云南大學(xué),2017.

    [15]張應(yīng)成,楊洋,蔣瑞,等基于BiLSTM-CRF的商情實(shí)體識(shí)別模型[J].計(jì)算機(jī)工程,2019(5):308-314.

    [16]ROCKTASCHEL T, CREFENSTETTE E, HERMANN K M. et al.Reasoning ahout entailment with neural attention[DB/OL]. arxiv.org,pdf/1509.06664.pdf

    [17]黎曦.基于網(wǎng)絡(luò)爬蟲的論壇數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].武漢:華中科技大學(xué),2019

    [18] 彭三春,張?jiān)迫A.基于RNTN和CBOW的商品評(píng)論情感分類[J].

    計(jì)算機(jī)工程與設(shè)計(jì),2018. 39(3):861-866

    [19]KHALIL T, ELBELTAGY S R hrileTMRG at semeval-2016 task 5:deep conrolutional neural networks for aspect category and sentimentextractionEC].Internatinnal Workshop on Semantic Eraluation, 2016.

    [20]陳穎熙,廖曉東,蘇例月,等.基于CDBN網(wǎng)絡(luò)的文本情感傾向分類算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2019,28(1):165-170.

    (責(zé)任編輯:孫娟)

    收稿日期:2019-06-11

    作者簡(jiǎn)介:高統(tǒng)超(1994-),男,浙江理工大學(xué)信息學(xué)院碩士研究生,研究方向?yàn)橹悄苄畔⑻幚?張?jiān)迫A(1965-),男,博士,浙江理工大

    學(xué)信息學(xué)院教授、碩士生導(dǎo)師,研究方向?yàn)檐浖軜?gòu)、軟件工程、智能信息處理。本文通訊作者:高統(tǒng)超。

    猜你喜歡
    注意力機(jī)制
    基于注意力機(jī)制的行人軌跡預(yù)測(cè)生成模型
    基于注意力機(jī)制和BGRU網(wǎng)絡(luò)的文本情感分析方法研究
    多特征融合的中文實(shí)體關(guān)系抽取研究
    基于序列到序列模型的文本到信息框生成的研究
    基于深度學(xué)習(xí)的手分割算法研究
    從餐館評(píng)論中提取方面術(shù)語(yǔ)
    面向短文本的網(wǎng)絡(luò)輿情話題
    基于自注意力與動(dòng)態(tài)路由的文本建模方法
    基于深度學(xué)習(xí)的問(wèn)題回答技術(shù)研究
    基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
    麻豆av在线久日| 午夜福利免费观看在线| 一区福利在线观看| av有码第一页| 99香蕉大伊视频| 久久影院123| 天天躁日日躁夜夜躁夜夜| 超碰97精品在线观看| 久久精品国产亚洲av香蕉五月 | 国产极品粉嫩免费观看在线| 亚洲精品av麻豆狂野| 丰满饥渴人妻一区二区三| 欧美黑人精品巨大| 国产精品 国内视频| 一本—道久久a久久精品蜜桃钙片| 国产成人免费无遮挡视频| 热re99久久精品国产66热6| 国产精品香港三级国产av潘金莲| 亚洲七黄色美女视频| 性少妇av在线| 亚洲av片天天在线观看| 久久人人97超碰香蕉20202| 天堂动漫精品| 两性夫妻黄色片| 久久ye,这里只有精品| 激情在线观看视频在线高清 | 亚洲av日韩在线播放| 日韩一卡2卡3卡4卡2021年| 啦啦啦视频在线资源免费观看| 午夜两性在线视频| 亚洲成av片中文字幕在线观看| 亚洲精品自拍成人| 成人18禁高潮啪啪吃奶动态图| av免费在线观看网站| 精品国产一区二区三区四区第35| 满18在线观看网站| www.精华液| 国产精品熟女久久久久浪| 亚洲专区中文字幕在线| 亚洲av电影在线进入| 精品熟女少妇八av免费久了| 日日夜夜操网爽| 成人av一区二区三区在线看| 亚洲精品美女久久av网站| 欧美成狂野欧美在线观看| 中文字幕最新亚洲高清| 妹子高潮喷水视频| 欧美日本中文国产一区发布| 午夜老司机福利片| 咕卡用的链子| 涩涩av久久男人的天堂| 狠狠狠狠99中文字幕| 欧美黄色淫秽网站| 欧美 亚洲 国产 日韩一| 亚洲美女黄片视频| 人成视频在线观看免费观看| 国产高清国产精品国产三级| 久久婷婷成人综合色麻豆| 91麻豆精品激情在线观看国产 | 18禁美女被吸乳视频| 久久精品国产99精品国产亚洲性色 | 精品少妇久久久久久888优播| 日韩中文字幕欧美一区二区| 日本黄色日本黄色录像| 精品一区二区三区四区五区乱码| 一本大道久久a久久精品| 涩涩av久久男人的天堂| 久久精品国产亚洲av高清一级| 狂野欧美激情性xxxx| 久久精品亚洲精品国产色婷小说| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲av欧美aⅴ国产| 免费久久久久久久精品成人欧美视频| 欧美成人午夜精品| 欧美激情 高清一区二区三区| 纵有疾风起免费观看全集完整版| 51午夜福利影视在线观看| 国产伦理片在线播放av一区| 国产精品.久久久| 日韩三级视频一区二区三区| 国产男女超爽视频在线观看| 欧美日韩成人在线一区二区| 国产区一区二久久| 国产在视频线精品| 两个人免费观看高清视频| 亚洲精品自拍成人| 黄色毛片三级朝国网站| 悠悠久久av| 久久久精品免费免费高清| 国产成人欧美| 免费在线观看黄色视频的| 亚洲欧洲日产国产| 精品第一国产精品| 啦啦啦视频在线资源免费观看| 天堂俺去俺来也www色官网| 欧美亚洲日本最大视频资源| 视频区欧美日本亚洲| 亚洲av第一区精品v没综合| 99香蕉大伊视频| 久久人人爽av亚洲精品天堂| 水蜜桃什么品种好| 亚洲成人免费av在线播放| 90打野战视频偷拍视频| 青草久久国产| 免费av中文字幕在线| 欧美国产精品va在线观看不卡| 亚洲精品在线观看二区| 精品少妇黑人巨大在线播放| 国产成人影院久久av| 成人三级做爰电影| 中文字幕高清在线视频| 大片免费播放器 马上看| 一本大道久久a久久精品| 韩国精品一区二区三区| 日韩成人在线观看一区二区三区| 成年人免费黄色播放视频| 18在线观看网站| 婷婷丁香在线五月| 淫妇啪啪啪对白视频| 在线观看舔阴道视频| 侵犯人妻中文字幕一二三四区| 无遮挡黄片免费观看| 性高湖久久久久久久久免费观看| 男女之事视频高清在线观看| 桃红色精品国产亚洲av| 欧美一级毛片孕妇| 成人精品一区二区免费| 老熟妇乱子伦视频在线观看| 99re6热这里在线精品视频| 欧美日韩福利视频一区二区| www日本在线高清视频| 欧美黑人精品巨大| 99久久国产精品久久久| 我要看黄色一级片免费的| 国产淫语在线视频| 久久久国产成人免费| 色综合婷婷激情| 丝袜喷水一区| 久久精品成人免费网站| 丝袜美足系列| av在线播放免费不卡| 在线观看免费日韩欧美大片| 老司机深夜福利视频在线观看| 国产av一区二区精品久久| 国产色视频综合| 男男h啪啪无遮挡| 国产在线观看jvid| tocl精华| 咕卡用的链子| 亚洲av美国av| 久久久精品国产亚洲av高清涩受| 少妇 在线观看| 精品少妇黑人巨大在线播放| 777米奇影视久久| 麻豆成人av在线观看| 国产在线视频一区二区| 午夜激情久久久久久久| 亚洲精品中文字幕在线视频| 国产成人精品无人区| av天堂久久9| 热re99久久精品国产66热6| 午夜福利在线免费观看网站| 成人影院久久| av线在线观看网站| 最新的欧美精品一区二区| av国产精品久久久久影院| 新久久久久国产一级毛片| 亚洲国产欧美一区二区综合| 丁香六月欧美| 久久精品aⅴ一区二区三区四区| 欧美日韩视频精品一区| a级毛片黄视频| 国产伦理片在线播放av一区| 性少妇av在线| 亚洲精品在线美女| 极品教师在线免费播放| 久久久久久久久免费视频了| 国产日韩欧美在线精品| 亚洲人成电影免费在线| av免费在线观看网站| 在线天堂中文资源库| 亚洲第一欧美日韩一区二区三区 | 欧美黄色片欧美黄色片| 亚洲免费av在线视频| 九色亚洲精品在线播放| 丝袜美腿诱惑在线| 国产日韩一区二区三区精品不卡| 国产精品麻豆人妻色哟哟久久| 欧美亚洲 丝袜 人妻 在线| 9191精品国产免费久久| 欧美激情 高清一区二区三区| 日韩一卡2卡3卡4卡2021年| 黄色成人免费大全| 亚洲九九香蕉| 一级毛片女人18水好多| 国产精品久久久人人做人人爽| 18禁黄网站禁片午夜丰满| 欧美激情久久久久久爽电影 | 亚洲av片天天在线观看| 久热这里只有精品99| 精品国产乱码久久久久久小说| 欧美性长视频在线观看| 国产在线视频一区二区| 丰满人妻熟妇乱又伦精品不卡| 天天躁夜夜躁狠狠躁躁| 老鸭窝网址在线观看| av国产精品久久久久影院| 99re在线观看精品视频| 国产熟女午夜一区二区三区| 国产精品99久久99久久久不卡| 国产精品.久久久| 法律面前人人平等表现在哪些方面| 亚洲国产欧美日韩在线播放| 最近最新免费中文字幕在线| 国产成+人综合+亚洲专区| h视频一区二区三区| 纵有疾风起免费观看全集完整版| 午夜福利一区二区在线看| 国产伦理片在线播放av一区| 欧美日韩成人在线一区二区| 久久人人爽av亚洲精品天堂| 亚洲精品国产区一区二| 1024香蕉在线观看| 99精国产麻豆久久婷婷| 久久性视频一级片| 熟女少妇亚洲综合色aaa.| 亚洲专区字幕在线| 黄色视频不卡| 制服人妻中文乱码| av欧美777| 热99re8久久精品国产| 水蜜桃什么品种好| 51午夜福利影视在线观看| 久久青草综合色| 精品一区二区三卡| aaaaa片日本免费| 日韩大码丰满熟妇| 一区二区三区国产精品乱码| 亚洲,欧美精品.| 日韩大片免费观看网站| 丝袜在线中文字幕| 中国美女看黄片| 香蕉久久夜色| 亚洲av电影在线进入| 午夜成年电影在线免费观看| 女人高潮潮喷娇喘18禁视频| 午夜精品久久久久久毛片777| 美女国产高潮福利片在线看| 国产av精品麻豆| 精品第一国产精品| 久久亚洲精品不卡| 18禁裸乳无遮挡动漫免费视频| 老汉色∧v一级毛片| 亚洲国产精品一区二区三区在线| 精品一区二区三区av网在线观看 | 亚洲精品中文字幕在线视频| 丰满人妻熟妇乱又伦精品不卡| 一级黄色大片毛片| 丁香六月天网| 男女边摸边吃奶| 777米奇影视久久| 久久久久久免费高清国产稀缺| 国产免费现黄频在线看| 2018国产大陆天天弄谢| 一二三四在线观看免费中文在| 人人妻人人爽人人添夜夜欢视频| 69精品国产乱码久久久| 日韩免费高清中文字幕av| 国产真人三级小视频在线观看| 99riav亚洲国产免费| 制服人妻中文乱码| 老熟妇仑乱视频hdxx| 黄频高清免费视频| netflix在线观看网站| 99re6热这里在线精品视频| www.精华液| 日韩成人在线观看一区二区三区| 99久久精品国产亚洲精品| 久久久久久免费高清国产稀缺| 啪啪无遮挡十八禁网站| 在线 av 中文字幕| 亚洲精品中文字幕一二三四区 | 日韩三级视频一区二区三区| 国产高清国产精品国产三级| 国产精品久久久人人做人人爽| 国产单亲对白刺激| 97在线人人人人妻| 三级毛片av免费| 国产无遮挡羞羞视频在线观看| 欧美精品一区二区大全| 色婷婷久久久亚洲欧美| 国产免费福利视频在线观看| 成人永久免费在线观看视频 | www日本在线高清视频| 一个人免费在线观看的高清视频| 国产av国产精品国产| 亚洲,欧美精品.| 午夜成年电影在线免费观看| 一区福利在线观看| 久久久久久亚洲精品国产蜜桃av| 99国产精品一区二区三区| 91九色精品人成在线观看| 香蕉久久夜色| 久久精品国产亚洲av香蕉五月 | 亚洲人成电影观看| 婷婷丁香在线五月| 美女国产高潮福利片在线看| 午夜福利一区二区在线看| 这个男人来自地球电影免费观看| 国产精品 欧美亚洲| 精品福利观看| 免费在线观看完整版高清| 亚洲熟女精品中文字幕| 脱女人内裤的视频| 精品亚洲乱码少妇综合久久| 免费观看人在逋| 自拍欧美九色日韩亚洲蝌蚪91| 9热在线视频观看99| 深夜精品福利| 国产欧美日韩综合在线一区二区| 午夜福利视频精品| 超碰97精品在线观看| 一个人免费在线观看的高清视频| 大码成人一级视频| 免费少妇av软件| 久久久久久亚洲精品国产蜜桃av| 丁香六月天网| 一本色道久久久久久精品综合| 999久久久国产精品视频| 亚洲天堂av无毛| 少妇 在线观看| 亚洲黑人精品在线| 国产精品免费视频内射| 丝袜人妻中文字幕| 国产精品亚洲一级av第二区| 久久久久国内视频| 欧美成人午夜精品| 久久九九热精品免费| 侵犯人妻中文字幕一二三四区| 国产精品久久久久久人妻精品电影 | 国产在线观看jvid| 老司机福利观看| 精品亚洲成国产av| 大码成人一级视频| 精品一品国产午夜福利视频| 国产精品免费大片| 午夜福利欧美成人| 国产精品免费大片| 国产精品国产av在线观看| 午夜成年电影在线免费观看| 热99久久久久精品小说推荐| 欧美精品av麻豆av| 国产精品免费一区二区三区在线 | 亚洲国产欧美网| 国产三级黄色录像| 亚洲av成人一区二区三| 成在线人永久免费视频| 中文字幕精品免费在线观看视频| 亚洲国产精品一区二区三区在线| 曰老女人黄片| 亚洲精华国产精华精| 国产精品国产高清国产av | 法律面前人人平等表现在哪些方面| 亚洲国产看品久久| www.熟女人妻精品国产| 国产一卡二卡三卡精品| 午夜免费鲁丝| 19禁男女啪啪无遮挡网站| 精品国产乱子伦一区二区三区| 国产精品二区激情视频| 亚洲精品久久午夜乱码| 久久精品人人爽人人爽视色| netflix在线观看网站| 天天添夜夜摸| av不卡在线播放| 亚洲欧美一区二区三区黑人| 97人妻天天添夜夜摸| 交换朋友夫妻互换小说| 精品少妇一区二区三区视频日本电影| 久久精品亚洲av国产电影网| 国产高清视频在线播放一区| 国产麻豆69| 精品亚洲乱码少妇综合久久| 亚洲第一欧美日韩一区二区三区 | 免费不卡黄色视频| 男女午夜视频在线观看| av网站在线播放免费| 午夜福利乱码中文字幕| 久久人妻av系列| 精品乱码久久久久久99久播| 精品一区二区三区av网在线观看 | 搡老乐熟女国产| 另类亚洲欧美激情| 亚洲欧美日韩高清在线视频 | 免费日韩欧美在线观看| 中亚洲国语对白在线视频| 在线观看免费视频日本深夜| 国产色视频综合| 国产精品久久电影中文字幕 | 国产xxxxx性猛交| 亚洲国产欧美在线一区| 精品一区二区三卡| 亚洲精品国产色婷婷电影| 免费在线观看完整版高清| 日本av手机在线免费观看| 国产91精品成人一区二区三区 | 黄色视频,在线免费观看| 中文字幕精品免费在线观看视频| 久久亚洲真实| 精品国产超薄肉色丝袜足j| 国产熟女午夜一区二区三区| 精品人妻1区二区| 国产单亲对白刺激| 欧美变态另类bdsm刘玥| 丰满迷人的少妇在线观看| 精品少妇黑人巨大在线播放| 精品卡一卡二卡四卡免费| 国产亚洲精品久久久久5区| 一本久久精品| 欧美精品一区二区大全| 精品一区二区三区视频在线观看免费 | 久久久久久久国产电影| 国产成人免费观看mmmm| h视频一区二区三区| 久久午夜综合久久蜜桃| 国产在线免费精品| 搡老熟女国产l中国老女人| 狠狠狠狠99中文字幕| 亚洲欧美精品综合一区二区三区| 国产av又大| 91字幕亚洲| 久久久久久亚洲精品国产蜜桃av| 久久精品aⅴ一区二区三区四区| 色尼玛亚洲综合影院| 国产一卡二卡三卡精品| 黄色毛片三级朝国网站| 男女之事视频高清在线观看| 精品少妇一区二区三区视频日本电影| 国产精品久久久久久人妻精品电影 | 国产伦理片在线播放av一区| 99国产精品99久久久久| 天堂中文最新版在线下载| 国产精品1区2区在线观看. | 精品国产一区二区久久| 美女午夜性视频免费| 国产人伦9x9x在线观看| 国产一区二区三区综合在线观看| 99久久99久久久精品蜜桃| 少妇裸体淫交视频免费看高清 | 欧美国产精品一级二级三级| 欧美黑人欧美精品刺激| 一区二区三区国产精品乱码| 久久中文字幕人妻熟女| 成年版毛片免费区| 国产黄色免费在线视频| 成人特级黄色片久久久久久久 | 精品一区二区三区视频在线观看免费 | 国产日韩欧美在线精品| 搡老乐熟女国产| 欧美激情极品国产一区二区三区| 老司机深夜福利视频在线观看| 久久精品91无色码中文字幕| 999久久久国产精品视频| 国产成人欧美在线观看 | 国产精品偷伦视频观看了| 午夜精品国产一区二区电影| 久久久久国产一级毛片高清牌| 人妻 亚洲 视频| 亚洲情色 制服丝袜| 欧美日韩中文字幕国产精品一区二区三区 | 最近最新免费中文字幕在线| 成人精品一区二区免费| 热99久久久久精品小说推荐| 一级毛片电影观看| 精品人妻在线不人妻| 菩萨蛮人人尽说江南好唐韦庄| 欧美+亚洲+日韩+国产| 成人国产av品久久久| 高清av免费在线| 精品乱码久久久久久99久播| 99久久99久久久精品蜜桃| 国产成人精品无人区| 亚洲精品在线美女| 国产区一区二久久| 久久精品国产亚洲av香蕉五月 | 自线自在国产av| 亚洲综合色网址| kizo精华| 欧美日韩国产mv在线观看视频| 欧美精品人与动牲交sv欧美| 国产成人欧美| 亚洲国产欧美在线一区| 99精品欧美一区二区三区四区| 亚洲午夜理论影院| 1024视频免费在线观看| 日韩免费av在线播放| 91麻豆av在线| 十八禁网站免费在线| 国产免费视频播放在线视频| 亚洲黑人精品在线| 国产欧美日韩一区二区三区在线| 午夜激情久久久久久久| 亚洲熟妇熟女久久| 国产精品熟女久久久久浪| 汤姆久久久久久久影院中文字幕| 午夜免费成人在线视频| svipshipincom国产片| 亚洲精品粉嫩美女一区| 欧美激情久久久久久爽电影 | 涩涩av久久男人的天堂| av天堂久久9| 久久久国产精品麻豆| 欧美性长视频在线观看| 亚洲天堂av无毛| 在线观看一区二区三区激情| av天堂久久9| 国产精品自产拍在线观看55亚洲 | 国产免费av片在线观看野外av| 淫妇啪啪啪对白视频| 香蕉丝袜av| 一边摸一边做爽爽视频免费| 99精品久久久久人妻精品| 天天躁狠狠躁夜夜躁狠狠躁| 精品一区二区三区av网在线观看 | 丁香六月欧美| 高清黄色对白视频在线免费看| 变态另类成人亚洲欧美熟女 | 亚洲精品在线观看二区| 国产高清videossex| 免费高清在线观看日韩| 国产精品98久久久久久宅男小说| 国产熟女午夜一区二区三区| 国产精品麻豆人妻色哟哟久久| 久久午夜综合久久蜜桃| 亚洲人成77777在线视频| 欧美人与性动交α欧美软件| 成年人黄色毛片网站| 国产成人系列免费观看| 91老司机精品| 久久人妻熟女aⅴ| 天堂俺去俺来也www色官网| 性少妇av在线| 久久天堂一区二区三区四区| 色播在线永久视频| 高清毛片免费观看视频网站 | 热re99久久国产66热| 亚洲精华国产精华精| 久久精品国产a三级三级三级| 伦理电影免费视频| 久久中文字幕人妻熟女| 热re99久久精品国产66热6| 日韩中文字幕视频在线看片| 亚洲精品美女久久av网站| 美女国产高潮福利片在线看| 一进一出抽搐动态| 国产精品国产av在线观看| 99九九在线精品视频| 18在线观看网站| 午夜福利视频在线观看免费| 精品国产乱子伦一区二区三区| 久久99一区二区三区| 国产欧美日韩一区二区三区在线| svipshipincom国产片| 国产一区二区三区在线臀色熟女 | 精品福利观看| 极品人妻少妇av视频| 精品乱码久久久久久99久播| 国产成+人综合+亚洲专区| 亚洲色图 男人天堂 中文字幕| 在线观看一区二区三区激情| 日日爽夜夜爽网站| 免费看十八禁软件| 新久久久久国产一级毛片| 9色porny在线观看| 黄频高清免费视频| 纯流量卡能插随身wifi吗| 女人爽到高潮嗷嗷叫在线视频| 久久性视频一级片| 美女午夜性视频免费| 美女福利国产在线| 母亲3免费完整高清在线观看| 久久久久久久大尺度免费视频| svipshipincom国产片| 99国产综合亚洲精品| 激情视频va一区二区三区| 人妻久久中文字幕网| 美女高潮到喷水免费观看| 亚洲精品一卡2卡三卡4卡5卡| 亚洲国产av新网站| 午夜福利一区二区在线看| 一本综合久久免费| 一区二区三区精品91| 精品国产一区二区三区四区第35| 日日摸夜夜添夜夜添小说| 最近最新免费中文字幕在线| videos熟女内射| 啦啦啦中文免费视频观看日本| 色精品久久人妻99蜜桃| 丝袜喷水一区| 啦啦啦视频在线资源免费观看| 这个男人来自地球电影免费观看| 国产一区有黄有色的免费视频| 久久 成人 亚洲| 免费人妻精品一区二区三区视频| 精品国产一区二区三区四区第35| 啦啦啦中文免费视频观看日本| 狠狠狠狠99中文字幕| 老熟女久久久| 精品国产乱子伦一区二区三区| a级毛片在线看网站| 波多野结衣av一区二区av| 亚洲色图综合在线观看| 丝袜人妻中文字幕| 日韩 欧美 亚洲 中文字幕| 黑人操中国人逼视频|