• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    結(jié)合數(shù)據(jù)增強(qiáng)、情感學(xué)習(xí)的酒店虛假評(píng)論識(shí)別

    2021-11-15 11:48:46
    關(guān)鍵詞:文本情感實(shí)驗(yàn)

    楊 明

    (復(fù)旦大學(xué)軟件學(xué)院 上海 200000)

    0 引 言

    如今大量消費(fèi)者在網(wǎng)絡(luò)上購(gòu)買(mǎi)酒店服務(wù),用戶(hù)產(chǎn)生的評(píng)論非常多。當(dāng)別的用戶(hù)消費(fèi)時(shí)通常會(huì)參考這些評(píng)論,同時(shí)商家也關(guān)心如何利用這些評(píng)論[1]來(lái)改進(jìn)服務(wù)質(zhì)量。因?yàn)楦鞣N各樣的利益,虛假評(píng)論在這個(gè)過(guò)程當(dāng)中大量產(chǎn)生,使得消費(fèi)者難以獲得真實(shí)準(zhǔn)確的信息[2]。為了創(chuàng)造一個(gè)健康的電子商務(wù)環(huán)境,我們需要識(shí)別虛假評(píng)論。

    虛假評(píng)論識(shí)別是一個(gè)新的研究領(lǐng)域,目前有很多方法。很早的時(shí)候有一些非機(jī)器學(xué)習(xí)的辦法,后來(lái)隨著機(jī)器學(xué)習(xí)方法的發(fā)展,許多基于機(jī)器學(xué)習(xí)的方法被提了出來(lái),這些方法大多數(shù)使用特征工程,比如使用評(píng)論文本和評(píng)論提供者的特征[3]。這類(lèi)任務(wù)需要完成大量的數(shù)據(jù)標(biāo)注,通常因?yàn)楣ぷ髁刻蠖斐闪藰?biāo)注數(shù)據(jù)集缺失[4]。近期的研究開(kāi)始轉(zhuǎn)向基于深度學(xué)習(xí)的方法[5-6],這些方法在相關(guān)任務(wù)上取得了較好的效果。

    本文針對(duì)傳統(tǒng)酒店領(lǐng)域的評(píng)論還存在數(shù)據(jù)稀少、不利于深度學(xué)習(xí)的問(wèn)題,提出一種無(wú)監(jiān)督的數(shù)據(jù)增強(qiáng)方法。增強(qiáng)后的數(shù)據(jù)進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)對(duì)比原始的小樣本數(shù)據(jù)集取得了較好的結(jié)果。

    1 相關(guān)工作

    虛假評(píng)論識(shí)別主要方法包括基于文本解析的方法和基于機(jī)器學(xué)習(xí)的方法?;谖谋窘馕龅姆椒ㄖ饕▋煞N類(lèi)型:一種是基于語(yǔ)料的方法,這種方法有較好的領(lǐng)域針對(duì)性,比如對(duì)不同的情感詞在不同領(lǐng)域賦予不同的含義和情感[7];另一種是基于字典的方法,文獻(xiàn)[8]表明基于字典的方法在論文中的數(shù)據(jù)集上獲得了78%的準(zhǔn)確率,這種方法常因?yàn)檎也坏结槍?duì)特定領(lǐng)域的意見(jiàn)詞而受到限制?;跈C(jī)器學(xué)習(xí)的方法主要包括有監(jiān)督學(xué)習(xí)的辦法和無(wú)監(jiān)督學(xué)習(xí)的辦法。有監(jiān)督學(xué)習(xí)方法主要包括決策樹(shù)[9]、基于規(guī)則的方法、貝葉斯網(wǎng)絡(luò)[10]、SVM[11]等,它們各自在一些任務(wù)上表現(xiàn)良好。無(wú)監(jiān)督學(xué)習(xí)的方法主要有二次聚類(lèi)、k-means聚集等方法[12-13]。有的研究將文本解析與評(píng)論者的特點(diǎn)結(jié)合起來(lái),例如將文本與評(píng)論者特點(diǎn)結(jié)合起來(lái),使用內(nèi)容相似性、評(píng)論平均長(zhǎng)度、重復(fù)評(píng)級(jí)行為[4]、相關(guān)知識(shí)[14]和情感極性等來(lái)增強(qiáng)辨別真?zhèn)蔚男Ч鸞15]。隨著深度學(xué)習(xí)的興起,一些新的基于深度學(xué)習(xí)的方法被提出來(lái),例如,聯(lián)合行業(yè)知識(shí)方法[6]、利用詞向量的深度學(xué)習(xí)模型[5]和對(duì)抗神經(jīng)網(wǎng)絡(luò)[16]等。最近意見(jiàn)挖掘的工作有研究針對(duì)文本當(dāng)中特定實(shí)體(稱(chēng)為aspect)進(jìn)行情感識(shí)別。文獻(xiàn)[17]指出在“Yesterday, I bought a new smartphone.The quality of the display is very good, but the battery lasts too little.”當(dāng)中能識(shí)別出兩個(gè)aspect 即display與battery,它們分別對(duì)應(yīng)的情感是非常好和一般。卷積神經(jīng)網(wǎng)絡(luò)也在文本分類(lèi)任務(wù)中表現(xiàn)出色。文獻(xiàn)[18]設(shè)計(jì)了一種非常深的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),該結(jié)構(gòu)能夠在字符級(jí)別上面運(yùn)行,在文本分類(lèi)任務(wù)上表現(xiàn)出色。

    2 H-textcnn

    本文提出一種結(jié)合數(shù)據(jù)增強(qiáng)、無(wú)監(jiān)督學(xué)習(xí)aspect級(jí)別情感和文本卷積神經(jīng)網(wǎng)絡(luò)的方法,稱(chēng)為H-text-cnn。該方法首先對(duì)單條評(píng)論進(jìn)行EDA增強(qiáng),然后用無(wú)監(jiān)督aspect級(jí)別情感識(shí)別方法獲得單條評(píng)論中的情感數(shù)據(jù),最后將這些數(shù)據(jù)處理過(guò)后帶入到卷積神經(jīng)網(wǎng)絡(luò)中得到虛假評(píng)論識(shí)別的結(jié)果。實(shí)驗(yàn)結(jié)果表明本文方法在實(shí)驗(yàn)的數(shù)據(jù)集上比傳統(tǒng)方法獲得了很好的提升。本文方法的架構(gòu)如圖1所示。

    圖1 H-textcnn

    2.1 EDA數(shù)據(jù)增強(qiáng)

    EDA(Easy Data Augumentation)由學(xué)者Wei等[19]提出,主要過(guò)程是對(duì)原來(lái)的文本進(jìn)行一些如替換、插入、隨機(jī)交換等方式的操作,使得原來(lái)一條文本變成幾條經(jīng)過(guò)上述方式修改過(guò)后的文本。作者稱(chēng)當(dāng)對(duì)數(shù)據(jù)集的文本進(jìn)行EDA后,對(duì)應(yīng)的分類(lèi)實(shí)驗(yàn)效果得到了提升。本文將它用于酒店領(lǐng)域評(píng)論的增強(qiáng),每一條評(píng)論獲得10條增強(qiáng)評(píng)論,增強(qiáng)數(shù)據(jù)對(duì)應(yīng)的分類(lèi)標(biāo)簽不改變。文獻(xiàn)[19]方法的處理過(guò)程如下:

    (1) 同義詞替換,從單條評(píng)論中選擇幾個(gè)不是停用詞的詞語(yǔ)進(jìn)行同義詞替換。

    (2) 隨機(jī)插入,在單條評(píng)論任意位置插入不是停用詞的詞語(yǔ)的同義詞n次。

    (3) 隨機(jī)交換,隨機(jī)交換單條評(píng)論中任何詞語(yǔ)的位置n次。

    (4) 隨機(jī)刪除,以概率p隨機(jī)移除單條評(píng)論中的每個(gè)詞。

    經(jīng)上述EDA增強(qiáng)處理,原來(lái)的數(shù)據(jù)集被增強(qiáng)為一個(gè)很大的數(shù)據(jù)集。實(shí)驗(yàn)參數(shù)的設(shè)置請(qǐng)參考實(shí)驗(yàn)部分。下面是原評(píng)價(jià)經(jīng)過(guò)EDA增強(qiáng)處理過(guò)后的例子:

    原評(píng)價(jià):Excellent staff and customer service,very clean and spotless elegant and luxurious with a beautiful ocean view. The bed is very comfortable and relaxing. I give it a five star.

    EDA: excellent staff and customer service very clean and spotless light elegant and luxurious with a beautiful ocean view lighting the bed is very comfortable and leading relaxing I give it a five star

    2.2 依存句法無(wú)監(jiān)督學(xué)習(xí)aspect情感

    文獻(xiàn)[4]表明極端的情感傾向和虛假評(píng)論有顯著的相關(guān)性。文獻(xiàn)[15]在虛假評(píng)論識(shí)別過(guò)程中加入情感識(shí)別的步驟,提高了對(duì)餐廳虛假評(píng)論識(shí)別的準(zhǔn)確率。文獻(xiàn)[17]表明細(xì)粒度的感情對(duì)整體感情傾向的識(shí)別非常重要,因?yàn)橛脩?hù)可能對(duì)評(píng)論主體的一個(gè)方面的情感是積極的,但是對(duì)另一個(gè)方面的情感是消極的。李彬等[20]在酒店服務(wù)質(zhì)量管理中指出,酒店六大維度點(diǎn)評(píng)內(nèi)容分別是餐飲、價(jià)格、位置、服務(wù)、設(shè)施和衛(wèi)生。為了方便本文模型識(shí)別,本文選取了前四項(xiàng)作為本文的aspects。

    當(dāng)完成EDA數(shù)據(jù)增強(qiáng)后,本文利用前人提出的依存句法無(wú)監(jiān)督aspect情感分析[17]和結(jié)合領(lǐng)域知識(shí)[20]的情感分析[6]方法,進(jìn)行融合提出一種針對(duì)酒店評(píng)論結(jié)合領(lǐng)域知識(shí)的依存句法無(wú)監(jiān)督學(xué)習(xí)aspect情感的方法。本文使用以下兩條規(guī)則:

    (1) 當(dāng)評(píng)論中依存關(guān)系是amod(形容詞修飾),當(dāng)評(píng)論是涉及到酒店消費(fèi)領(lǐng)域的aspect,當(dāng)支配者是可能的aspect,被支配者是情感詞。這個(gè)時(shí)候該關(guān)系可能描述了用戶(hù)對(duì)酒店屬性的某一方面的情感。如good service表達(dá)了針對(duì)服務(wù)aspect積極的情感。

    (2) 當(dāng)句子中的依存關(guān)系是nsubj(名詞性主語(yǔ))且當(dāng)支配者是情感傾向的詞語(yǔ)同時(shí)被支配者是酒店消費(fèi)領(lǐng)域有關(guān)酒店屬性的aspect時(shí),該關(guān)系可能描述了用戶(hù)對(duì)酒店某一方面的情感。如enjoy the service表達(dá)了針對(duì)服務(wù)aspect積極的情感。

    本文增加了一些新的術(shù)語(yǔ),以便算法的描述和實(shí)現(xiàn):

    定義1每一個(gè)aspect能被識(shí)別出的情感為E0=0、E1=1、E2=-1。分別對(duì)應(yīng)情感當(dāng)中的中立(neutral)、積極(positive)和消極(negative)情緒。

    定義2酒店消費(fèi)領(lǐng)域四個(gè)方面的集合aspects={Service,Location,Price,Food}。

    獲取到每條評(píng)論中所有的依存關(guān)系后,如其中一條依存關(guān)系如下:

    favorite(JJ) ← amod - hotel(NN)

    然后計(jì)算單條評(píng)論每一個(gè)依存關(guān)系中aspect的詞和定義2中aspect的情感詞語(yǔ)的相似度,每一個(gè)情感詞和定義1中的相似度,來(lái)獲得定義2中每個(gè)aspect在定義1中的情感。在學(xué)習(xí)到單條評(píng)論后,使用加權(quán)的辦法來(lái)計(jì)算,每一條評(píng)論對(duì)應(yīng)定義2中aspect在定義1中的情感。計(jì)算過(guò)程如下:

    (1) 當(dāng)從每條評(píng)論當(dāng)中學(xué)習(xí)到針對(duì)定義2中aspects中一個(gè)aspect的情感時(shí),當(dāng)積極情感的數(shù)量多于消極情感的時(shí)候,該aspect定義為積極情感。

    (2) 當(dāng)從每條評(píng)論中學(xué)習(xí)到的消極情感的數(shù)量多于積極情感的時(shí)候,該aspect定義為消極情感。確定針對(duì)某一aspect的積極或消極情感計(jì)算式表示為:

    (1)

    式中:k是在一條評(píng)論中針對(duì)某aspecti積極情感個(gè)數(shù);j是在一條評(píng)論中針對(duì)aspecti消極情感個(gè)數(shù);P代表積極情感;N代表消極情感;E為最終該aspect的情感;f-1表示對(duì)所得到的積極情感和消極情感的個(gè)數(shù)進(jìn)行統(tǒng)計(jì),取最多積極或消極的情感個(gè)數(shù)的情感作為本條評(píng)論的aspect的情感。

    (3) 當(dāng)該評(píng)論中沒(méi)有學(xué)習(xí)到針對(duì)定義2中積極情感和消極情感時(shí),該aspect定義為中立情感。

    本文分別從酒店的定義2中四個(gè)方面對(duì)情感進(jìn)行了無(wú)監(jiān)督學(xué)習(xí),四個(gè)aspect相關(guān)的部分詞語(yǔ)如表1所示。

    表1 四個(gè)aspect相關(guān)的部分詞語(yǔ)舉例

    從評(píng)論當(dāng)中可以學(xué)習(xí)到不同aspect的情感。例如,從下面這條評(píng)論中學(xué)習(xí)得到的定義2中的aspect情感中的Location為neutral、Service為neutral、Price為neutral、Food為positive。

    How should I start? Well, after staying at the Ambassador East Hotel, I realized it was my favorite hotel ever. The rooms are amazing. The food is great. The Pump room bar is awesome. I love this hotel. If your ever in Chicago, the Ambassador East Hotel is the place to go.

    2.3 卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)器

    本節(jié)將上面擴(kuò)充好的數(shù)據(jù)集轉(zhuǎn)化為向量集合,同時(shí)將學(xué)習(xí)到的aspect級(jí)別情感的數(shù)據(jù)與之進(jìn)行拼接。本文采用Keras提供的Embedding(嵌入)層庫(kù)函數(shù)學(xué)到數(shù)據(jù)集中每個(gè)詞語(yǔ)的詞向量。這里文檔數(shù)量由數(shù)據(jù)增強(qiáng)后的文檔數(shù)量K_au決定,其類(lèi)標(biāo)簽由原來(lái)對(duì)應(yīng)的評(píng)論文本決定。為此,先對(duì)預(yù)處理過(guò)后的評(píng)論使用one-hot編碼,然后將每一個(gè)文本向量進(jìn)行填充至最大長(zhǎng)度max_len,該最大長(zhǎng)度由數(shù)據(jù)集中最長(zhǎng)的評(píng)論決定。然后再使用無(wú)監(jiān)督方式獲得的情感對(duì)該向量v_emo進(jìn)行拼接得到包含aspect級(jí)別情感的向量,最后輸入到Keras的嵌入層。接下來(lái)使用一個(gè)三層的卷積層,每個(gè)卷積層后面加了一個(gè)池化層。最后分別加了一個(gè)規(guī)范化層和兩個(gè)Dense(全連接)層。整個(gè)神經(jīng)網(wǎng)絡(luò)以及各部分的參數(shù)設(shè)置如圖2所示,實(shí)驗(yàn)具體的參數(shù)參考實(shí)驗(yàn)設(shè)置部分。

    圖2 卷積神經(jīng)網(wǎng)絡(luò)模型

    3 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置

    3.1 實(shí)驗(yàn)數(shù)據(jù)集獲取和預(yù)處理

    本文使用芝加哥地區(qū)的酒店評(píng)論的數(shù)據(jù)集,該數(shù)據(jù)集由康奈爾大學(xué)提供[16]。這個(gè)數(shù)據(jù)集分成兩部分,一部分是由積極情感表述的數(shù)據(jù)構(gòu)成,另一部分是由消極情緒組成。每一部分包含800條數(shù)據(jù)。每一部分由400條虛假評(píng)論和400條真實(shí)評(píng)論構(gòu)成。其中,真實(shí)評(píng)論來(lái)源于旅游點(diǎn)評(píng)網(wǎng)站;虛假評(píng)論來(lái)自于亞馬遜的眾包平臺(tái)。要求該平臺(tái)每一個(gè)人只能撰寫(xiě)一條虛假評(píng)論。在真實(shí)評(píng)論的收集過(guò)程中,針對(duì)不同的酒店該數(shù)據(jù)集對(duì)負(fù)面評(píng)論僅允許一星或兩星的評(píng)論。這些評(píng)論的平均字?jǐn)?shù)為116個(gè)詞左右。

    對(duì)酒店評(píng)論進(jìn)行了一系列的預(yù)處理,將數(shù)據(jù)集進(jìn)行生成向量的一系列操作。數(shù)據(jù)預(yù)處理分為兩個(gè)部分:對(duì)每一條評(píng)論中的停用詞語(yǔ)進(jìn)行抽??;獲取到數(shù)據(jù)集中所有的tokens。對(duì)每一條評(píng)論進(jìn)行詞語(yǔ)性質(zhì)分析提取形容詞和副詞。另外,使用spacy對(duì)酒店知識(shí)域中的相關(guān)方面的主語(yǔ)和賓語(yǔ)進(jìn)行提取。獲取到每條評(píng)論的one-hot向量。90%的數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集,剩下部分作為測(cè)試集合。采用本文提出的架構(gòu)對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)。每次實(shí)驗(yàn)當(dāng)中測(cè)試集包含了整個(gè)單次實(shí)驗(yàn)中增強(qiáng)前的數(shù)據(jù)集。

    3.2 實(shí)驗(yàn)設(shè)置

    本文實(shí)驗(yàn)使用了Google Colab作為基礎(chǔ)的實(shí)驗(yàn)環(huán)境,在預(yù)處理階段,使用Python對(duì)兩個(gè)數(shù)據(jù)集進(jìn)行了切分。在數(shù)據(jù)增強(qiáng)階段使用了EDA文本增強(qiáng)技術(shù)。EDA數(shù)據(jù)集增強(qiáng)的參數(shù)num_ag為10,修改比列α為默認(rèn)參數(shù)0.05。在無(wú)監(jiān)督aspect級(jí)別情感學(xué)習(xí)時(shí),使用spacy自然語(yǔ)言解析工具。卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)如下:模型的Embedding層是890維的向量,輸出是890×20,在卷積模型部分使用了Keras來(lái)構(gòu)建本文的卷積層,具體的參數(shù)參考圖2。在訓(xùn)練過(guò)程中epoch為5,batchsize為5。每次訓(xùn)練集均被混洗。在模型的驗(yàn)證階段使用和對(duì)比論文中相同的驗(yàn)證方式[5]:重復(fù)分層交叉驗(yàn)證(Rpeated Stratifiled KFold)。其中:重復(fù)次數(shù)為10;劃分參數(shù)為10。該方式能有效地防止過(guò)擬合。本文在每次的實(shí)驗(yàn)過(guò)程中,使用n-1折的增強(qiáng)數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練;使用1折的數(shù)據(jù)進(jìn)行測(cè)試??偣策M(jìn)行了100次實(shí)驗(yàn)。

    3.3 虛假評(píng)論識(shí)別實(shí)例

    本文以100次實(shí)驗(yàn)當(dāng)中1次實(shí)驗(yàn)中對(duì)應(yīng)1折當(dāng)中的評(píng)論為例,說(shuō)明完成虛假評(píng)論識(shí)別的過(guò)程。首先數(shù)據(jù)被分為10折,其中9折經(jīng)過(guò)H-textcnn進(jìn)行增強(qiáng)和aspect級(jí)別的情感識(shí)別過(guò)后,將對(duì)應(yīng)的數(shù)據(jù)經(jīng)過(guò)實(shí)驗(yàn)設(shè)置中的方法轉(zhuǎn)化為訓(xùn)練集。在訓(xùn)練集上訓(xùn)練本文設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò),最后使用1折中的評(píng)論經(jīng)過(guò)上述同樣過(guò)程后轉(zhuǎn)為向量輸入到訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)后得到分類(lèi)結(jié)果。如在第21次實(shí)驗(yàn)過(guò)程中,其中10條評(píng)論被用作測(cè)試集。本文選擇如下評(píng)論為例:

    We just got back from a trip to Chicago for my 30th birthday and we could not have been more impressed by this hotel! Service was excellent, especially the maid service. Our room was so clean and fresh towels brought in daily. The front desk staff was some of the most professional and friendly staff I have ever dealt with while travling. The location is excellent as it is within walking distance of the best restaurants and stores. I highly recommend Affinia for a the perfect family vacation.

    此條評(píng)論經(jīng)過(guò)預(yù)處理過(guò)后成為一個(gè)one-hot向量,使用無(wú)監(jiān)督aspect學(xué)習(xí)到的依存句法關(guān)系有excellent(JJ)←amod—service(NN), friendly(JJ)←amod—staff(NN),best(JJ)←amod—restaurants(NNS)等。進(jìn)行相似度比對(duì)和算法處理過(guò)后得到定義2中的aspects的情感分別為{positive,positive,neutral,positive},然后將其轉(zhuǎn)為向量與上面的one-hot向量進(jìn)行拼接。將該向量傳入到卷積神經(jīng)網(wǎng)絡(luò)得到分類(lèi)結(jié)果為該評(píng)論為偽造的評(píng)論,該結(jié)果與數(shù)據(jù)集中的標(biāo)簽一致。

    4 實(shí) 驗(yàn)

    4.1 評(píng)價(jià)指標(biāo)

    本文使用了如下的評(píng)價(jià)指標(biāo)來(lái)驗(yàn)證本文方法的有效性,分別是acc、fn-rate和fp-rate。fp-rate代表了虛假評(píng)論被分類(lèi)為真實(shí)評(píng)論的比例;fn-rate代表真實(shí)評(píng)論被分類(lèi)為虛假評(píng)論的比例;acc代表評(píng)論被正確分類(lèi)的比例。計(jì)算公式如下:

    (2)

    (3)

    (4)

    式中:tp為被模型預(yù)測(cè)為真實(shí)評(píng)論的真實(shí)評(píng)論的數(shù)量;tn表示被模型預(yù)測(cè)為虛假評(píng)論的數(shù)量;fp代表的是被模型預(yù)測(cè)為真實(shí)評(píng)論的虛假評(píng)論的數(shù)量;fn是被模型預(yù)測(cè)為虛假評(píng)論的真實(shí)評(píng)論的數(shù)量。

    4.2 對(duì)比方法

    本文選取的對(duì)比方法為樸素貝葉斯、支持向量機(jī)、深度神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)。

    對(duì)應(yīng)的技術(shù)指標(biāo)實(shí)驗(yàn)結(jié)果數(shù)據(jù)[5]來(lái)自于實(shí)現(xiàn)相同目的即酒店虛假評(píng)論識(shí)別,采用的是同樣的數(shù)據(jù)集即3.1節(jié)中描述的數(shù)據(jù)集,同樣的交叉驗(yàn)證過(guò)程即重復(fù)分層交叉驗(yàn)證,同樣的評(píng)價(jià)標(biāo)準(zhǔn)。

    4.3 實(shí)驗(yàn)結(jié)果與分析

    將本文方法與文獻(xiàn)[5]的方法作比較,它們都基于同樣的領(lǐng)域、目的、數(shù)據(jù)集、評(píng)價(jià)指標(biāo)和驗(yàn)證過(guò)程,對(duì)比結(jié)果如表2所示,其中對(duì)比方法的技術(shù)指標(biāo)實(shí)驗(yàn)結(jié)果數(shù)據(jù)來(lái)自文獻(xiàn)[16]。

    表2 不同方法的技術(shù)指標(biāo)-積極

    表3 不同方法的技術(shù)指標(biāo)-消極

    表2和表3的結(jié)果說(shuō)明本文使用的方法比對(duì)比方法在評(píng)價(jià)指標(biāo)上有了明顯的提升。對(duì)于實(shí)驗(yàn)性能獲得的顯著提升,本文認(rèn)為是因?yàn)檫M(jìn)行了EDA和無(wú)監(jiān)督aspect情感識(shí)別的原因。

    5 結(jié) 語(yǔ)

    評(píng)論在酒店消費(fèi)當(dāng)中有著非常重要的作用。很多消費(fèi)者通過(guò)閱讀酒店評(píng)論的辦法來(lái)做出消費(fèi)決定。因此有人通過(guò)制造虛假評(píng)論來(lái)影響消費(fèi)者的決定。目前酒店消費(fèi)領(lǐng)域因?yàn)楦鞣N各樣的原因缺少標(biāo)注的大量樣本的數(shù)據(jù)集,導(dǎo)致針對(duì)小樣本的數(shù)據(jù)集識(shí)別困難。本文提出一種結(jié)合數(shù)據(jù)增強(qiáng)、無(wú)監(jiān)督學(xué)習(xí)aspect級(jí)別情感和文本卷積神經(jīng)網(wǎng)絡(luò)的方法。該方法較好地克服了小樣本數(shù)據(jù)集的問(wèn)題,有效地進(jìn)行了數(shù)據(jù)增強(qiáng)和情感特征增強(qiáng),在實(shí)驗(yàn)的數(shù)據(jù)集上有較好的效果。未來(lái)的工作主要包括改進(jìn)新的網(wǎng)絡(luò)結(jié)構(gòu),探索更準(zhǔn)確的細(xì)粒度的情感識(shí)別方法,同時(shí)也可以進(jìn)一步研究數(shù)據(jù)增強(qiáng)辦法。

    猜你喜歡
    文本情感實(shí)驗(yàn)
    記一次有趣的實(shí)驗(yàn)
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    失落的情感
    北極光(2019年12期)2020-01-18 06:22:10
    情感
    在808DA上文本顯示的改善
    做個(gè)怪怪長(zhǎng)實(shí)驗(yàn)
    基于doc2vec和TF-IDF的相似文本識(shí)別
    電子制作(2018年18期)2018-11-14 01:48:06
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    NO與NO2相互轉(zhuǎn)化實(shí)驗(yàn)的改進(jìn)
    實(shí)踐十號(hào)上的19項(xiàng)實(shí)驗(yàn)
    太空探索(2016年5期)2016-07-12 15:17:55
    国产亚洲精品第一综合不卡| 少妇熟女aⅴ在线视频| 精品福利观看| 国产成人系列免费观看| 俄罗斯特黄特色一大片| 免费在线观看黄色视频的| 最近最新中文字幕大全电影3 | 首页视频小说图片口味搜索| 国内精品久久久久精免费| 日韩精品中文字幕看吧| 波多野结衣高清无吗| 久久精品影院6| 99riav亚洲国产免费| 美女扒开内裤让男人捅视频| 国产精品1区2区在线观看.| 亚洲av成人不卡在线观看播放网| 日韩视频一区二区在线观看| av片东京热男人的天堂| 日日摸夜夜添夜夜添小说| 亚洲成人免费电影在线观看| 欧美激情 高清一区二区三区| 免费人成视频x8x8入口观看| 日本三级黄在线观看| 日韩国内少妇激情av| 国产午夜福利久久久久久| 久久婷婷人人爽人人干人人爱 | 精品少妇一区二区三区视频日本电影| 一进一出好大好爽视频| 日韩大码丰满熟妇| 九色国产91popny在线| 国产精品一区二区精品视频观看| 精品人妻在线不人妻| 亚洲av第一区精品v没综合| 很黄的视频免费| 国产成人免费无遮挡视频| 动漫黄色视频在线观看| 欧美激情 高清一区二区三区| 1024视频免费在线观看| 久久伊人香网站| 又黄又爽又免费观看的视频| 美女大奶头视频| 欧美激情高清一区二区三区| 99久久综合精品五月天人人| 又黄又粗又硬又大视频| av欧美777| 欧美成人性av电影在线观看| 日韩一卡2卡3卡4卡2021年| 99国产精品99久久久久| 乱人伦中国视频| 欧美日韩中文字幕国产精品一区二区三区 | 电影成人av| 人妻久久中文字幕网| 国产伦一二天堂av在线观看| 巨乳人妻的诱惑在线观看| 91av网站免费观看| 免费久久久久久久精品成人欧美视频| 久久香蕉精品热| 国产91精品成人一区二区三区| 最近最新免费中文字幕在线| 我的亚洲天堂| 嫩草影视91久久| 琪琪午夜伦伦电影理论片6080| 亚洲人成电影免费在线| 在线观看舔阴道视频| 神马国产精品三级电影在线观看 | 黄片小视频在线播放| 视频在线观看一区二区三区| 日韩大尺度精品在线看网址 | 桃色一区二区三区在线观看| 欧美精品啪啪一区二区三区| 国产免费av片在线观看野外av| av网站免费在线观看视频| 欧美日韩亚洲国产一区二区在线观看| 一级a爱视频在线免费观看| 久久亚洲精品不卡| 母亲3免费完整高清在线观看| 亚洲av电影不卡..在线观看| 精品少妇一区二区三区视频日本电影| 欧美老熟妇乱子伦牲交| 久99久视频精品免费| 窝窝影院91人妻| ponron亚洲| av有码第一页| 黄色片一级片一级黄色片| 91精品国产国语对白视频| 亚洲专区中文字幕在线| 露出奶头的视频| 国产精品秋霞免费鲁丝片| 国产成人精品久久二区二区免费| 女人高潮潮喷娇喘18禁视频| 黄频高清免费视频| 最近最新中文字幕大全电影3 | 日韩成人在线观看一区二区三区| 国产精品久久久久久人妻精品电影| 久久久久国产一级毛片高清牌| 两性午夜刺激爽爽歪歪视频在线观看 | 91九色精品人成在线观看| 色在线成人网| 99riav亚洲国产免费| 人人澡人人妻人| 亚洲成人久久性| 色综合站精品国产| 免费在线观看亚洲国产| av免费在线观看网站| 丰满的人妻完整版| 桃红色精品国产亚洲av| 国产精品野战在线观看| 丁香欧美五月| 一区二区三区精品91| 黄片播放在线免费| 亚洲欧美激情在线| 少妇被粗大的猛进出69影院| 香蕉国产在线看| 操美女的视频在线观看| 精品福利观看| 国产亚洲欧美在线一区二区| 色综合欧美亚洲国产小说| 99久久久亚洲精品蜜臀av| 日韩欧美三级三区| 久久久精品国产亚洲av高清涩受| 欧美精品亚洲一区二区| 99热只有精品国产| 97超级碰碰碰精品色视频在线观看| 老司机深夜福利视频在线观看| 欧美日本亚洲视频在线播放| cao死你这个sao货| 久久热在线av| 久久欧美精品欧美久久欧美| 久久久久久国产a免费观看| 99香蕉大伊视频| 免费在线观看日本一区| 人人妻,人人澡人人爽秒播| 淫秽高清视频在线观看| 国产精品亚洲av一区麻豆| 亚洲欧美日韩高清在线视频| 伊人久久大香线蕉亚洲五| 成人免费观看视频高清| 91麻豆av在线| 欧美精品亚洲一区二区| 国产一区二区三区综合在线观看| 老司机午夜十八禁免费视频| 成人国产综合亚洲| 国产精品二区激情视频| 女人精品久久久久毛片| 精品少妇一区二区三区视频日本电影| 日韩欧美三级三区| 国内精品久久久久久久电影| 色婷婷久久久亚洲欧美| 欧美激情 高清一区二区三区| 成年人黄色毛片网站| 波多野结衣巨乳人妻| 在线视频色国产色| 国产av又大| 亚洲av片天天在线观看| av视频免费观看在线观看| 一区在线观看完整版| 国产亚洲精品综合一区在线观看 | 此物有八面人人有两片| 国产成人精品无人区| 人妻久久中文字幕网| 好看av亚洲va欧美ⅴa在| 大型黄色视频在线免费观看| 级片在线观看| 精品国内亚洲2022精品成人| 免费一级毛片在线播放高清视频 | 啦啦啦 在线观看视频| 一个人免费在线观看的高清视频| 国内精品久久久久久久电影| 久久国产精品人妻蜜桃| 国产精品国产高清国产av| 国产一区二区三区视频了| 嫩草影视91久久| 变态另类丝袜制服| 一区二区三区高清视频在线| 精品电影一区二区在线| 久久精品影院6| 真人一进一出gif抽搐免费| 国产片内射在线| 亚洲一区中文字幕在线| 日韩成人在线观看一区二区三区| 露出奶头的视频| 国产成人一区二区三区免费视频网站| 中文字幕久久专区| 999精品在线视频| 岛国视频午夜一区免费看| 91国产中文字幕| 国产精品一区二区免费欧美| 亚洲av成人不卡在线观看播放网| 十八禁人妻一区二区| 麻豆一二三区av精品| 国产真人三级小视频在线观看| 亚洲成av人片免费观看| 美国免费a级毛片| 少妇被粗大的猛进出69影院| 首页视频小说图片口味搜索| 日本免费一区二区三区高清不卡 | 中文字幕精品免费在线观看视频| 一进一出好大好爽视频| 久久久久国产一级毛片高清牌| 久久精品91蜜桃| 国产精品自产拍在线观看55亚洲| 九色国产91popny在线| 日韩av在线大香蕉| 亚洲国产日韩欧美精品在线观看 | 高清黄色对白视频在线免费看| 人妻丰满熟妇av一区二区三区| 男女午夜视频在线观看| 欧美在线一区亚洲| 国产精品野战在线观看| 91麻豆精品激情在线观看国产| 久久久国产成人免费| 岛国在线观看网站| 一个人免费在线观看的高清视频| 午夜免费鲁丝| 性色av乱码一区二区三区2| 久久国产精品男人的天堂亚洲| 一边摸一边抽搐一进一小说| 久久精品亚洲精品国产色婷小说| 午夜免费观看网址| 99久久综合精品五月天人人| 久久欧美精品欧美久久欧美| 久久性视频一级片| 9热在线视频观看99| 国产精品二区激情视频| 日韩欧美在线二视频| 91字幕亚洲| 午夜福利在线观看吧| 一级毛片高清免费大全| 亚洲成人精品中文字幕电影| 99在线视频只有这里精品首页| 成人国产综合亚洲| 亚洲狠狠婷婷综合久久图片| 免费观看精品视频网站| 国产成人系列免费观看| 国内精品久久久久久久电影| 一区二区三区高清视频在线| 国产精华一区二区三区| 精品福利观看| 亚洲七黄色美女视频| 国产成人av激情在线播放| 波多野结衣高清无吗| 嫁个100分男人电影在线观看| 咕卡用的链子| 久久精品国产亚洲av香蕉五月| av有码第一页| 亚洲av电影不卡..在线观看| 神马国产精品三级电影在线观看 | 免费久久久久久久精品成人欧美视频| 国产精品亚洲一级av第二区| 女生性感内裤真人,穿戴方法视频| 欧美中文综合在线视频| 国产野战对白在线观看| 久久久国产成人免费| 老熟妇乱子伦视频在线观看| 黄色视频,在线免费观看| 九色国产91popny在线| 成人三级黄色视频| x7x7x7水蜜桃| 99久久久亚洲精品蜜臀av| 夜夜爽天天搞| 国产伦一二天堂av在线观看| 亚洲av日韩精品久久久久久密| 91麻豆av在线| 91成人精品电影| 夜夜爽天天搞| 天天一区二区日本电影三级 | 少妇熟女aⅴ在线视频| 亚洲精品国产精品久久久不卡| 亚洲精品国产一区二区精华液| 韩国精品一区二区三区| 国产av又大| 亚洲国产精品合色在线| 亚洲九九香蕉| 成人精品一区二区免费| 国产一区二区三区综合在线观看| 精品第一国产精品| 日韩欧美一区视频在线观看| 可以免费在线观看a视频的电影网站| 色哟哟哟哟哟哟| av视频在线观看入口| 亚洲 欧美一区二区三区| 在线观看免费视频网站a站| 美女 人体艺术 gogo| 一级黄色大片毛片| 国产成人精品无人区| 久久 成人 亚洲| 18禁国产床啪视频网站| 成人18禁在线播放| 亚洲片人在线观看| 一卡2卡三卡四卡精品乱码亚洲| 男人舔女人的私密视频| 男人操女人黄网站| 日韩中文字幕欧美一区二区| 免费看十八禁软件| 国产精品99久久99久久久不卡| or卡值多少钱| 精品一区二区三区av网在线观看| 国产av一区二区精品久久| 97超级碰碰碰精品色视频在线观看| 老汉色∧v一级毛片| 夜夜爽天天搞| 老熟妇乱子伦视频在线观看| 免费看美女性在线毛片视频| 亚洲欧洲精品一区二区精品久久久| 午夜两性在线视频| 亚洲 国产 在线| www日本在线高清视频| 日韩欧美三级三区| 精品欧美一区二区三区在线| 国产视频一区二区在线看| 俄罗斯特黄特色一大片| 国产av一区在线观看免费| 韩国精品一区二区三区| 人成视频在线观看免费观看| 久久国产精品人妻蜜桃| 国产精品影院久久| 国产精品久久久久久人妻精品电影| 亚洲精品国产色婷婷电影| 亚洲专区中文字幕在线| 日韩大码丰满熟妇| 亚洲午夜理论影院| 精品乱码久久久久久99久播| 日本vs欧美在线观看视频| 国产精品1区2区在线观看.| 精品久久久久久久毛片微露脸| 欧美国产日韩亚洲一区| 自线自在国产av| 久久精品91无色码中文字幕| 中文字幕高清在线视频| 男女做爰动态图高潮gif福利片 | 亚洲男人的天堂狠狠| 每晚都被弄得嗷嗷叫到高潮| 精品久久久久久久毛片微露脸| av天堂久久9| 成人三级黄色视频| 18美女黄网站色大片免费观看| 黄片播放在线免费| 欧美+亚洲+日韩+国产| 国产三级黄色录像| 亚洲一卡2卡3卡4卡5卡精品中文| 精品久久久久久成人av| 又黄又爽又免费观看的视频| 国产av在哪里看| 成人免费观看视频高清| 嫁个100分男人电影在线观看| 国产区一区二久久| 亚洲情色 制服丝袜| 日韩精品中文字幕看吧| 人人妻,人人澡人人爽秒播| 人人妻人人爽人人添夜夜欢视频| 亚洲国产欧美一区二区综合| 桃色一区二区三区在线观看| 久久 成人 亚洲| 99久久久亚洲精品蜜臀av| 91精品三级在线观看| 18禁裸乳无遮挡免费网站照片 | 久久人妻福利社区极品人妻图片| 精品第一国产精品| 欧美av亚洲av综合av国产av| 国产av又大| 亚洲av五月六月丁香网| 美女高潮到喷水免费观看| 精品日产1卡2卡| 国产午夜福利久久久久久| 国产高清有码在线观看视频 | 欧美黑人欧美精品刺激| 免费不卡黄色视频| 精品久久久久久久久久免费视频| 成人18禁高潮啪啪吃奶动态图| 中文亚洲av片在线观看爽| 午夜福利免费观看在线| √禁漫天堂资源中文www| 亚洲精品国产区一区二| 日韩视频一区二区在线观看| 日韩欧美国产在线观看| 97碰自拍视频| 国产成人影院久久av| 中文字幕高清在线视频| 在线永久观看黄色视频| 亚洲人成伊人成综合网2020| 国产精品98久久久久久宅男小说| or卡值多少钱| 久久久久久久久免费视频了| 亚洲国产精品999在线| 久久香蕉激情| 一级黄色大片毛片| 精品国产乱码久久久久久男人| 精品一区二区三区av网在线观看| avwww免费| 国内精品久久久久久久电影| 久久久久久免费高清国产稀缺| 99国产综合亚洲精品| 人妻丰满熟妇av一区二区三区| 午夜a级毛片| 十分钟在线观看高清视频www| 天天躁狠狠躁夜夜躁狠狠躁| 亚洲av电影不卡..在线观看| 久久天堂一区二区三区四区| 99国产综合亚洲精品| 国产1区2区3区精品| 午夜福利免费观看在线| 欧美绝顶高潮抽搐喷水| 电影成人av| 国产精品亚洲一级av第二区| 真人一进一出gif抽搐免费| 一区二区三区高清视频在线| 日韩一卡2卡3卡4卡2021年| 村上凉子中文字幕在线| 亚洲第一欧美日韩一区二区三区| 久久精品国产亚洲av香蕉五月| 国产片内射在线| 在线免费观看的www视频| 欧美大码av| 91精品三级在线观看| 黄色毛片三级朝国网站| 精品国产乱码久久久久久男人| 少妇熟女aⅴ在线视频| 亚洲 国产 在线| 丁香欧美五月| 很黄的视频免费| 久久久久久人人人人人| 男人的好看免费观看在线视频 | 在线观看免费日韩欧美大片| 亚洲欧美精品综合一区二区三区| 男女之事视频高清在线观看| 中文字幕高清在线视频| 久久天堂一区二区三区四区| 成人国语在线视频| 黑人巨大精品欧美一区二区蜜桃| 国产成人影院久久av| 不卡av一区二区三区| 女生性感内裤真人,穿戴方法视频| 国产高清videossex| 欧美在线黄色| 一本久久中文字幕| 亚洲最大成人中文| АⅤ资源中文在线天堂| 亚洲天堂国产精品一区在线| 色在线成人网| 精品国产一区二区久久| 成人av一区二区三区在线看| 男人操女人黄网站| av免费在线观看网站| 大陆偷拍与自拍| 国产成人av激情在线播放| 无遮挡黄片免费观看| 在线观看免费午夜福利视频| 侵犯人妻中文字幕一二三四区| 中文字幕另类日韩欧美亚洲嫩草| 99国产精品99久久久久| 日本精品一区二区三区蜜桃| 午夜久久久在线观看| 亚洲国产毛片av蜜桃av| 很黄的视频免费| 午夜精品国产一区二区电影| 精品欧美国产一区二区三| 夜夜看夜夜爽夜夜摸| 亚洲五月天丁香| 亚洲午夜精品一区,二区,三区| 国产伦人伦偷精品视频| 国产亚洲精品av在线| 亚洲中文av在线| 啦啦啦观看免费观看视频高清 | 校园春色视频在线观看| 午夜福利18| 非洲黑人性xxxx精品又粗又长| 老汉色∧v一级毛片| 给我免费播放毛片高清在线观看| 亚洲三区欧美一区| 非洲黑人性xxxx精品又粗又长| 国产xxxxx性猛交| 黄色丝袜av网址大全| 深夜精品福利| 美国免费a级毛片| 亚洲五月天丁香| 老汉色∧v一级毛片| 欧美色欧美亚洲另类二区 | 免费观看精品视频网站| 日韩欧美免费精品| 国产视频一区二区在线看| 精品熟女少妇八av免费久了| 日韩成人在线观看一区二区三区| av天堂久久9| 久久久国产精品麻豆| 757午夜福利合集在线观看| 一区二区三区精品91| 久久欧美精品欧美久久欧美| 欧洲精品卡2卡3卡4卡5卡区| 欧美激情极品国产一区二区三区| 757午夜福利合集在线观看| 黄片大片在线免费观看| 日本五十路高清| 亚洲avbb在线观看| 一二三四社区在线视频社区8| av电影中文网址| 18美女黄网站色大片免费观看| 老熟妇仑乱视频hdxx| 中出人妻视频一区二区| 国产精品二区激情视频| 搞女人的毛片| 欧美乱妇无乱码| 国产野战对白在线观看| 制服人妻中文乱码| 黄色视频,在线免费观看| 一二三四在线观看免费中文在| 欧美日韩福利视频一区二区| 日本欧美视频一区| 久久久久久久久免费视频了| 中文字幕另类日韩欧美亚洲嫩草| 久久精品91蜜桃| 麻豆国产av国片精品| 色哟哟哟哟哟哟| 99香蕉大伊视频| 国产精品98久久久久久宅男小说| 久久久国产欧美日韩av| 欧美黑人精品巨大| 9色porny在线观看| 国产精品九九99| 波多野结衣巨乳人妻| 叶爱在线成人免费视频播放| 欧美绝顶高潮抽搐喷水| 亚洲国产欧美一区二区综合| 国产午夜福利久久久久久| 人人妻人人澡人人看| 亚洲精品一区av在线观看| 国产97色在线日韩免费| 一级a爱片免费观看的视频| 欧美黄色淫秽网站| 一a级毛片在线观看| 丰满人妻熟妇乱又伦精品不卡| 亚洲,欧美精品.| 欧美日韩亚洲国产一区二区在线观看| 午夜免费观看网址| 一级毛片精品| 国产一区二区三区在线臀色熟女| 超碰成人久久| 母亲3免费完整高清在线观看| 激情视频va一区二区三区| 人成视频在线观看免费观看| 亚洲熟女毛片儿| 一进一出抽搐动态| 免费少妇av软件| 精品欧美一区二区三区在线| 一进一出好大好爽视频| 午夜免费鲁丝| 国产精品爽爽va在线观看网站 | 欧美中文日本在线观看视频| 美女免费视频网站| 国产精品 欧美亚洲| 亚洲久久久国产精品| 精品久久久久久久人妻蜜臀av | 亚洲免费av在线视频| 啦啦啦免费观看视频1| 欧美国产日韩亚洲一区| 久久中文看片网| 窝窝影院91人妻| or卡值多少钱| 老熟妇乱子伦视频在线观看| 久久性视频一级片| 午夜精品国产一区二区电影| 十分钟在线观看高清视频www| av欧美777| 人妻丰满熟妇av一区二区三区| av有码第一页| 黑人操中国人逼视频| 日本a在线网址| 老熟妇乱子伦视频在线观看| tocl精华| 美女午夜性视频免费| 麻豆一二三区av精品| 亚洲精品久久国产高清桃花| 国产男靠女视频免费网站| 精品久久久久久久久久免费视频| 国产成人精品久久二区二区91| 亚洲专区中文字幕在线| 天堂影院成人在线观看| 国产精品av久久久久免费| 久久精品91蜜桃| 色综合欧美亚洲国产小说| 亚洲av日韩精品久久久久久密| 国产亚洲av高清不卡| 欧美中文日本在线观看视频| 国产黄a三级三级三级人| 亚洲专区国产一区二区| 性少妇av在线| 岛国视频午夜一区免费看| 少妇熟女aⅴ在线视频| 国产国语露脸激情在线看| 91麻豆精品激情在线观看国产| 欧美乱色亚洲激情| 在线观看日韩欧美| 亚洲视频免费观看视频| 日韩国内少妇激情av| 女警被强在线播放| 亚洲第一青青草原| 精品卡一卡二卡四卡免费| 在线观看午夜福利视频| 亚洲av成人不卡在线观看播放网| 91大片在线观看| 性色av乱码一区二区三区2| 999久久久国产精品视频| 久久午夜综合久久蜜桃| 国产高清有码在线观看视频 | 看片在线看免费视频| 18禁裸乳无遮挡免费网站照片 | 天堂动漫精品| 欧美精品亚洲一区二区| 亚洲免费av在线视频| 在线天堂中文资源库| 女同久久另类99精品国产91| 欧美一级毛片孕妇| 90打野战视频偷拍视频| 国产99白浆流出| 日本在线视频免费播放| 男女之事视频高清在线观看|