• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于三層過濾的評價對象抽取

    2016-12-19 02:59:21牛振東劉沙
    北京理工大學(xué)學(xué)報 2016年11期
    關(guān)鍵詞:關(guān)聯(lián)文本情感

    牛振東, 劉沙

    (1.北京理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院,北京 100081;2.北京市海量語言信息處理與云計算應(yīng)用工程技術(shù)研究中心,北京 100081)

    ?

    基于三層過濾的評價對象抽取

    牛振東1,2, 劉沙1

    (1.北京理工大學(xué) 計算機科學(xué)技術(shù)學(xué)院,北京 100081;2.北京市海量語言信息處理與云計算應(yīng)用工程技術(shù)研究中心,北京 100081)

    針對互聯(lián)網(wǎng)中的產(chǎn)品評論信息,提出一種三層過濾的評價對象抽取方法. 該方法采用一個自舉式的抽取算法在評論文本中得到候選的評價對象和情感詞;利用評價對象與情感詞之間的關(guān)聯(lián)度對候選詞進行關(guān)聯(lián)置信度計算,提取關(guān)聯(lián)置信度高的評價對象以提高識別的準(zhǔn)確率;引入一個不相關(guān)的平行領(lǐng)域?qū)κS嗟暮蜻x詞進行領(lǐng)域置信度計算,挖掘低頻的評價對象. 3個公開數(shù)據(jù)集中的實驗結(jié)果表明該方法能夠顯著地提高評價對象的識別效果.

    評價對象抽??;情感詞;關(guān)聯(lián)置信度;領(lǐng)域置信度

    評價對象抽取旨在識別評論句中的目標(biāo)實體,是意見挖掘任務(wù)中的熱點問題[1-3]. 評價對象是指一個評論句中描述的產(chǎn)品屬性或者組成部分,情感詞是用來修飾評價對象,并且能夠表達一定情感傾向的詞. 評價對象和情感詞在評論文本的情感判定、摘要生成等任務(wù)中起著至關(guān)重要的作用.

    很多研究者利用評價對象經(jīng)常存在的語法句式作為模板在評論句中抽取評價對象[2-4]. 然而,互聯(lián)網(wǎng)中的真實數(shù)據(jù)內(nèi)容不規(guī)范,存在大量的語法錯誤,簡單的句法結(jié)構(gòu)不能很好地界定評價對象. Bo Wang[5]和Hai Zheng等[6]根據(jù)評價對象以及情感詞在評論文本中的分布特征作為關(guān)聯(lián)度,用已識別的詞來抽取未識別詞. 基于統(tǒng)計的方法在識別高頻詞的同時也引入了大量的噪音詞匯,準(zhǔn)確率較差. 為了改善這種情況,Lei Zhang[3],Liheng Xu[7]和Kang Liu等[8]通過置信度計算,剔除了一部分噪音,但這些方法依然無法有效識別頻率較低的評價對象.

    綜上所述,規(guī)則的方法因為評論句語法的隨意性導(dǎo)致識別的準(zhǔn)確率和召回率較低,而統(tǒng)計的方法在低頻詞中的識別效果較差. 單一的特征和方法無法有效地解決評價對象抽取任務(wù),因此,本文綜合考慮評論文本的句法特征、評價對象和情感詞的分布特征和關(guān)聯(lián)特征、評價對象的領(lǐng)域性特征等,采用3層過濾的方法逐步將評價對象從評論文本的其它詞中分離出來.

    多種特征和方法的結(jié)合使用能夠彌補單一方法的缺陷,增強評價對象與其它詞的區(qū)分效果. 在第1層過濾中,將規(guī)則的方法與統(tǒng)計的方法綜合起來,既利用特定的依存關(guān)系句型來識別評價對象,也采用了評價對象與情感詞的分布特征來抽取語法不規(guī)范的評論句中的評價對象;在第2層過濾中,根據(jù)評價對象與情感詞的關(guān)聯(lián)度,利用PageRank算法對抽取的候選詞集合進行關(guān)聯(lián)置信度計算,只保留那些關(guān)聯(lián)置信度較高的評價對象以提高識別的準(zhǔn)確率;在第3層過濾中,通過一個平行領(lǐng)域?qū)κS嗟暮蜻x詞進行領(lǐng)域置信度計算,挖掘那些頻率低但有很強領(lǐng)域性特征的評價對象.

    1 3層過濾的評價對象抽取

    1.1 自舉式的評價對象與情感詞抽取

    自舉式的抽取過程利用幾個評價對象種子詞在評論文本中不斷地抽取新的評價對象和情感詞. 本文采用評價對象之間的關(guān)聯(lián)關(guān)系和評價對象與情感詞之間的關(guān)聯(lián)關(guān)系作為已識別詞與未識別詞之間的關(guān)聯(lián)依據(jù). 當(dāng)評論篇章或句子中兩個詞之間的關(guān)聯(lián)關(guān)系滿足設(shè)定的規(guī)則,并且其中一個詞是已識別的詞,那么另一個詞將會被抽取. 算法的具體執(zhí)行步驟如下所示.

    ① 定義評論文本集合為C,評論文本中所有的名詞和名詞詞組作為待選評價對象集合TC、所有的形容詞作為待選情感詞集合OC,評價對象種子集合為S,算法最終要得到的評價對象集合T以及情感詞集合O. 初始時,T←S,O← ?.

    ② 遍歷C中的每一個句子,如果當(dāng)前句子中的兩個名詞的依存關(guān)系屬于規(guī)則集R中的依存類型,并且其中一個名詞已存在于集合T中,那么將另一個名詞添加到T(如果這個名詞不存在于T中),同時在TC中移除該名詞.

    ③ 遍歷OC中每一個詞,如果當(dāng)前詞w與T中任意一個評價對象之間的關(guān)聯(lián)度A超過閾值lto,那么將w加入到O(如果w不存在于O中),同時在OC中移除詞w.

    ④ 遍歷TC中每一個詞,如果當(dāng)前詞w與O中任意一個情感詞之間的關(guān)聯(lián)度A超過閾值lto,那么將w加入到T(如果w不存在于T中),同時在TC中移除詞w.

    ⑤ 如果本次迭代后,沒有新的詞加入到T或O中,那么算法停止,否則跳轉(zhuǎn)到步驟②.

    在評價對象之間的關(guān)聯(lián)關(guān)系度量中,利用Guang Qiu[2]等制定的名詞之間的并列依存關(guān)系R31與R32作為評價對象抽取的規(guī)則集R.R31是直接并列關(guān)系,在一個句子中,如果兩個名詞存在如“conj”等的并列關(guān)系,那么稱這兩個名詞滿足R31.R32是間接并列關(guān)系,在一個句子中,如果兩個名詞分別與同一個詞有依存關(guān)系,并且這兩種依存類型相同,那么稱這兩個詞滿足R32.

    在評價對象和情感詞之間的關(guān)聯(lián)關(guān)系度量中,采用似然測試比(LRT)來表示評價對象與情感詞之間的關(guān)聯(lián)度A. 似然測試比(LRT)是一種基于二項分布的關(guān)聯(lián)模型[6],具體定義如式(1)所示.

    (1)

    式中:

    L(a,b,p)=alg p+blg(1-p);

    p1=k1/(k1+k3);p2=k2/(k2+k4);

    p0=(k1+k3)/(k1+k2+k3+k4);

    k1代表兩個詞w1和w2在評論文本中共同出現(xiàn)的篇章數(shù);k2=fr(w1)-k1;k3=fr(w2)-k1,fr(w)表示詞w在評論文本中出現(xiàn)的篇章數(shù);k4=N-k1-k2-k3;N為評論文本總的篇章數(shù). 似然測試比越大證明兩個詞的關(guān)聯(lián)度越高.k2k3

    1.2 關(guān)聯(lián)置信度計算

    通過自舉式的評價對象和情感詞抽取,得到了評價對象集合T和情感詞集合O作為候選詞集合. 為了在候選詞集合中挖掘出更加準(zhǔn)確的評價對象,本節(jié)對候選詞進行關(guān)聯(lián)置信度計算,選擇關(guān)聯(lián)置信度高的詞作為最終的評價對象. 關(guān)聯(lián)置信度由評價對象與情感詞之間的關(guān)聯(lián)度通過傳播而累積形成的用于描述評價對象和情感詞真實性的分?jǐn)?shù). 本文借鑒PageRank[9]的思想來計算評價對象與情感詞的關(guān)聯(lián)置信度.

    首先對抽取的候選評價對象集合T和候選情感詞集合O進行建模,構(gòu)建一個帶有權(quán)重的連接圖G=(V,E,W). 節(jié)點集合V包含評價對象和情感詞節(jié)點,邊集合E包含評價對象和情感詞之間的關(guān)聯(lián)關(guān)系,W表示關(guān)聯(lián)關(guān)系的權(quán)重,如圖1所示.

    評價對象和情感詞實體內(nèi)的分?jǐn)?shù)是關(guān)聯(lián)置信度,每個詞的出度邊權(quán)重是該詞與被連接詞之間的關(guān)聯(lián)度在該詞與所有詞關(guān)聯(lián)度中占有的份額. 每個詞的出度邊權(quán)重之和為1. 本文不考慮評價對象之間的關(guān)聯(lián)度以及情感詞之間的關(guān)聯(lián)度,因此,任何兩個評價對象以及任意兩個情感詞之間沒有邊存在.

    根據(jù)評價對象與情感詞的連接圖,構(gòu)建候選詞鄰接矩陣H,如式(2)所示.

    (2)

    Eto是評價對象與情感詞的關(guān)聯(lián)矩陣,每一個元素用[Eto]ij來表示,通過式(3)計算為

    (3)

    式中:LRT(w1,w2)為兩個詞之間的測試似然比值;ti為T中第i評價對象;oj為O中第j個情感詞.

    Eot是情感詞與評價對象的關(guān)聯(lián)矩陣,每一個元素用[Eot]ij來表示,通過式(4)計算為

    (4)

    定義評價對象和情感詞的關(guān)聯(lián)置信度矩陣I,如式(5)所示為

    (5)

    其中c(w)是詞w的關(guān)聯(lián)置信度. 每一個評價對象和情感詞的初始關(guān)聯(lián)置信度為1,

    I=[1 1 … 1].

    這里采用迭代法對關(guān)聯(lián)置信度矩陣進行更新,迭代過程如式(6)所示.

    Ik+1=HIk.

    (6)

    算法收斂后,得到了每一個評價對象和情感詞的關(guān)聯(lián)置信度c(w),然后對評價對象按照關(guān)聯(lián)置信度進行排序,選擇前k1個關(guān)聯(lián)置信度最大的詞作為最終評價對象.

    1.3 領(lǐng)域置信度計算

    在1.2節(jié)中,通過計算每一個評價對象的關(guān)聯(lián)置信度,選擇前k1個排名最高的詞添加到最終的評價對象集合. 然而,在剩下關(guān)聯(lián)置信度較低的候選詞集合中,仍然存在一部分真實的評價對象因為出現(xiàn)頻率低等原因沒有能夠得到高的關(guān)聯(lián)置信度,從而被遺留在候選集合中. 為了有效挖掘這些低頻的評價對象,本節(jié)引入領(lǐng)域置信度的概念,通過一個平行領(lǐng)域作為參照,對剩余的候選評價對象計算領(lǐng)域置信度,再抽取排名最高的前k2個評價對象.

    在相似度較小的兩個領(lǐng)域中,產(chǎn)品的特征屬性往往不同. 如表1所示,“screen protector”、“earbud”等詞雖然在MP3領(lǐng)域中出現(xiàn)頻率不高,但相對Car領(lǐng)域而言差別顯著,這種領(lǐng)域?qū)S性~更可能是評價對象.

    表1 評價對象在不同領(lǐng)域中的分布頻率

    Tab.1 Distribution frequency of opinion targets in different domains

    評價對象MP3領(lǐng)域Car領(lǐng)域style17881648screenprotector8810earbud504

    頻繁共現(xiàn)熵[10]用來表達一個詞在兩個領(lǐng)域的分布情況,如式(7)所示.

    (7)

    式中:Ps(w)與Pt(w)分別代表詞語w在本領(lǐng)域與目標(biāo)領(lǐng)域中的分布概率,在本文中,采用分布頻率來表示分布概率;α和β是平滑因子,為了防止出現(xiàn)0值的情況.

    頻繁共現(xiàn)熵f(w)的值越大,說明一個詞w在兩個領(lǐng)域中出現(xiàn)得越平均. 領(lǐng)域度是用來衡量一個詞在本領(lǐng)域的獨特性. 一個詞的領(lǐng)域度越大,則頻繁共現(xiàn)熵越小. 一個詞w的領(lǐng)域度函數(shù)d(w)計算如式(8)所示為

    (8)

    領(lǐng)域置信度綜合考慮評價對象與情感詞的關(guān)聯(lián)置信度及評價對象本身的領(lǐng)域度兩個因素,如式(9)所示.

    (9)

    式中:c′(w)為詞w的領(lǐng)域置信度;c(w)為詞w的關(guān)聯(lián)置信度;λ為權(quán)重因子,當(dāng)λ=1時,即不考慮領(lǐng)域度因素的影響,而當(dāng)λ=0時,即只考慮領(lǐng)域度因素,而不考慮該詞在本領(lǐng)域中與情感詞之間的關(guān)聯(lián)關(guān)系.

    根據(jù)領(lǐng)域置信度對剩余的候選評價對象重新排序,最終再選擇排名最高的k2個評價對象補充到最終的評價對象集合中.

    2 實驗數(shù)據(jù)及評測標(biāo)準(zhǔn)

    實驗數(shù)據(jù)采用3個公開領(lǐng)域的數(shù)據(jù)集,這些數(shù)據(jù)分別是從amazon、tripadvisor等網(wǎng)站中爬取的真實數(shù)據(jù),包含MP3和Hotel*http://sifaka.cs.uiuc.edu/~wang296/Data/index.html領(lǐng)域數(shù)據(jù)集以及Car*http://www.kavita-ganesan.com/entity-ranking-data領(lǐng)域數(shù)據(jù)集. 在實驗中,首先利用OpenNLP*http://opennlp.apache.org/cgi-bin/download.cgi工具對每一個評論文本進行分句;其次,采用Standford NLP*http://nlp.stanford.edu/software/corenlp.shtml工具對每個評論句子進行分詞,詞性標(biāo)注,詞干化處理以及依存句法分析. 對于名詞詞組的識別問題,采用C-value[11]方法來抽取名詞詞組. 數(shù)據(jù)集規(guī)模如表2所示.

    表2 數(shù)據(jù)集統(tǒng)計

    本實驗利用準(zhǔn)確率(P),召回率(R)和F1值(F)3個指標(biāo)來評測實驗結(jié)果.

    3 實驗結(jié)果分析

    3.1 對比實驗

    采用3個非監(jiān)督的評價對象抽取方法作為對比. Hu[1]通過Apriori算法找尋最頻繁項,是一種基于統(tǒng)計頻率的方法. DP[2]是一種雙向傳播算法,利用制定的依存規(guī)則抽取評價對象. Boot[6]是一種自舉式的方法,利用LRT和LSA作為評價對象與情感詞之間的關(guān)聯(lián)度抽取評價對象. F3L是本文方法.

    實驗結(jié)果如表3所示. 基于規(guī)則的方法DP準(zhǔn)確率較高,這是因為DP定義的規(guī)則和模式比較嚴(yán)格,滿足這種規(guī)則的評價對象真實性比較強. 然而,評論文本內(nèi)容隨意,語法不規(guī)范,因此DP的方法召回率較低. 相對而言,Hu和Boot的方法抽取頻繁的評價對象得到了較高的召回率,但是因為缺乏先驗知識導(dǎo)致準(zhǔn)確率較低. 這個觀察也證明了本文將統(tǒng)計和規(guī)則的方法結(jié)合起來的必要性.

    表3 不同的抽取方法的實驗結(jié)果

    自舉式方法Boot取得了高召回率,但是準(zhǔn)確率仍然較低,這是因為在自舉式方法中,一些錯誤的識別詞會影響到后面的執(zhí)行過程,這種錯誤會隨著迭代的進行進一步擴大. 本文方法相對于Boot而言首先增加了關(guān)聯(lián)置信度計算的步驟,衡量了每一個候選詞作為評價對象的可能性,并且選擇關(guān)聯(lián)置信度最高的詞作為最終的評價對象,抽取準(zhǔn)確率顯著提高.

    其次,在召回率方面,本文提出的領(lǐng)域置信度計算方法挖掘出頻率較低,但是領(lǐng)域性較強的評價對象,從而提高了評價對象抽取的召回率.

    本文方法對比Hu、DP、Boot的方法在準(zhǔn)確率、召回率和F1值的評測結(jié)果上均有明顯優(yōu)勢,從而驗證了本方法的有效性. 表4展示了每個領(lǐng)域的評價對象抽取結(jié)果,以關(guān)聯(lián)置信度最高的5個評價對象為例.

    表4 評價對象抽取結(jié)果示例

    3.2 參數(shù)對抽取效果的影響實驗

    本階段實驗主要研究參數(shù)對抽取結(jié)果的影響. 本文涉及到的參數(shù)包含1.1節(jié)方法中評價對象與情感詞之間的關(guān)聯(lián)度閾值lto,1.2節(jié)方法中抽取的評價對象數(shù)量k1,1.3節(jié)方法抽取的評價對象個數(shù)k2以及平衡因子λ. 本實驗在3個領(lǐng)域中均抽取800個評價對象,因此設(shè)定參數(shù)k2=800-k1. 本實驗用F值表示評價對象抽取效果.

    圖2展示了抽取結(jié)果F值隨著評價對象與情感詞之間的關(guān)聯(lián)度閾值變化的曲線圖. 從實驗結(jié)果中可以發(fā)現(xiàn)lto在20~40之間取得了最好效果. MP3領(lǐng)域在閾值35上取得了最高F值75.03%;Hotel領(lǐng)域在閾值30上取得了最高F值70.66%;Car領(lǐng)域在閾值20上取得了最高F值73.10%.

    圖3展示了抽取結(jié)果F值隨著k1變化的曲線圖.k1在500~600之間取得了最好的效果,其中:MP3領(lǐng)域在550上取得了最高F值75.03%;Hotel領(lǐng)域在570上取得了最高F值70.66%;Car領(lǐng)域在620上取得了最高F值73.10%. 從該實驗中可以看出在500~600之前,函數(shù)呈遞增的趨勢. 這個現(xiàn)象表明在評論文本中存在一部分通用的評價對象,例如“樣式”、“外觀”等. 這部分詞如果按照領(lǐng)域置信度排序會因為領(lǐng)域度值較小而排名靠后,從而被移除. 當(dāng)k1取值超過500~600的區(qū)間時函數(shù)又呈相對明顯的下降趨勢,這是因為隨著k1的增長,利用關(guān)聯(lián)置信度篩選得到的評價對象增多,利用領(lǐng)域置信篩選得到的評價對象減少,由于缺乏對領(lǐng)域度因素的分析,導(dǎo)致抽取效果下降.

    圖4展示了抽取結(jié)果F值隨著λ變化的曲線圖.λ在0.3~0.4之間取得了最好的效果,其中:MP3領(lǐng)域與Car領(lǐng)域在0.3上取得了最高F值,分別為75.03%和73.10%;Hotel領(lǐng)域在 0.4上取得了最高F值70.66%.λ為平衡因子,代表了領(lǐng)域度因素在領(lǐng)域置信度計算中所占有的比重. 當(dāng)λ超過0.3~0.4范圍后,呈平穩(wěn)趨勢發(fā)展. 這個現(xiàn)象說明了領(lǐng)域度因素在低頻評價對象中占有了非常重要的影響,甚至在不考慮評價對象在本領(lǐng)域中的關(guān)聯(lián)置信度(λ=1.0)時,效果也依然優(yōu)秀(73.0%,69.9%,71.9%).

    3.3 領(lǐng)域?qū)Ρ葘嶒?/p>

    本階段實驗主要比較在不同平行領(lǐng)域參照下評價對象的抽取效果. 由表5的對比結(jié)果可以發(fā)現(xiàn),利用不同的平行領(lǐng)域參照得到的抽取結(jié)果差別不大. MP3領(lǐng)域利用Hotel領(lǐng)域參照得到了75.03%的F值,而通過Car領(lǐng)域參照得到了74.36%的F值,兩者相差0.67%. 同理,Car領(lǐng)域通過MP3和Hotel參照的差異為0.38%,Hotel通過MP3與Car參照的差異為1.02%. 這種差異主要是由領(lǐng)域之間的相關(guān)性引起. 在MP3領(lǐng)域中,通過Hotel參照的效果優(yōu)越于通過Car領(lǐng)域,這是因為MP3領(lǐng)域與Car領(lǐng)域之間的相同點相對于Hotel領(lǐng)域更多. 直觀地看,MP3與Car都是物品,存在“材料”,“外觀”等方面的相同評價對象,而對于Hotel領(lǐng)域而言,評論的核心在于用戶體驗,與MP3領(lǐng)域的交集比較小,因此利用Hotel領(lǐng)域參照的效果更好. 同理在Hotel領(lǐng)域中,通過MP3領(lǐng)域參照的效果優(yōu)越于Car領(lǐng)域. 因此,利用盡可能不相干的領(lǐng)域參照會達到更好的抽取效果.

    表5 不同平行領(lǐng)域抽取結(jié)果

    4 結(jié) 論

    本文提出了一個3層過濾的評價對象抽取方法,在不需要任何標(biāo)注數(shù)據(jù)的情況下,能夠完成對評論文本中評價對象的抽取. 該方法首先利用一個自舉式框架,利用評價對象之間,評價對象與情感詞之間的關(guān)聯(lián)關(guān)系,迭代抽取候選評價對象和情感詞;其次,對候選的評價對象和情感詞計算關(guān)聯(lián)置信度,抽取關(guān)聯(lián)置信度高的評價對象. 最后,對剩余的關(guān)聯(lián)置信度低的評價對象進行領(lǐng)域置信度的計算,挖掘出現(xiàn)頻率低,但領(lǐng)域性較強的評價對象. 實驗表明,本文方法的抽取結(jié)果具有較高的準(zhǔn)確率和召回率,優(yōu)于現(xiàn)有的抽取方法.

    [1] Hu M, Liu B. Mining opinion features in customer reviews[J]. AAAI, 2004,4(4):755-760.

    [2] Qiu G, Liu B, Bu J, et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics, 2011,37(1):9-27.

    [3] Zhang L, Liu B, Lim S H, et al. Extracting and ranking product features in opinion documents[C]∥Proceedings of the 23rd International Conference on Computational Linguistics. Posters: Association for Computational Linguistics, 2010:1462-1470.

    [4] Zhuang L, Jing F, Zhu X Y. Movie review mining and summarization[C]∥Proceedings of the 15th ACM International Conference on Information and Knowledge Management. Bavaria: ACM, 2006:43-50.

    [5] Wang B, Wang H. Bootstrapping both product features and opinion words from Chinese customer reviews with cross-inducing[C]∥Proceedings of IJCNLP. Hyderabad: Asian Federation of Natural Language Processing, 2008:289-295.

    [6] Hai Z, Chang K, Cong G. One seed to find them all: mining opinion features via association[C]∥Proceedings of the 21st ACM International Conference on Information and Knowledge Management. Orlando: ACM, 2012:255-264.

    [7] Liu K, Xu L, Zhao J. Opinion target extraction using word-based translation model[C]∥Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island: Association for Computational Linguistics, 2012:1346-1356.

    [8] Xu L, Liu K, Lai S, et al. Mining opinion words and opinion targets in a two-stage framework[C]∥Proceedings of ACL. Sofia: Association for Computation Linguistics, 2013:1764-1773.

    [9] Page L. Computational linguistics the page rank citation ranking: bringing order to the web[EB/OL].[1998-09-01].http:∥www.db.stanford.edu/~backrub/pageranksub.ps.

    [10] Tan S, Cheng X, Wang Y, et al. Adapting naive bayes to domain adaptation for sentiment analysis[M]∥Advances in Information Retrieval. Berlin, Heidel-berg: Springer, 2009:337-349.

    [11] Frantzi K, Ananiadou S, Mima H. Automatic recognition of multi-word terms:. the c-value/nc-value method[J]. International Journal on Digital Libraries, 2000,3(2):115-130.

    (責(zé)任編輯:劉芳)

    Opinion Targets Extraction with a Three-Level Filter

    NIU Zhen-dong1,2, LIU Sha1

    (1.School of Computer Science and Technology, Beijing Institute of Technology, Beijing 100081, China; 2.Beijing Engineering Research Center of Massive Language Information Processing and Cloud Computing Application, Beijing 100081, China)

    A three-level filter method was proposed to extract the opinion targets for product reviews on the Internet. In the first level, a bootstrapping framework was adopted to extract candidate opinion targets and opinion words from opinion texts. In the second level, the association between the opinion target and opinion word was used to estimate the association confidence of every candidate opinion target and candidate opinion word. The opinion targets with high association confidence were extracted to improve recognition accuracy. In the third level, an uncorrelated domain was adopted to calculate the domain confidence of every opinion target in the rest set which was for mining the opinion targets of low frequency. The experimental results on three public datasets demonstrate the effectiveness of the proposed approach.

    opinion targets extraction; opinion word; association confidence; domain confidence

    2014-08-20

    國家自然科學(xué)基金資助項目(61370137)

    牛振東(1968—),男,教授,博士生導(dǎo)師,E-mail:zniu@bit.edu.cn.

    TP 391

    A

    1001-0645(2016)11-1154-06

    10.15918/j.tbit1001-0645.2016.11.011

    猜你喜歡
    關(guān)聯(lián)文本情感
    “苦”的關(guān)聯(lián)
    如何在情感中自我成長,保持獨立
    失落的情感
    北極光(2019年12期)2020-01-18 06:22:10
    情感
    在808DA上文本顯示的改善
    基于doc2vec和TF-IDF的相似文本識別
    電子制作(2018年18期)2018-11-14 01:48:06
    如何在情感中自我成長,保持獨立
    奇趣搭配
    智趣
    讀者(2017年5期)2017-02-15 18:04:18
    文本之中·文本之外·文本之上——童話故事《坐井觀天》的教學(xué)隱喻
    国产真人三级小视频在线观看| 欧美日韩精品网址| 欧美另类亚洲清纯唯美| 国产成人啪精品午夜网站| 脱女人内裤的视频| 丁香六月欧美| 欧美黄色淫秽网站| 精品欧美国产一区二区三| 免费看美女性在线毛片视频| 嫩草影院精品99| 色精品久久人妻99蜜桃| 在线看三级毛片| www.熟女人妻精品国产| 欧美大码av| 91九色精品人成在线观看| 不卡av一区二区三区| 国产精品99久久99久久久不卡| 国产极品精品免费视频能看的| 日韩人妻高清精品专区| 国产男靠女视频免费网站| 村上凉子中文字幕在线| 又黄又爽又免费观看的视频| 亚洲最大成人中文| 久久国产精品影院| 一个人看的www免费观看视频| 国产乱人伦免费视频| 精品一区二区三区视频在线观看免费| av中文乱码字幕在线| 亚洲成人精品中文字幕电影| 在线永久观看黄色视频| 97超视频在线观看视频| 久久久水蜜桃国产精品网| 国产精品自产拍在线观看55亚洲| 亚洲无线在线观看| 成在线人永久免费视频| 久久久水蜜桃国产精品网| 日本与韩国留学比较| 美女免费视频网站| 九九久久精品国产亚洲av麻豆 | 午夜福利欧美成人| 国产精品影院久久| 999精品在线视频| 伊人久久大香线蕉亚洲五| 国产一区二区三区视频了| 欧美日韩综合久久久久久 | 91在线观看av| 中文字幕高清在线视频| 一级毛片精品| 波多野结衣巨乳人妻| 色综合婷婷激情| 国产探花在线观看一区二区| 国产亚洲精品综合一区在线观看| 欧美高清成人免费视频www| 黑人操中国人逼视频| 国产伦精品一区二区三区四那| 欧美大码av| 最近最新中文字幕大全电影3| 人妻丰满熟妇av一区二区三区| 国产高清三级在线| 黑人欧美特级aaaaaa片| 小蜜桃在线观看免费完整版高清| 人妻丰满熟妇av一区二区三区| 天堂av国产一区二区熟女人妻| 国产伦一二天堂av在线观看| 欧美三级亚洲精品| 国产爱豆传媒在线观看| 欧美又色又爽又黄视频| 午夜福利18| 婷婷六月久久综合丁香| 91av网站免费观看| 真人一进一出gif抽搐免费| 91麻豆av在线| 精品久久久久久成人av| 日韩精品青青久久久久久| 97碰自拍视频| 亚洲激情在线av| 91av网站免费观看| 黄色片一级片一级黄色片| 在线播放国产精品三级| 丁香六月欧美| 国产精品久久久久久久电影 | 18禁观看日本| 国产蜜桃级精品一区二区三区| 美女高潮喷水抽搐中文字幕| 两个人视频免费观看高清| 成人鲁丝片一二三区免费| 成人一区二区视频在线观看| 一个人看视频在线观看www免费 | 蜜桃久久精品国产亚洲av| 无人区码免费观看不卡| 国内久久婷婷六月综合欲色啪| 一级毛片女人18水好多| 美女 人体艺术 gogo| 免费看十八禁软件| 成人鲁丝片一二三区免费| 99久久成人亚洲精品观看| 免费一级毛片在线播放高清视频| 日日夜夜操网爽| 波多野结衣巨乳人妻| 黄频高清免费视频| 欧美成狂野欧美在线观看| 少妇的丰满在线观看| 九色国产91popny在线| 天天一区二区日本电影三级| netflix在线观看网站| www日本在线高清视频| 黄色 视频免费看| 国产精品久久久久久亚洲av鲁大| 亚洲精品色激情综合| 亚洲av第一区精品v没综合| 国产精品av久久久久免费| www.www免费av| 高清毛片免费观看视频网站| 亚洲欧美精品综合久久99| 中文字幕av在线有码专区| 在线观看免费视频日本深夜| 神马国产精品三级电影在线观看| 亚洲乱码一区二区免费版| 国产av在哪里看| 丰满人妻一区二区三区视频av | 国产野战对白在线观看| 免费高清视频大片| 一夜夜www| 亚洲成人久久爱视频| 真实男女啪啪啪动态图| 在线十欧美十亚洲十日本专区| 欧美一区二区精品小视频在线| 久久精品国产清高在天天线| 欧美一区二区国产精品久久精品| 国产亚洲av嫩草精品影院| 亚洲avbb在线观看| 国产伦在线观看视频一区| 一区二区三区激情视频| 一级a爱片免费观看的视频| 宅男免费午夜| 最近最新免费中文字幕在线| 免费看十八禁软件| 最新在线观看一区二区三区| e午夜精品久久久久久久| 欧美黑人巨大hd| 精品久久蜜臀av无| 久久久久免费精品人妻一区二区| 国产乱人视频| 国产精品一及| 亚洲色图 男人天堂 中文字幕| 男女那种视频在线观看| 在线a可以看的网站| 国产精品久久久人人做人人爽| 免费人成视频x8x8入口观看| 欧美另类亚洲清纯唯美| 亚洲国产精品合色在线| 午夜影院日韩av| 欧美一区二区国产精品久久精品| 亚洲人成伊人成综合网2020| 特级一级黄色大片| 一进一出抽搐gif免费好疼| 一a级毛片在线观看| 久久婷婷人人爽人人干人人爱| 深夜精品福利| 日韩欧美 国产精品| 久久欧美精品欧美久久欧美| 久久婷婷人人爽人人干人人爱| cao死你这个sao货| 老司机福利观看| 国产亚洲精品av在线| 两个人的视频大全免费| 在线观看免费视频日本深夜| 一级毛片高清免费大全| 久久香蕉精品热| 午夜免费成人在线视频| 丁香欧美五月| 天堂动漫精品| 香蕉丝袜av| 可以在线观看的亚洲视频| 欧美极品一区二区三区四区| 亚洲av中文字字幕乱码综合| 日韩精品中文字幕看吧| 亚洲精品一区av在线观看| 99在线人妻在线中文字幕| 51午夜福利影视在线观看| 国产淫片久久久久久久久 | 亚洲在线自拍视频| 色老头精品视频在线观看| 国产精品综合久久久久久久免费| 99久久精品热视频| 国产精品av久久久久免费| 99精品久久久久人妻精品| 国产人伦9x9x在线观看| 老熟妇乱子伦视频在线观看| 亚洲乱码一区二区免费版| 黄色视频,在线免费观看| 国产日本99.免费观看| 国产v大片淫在线免费观看| 无限看片的www在线观看| 国产野战对白在线观看| 琪琪午夜伦伦电影理论片6080| 欧美成人性av电影在线观看| 国产麻豆成人av免费视频| 高潮久久久久久久久久久不卡| 婷婷亚洲欧美| 美女免费视频网站| 久久久久久大精品| 好男人在线观看高清免费视频| 午夜成年电影在线免费观看| 又黄又爽又免费观看的视频| 精品国产亚洲在线| 国产免费av片在线观看野外av| 嫩草影院入口| 两人在一起打扑克的视频| 亚洲av成人精品一区久久| 日韩中文字幕欧美一区二区| 最好的美女福利视频网| 国产午夜精品久久久久久| 又大又爽又粗| 99久久成人亚洲精品观看| 亚洲熟女毛片儿| 九九久久精品国产亚洲av麻豆 | 国产亚洲欧美98| 中文字幕高清在线视频| 日韩人妻高清精品专区| 午夜福利免费观看在线| 中文字幕精品亚洲无线码一区| 国产午夜精品论理片| 啦啦啦免费观看视频1| 欧美zozozo另类| 色av中文字幕| 国产毛片a区久久久久| 免费看a级黄色片| 国产精品女同一区二区软件 | 搞女人的毛片| 大型黄色视频在线免费观看| 久久精品aⅴ一区二区三区四区| 亚洲五月天丁香| 美女扒开内裤让男人捅视频| 超碰成人久久| 女人高潮潮喷娇喘18禁视频| 亚洲性夜色夜夜综合| 首页视频小说图片口味搜索| 日本熟妇午夜| 男人舔奶头视频| 九色成人免费人妻av| 国产真实乱freesex| 亚洲 欧美一区二区三区| 又粗又爽又猛毛片免费看| 制服丝袜大香蕉在线| 成人无遮挡网站| 亚洲人成伊人成综合网2020| 香蕉久久夜色| 亚洲成av人片在线播放无| 亚洲乱码一区二区免费版| 国产成人精品无人区| 级片在线观看| 亚洲中文字幕一区二区三区有码在线看 | 精品免费久久久久久久清纯| 午夜福利成人在线免费观看| 黄色成人免费大全| 波多野结衣高清作品| 1024手机看黄色片| 国产伦精品一区二区三区四那| 国产三级在线视频| 国产精品女同一区二区软件 | 一二三四在线观看免费中文在| 日韩欧美三级三区| 精品熟女少妇八av免费久了| 亚洲在线观看片| 特级一级黄色大片| 久久精品夜夜夜夜夜久久蜜豆| 久久天躁狠狠躁夜夜2o2o| 最近最新中文字幕大全电影3| 欧美日韩黄片免| 成人特级av手机在线观看| 国产单亲对白刺激| 国产精品1区2区在线观看.| 色综合亚洲欧美另类图片| 性色avwww在线观看| 怎么达到女性高潮| 日韩欧美 国产精品| 成在线人永久免费视频| 女人高潮潮喷娇喘18禁视频| а√天堂www在线а√下载| 99久久国产精品久久久| 午夜日韩欧美国产| 日本与韩国留学比较| 搡老妇女老女人老熟妇| 黑人欧美特级aaaaaa片| 亚洲 国产 在线| 亚洲精品中文字幕一二三四区| 真实男女啪啪啪动态图| 神马国产精品三级电影在线观看| 狠狠狠狠99中文字幕| 国产aⅴ精品一区二区三区波| 身体一侧抽搐| 天天添夜夜摸| 人妻久久中文字幕网| 国产精品98久久久久久宅男小说| 欧美黑人欧美精品刺激| 成人av在线播放网站| 可以在线观看毛片的网站| 亚洲成人中文字幕在线播放| 亚洲五月婷婷丁香| 一区二区三区国产精品乱码| 男女下面进入的视频免费午夜| 岛国在线免费视频观看| 亚洲天堂国产精品一区在线| 久久精品91蜜桃| 舔av片在线| 欧美日韩亚洲国产一区二区在线观看| 在线观看66精品国产| 久久婷婷人人爽人人干人人爱| 99在线视频只有这里精品首页| 国产1区2区3区精品| 伊人久久大香线蕉亚洲五| 亚洲七黄色美女视频| 欧美一级毛片孕妇| 国产亚洲av高清不卡| 久久香蕉国产精品| 国产黄片美女视频| 黄片大片在线免费观看| 一个人观看的视频www高清免费观看 | 男女之事视频高清在线观看| 国产精品 欧美亚洲| 日韩中文字幕欧美一区二区| 日韩三级视频一区二区三区| 国产v大片淫在线免费观看| 欧美日韩综合久久久久久 | 欧美日韩乱码在线| 在线播放国产精品三级| 日韩精品青青久久久久久| 国产黄色小视频在线观看| 人妻久久中文字幕网| 国产一级毛片七仙女欲春2| 淫秽高清视频在线观看| 非洲黑人性xxxx精品又粗又长| 国产午夜精品论理片| 丰满的人妻完整版| 亚洲人与动物交配视频| www日本在线高清视频| 岛国视频午夜一区免费看| 中文字幕精品亚洲无线码一区| 国产精品99久久99久久久不卡| 国产午夜精品久久久久久| 首页视频小说图片口味搜索| 欧美激情久久久久久爽电影| 午夜a级毛片| 51午夜福利影视在线观看| 日韩欧美国产在线观看| 黄色 视频免费看| 久久久精品欧美日韩精品| 久久这里只有精品19| 久久久久久久久中文| 亚洲国产精品999在线| 18美女黄网站色大片免费观看| 脱女人内裤的视频| 动漫黄色视频在线观看| 在线永久观看黄色视频| 18美女黄网站色大片免费观看| 欧美另类亚洲清纯唯美| 一区二区三区激情视频| 久久精品影院6| 别揉我奶头~嗯~啊~动态视频| 国产精品一区二区免费欧美| 成年女人看的毛片在线观看| 免费电影在线观看免费观看| 亚洲国产精品成人综合色| 亚洲第一电影网av| 欧美日韩综合久久久久久 | 亚洲国产中文字幕在线视频| 黄色日韩在线| 少妇丰满av| 日韩高清综合在线| 欧美最黄视频在线播放免费| 午夜免费成人在线视频| 岛国在线免费视频观看| 日本在线视频免费播放| 1000部很黄的大片| 在线观看美女被高潮喷水网站 | 一级毛片精品| 午夜影院日韩av| cao死你这个sao货| 亚洲av成人精品一区久久| 欧美一区二区精品小视频在线| av在线天堂中文字幕| svipshipincom国产片| 麻豆久久精品国产亚洲av| 国产三级黄色录像| 午夜激情福利司机影院| 国产伦在线观看视频一区| 亚洲国产欧洲综合997久久,| 国产v大片淫在线免费观看| 每晚都被弄得嗷嗷叫到高潮| 欧美zozozo另类| 好看av亚洲va欧美ⅴa在| 五月伊人婷婷丁香| 精品一区二区三区视频在线 | 免费在线观看影片大全网站| 亚洲av第一区精品v没综合| 亚洲av成人精品一区久久| 国产真人三级小视频在线观看| 在线观看免费午夜福利视频| 黄色日韩在线| 俄罗斯特黄特色一大片| 久久热在线av| av国产免费在线观看| 午夜激情欧美在线| 精品一区二区三区视频在线观看免费| 男女之事视频高清在线观看| 国产成人av激情在线播放| 久久亚洲精品不卡| www.熟女人妻精品国产| 精品电影一区二区在线| 亚洲五月天丁香| 欧美日韩国产亚洲二区| 老汉色av国产亚洲站长工具| 国产精品永久免费网站| 少妇人妻一区二区三区视频| 别揉我奶头~嗯~啊~动态视频| 激情在线观看视频在线高清| 视频区欧美日本亚洲| 久久人妻av系列| 日韩欧美精品v在线| 亚洲欧美日韩高清专用| 久久久久国产精品人妻aⅴ院| 床上黄色一级片| 久久久久国产一级毛片高清牌| 免费在线观看影片大全网站| 色精品久久人妻99蜜桃| 久久精品国产综合久久久| www.999成人在线观看| 久久伊人香网站| 欧美又色又爽又黄视频| 亚洲精品久久国产高清桃花| 色综合婷婷激情| 免费看日本二区| 少妇熟女aⅴ在线视频| 九九久久精品国产亚洲av麻豆 | 老司机深夜福利视频在线观看| 久久久成人免费电影| e午夜精品久久久久久久| 精品国产超薄肉色丝袜足j| 久久亚洲真实| 久久久久免费精品人妻一区二区| 久久香蕉国产精品| 九色国产91popny在线| 男人舔女人下体高潮全视频| 久久久久性生活片| 亚洲成人久久性| 夜夜爽天天搞| 国产伦一二天堂av在线观看| 国产亚洲欧美在线一区二区| 国产高清三级在线| 男人舔女人下体高潮全视频| 日本撒尿小便嘘嘘汇集6| 久久久久久九九精品二区国产| 午夜福利视频1000在线观看| 日本熟妇午夜| 俄罗斯特黄特色一大片| 麻豆一二三区av精品| 免费av毛片视频| 国产v大片淫在线免费观看| 999久久久国产精品视频| 欧美xxxx黑人xx丫x性爽| 日韩精品中文字幕看吧| 91av网站免费观看| 欧美一级a爱片免费观看看| 国产精品av视频在线免费观看| 热99re8久久精品国产| 午夜两性在线视频| 99国产精品一区二区蜜桃av| 久久久久免费精品人妻一区二区| 色综合站精品国产| 真实男女啪啪啪动态图| 九九久久精品国产亚洲av麻豆 | 亚洲精品一卡2卡三卡4卡5卡| 欧美日韩中文字幕国产精品一区二区三区| 99热这里只有是精品50| 男女下面进入的视频免费午夜| 在线看三级毛片| 亚洲专区中文字幕在线| 久久久久九九精品影院| 亚洲色图av天堂| 少妇裸体淫交视频免费看高清| 一区二区三区国产精品乱码| 久久天堂一区二区三区四区| 一卡2卡三卡四卡精品乱码亚洲| 欧美+亚洲+日韩+国产| 国产亚洲精品久久久com| 亚洲精品一卡2卡三卡4卡5卡| 俄罗斯特黄特色一大片| 在线观看舔阴道视频| 琪琪午夜伦伦电影理论片6080| 亚洲天堂国产精品一区在线| 国产主播在线观看一区二区| 久久久久国产一级毛片高清牌| 亚洲成人精品中文字幕电影| 久久久国产成人精品二区| 精品久久久久久,| 最新在线观看一区二区三区| 在线观看66精品国产| 亚洲av第一区精品v没综合| 一本综合久久免费| 最近视频中文字幕2019在线8| 一区二区三区国产精品乱码| 国产欧美日韩精品亚洲av| 观看免费一级毛片| 黄色女人牲交| 亚洲国产中文字幕在线视频| 午夜福利欧美成人| 99久国产av精品| 99re在线观看精品视频| 国产精品亚洲av一区麻豆| 日本与韩国留学比较| 久久久久性生活片| 人人妻,人人澡人人爽秒播| 日韩av在线大香蕉| 久久久久国产精品人妻aⅴ院| 成人午夜高清在线视频| 免费看光身美女| 国产成人精品无人区| 国产精品国产高清国产av| 国产精品女同一区二区软件 | 悠悠久久av| 欧美色视频一区免费| 在线a可以看的网站| 18美女黄网站色大片免费观看| 三级男女做爰猛烈吃奶摸视频| 制服丝袜大香蕉在线| 欧美乱色亚洲激情| 偷拍熟女少妇极品色| netflix在线观看网站| 色综合站精品国产| 亚洲av中文字字幕乱码综合| 久久精品影院6| 脱女人内裤的视频| 国产一区二区激情短视频| 国产亚洲精品综合一区在线观看| 天天添夜夜摸| 香蕉久久夜色| 性色av乱码一区二区三区2| 国产伦在线观看视频一区| 男女之事视频高清在线观看| 成人国产综合亚洲| 搡老妇女老女人老熟妇| 国产精品乱码一区二三区的特点| 日本a在线网址| 又黄又粗又硬又大视频| 一个人免费在线观看电影 | 一个人免费在线观看电影 | 搡老妇女老女人老熟妇| 国内精品一区二区在线观看| 一个人免费在线观看电影 | 91久久精品国产一区二区成人 | 丁香六月欧美| 国产午夜精品久久久久久| 亚洲中文字幕一区二区三区有码在线看 | 国产成人一区二区三区免费视频网站| 久久精品人妻少妇| 三级毛片av免费| 亚洲精品一区av在线观看| 又爽又黄无遮挡网站| 巨乳人妻的诱惑在线观看| 欧洲精品卡2卡3卡4卡5卡区| 丰满的人妻完整版| 在线观看舔阴道视频| 一二三四社区在线视频社区8| 精品久久久久久久久久免费视频| 国产精品久久久久久精品电影| 久久午夜综合久久蜜桃| 亚洲18禁久久av| 国产激情欧美一区二区| 国产精品九九99| 国产亚洲精品综合一区在线观看| 最近视频中文字幕2019在线8| 在线国产一区二区在线| or卡值多少钱| 好看av亚洲va欧美ⅴa在| 亚洲精品美女久久av网站| 欧美一级毛片孕妇| 国产一区在线观看成人免费| 国内精品久久久久久久电影| 999久久久精品免费观看国产| 欧美成人一区二区免费高清观看 | 色精品久久人妻99蜜桃| 在线观看66精品国产| 久久久色成人| 欧美+亚洲+日韩+国产| 日本黄色片子视频| 在线观看一区二区三区| 国内久久婷婷六月综合欲色啪| 男女做爰动态图高潮gif福利片| 久久人妻av系列| 久久久水蜜桃国产精品网| 免费观看精品视频网站| 精品久久久久久久毛片微露脸| 国产成+人综合+亚洲专区| 国产成人精品无人区| 国产精品久久久久久久电影 | 99热6这里只有精品| 99re在线观看精品视频| 日韩欧美国产在线观看| 免费高清视频大片| 一级毛片精品| 在线观看美女被高潮喷水网站 | 免费看美女性在线毛片视频| 网址你懂的国产日韩在线| 两性夫妻黄色片| 18禁观看日本| 欧美一级毛片孕妇| 宅男免费午夜| 麻豆一二三区av精品| 观看美女的网站| 亚洲精品一卡2卡三卡4卡5卡| 最近在线观看免费完整版| 亚洲真实伦在线观看| 日韩欧美在线二视频| 天堂动漫精品|