• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于OCC模型的文本情感挖掘方法

    2017-12-05 11:22:22皇甫璐雯毛文吉
    智能系統(tǒng)學(xué)報(bào) 2017年5期
    關(guān)鍵詞:詞典維度情感

    皇甫璐雯,毛文吉

    (中國(guó)科學(xué)院自動(dòng)化研究所 復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100190)

    一種基于OCC模型的文本情感挖掘方法

    皇甫璐雯,毛文吉

    (中國(guó)科學(xué)院自動(dòng)化研究所 復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100190)

    觀點(diǎn)挖掘(或情感分析)作為面向網(wǎng)絡(luò)社會(huì)媒體分析挖掘領(lǐng)域的一個(gè)核心研究課題,具有重要的研究意義和應(yīng)用價(jià)值。針對(duì)傳統(tǒng)觀點(diǎn)挖掘方法存在的不足和局限性,本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于OCC情感模型的觀點(diǎn)挖掘方法。該方法首先采用統(tǒng)計(jì)方法,利用WordNet詞典、句法依存關(guān)系及少量標(biāo)注數(shù)據(jù),自動(dòng)構(gòu)建情感維度詞典;其次,對(duì)所構(gòu)建的情感維度詞典進(jìn)行求精,通過(guò)語(yǔ)義、情感傾向的不一致性處理和非情感詞的過(guò)濾,得到高質(zhì)量的情感維度詞典;最后,基于所得到的情感維度詞典,結(jié)合OCC模型中情感維度值與情感類(lèi)型的對(duì)應(yīng)關(guān)系,生成6種主要的情感類(lèi)型。實(shí)驗(yàn)方法表明,此方法在使用靈活性、可解釋性和有效性上具有明顯的優(yōu)勢(shì)。

    觀點(diǎn)挖掘;OCC情感模型;情感維度;情感類(lèi)型;情感詞典;認(rèn)知心理學(xué);情感挖掘;共現(xiàn)

    近年來(lái),社會(huì)媒體迅猛發(fā)展并快速滲透到了社會(huì)、經(jīng)濟(jì)、政治、文化等各方面,互聯(lián)網(wǎng)用戶產(chǎn)生的內(nèi)容中包含大量關(guān)于用戶意見(jiàn)、態(tài)度、情緒等有價(jià)值的信息,而且其數(shù)量隨時(shí)間累積呈指數(shù)級(jí)增長(zhǎng)。這些信息主要是用戶的主觀性觀點(diǎn),與客觀的事實(shí)有很大的不同。這些包含用戶觀點(diǎn)的海量數(shù)據(jù)蘊(yùn)含著巨大的實(shí)際應(yīng)用價(jià)值,亟需自動(dòng)化的計(jì)算分析與處理技術(shù),這種現(xiàn)象促進(jìn)了觀點(diǎn)挖掘與情感分析這一新興研究領(lǐng)域的蓬勃發(fā)展。目前,觀點(diǎn)挖掘(或情感分析)[1-2]已成為社會(huì)媒體分析挖掘領(lǐng)域的一個(gè)核心研究課題,其研究成果已應(yīng)用于用戶觀點(diǎn)發(fā)現(xiàn)、產(chǎn)品評(píng)論分析及社會(huì)輿情監(jiān)控等領(lǐng)域,并在推動(dòng)社會(huì)和諧發(fā)展、改善人們生活方面發(fā)揮重要作用[3]。

    互聯(lián)網(wǎng)中的文本數(shù)據(jù)大致可以分為兩類(lèi):一類(lèi)用來(lái)陳述客觀性的事實(shí),另一類(lèi)用來(lái)表達(dá)主觀性的觀點(diǎn)。相對(duì)于客觀性的事實(shí)數(shù)據(jù),主觀性的觀點(diǎn)數(shù)據(jù)由于其內(nèi)在的復(fù)雜性,在研究方法和技術(shù)上與前者區(qū)別較大。目前觀點(diǎn)挖掘分為兩類(lèi)工作:識(shí)別觀點(diǎn)的正負(fù)極性和文本中的情感類(lèi)型。文本中的情感類(lèi)型比正負(fù)極性包含更為豐富的信息,因而挖掘文本中的情感類(lèi)型更具有挑戰(zhàn)性,但往往需要大量的手工標(biāo)注數(shù)據(jù),并且所獲得的情感類(lèi)型常常缺乏可解釋性。

    挖掘觀點(diǎn)正負(fù)極性的方法主要有文檔級(jí)觀點(diǎn)挖掘[3-4]、語(yǔ)句級(jí)觀點(diǎn)挖掘[5-8]、基于情感對(duì)象特征的觀點(diǎn)挖掘[9-10]等。Turney[4]提出了一種利用非監(jiān)督學(xué)習(xí)方法計(jì)算詞之間的互信息(PMI)來(lái)判斷整個(gè)文檔的正負(fù)極性。Pang等[3]提出采用多種機(jī)器學(xué)習(xí)方法分類(lèi)每篇電影評(píng)論的正負(fù)極性。Wiebe等[8]通過(guò)大量數(shù)據(jù)集學(xué)習(xí)線索和特征,區(qū)分主觀觀點(diǎn)和客觀事實(shí),并在語(yǔ)句級(jí)判斷觀點(diǎn)的正負(fù)極性。Zhang等[11]提出利用詞之間的依賴關(guān)系分析中文語(yǔ)句的正負(fù)傾向性。Hu等[9]利用頻繁挖掘算法獲得情感對(duì)象特征,再利用語(yǔ)義詞典確定情感詞的正負(fù)極性,從而輸出針對(duì)每個(gè)情感對(duì)象特征的相關(guān)正負(fù)評(píng)論。

    挖掘文本中情感類(lèi)型的方法主要包括基于統(tǒng)計(jì)的方法[12]、機(jī)器學(xué)習(xí)方法[13-16]、基于情感結(jié)構(gòu)/模型的方法[16-17]等。基于機(jī)器學(xué)習(xí)的情感類(lèi)型挖掘工作主要采用分類(lèi)學(xué)習(xí)算法[13-14,16,18-19]。Mostafa[17]提出了一種基于情感模型的方法,該方法利用大量的手工標(biāo)注數(shù)據(jù),并基于主要的情感變量計(jì)算語(yǔ)句中幾乎所有詞的情感變量值,進(jìn)而計(jì)算得到整個(gè)語(yǔ)句的情感類(lèi)型。但是,這種方法不但需要大量人力,費(fèi)時(shí)費(fèi)力,而且不加區(qū)分地計(jì)算句子中出現(xiàn)的詞,導(dǎo)致該方法的效率和性能較低。

    綜上,觀點(diǎn)傾向性的傳統(tǒng)挖掘方法主要關(guān)注觀點(diǎn)的正負(fù)極性而忽略了其豐富的情感類(lèi)型;已有的情感類(lèi)型挖掘盡管能夠輸出豐富的情感類(lèi)型,但是需要大量的標(biāo)注數(shù)據(jù)支持。此外,以往工作幾乎都未考慮情感認(rèn)知理論模型在觀點(diǎn)挖掘和情感分析中的重要作用。因此,為了更好地實(shí)現(xiàn)從網(wǎng)上文本數(shù)據(jù)中挖掘出豐富的情感類(lèi)型,文中提出一種基于OCC情感模型的觀點(diǎn)挖掘方法。

    1 情感的認(rèn)知結(jié)構(gòu)模型OCC

    認(rèn)知評(píng)估理論[20-23]是認(rèn)知心理學(xué)研究中最為成熟和影響最廣的情感理論。認(rèn)知評(píng)估理論認(rèn)為評(píng)估過(guò)程是個(gè)體評(píng)價(jià)其與所處環(huán)境間的關(guān)系,包括目前的條件、導(dǎo)致當(dāng)前狀態(tài)的事件和對(duì)未來(lái)的預(yù)期。評(píng)估理論認(rèn)為評(píng)估本身盡管不是一個(gè)慎思的過(guò)程,但其確實(shí)由認(rèn)知的過(guò)程提供信息,尤其是那些參與理解和與環(huán)境交互的過(guò)程。評(píng)估將這些異類(lèi)過(guò)程的特征映射到一個(gè)共同的中介術(shù)語(yǔ)集(即維度變量)。這些維度變量作為個(gè)體與環(huán)境之間關(guān)系的中介描述,在刺激源和反應(yīng)之間進(jìn)行協(xié)調(diào)。維度變量刻畫(huà)了對(duì)個(gè)體而言事件的重要特征。

    認(rèn)知評(píng)估理論中的不同情感模型采用了不同的情感維度變量,但它們所使用的情感維度變量間有很大的相似性,其中文獻(xiàn)[23]工作中的分類(lèi)最全,包括相關(guān)性(relevance)、合意性(desirability)、行動(dòng)性(actionability)、責(zé)備/褒獎(jiǎng)(praise/blame-worthiness)、可能性(likelihood)、意外性(unexpectedness)、自我投入(ego-involvement)、可控性(controllability)、權(quán)力(power)、適應(yīng)性(adaptability)。

    不同的情感維度變量及其取值產(chǎn)生不同的情感類(lèi)型。比如,在一個(gè)具體的經(jīng)濟(jì)環(huán)境下,“賠錢(qián)”是個(gè)不合人意的事件,并導(dǎo)致負(fù)性情感評(píng)估。在此情形下,其他變量的不同取值可引發(fā)不同的情感評(píng)估。諸如,如果可能性是不確定的,引發(fā)“恐懼”(fear)情感,否則引發(fā)“悲傷”(distress)情感。自我的行動(dòng)帶來(lái)應(yīng)受到責(zé)備的行為后果引發(fā)“羞恥”(shame),如果事件是不合己意的,則帶來(lái)“悔恨”(remorse)。如果不合己意的事件帶來(lái)的后果是他人應(yīng)受到責(zé)備的行為引發(fā)的,則導(dǎo)致“生氣”(anger)情感。

    OCC情感模型[21]是認(rèn)知心理學(xué)中經(jīng)典的情感認(rèn)知結(jié)構(gòu)模型,也是在計(jì)算領(lǐng)域近年來(lái)采用最多的心理學(xué)情感模型,在情感的計(jì)算建模中有著非常廣泛的應(yīng)用。

    OCC情感模型的整個(gè)層次結(jié)構(gòu)主要包括3個(gè)部分:與事件結(jié)果相關(guān)的情感,與智能體行為相關(guān)的情感和與對(duì)象屬性相關(guān)的情感。這3個(gè)部分也可以結(jié)合起來(lái)組合成更為復(fù)雜的情感類(lèi)型。該模型共描述了22種不同情感類(lèi)型的認(rèn)知結(jié)構(gòu)。OCC模型中每個(gè)情感類(lèi)型的出現(xiàn)都由一定的條件觸發(fā),這些條件通過(guò)不同的情感維度值表達(dá)。其中,“合意性(desirability)” “褒貶性(praise-/blame-worthiness)”和“可能性(likelihood)”是該模型中3個(gè)最為重要的情感維度變量?!昂弦庑浴迸c主體的目標(biāo)相關(guān)聯(lián),“褒貶性”與行為是否符合社會(huì)道德標(biāo)準(zhǔn)相關(guān)聯(lián),而“可能性”則表示對(duì)事件發(fā)生的期望。

    在情感認(rèn)知結(jié)構(gòu)理論中,每個(gè)情感維度變量有不同的取值。“合意性(desirability)”維度的取值包括“合意的(desirable)”和“不合意的(undesirable)”。當(dāng)某些事件的發(fā)生有利于最終目標(biāo)的實(shí)現(xiàn)時(shí),這種情況對(duì)于主體而言是合意的;反之則是不合意的。類(lèi)似地,“褒貶性(praise-/blame-worthiness)”維度的取值有“值得稱贊的(praiseworthy)”和“應(yīng)受責(zé)備的(blameworthy)”?!翱赡苄?likelihood)”維度有“可能的(likely)”和“確定的(certain)”這兩個(gè)取值。情感維度變量的不同取值及其組合可以生成不同的情感類(lèi)型。例如,如果“合意的”事件的可能性是“確定的”,引發(fā)“高興(joy)”情感;否則引發(fā)“希望(hope)”。如果個(gè)體“值得表?yè)P(yáng)的(praiseworthy)”行為帶來(lái)合乎自己心意的行為后果,則導(dǎo)致“驕傲(pride)”情感的產(chǎn)生。表1給出了3個(gè)情感維度變量與情感類(lèi)型之間的對(duì)應(yīng)關(guān)系。

    表13個(gè)情感維度變量及其對(duì)應(yīng)的情感類(lèi)型

    Table1Threeemotionaldimensionvariablesandtheircorrespondingemotiontypes

    合意性褒貶性可能性情感類(lèi)型合意的—確定的高興不合意的—確定的悲傷合意的—可能的希望不合意的—可能的恐懼合意的值得稱贊的確定的驕傲不合意的應(yīng)受責(zé)備的確定的羞恥

    表1左邊3列是情感維度取值列表,右邊一列是在特定的情感維度取值下所產(chǎn)生的情感類(lèi)型。本文的研究思路基于經(jīng)典的OCC情感模型,選取其最主要的3個(gè)情感維度,以挖掘文中包含的這3類(lèi)維度變量的情感。

    詞為重點(diǎn),通過(guò)建立相應(yīng)的情感維度詞典,自動(dòng)推演出6種主要的情感類(lèi)型:高興(joy)、悲傷(distress)、希望(hope)、恐懼(fear)、驕傲(pride)和羞恥(shame)。

    2 基于OCC模型的情感挖掘方法

    結(jié)合前面介紹的OCC情感認(rèn)知結(jié)構(gòu)模型,建立自動(dòng)識(shí)別文本中情感類(lèi)型的方法。基于OCC模型的情感類(lèi)型挖掘問(wèn)題可以分解成兩個(gè)子問(wèn)題:1)自動(dòng)構(gòu)建高質(zhì)量的情感維度詞典,即建立包括具體的詞和抽象的情感維度值之間的映射關(guān)系;2)基于OCC模型,以規(guī)則的形式建立情感維度值與情感類(lèi)型間的對(duì)應(yīng)關(guān)系。構(gòu)建情感維度詞典則是建立文本情感類(lèi)型識(shí)別系統(tǒng)的關(guān)鍵。情感維度詞典涵蓋了比通常僅包含正負(fù)極性的情感詞庫(kù)更豐富的信息,所以在構(gòu)建情感維度詞典時(shí),綜合考慮了依存句法關(guān)系、語(yǔ)義關(guān)系和統(tǒng)計(jì)信息。由于構(gòu)建后的情感維度詞典存在語(yǔ)義、情感傾向的不一致性等問(wèn)題,因此還需要對(duì)情感維度詞典進(jìn)一步求精,過(guò)濾掉低質(zhì)量的候選詞。

    圖1是基于OCC情感模型的觀點(diǎn)挖掘方法的數(shù)據(jù)流圖,主要由情感維度詞典的構(gòu)建、求精和情感類(lèi)型的生成3個(gè)模塊組成。該方法基于海量開(kāi)源文本輸入,以句子為單位輸出情感類(lèi)型及其關(guān)聯(lián)的情感對(duì)象。其中,情感維度詞典的構(gòu)建模塊利用通用語(yǔ)義詞典和句法依存關(guān)系建立關(guān)于各情感維度值的詞典,情感維度詞典的求精模塊包括語(yǔ)義、正負(fù)情感傾向的不一致性處理和非情感詞的過(guò)濾。針對(duì)前2個(gè)模塊,文中還提出了融合Bootstrapping的構(gòu)建與求精同步的改進(jìn)算法。情感類(lèi)型的生成模塊基于前2個(gè)模塊得到情感維度詞典,利用經(jīng)典的OCC情感模型,獲得情感類(lèi)型。最后,得到情感類(lèi)型與情感對(duì)象相結(jié)合的輸出結(jié)果,以滿足用戶需求。

    圖1 基于OCC模型的本文情感挖掘方法Fig.1 OCC model-based emotion mining method from texts

    2.1 情感維度詞典的構(gòu)建與求精

    情感維度詞典是基于WordNet詞典和句法依存關(guān)系,采用統(tǒng)計(jì)的方法自動(dòng)構(gòu)建的。WordNet詞典可以提供詞的語(yǔ)義解釋和詞之間的關(guān)系,有同義詞、反義詞、還原詞、派生詞等。句法依存關(guān)系是指,通過(guò)句法分析樹(shù)中得到的詞之間存在的聯(lián)系,可以提示詞之間潛在的關(guān)系。

    為自動(dòng)構(gòu)建情感維度詞典,首先手工挑選少量高質(zhì)量的情感維度值種子詞(不超過(guò)10個(gè))和4個(gè)依存關(guān)系模板。其中,關(guān)于每個(gè)情感維度值的種子詞包含詞的原型和詞性信息。加入詞性信息是因?yàn)橄嗤脑~在詞性不同的時(shí)候含義大不相同,例如:sentence做動(dòng)詞時(shí),意思為“判刑”,維度是Blameworthy;但是做名詞時(shí),意思為“句子”,可以認(rèn)為不是情感詞。4個(gè)依存關(guān)系包括conj_and、conj_or、prep_in和parataxis。其含義分別是詞之間的并列and關(guān)系、詞之間的并列or關(guān)系、詞之間的介詞in關(guān)系和2個(gè)詞在分句中所處的并列關(guān)系。然而,僅僅依靠依存關(guān)系可能會(huì)有一些問(wèn)題。比如,簡(jiǎn)單的并列關(guān)系“wonderful and exciting”中wonderful和exciting是同義詞關(guān)系;而在另一個(gè)短語(yǔ)“young and old”中,young和old有著強(qiáng)烈的反義詞關(guān)系而不是同義詞關(guān)系。由此可見(jiàn),盡管模板conj_and可以提示詞之間存在語(yǔ)義關(guān)系,但是這種語(yǔ)義關(guān)系到底是一致還是恰好相反需要借助詞典來(lái)進(jìn)一步判斷。因此,基于詞典的方法不但用來(lái)尋找候選的情感維度詞,而且用來(lái)判斷候選情感維度詞的情感維度值的合理性。

    在第一輪循環(huán)開(kāi)始,對(duì)于每種情感維度值挑選少量高質(zhì)量的種子詞,作為初始的情感維度詞典輸入。情感維度詞典包括DICD(合意的)、DICU(不合意的)、DICP(值得稱贊的)、DICB(應(yīng)受責(zé)備的)。挑選情感維度種子詞有多種策略,可以通過(guò)手工查看數(shù)據(jù)集憑經(jīng)驗(yàn)進(jìn)行挑選或者通過(guò)計(jì)算詞出現(xiàn)的頻率挑選出頻率高并且包含情感維度值的詞作為種子詞。

    2.1.1 構(gòu)建過(guò)程

    在每一輪循環(huán)中,用WordNet和手工挑選的模板不斷地抽取不同維度值下的情感詞。在每一輪循環(huán)后,利用一個(gè)基于共現(xiàn)思想的評(píng)分函數(shù)來(lái)評(píng)估抽取的情感維度詞。情感維度詞典的構(gòu)建過(guò)程如下。

    1)針對(duì)情感維度詞典中每個(gè)新加入的情感維度詞,基于WordNet詞典,找出其同義詞和反義詞,并將其同義詞和反義詞分別放入相應(yīng)的情感維度詞典候選集中。

    2)利用前面提到的4個(gè)句法依存關(guān)系從輸入的海量文本中找出與所述相應(yīng)的情感維度詞典中已有的情感維度詞具有依存關(guān)系的新情感維度詞,放入相應(yīng)的情感維度詞典候選集中。

    3)利用(1)式所示的評(píng)分函數(shù)對(duì)相應(yīng)的情感維度詞典候選集進(jìn)行評(píng)價(jià)與過(guò)濾,選取其中評(píng)分大于閾值的候選集中的情感詞,放入相應(yīng)的情感維度詞典中:

    4)不斷重復(fù)步驟2)~3),直到不再有新的情感維度詞加入;

    5)利用WordNet中的派生以及還原關(guān)系擴(kuò)充情感維度詞典。

    構(gòu)建情感維度詞典過(guò)程中的輸入是海量的文本和關(guān)于某個(gè)情感維度值的種子詞,輸出是針對(duì)這個(gè)情感維度值建立起來(lái)的情感維度詞典。這里涉及3個(gè)維度,6個(gè)維度值,情感維度值可以是“合意的” “不合意的” “值得稱贊的” “應(yīng)受責(zé)備的” “可能的”和“確定的”,分別簡(jiǎn)寫(xiě)為“D” “U” “P” “B” “L” “C”。其中L、C情感維度詞典的構(gòu)建僅僅依賴WordNet中詞之間的語(yǔ)義關(guān)系,并且Likelihood維度的默認(rèn)值為C。

    循環(huán)初始時(shí)挑選的高質(zhì)量情感維度種子詞為1)和2)提供一個(gè)良好的基礎(chǔ)。1)和2)的目的是分別基于詞典和基于依存關(guān)系獲得候選的情感維度詞。3)通過(guò)計(jì)算一個(gè)評(píng)分函數(shù)保證進(jìn)入情感維度詞典的詞的質(zhì)量。最后,在情感維度詞典中的詞基于WordNet中的同義、反義、還原和派生關(guān)系進(jìn)行擴(kuò)充。比如,如果“harm”是在情感維度詞典中維度值為“blameworthy”的詞,擴(kuò)充它的派生詞“harmful”到情感維度詞典中,同時(shí)它的情感維度值也為“blameworthy”。

    評(píng)分函數(shù)f(v∈DICk)主要是基于共現(xiàn)的思想,如果待評(píng)價(jià)的情感詞與某一已知情感維度值的情感詞共同出現(xiàn)的次數(shù)越多,則該情感詞的維度值就更有可能成為該情感維度值。在每一輪循環(huán)中,評(píng)分函數(shù)利用WordNet詞典和句法依存關(guān)系得到候選集,通過(guò)設(shè)定共現(xiàn)次數(shù)的閾值θ1,過(guò)濾掉低質(zhì)量的候選情感維度詞。這里v是當(dāng)前待評(píng)價(jià)的候選情感詞,u是已知情感維度值為k的情感維度詞典中的詞,k的取值可以是“D” “U” “P” “B”。DICk是當(dāng)前生成的維度值為k的情感維度詞典,|DICk|表示情感維度詞典元素個(gè)數(shù)。DIC是當(dāng)前所有情感維度詞典的并集,其元素個(gè)數(shù)為|DIC|。函數(shù)c(v,u) 表示詞v和詞u在同一語(yǔ)句中共現(xiàn)的次數(shù)。評(píng)分函數(shù)中詞v是否屬于某類(lèi)情感維度詞典的計(jì)算既考慮了v與該類(lèi)情感維度詞共現(xiàn)的次數(shù)(作為后驗(yàn)),也考慮到該類(lèi)情感維度詞典在當(dāng)前所有情感維度詞典中所占的詞的比例(作為先驗(yàn))。

    2.1.2 求精過(guò)程

    構(gòu)建完成后的情感維度詞典往往存在不一致性或者噪聲,包括語(yǔ)義不一致性、情感傾向不一致性,以及非情感詞等。因此利用情感維度詞的同義詞集合和反義詞集合檢查情感維度詞的正負(fù)傾向,從而過(guò)濾掉質(zhì)量低的情感維度詞,完成情感維度詞典的求精過(guò)程。

    語(yǔ)義不一致性是指同一個(gè)詞在同一情感維度上具有相互矛盾的取值,比如在“褒貶性”維度上同時(shí)具有“P”和“B”這兩個(gè)維度值或者在“合意性”維度上同時(shí)具有“D”和“U”這兩個(gè)維度值;情感傾向不一致性是指一個(gè)詞同時(shí)具有正負(fù)情感傾向相互沖突的情感維度值。情感詞的極性可以是正向或負(fù)向。根據(jù)含義可知,“P”和“D”表示對(duì)情感對(duì)象的正面態(tài)度或評(píng)價(jià),故極性為正;“B”和“U”表示對(duì)情感對(duì)象的負(fù)面態(tài)度或評(píng)價(jià),故極性為負(fù)。若檢測(cè)到語(yǔ)義或情感傾向不一致的詞,對(duì)該情感詞的求精方法根據(jù)通用語(yǔ)義詞典中的同義和反義關(guān)系共同確定其情感傾向。當(dāng)前待求精的情感維度詞的計(jì)算公式如式(2):

    式中:nSyn、nAnt分別是當(dāng)前待求精的情感詞的同義詞和反義詞的總數(shù),nSyn+、nSyn-分別是該詞的極性為正和為負(fù)的同義詞個(gè)數(shù),nSyn-、nAnt-分別是該詞的極性為正和為負(fù)的反義詞個(gè)數(shù)。同時(shí),為了保證同義詞和反義詞集合的均衡性,將其歸一化后相加。如果計(jì)算得到的score值小于某一閾值θ2,則過(guò)濾掉該情感詞。由于以往相關(guān)工作中已建立了多個(gè)關(guān)于情感詞的正負(fù)極性詞典,這里nSyn、nAnt的正負(fù)極性可通過(guò)參照這些情感極性詞典來(lái)確定。

    非情感詞包括無(wú)實(shí)際意義的詞,如具體數(shù)字、代詞等,也包括中性的名詞和動(dòng)詞。過(guò)濾的方法包括直接列出這些明顯的不應(yīng)該加入的詞加以過(guò)濾,或者計(jì)算情感傾向,將某一閾值范圍內(nèi)的詞剔除。

    除了以本身建造的情感維度詞典作為極性詞典,還采用一個(gè)公開(kāi)的極性詞表[9]。選擇這兩個(gè)極性詞典的原因是它們的優(yōu)勢(shì)可以互補(bǔ)。構(gòu)建的情感維度詞典能夠覆蓋到較大集合的情感維度詞,詞性詞表盡管質(zhì)量高,但是包含詞的數(shù)量非常有限,并且只有詞的極性信息。所以,兩者結(jié)合后彼此揚(yáng)長(zhǎng)避短。同時(shí)可以通過(guò)(3)式進(jìn)一步提高詞的質(zhì)量。

    (0≤α≤1)

    式中scorepolarity1和scorepolarity2雖然基于相同的(2)式,但是分別利用了上面提到的不同的極性詞典計(jì)算而得的。通過(guò)設(shè)定score的閾值,以避免加入質(zhì)量過(guò)低的詞。

    2.2 情感類(lèi)型的生成

    完成構(gòu)建和求精情感維度詞典后,便可以利用OCC情感模型生成情感類(lèi)型。情感類(lèi)型的生成基于情感認(rèn)知結(jié)構(gòu)模型,根據(jù)該模型中每種情感類(lèi)型與情感維度及其取值的對(duì)應(yīng)關(guān)系,自動(dòng)生成6種主要的情感類(lèi)型。具體地說(shuō),“合意性”維度值為“合意的”并且“可能性”維度值為“確定的”時(shí)對(duì)應(yīng)的情感類(lèi)型為“高興”;“合意性”維度值為“不合意的”且“可能性”維度值為“確定的”對(duì)應(yīng)的情感類(lèi)型為“悲傷”;“合意性”維度值為“合意的”且“可能性”維度值為“可能的”對(duì)應(yīng)的情感類(lèi)型為“希望”;“合意性”維度值為“不合意的”且“可能性”維度值為“可能的”對(duì)應(yīng)的情感類(lèi)型為“恐懼”;“合意性”維度值為“合意的”,“褒貶性”維度值為 “值得稱贊的”且“可能性”維度值為“確定的”對(duì)應(yīng)的情感類(lèi)型為“驕傲”;“合意性”維度值為“不合意的”, “褒貶性”維度值為“應(yīng)受責(zé)備的” 且“可能性”維度值為“確定的”對(duì)應(yīng)的情感類(lèi)型為“羞恥”。工作實(shí)現(xiàn)的6種情感類(lèi)型生成規(guī)則如下。

    規(guī)則1 如果“合意性”維度值=“合意的”并且 “可能性”維度值=“確定的”對(duì)應(yīng)的情感類(lèi)型=“高興”。

    規(guī)則2 如果“合意性”維度值=“不合意的” 并且“可能性”維度值=“確定的”對(duì)應(yīng)的情感類(lèi)型=“悲傷”。

    規(guī)則3 如果“合意性”維度值=“不合意”并且“可能性”維度值=“可能的” 對(duì)應(yīng)的情感類(lèi)型=“希望”。

    規(guī)則4 如果 “合意性”維度值=“不合意的”并且“可能性”維度值=“可能的”對(duì)應(yīng)的情感類(lèi)型=“恐懼”。

    規(guī)則5 如果“合意性”維度值=“合意的”并且“褒貶性”維度值=“值得稱贊的” 對(duì)應(yīng)的情感類(lèi)型=“驕傲”。

    規(guī)則6 如果“合意性”維度值=“不合意的”并且“褒貶性”維度值=“應(yīng)受責(zé)備的” 對(duì)應(yīng)的情感類(lèi)型=“羞恥”。

    根據(jù)前述的情感類(lèi)型的生成過(guò)程,下面給出一個(gè)具體示例。

    圖2是對(duì)句子“US’s providing aid is a step in the right direction.”的情感類(lèi)型挖掘過(guò)程。查看情感維度詞典,可得到這句話中包含2個(gè)情感維度詞,分別是“is”和“right”。其中,“is”的情感維度“可能性”取值為“確定的”,“right”的情感維度 “合意性”取值為“合意的”,情感維度“褒貶性”的取值為“值得稱贊的”。再根據(jù)情感類(lèi)型生成規(guī)則1和規(guī)則5得到兩種情感,分別為“Joy(高興)”和“Pride(驕傲)”。

    圖2 情感類(lèi)型生成示例圖Fig.2 Generation of emotion types example

    由此可見(jiàn),通過(guò)求精后的情感維度詞典和OCC模型,最后生成多種情感類(lèi)型是切實(shí)可行的。與這些情感類(lèi)型相關(guān)聯(lián)的情感對(duì)象則通過(guò)由文獻(xiàn)[9]提出的頻繁情感對(duì)象識(shí)別算法進(jìn)行挖掘。下面是一些輸出結(jié)果的示例:

    North Korea is in a bad situation.

    =gt;(North Korea ,{Distress});

    It was very wise for us to compromise and to promise food aid.

    =gt;(food aid,{Joy, Hope, Pride}).

    Consequently, this deal is brilliant.

    =gt;( deal,{Joy, Pride}).

    2.3 實(shí)驗(yàn)結(jié)果與分析

    為實(shí)際驗(yàn)證提出的基于OCC情感模型的挖掘方法,文中基于網(wǎng)上新聞評(píng)論數(shù)據(jù),設(shè)計(jì)實(shí)驗(yàn)方法,對(duì)所建立的情感維度詞典進(jìn)行有效性驗(yàn)證。

    2.3.1 數(shù)據(jù)獲取

    從紐約時(shí)報(bào)抓取了2002年1月1日~2012年1月1日這10年間的16 398個(gè)新聞評(píng)論數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),然后利用斯坦福的句法分析器將句子的成分都提取出來(lái),并且手工定義高質(zhì)量的情感維度種子詞,覆蓋情感維度值包括“D” “U” “P” “B” “L”。全部種子詞如表2(括號(hào)外為情感維度詞,括號(hào)內(nèi)為情感維度詞的詞性)所示。

    表2 情感維度種子詞

    基于情感維度種子詞,利用WordNet詞典和句法依存關(guān)系得到情感維度詞的候選集合,并基于共現(xiàn)思想進(jìn)行過(guò)濾,進(jìn)而獲得高質(zhì)量的情感維度詞,建立相應(yīng)的情感維度詞典。對(duì)情感維度詞典的求精過(guò)程完成語(yǔ)義、情感傾向的不一致處理和非情感詞的過(guò)濾。由于維度L主要通過(guò)同義詞和反義詞獲得,文中僅驗(yàn)證情感維度詞典DUPB的性能。詞典DUPB在求精前和求精后所包含詞的數(shù)目如表3所示。

    表3求精前后情感維度詞典

    Table3Emotion-dimensiondictionariesbeforeandafterrefinement

    階段DUPB求精前(含重復(fù))203316219109034108求精后(α=0.3,β=0.65)13071467794895

    2.3.2 實(shí)驗(yàn)設(shè)計(jì)

    為了保證標(biāo)注數(shù)據(jù)的客觀性,請(qǐng)兩個(gè)標(biāo)注者分別獨(dú)立標(biāo)注了237個(gè)測(cè)試數(shù)據(jù)。若標(biāo)注者認(rèn)為一句話中某個(gè)單詞包含某種情感維度值,就將其連同維度值一起標(biāo)注出來(lái)。為了檢查兩個(gè)標(biāo)注者的一致程度,采用式(4)計(jì)算其Kappa值:

    其中,Pr(a)表示實(shí)際標(biāo)注時(shí)的一致程度,Pr(e)表示隨機(jī)情況下期望的一致程度。實(shí)驗(yàn)中兩個(gè)標(biāo)注者的Kappa值為0.613(Kappa值大于0.6表明一致程度較好)。

    基于標(biāo)注數(shù)據(jù),利用精度、召回率和F值這3個(gè)指標(biāo)對(duì)情感維度詞典DUPB進(jìn)行定量評(píng)價(jià)。F值的計(jì)算公式為

    式中:F-value表示F值,precision表示精度,recall表示召回率。

    2.3.3 實(shí)驗(yàn)結(jié)果

    平均精度、召回率和F值的實(shí)驗(yàn)結(jié)果如表4所示。

    表4 實(shí)驗(yàn)結(jié)果

    由表4可知,平均精度、召回率和F值分別為0.622、0.400和0.482??梢钥吹剑楦芯S度詞典DUPB的平均精度較好但召回率還比較低,導(dǎo)致召回率較低的一個(gè)原因是情感維度詞典中的情感維度詞的數(shù)量有限,對(duì)于驗(yàn)證集中的情感維度詞覆蓋程度不足,因此召回率不高。

    2.3.4 結(jié)果分析及改進(jìn)

    上面介紹的基于OCC模型的情感挖掘方法仍存在一些可改進(jìn)之處,如:將情感維度詞典的構(gòu)建和求精分開(kāi)進(jìn)行,使用預(yù)先定義的固定模板,以及不加區(qū)分地對(duì)待詞之間的共現(xiàn)情形等。特別是,考慮到情感維度詞和模板之間的相互關(guān)聯(lián),可以通過(guò)兩者之間的互學(xué)習(xí)促進(jìn)情感挖掘的性能。

    針對(duì)以上不足,文中考慮了融合Bootstrapping的改進(jìn)方法。該方法將情感維度詞典的構(gòu)建和求精在同一個(gè)循環(huán)中完成。算法的主要思想是利用情感維度詞與模板進(jìn)行互學(xué)習(xí),并且對(duì)兩者分別進(jìn)行評(píng)分?;谇楦芯S度詞在模板前后的維度值,對(duì)模板進(jìn)行評(píng)分,將一致性/不一致性用模板的可區(qū)分性指標(biāo)進(jìn)行刻畫(huà)。這里的可區(qū)分情況有兩種:一種是模板前后的詞維度恰好一致,另一種是模板前后的詞維度恰好相反。如果一個(gè)模板在這兩種情況中的一種占大多數(shù),則該模板的質(zhì)量較好?;谀0?,對(duì)情感維度詞進(jìn)行評(píng)分,將情感維度詞屬于某個(gè)情感維度值的概率用可靠性進(jìn)行刻畫(huà)。此外,用相關(guān)性刻畫(huà)某一模板與情感維度詞共現(xiàn)的程度,用傾向性刻畫(huà)某一情感詞的極性值。

    3 結(jié)束語(yǔ)

    本文提出了一種基于認(rèn)知心理學(xué)領(lǐng)域發(fā)展成熟的情感認(rèn)知結(jié)構(gòu)模型OCC,設(shè)計(jì)并實(shí)現(xiàn)了一種基于OCC情感模型的觀點(diǎn)挖掘方法,并采用網(wǎng)上新聞評(píng)論數(shù)據(jù),采用實(shí)驗(yàn)方法初步驗(yàn)證了文中方法的有效性。與相關(guān)工作比較,該方法所需要的人力少,且在使用靈活性和有效性上具有明顯的優(yōu)勢(shì)。同時(shí),本文基于經(jīng)典的情感認(rèn)知結(jié)構(gòu)模型,不但給文本情感分析這一研究問(wèn)題賦予了更深層次的認(rèn)知結(jié)構(gòu)關(guān)聯(lián),而且為情感類(lèi)型的輸出維度提供了一個(gè)建立在認(rèn)知心理學(xué)模型基礎(chǔ)上的更加精細(xì)的解釋。

    [1]CHEN, Hsinchun. AI and opinion mining, part 2[J]. IEEE intelligentsystems, 2010, 25(4): 72-79.

    [2]CHEN, Hsinchun, DAVID Z. AI and opinion mining[J]. IEEE intelligentsystems, 2010, 25(3): 74-80.

    [3]PANG B, LEE L, VAITHYANATHAN S. Thumbs up?: sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing-Volume 10. Stroudsburg,USA, 2002: 79-86.

    [4]TURNEY P D. Thumbs up or thumbs down?: semantic orientation applied to unsupervised classification of reviews[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg, USA, 2002: 417-424.

    [5]WIEBE J, WILSON T, BRUCE R, et al. Learning subjective language[J]. Computational linguistics, 2004, 30(3): 277-308.

    [6]ATTARDI G, SIMI M. Blog Mining through opinionated words[C]//Fifteenth Text Retrieval Conference, Trec 2006.Gaithersburg, USA, 2006.

    [7]HATZIVASSILOGLOU V, WIEBE J M. Effects of adjective orientation and gradability on sentence subjectivity[C]//Proceedings of the 18th Conference on Computational Linguistics-Volume 1. Stroudsburg, USA, 2000: 299-305.

    [8]RILOFF E, WIEBE J, WILSON T. Learning subjective nouns using extraction pattern bootstrapping[C]//Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003-Volume 4. Stroudsburg,USA,2003: 25-32.

    [9]HU M, LIU B. Mining and summarizing customer reviews[C]//Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2004: 168-177.

    [10]HU M, LIU B. Mining opinion features in customer reviews[C]//AAAI. 2004, 4(4): 755-760.

    [11]ZHANG C, ZENG D, LI J, et al. Sentiment analysis of Chinese documents: from sentence to document level[J]. Journal of the American society for information science and technology, 2009, 60(12): 2474-2487.

    [12]READ J. Recognising affect in text using pointwise-mutual information[D]. Brighton:University of Sussex,2004:1-29.

    [13]MISHNE G. Experiments with mood classification in blog posts[C]//Proceedings of ACM SIGIR 2005 Workshop on Stylistic Analysis of Text for Information Access. Stroudsburg,USA, 2005: 19.

    [14]ALM C O, ROTH D, SPROAT R. Emotions from text: machine learning for text-based emotion prediction[C]//Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing. Association for Computational Linguistics,2005: 579-586.

    [15]FENG S, WANG D, YU G, et al. Extracting common emotions from blogs based on fine-grained sentiment clustering[J]. Knowledge and information systems, 2011, 27(2): 281-302.

    [16]KESHTKAR F, INKPEN D. Using sentiment orientation features for mood classification in blogs[C]//Proceedings of the IEEE International Conference on Natural Language Processing and Knowledge Engineering (IEEE NLP-KE 2009).Dalian, China, 2009.

    [17]SHAIKH M A M. An analytical approach for affect sensing from text[D]. Toyko: University of Tokyo,2008: 1-111.

    [18]YANG C, LIN K H Y, CHEN H H. Building emotion lexicon from weblog corpora[C]//Proceedings of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions. Stroudsburg, USA, 2007: 133-136.

    [19]MAO Y, LEBANON G. Sequential models for sentiment prediction[C]//ICML Workshop on Learning in Structured Output Spaces. Pittsburgh, USA, 2006.

    [20]FRIJDA N H. The emotions[M]. New York: Cambridge University Press, 1986.

    [21]ORTONY A. The cognitive structure of emotions[M]. New York: Cambridge University Press, 1990.

    [22]LAZARUS R S. Emotion and adaptation[M]. New York: Oxford University Press, 1991.

    [23]SCHERER K R, SCHORR A E, JOHNSTONE T E. Appraisal processes in emotion: theory, methods, research[M]. New York: Oxford University Press, 2001.

    皇甫璐雯,女,1988年生,碩士研究生,主要研究方向?yàn)樯鐣?huì)媒體信息分析與處理、情感分析與觀點(diǎn)挖掘。

    毛文吉,女,1968年生,研究員,博士生導(dǎo)師,主要研究方向?yàn)橹悄苄畔⑻幚?、人工智能、社?huì)計(jì)算。

    OCC-model-basedtext-emotionminingmethod

    HUANGFU Luwen, MAO Wenji

    (State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Science, Beijing 100190, China)

    Opinion mining, also called sentiment analysis, as one of the core research areas in the network-oriented social media analysis and mining domain, has important practical and research significance. Due to the weaknesses and limitations of traditional opinion mining methods, in this study, we designe and implemente an OCC emotion model-based opinion mining method for extracting emotion types from text. First, we adopte a statistical method to construct an emotion dictionary, based on candidate sets collected by the WordNet dictionary, as well as several syntactic dependent relationships and a small amount of annotated data. Next, we refine the constructed emotion-dimension dictionary to improve its quality by filtering out non-emotional words as well as emotional words that have conflicting syntactic or orientation. Lastly, we generate six main emotion types based on the obtained emotion-dimension dictionary combined with the corresponding relations between emotional dimensions and the different emotion types identified by the OCC model. Experimental results show that the proposed method has obvious advantages with respect to flexibility of usage, interpretability, and effectiveness.

    opinion mining; OCC emotion model; emotional dimension; emotion types; emotion dictionary; cognitive psychology; emotion mining; co-occurrence

    10.11992/tis.201312032

    http://kns.cnki.net/kcms/detail/23.1538.TP.20171021.1342.002.html

    TP391

    A

    1673-4785(2017)05-0645-08

    中文引用格式:皇甫璐雯,毛文吉.一種基于OCC模型的文本情感挖掘方法J.智能系統(tǒng)學(xué)報(bào), 2017, 12(5): 645-652.

    英文引用格式:HUANGFULuwen,MAOWenji.OCC-model-basedtext-emotionminingmethodJ.CAAItransactionsonintelligentsystems, 2017, 12(5): 645-652.

    2013-12-17. < class="emphasis_bold">網(wǎng)絡(luò)出版日期

    日期:2017-10-21.

    國(guó)家自然科學(xué)基金項(xiàng)目(61175040, 71025001).

    毛文吉. E-mail:wenji.mao@ia.ac.cn.

    猜你喜歡
    詞典維度情感
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    失落的情感
    北極光(2019年12期)2020-01-18 06:22:10
    米沃什詞典
    文苑(2019年24期)2020-01-06 12:06:50
    淺論詩(shī)中“史”識(shí)的四個(gè)維度
    情感
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    評(píng)《現(xiàn)代漢語(yǔ)詞典》(第6版)
    詞典例證翻譯標(biāo)準(zhǔn)探索
    光的維度
    燈與照明(2016年4期)2016-06-05 09:01:45
    “五個(gè)維度”解有機(jī)化學(xué)推斷題
    啦啦啦在线观看免费高清www| 99热国产这里只有精品6| 国产av精品麻豆| 欧美人与善性xxx| 波野结衣二区三区在线| 亚洲欧美成人综合另类久久久| 亚洲综合色惰| 国产男人的电影天堂91| 亚洲欧美清纯卡通| 精品亚洲成国产av| 国产高清不卡午夜福利| 亚洲怡红院男人天堂| 一级二级三级毛片免费看| 老司机亚洲免费影院| 黄色视频在线播放观看不卡| 麻豆乱淫一区二区| 国产伦精品一区二区三区四那| 欧美区成人在线视频| 亚洲精品日韩av片在线观看| 天美传媒精品一区二区| 精品少妇内射三级| 高清毛片免费看| 99国产精品免费福利视频| 国内少妇人妻偷人精品xxx网站| 亚洲av男天堂| 中国国产av一级| 老司机亚洲免费影院| 极品少妇高潮喷水抽搐| 国产av码专区亚洲av| 欧美日韩精品成人综合77777| 久久ye,这里只有精品| 国产精品嫩草影院av在线观看| 国产深夜福利视频在线观看| 三级经典国产精品| 亚洲怡红院男人天堂| 国产黄片视频在线免费观看| 一级av片app| 蜜桃在线观看..| 高清黄色对白视频在线免费看 | 在线 av 中文字幕| 中文字幕久久专区| 成人午夜精彩视频在线观看| 纵有疾风起免费观看全集完整版| 九色成人免费人妻av| 美女cb高潮喷水在线观看| 成年av动漫网址| 亚洲久久久国产精品| 日韩av不卡免费在线播放| 国产男人的电影天堂91| 水蜜桃什么品种好| 欧美老熟妇乱子伦牲交| 国产一区二区三区av在线| 夫妻午夜视频| 人妻系列 视频| 日韩一区二区视频免费看| 午夜福利在线观看免费完整高清在| 一区二区av电影网| 精品国产国语对白av| 中文字幕免费在线视频6| 麻豆成人av视频| 日日啪夜夜撸| 色视频在线一区二区三区| 日韩一区二区三区影片| 十八禁网站网址无遮挡 | 纯流量卡能插随身wifi吗| 国产成人一区二区在线| av福利片在线| 亚洲国产欧美在线一区| 国产日韩一区二区三区精品不卡 | 黄片无遮挡物在线观看| 亚洲国产av新网站| 大片电影免费在线观看免费| 在线观看美女被高潮喷水网站| 最近中文字幕高清免费大全6| 啦啦啦视频在线资源免费观看| videossex国产| 日韩一区二区三区影片| 国产爽快片一区二区三区| 日韩电影二区| 久久av网站| 夫妻性生交免费视频一级片| 国内少妇人妻偷人精品xxx网站| 免费观看a级毛片全部| 亚洲av男天堂| 久久ye,这里只有精品| 久久 成人 亚洲| 欧美日韩av久久| 香蕉精品网在线| 国产亚洲av片在线观看秒播厂| 国产精品不卡视频一区二区| 精品国产一区二区三区久久久樱花| 欧美日韩视频精品一区| 五月玫瑰六月丁香| a 毛片基地| 久热这里只有精品99| 日韩人妻高清精品专区| a级片在线免费高清观看视频| 亚洲经典国产精华液单| xxx大片免费视频| 久久久久网色| 国产精品不卡视频一区二区| 国产欧美日韩综合在线一区二区 | 国产午夜精品一二区理论片| 成人黄色视频免费在线看| 国产av国产精品国产| 成年av动漫网址| 黑丝袜美女国产一区| 99久久中文字幕三级久久日本| 亚洲综合精品二区| 少妇被粗大的猛进出69影院 | 在线观看免费视频网站a站| 黄色一级大片看看| 日韩欧美 国产精品| 日本wwww免费看| 大片免费播放器 马上看| 十八禁高潮呻吟视频 | 国产乱来视频区| 高清视频免费观看一区二区| 看非洲黑人一级黄片| 男男h啪啪无遮挡| 精品亚洲乱码少妇综合久久| 亚洲电影在线观看av| 国产男人的电影天堂91| 啦啦啦啦在线视频资源| 久久女婷五月综合色啪小说| 国产欧美另类精品又又久久亚洲欧美| 国产乱来视频区| 亚洲国产日韩一区二区| 日本wwww免费看| 久久国内精品自在自线图片| 日韩精品免费视频一区二区三区 | 日韩在线高清观看一区二区三区| 最新中文字幕久久久久| 麻豆成人午夜福利视频| 不卡视频在线观看欧美| 亚州av有码| 日韩 亚洲 欧美在线| 国产成人一区二区在线| 97超视频在线观看视频| 久久99热6这里只有精品| 精品人妻熟女毛片av久久网站| 精品国产乱码久久久久久小说| videossex国产| 中文字幕久久专区| 日韩中字成人| 亚洲精品日本国产第一区| 午夜免费男女啪啪视频观看| 亚洲av成人精品一二三区| 王馨瑶露胸无遮挡在线观看| 赤兔流量卡办理| 国产精品福利在线免费观看| 丰满少妇做爰视频| 国产在线男女| 搡女人真爽免费视频火全软件| 亚洲综合精品二区| 伦精品一区二区三区| 一区在线观看完整版| 久久ye,这里只有精品| 精品少妇内射三级| 日本-黄色视频高清免费观看| 成人国产麻豆网| 少妇裸体淫交视频免费看高清| 亚洲人与动物交配视频| 少妇被粗大的猛进出69影院 | 国产精品三级大全| av在线播放精品| 久久久久网色| 久久精品国产亚洲av天美| 欧美高清成人免费视频www| 午夜福利在线观看免费完整高清在| 日本午夜av视频| 中国三级夫妇交换| 综合色丁香网| 乱系列少妇在线播放| 观看免费一级毛片| 大香蕉久久网| 午夜av观看不卡| 亚洲国产精品一区三区| 午夜福利影视在线免费观看| 亚洲精品第二区| 自线自在国产av| 青春草视频在线免费观看| 十八禁网站网址无遮挡 | a级毛色黄片| videos熟女内射| 日本欧美视频一区| av视频免费观看在线观看| 国产白丝娇喘喷水9色精品| 欧美区成人在线视频| 免费观看av网站的网址| 国产极品粉嫩免费观看在线 | 观看av在线不卡| 有码 亚洲区| 高清欧美精品videossex| 免费黄网站久久成人精品| 五月开心婷婷网| 少妇人妻一区二区三区视频| 一级毛片久久久久久久久女| 韩国高清视频一区二区三区| 色网站视频免费| 男女边吃奶边做爰视频| 极品少妇高潮喷水抽搐| 免费人妻精品一区二区三区视频| 国产高清有码在线观看视频| 亚洲精品中文字幕在线视频 | 国产av码专区亚洲av| 国产精品麻豆人妻色哟哟久久| 成年美女黄网站色视频大全免费 | 亚洲av福利一区| 亚洲国产精品成人久久小说| 两个人免费观看高清视频 | 国产视频内射| 在线精品无人区一区二区三| 精品一区二区免费观看| 国产免费一区二区三区四区乱码| 国产精品国产三级专区第一集| 久久鲁丝午夜福利片| 人妻夜夜爽99麻豆av| 少妇人妻 视频| 亚洲国产精品一区三区| 狂野欧美白嫩少妇大欣赏| 久久婷婷青草| 观看av在线不卡| 99九九在线精品视频 | 亚洲精品,欧美精品| 夫妻午夜视频| 99热6这里只有精品| 少妇的逼水好多| 亚洲精品日韩在线中文字幕| 国产精品三级大全| 国产黄色视频一区二区在线观看| 国产午夜精品一二区理论片| 日本vs欧美在线观看视频 | 色婷婷av一区二区三区视频| 亚洲精品456在线播放app| 在线看a的网站| 久久6这里有精品| 在线观看免费视频网站a站| 亚洲av成人精品一二三区| 国产中年淑女户外野战色| 国产男女超爽视频在线观看| 校园人妻丝袜中文字幕| 国产又色又爽无遮挡免| 精品久久久久久久久av| 亚洲精品一区蜜桃| av播播在线观看一区| 老司机亚洲免费影院| 免费大片黄手机在线观看| 男女边吃奶边做爰视频| 久久国产精品男人的天堂亚洲 | 亚洲激情五月婷婷啪啪| 亚洲精品日本国产第一区| av有码第一页| 久久99热这里只频精品6学生| 国产淫语在线视频| 日韩大片免费观看网站| 久久久久久久久久久丰满| 国产极品天堂在线| 国产 精品1| 老司机影院毛片| 成人18禁高潮啪啪吃奶动态图 | 亚洲久久久国产精品| 高清av免费在线| 亚洲美女搞黄在线观看| 日本与韩国留学比较| 99久国产av精品国产电影| 免费大片黄手机在线观看| 亚洲精品国产成人久久av| 少妇精品久久久久久久| 精品国产一区二区久久| 狠狠精品人妻久久久久久综合| 久久久亚洲精品成人影院| 午夜老司机福利剧场| 国产精品99久久久久久久久| 国产亚洲最大av| 国产高清三级在线| 精品一区二区免费观看| 九九爱精品视频在线观看| 国产黄色免费在线视频| 曰老女人黄片| 国产有黄有色有爽视频| 91久久精品国产一区二区成人| 中文资源天堂在线| 国产高清国产精品国产三级| 99久久精品一区二区三区| 丰满人妻一区二区三区视频av| 国产欧美日韩一区二区三区在线 | 噜噜噜噜噜久久久久久91| 国产精品久久久久久久久免| 赤兔流量卡办理| 超碰97精品在线观看| 日韩成人伦理影院| 国产 一区精品| 天美传媒精品一区二区| 高清毛片免费看| 人人妻人人澡人人爽人人夜夜| 久久久久久久久大av| 国产老妇伦熟女老妇高清| 免费看不卡的av| 观看av在线不卡| 婷婷色综合www| 国产在线男女| 国产欧美日韩综合在线一区二区 | 免费看日本二区| 国产有黄有色有爽视频| 丰满乱子伦码专区| 特大巨黑吊av在线直播| 99视频精品全部免费 在线| 免费观看性生交大片5| 国产精品人妻久久久久久| 亚洲内射少妇av| 国产一区有黄有色的免费视频| 草草在线视频免费看| 香蕉精品网在线| 一区二区三区精品91| 日韩亚洲欧美综合| 人妻夜夜爽99麻豆av| 国产在视频线精品| 免费av不卡在线播放| 大码成人一级视频| 亚洲人成网站在线播| 如日韩欧美国产精品一区二区三区 | 日韩熟女老妇一区二区性免费视频| 天堂8中文在线网| 欧美高清成人免费视频www| 有码 亚洲区| 一级爰片在线观看| 国产精品人妻久久久影院| 高清在线视频一区二区三区| 日日撸夜夜添| 中文字幕人妻熟人妻熟丝袜美| 欧美bdsm另类| 亚洲美女搞黄在线观看| 菩萨蛮人人尽说江南好唐韦庄| 18禁动态无遮挡网站| av播播在线观看一区| 三级国产精品片| 日韩av不卡免费在线播放| 中文乱码字字幕精品一区二区三区| 九九在线视频观看精品| 人妻人人澡人人爽人人| 在线天堂最新版资源| 精品国产国语对白av| 成人亚洲精品一区在线观看| 欧美日韩国产mv在线观看视频| 久久久国产精品麻豆| 高清不卡的av网站| 性高湖久久久久久久久免费观看| 青青草视频在线视频观看| 亚洲av成人精品一区久久| 久久国产乱子免费精品| 国产精品99久久99久久久不卡 | 国产亚洲午夜精品一区二区久久| 在线观看免费视频网站a站| 啦啦啦在线观看免费高清www| 一级爰片在线观看| 高清av免费在线| 男女无遮挡免费网站观看| 日韩中文字幕视频在线看片| 成人综合一区亚洲| 国产男女内射视频| 国产成人午夜福利电影在线观看| 成人漫画全彩无遮挡| 日韩成人伦理影院| 校园人妻丝袜中文字幕| 国产欧美亚洲国产| 99久久综合免费| 亚洲av二区三区四区| 毛片一级片免费看久久久久| .国产精品久久| 久久韩国三级中文字幕| 久久久久精品性色| 亚洲精品乱码久久久久久按摩| 黄色视频在线播放观看不卡| 亚洲精品久久久久久婷婷小说| 免费在线观看成人毛片| 欧美日韩视频精品一区| 丝袜在线中文字幕| 成人国产麻豆网| 久久精品国产a三级三级三级| 成人国产麻豆网| 欧美成人午夜免费资源| 色婷婷av一区二区三区视频| 新久久久久国产一级毛片| 国产成人免费观看mmmm| 欧美精品高潮呻吟av久久| 亚洲精品色激情综合| 黄色欧美视频在线观看| av一本久久久久| 亚洲精品一二三| 国产精品女同一区二区软件| 岛国毛片在线播放| 高清不卡的av网站| 99精国产麻豆久久婷婷| 在现免费观看毛片| 国产永久视频网站| 麻豆精品久久久久久蜜桃| 国产精品偷伦视频观看了| 亚洲精品第二区| 一区二区三区精品91| 免费看av在线观看网站| 国产欧美日韩综合在线一区二区 | 国产 一区精品| 久久久久久久大尺度免费视频| av福利片在线| 精品亚洲成a人片在线观看| 久久久久久久久大av| 国产色爽女视频免费观看| 亚洲av福利一区| 秋霞伦理黄片| 成人18禁高潮啪啪吃奶动态图 | 国产精品久久久久久久电影| av女优亚洲男人天堂| 久久免费观看电影| 婷婷色av中文字幕| 精品久久久久久久久亚洲| 成年av动漫网址| 色婷婷av一区二区三区视频| 男人添女人高潮全过程视频| 在线观看国产h片| 不卡视频在线观看欧美| videossex国产| 日本免费在线观看一区| 熟女人妻精品中文字幕| 国产精品福利在线免费观看| 九九爱精品视频在线观看| 一级毛片 在线播放| 日韩视频在线欧美| 青春草亚洲视频在线观看| 亚洲,欧美,日韩| 一二三四中文在线观看免费高清| 99精国产麻豆久久婷婷| 下体分泌物呈黄色| av在线观看视频网站免费| 香蕉精品网在线| 日韩制服骚丝袜av| 日本欧美视频一区| 久久午夜综合久久蜜桃| 国产在线免费精品| 插阴视频在线观看视频| 日韩av不卡免费在线播放| 久久精品久久久久久久性| 精品国产乱码久久久久久小说| 精品人妻一区二区三区麻豆| 国产国拍精品亚洲av在线观看| 免费看不卡的av| 日本爱情动作片www.在线观看| 五月开心婷婷网| 美女cb高潮喷水在线观看| 伊人亚洲综合成人网| 日本黄色片子视频| 精品国产一区二区久久| 日韩电影二区| 少妇裸体淫交视频免费看高清| 久久久久久久久久久免费av| 国产黄片视频在线免费观看| 91精品一卡2卡3卡4卡| 啦啦啦在线观看免费高清www| 内地一区二区视频在线| 国产亚洲5aaaaa淫片| 丝袜脚勾引网站| 精品熟女少妇av免费看| 一区二区三区免费毛片| 人人妻人人澡人人看| 成人二区视频| 国产成人91sexporn| 青春草视频在线免费观看| 中国国产av一级| av有码第一页| 成年人午夜在线观看视频| 久久99精品国语久久久| 黑人巨大精品欧美一区二区蜜桃 | 亚洲天堂av无毛| 国产乱人偷精品视频| 国产亚洲91精品色在线| 国产伦理片在线播放av一区| 好男人视频免费观看在线| 纵有疾风起免费观看全集完整版| 男人狂女人下面高潮的视频| 一本—道久久a久久精品蜜桃钙片| 80岁老熟妇乱子伦牲交| 免费观看性生交大片5| 国产有黄有色有爽视频| 国产日韩欧美视频二区| 视频区图区小说| 国产成人精品一,二区| 精品一区在线观看国产| av有码第一页| 国产精品久久久久久精品电影小说| 黄片无遮挡物在线观看| 在线观看人妻少妇| a级毛片免费高清观看在线播放| 人妻制服诱惑在线中文字幕| 国内精品宾馆在线| 国产亚洲5aaaaa淫片| av线在线观看网站| 国产精品欧美亚洲77777| 人妻制服诱惑在线中文字幕| 在现免费观看毛片| 国产一区二区三区av在线| av在线app专区| 黑人猛操日本美女一级片| 黄色一级大片看看| av女优亚洲男人天堂| 成人黄色视频免费在线看| 久久久a久久爽久久v久久| 噜噜噜噜噜久久久久久91| 亚洲av二区三区四区| 国产精品一区www在线观看| 精华霜和精华液先用哪个| 午夜影院在线不卡| 一级毛片久久久久久久久女| 日本免费在线观看一区| 啦啦啦啦在线视频资源| 日韩三级伦理在线观看| 亚洲,欧美,日韩| 最近手机中文字幕大全| 亚洲欧美精品专区久久| videos熟女内射| 成人18禁高潮啪啪吃奶动态图 | 日韩av在线免费看完整版不卡| 中文字幕免费在线视频6| 国产国拍精品亚洲av在线观看| 欧美日本中文国产一区发布| 亚洲av免费高清在线观看| 欧美日韩在线观看h| 少妇精品久久久久久久| 少妇裸体淫交视频免费看高清| 亚洲电影在线观看av| 99热这里只有是精品在线观看| 久久久久久伊人网av| 亚洲精品一二三| 精品久久久精品久久久| 国产亚洲5aaaaa淫片| 国产日韩欧美亚洲二区| 亚洲情色 制服丝袜| 欧美日韩一区二区视频在线观看视频在线| 韩国高清视频一区二区三区| 爱豆传媒免费全集在线观看| 亚洲在久久综合| 男人和女人高潮做爰伦理| 日本色播在线视频| 精品视频人人做人人爽| 美女福利国产在线| 午夜日本视频在线| videos熟女内射| 欧美性感艳星| 中文字幕人妻丝袜制服| 在线观看www视频免费| 久久久久视频综合| 国产一区二区三区综合在线观看 | 一区二区三区免费毛片| 欧美亚洲 丝袜 人妻 在线| 丁香六月天网| 久久人人爽av亚洲精品天堂| 亚洲欧美一区二区三区黑人 | 在线观看三级黄色| 伊人久久精品亚洲午夜| av女优亚洲男人天堂| 久久久久精品久久久久真实原创| 午夜视频国产福利| 能在线免费看毛片的网站| 久久99蜜桃精品久久| 一个人免费看片子| 久久精品久久精品一区二区三区| 美女大奶头黄色视频| 乱人伦中国视频| 久久ye,这里只有精品| 香蕉精品网在线| 精品久久国产蜜桃| 国产男女超爽视频在线观看| 日本黄色片子视频| 中文精品一卡2卡3卡4更新| 亚洲欧美日韩东京热| 国产精品一区www在线观看| 精品国产一区二区久久| 日韩成人伦理影院| 在现免费观看毛片| 亚洲欧美成人综合另类久久久| 国产精品人妻久久久久久| 一本大道久久a久久精品| 观看av在线不卡| 80岁老熟妇乱子伦牲交| 亚洲va在线va天堂va国产| 午夜日本视频在线| 国产高清三级在线| 亚洲欧美日韩卡通动漫| 男人舔奶头视频| av在线老鸭窝| 免费观看无遮挡的男女| 久久久午夜欧美精品| 丝袜喷水一区| 久久99热这里只频精品6学生| 久久热精品热| 乱码一卡2卡4卡精品| 偷拍熟女少妇极品色| 大话2 男鬼变身卡| 内地一区二区视频在线| 一级二级三级毛片免费看| 国产免费一级a男人的天堂| 国产深夜福利视频在线观看| 免费大片18禁| 日韩欧美 国产精品| 日日啪夜夜爽| 观看美女的网站| 天天操日日干夜夜撸| 久久精品国产亚洲av天美| 人人澡人人妻人| 91久久精品电影网| 国产日韩欧美亚洲二区| av国产精品久久久久影院| 国产黄色免费在线视频| 国产日韩欧美在线精品| 亚洲高清免费不卡视频| 国产真实伦视频高清在线观看|