• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    一種基于OCC模型的文本情感挖掘方法

    2017-12-05 11:22:22皇甫璐雯毛文吉
    智能系統(tǒng)學(xué)報(bào) 2017年5期
    關(guān)鍵詞:詞典維度情感

    皇甫璐雯,毛文吉

    (中國(guó)科學(xué)院自動(dòng)化研究所 復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100190)

    一種基于OCC模型的文本情感挖掘方法

    皇甫璐雯,毛文吉

    (中國(guó)科學(xué)院自動(dòng)化研究所 復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100190)

    觀點(diǎn)挖掘(或情感分析)作為面向網(wǎng)絡(luò)社會(huì)媒體分析挖掘領(lǐng)域的一個(gè)核心研究課題,具有重要的研究意義和應(yīng)用價(jià)值。針對(duì)傳統(tǒng)觀點(diǎn)挖掘方法存在的不足和局限性,本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于OCC情感模型的觀點(diǎn)挖掘方法。該方法首先采用統(tǒng)計(jì)方法,利用WordNet詞典、句法依存關(guān)系及少量標(biāo)注數(shù)據(jù),自動(dòng)構(gòu)建情感維度詞典;其次,對(duì)所構(gòu)建的情感維度詞典進(jìn)行求精,通過(guò)語(yǔ)義、情感傾向的不一致性處理和非情感詞的過(guò)濾,得到高質(zhì)量的情感維度詞典;最后,基于所得到的情感維度詞典,結(jié)合OCC模型中情感維度值與情感類(lèi)型的對(duì)應(yīng)關(guān)系,生成6種主要的情感類(lèi)型。實(shí)驗(yàn)方法表明,此方法在使用靈活性、可解釋性和有效性上具有明顯的優(yōu)勢(shì)。

    觀點(diǎn)挖掘;OCC情感模型;情感維度;情感類(lèi)型;情感詞典;認(rèn)知心理學(xué);情感挖掘;共現(xiàn)

    近年來(lái),社會(huì)媒體迅猛發(fā)展并快速滲透到了社會(huì)、經(jīng)濟(jì)、政治、文化等各方面,互聯(lián)網(wǎng)用戶產(chǎn)生的內(nèi)容中包含大量關(guān)于用戶意見(jiàn)、態(tài)度、情緒等有價(jià)值的信息,而且其數(shù)量隨時(shí)間累積呈指數(shù)級(jí)增長(zhǎng)。這些信息主要是用戶的主觀性觀點(diǎn),與客觀的事實(shí)有很大的不同。這些包含用戶觀點(diǎn)的海量數(shù)據(jù)蘊(yùn)含著巨大的實(shí)際應(yīng)用價(jià)值,亟需自動(dòng)化的計(jì)算分析與處理技術(shù),這種現(xiàn)象促進(jìn)了觀點(diǎn)挖掘與情感分析這一新興研究領(lǐng)域的蓬勃發(fā)展。目前,觀點(diǎn)挖掘(或情感分析)[1-2]已成為社會(huì)媒體分析挖掘領(lǐng)域的一個(gè)核心研究課題,其研究成果已應(yīng)用于用戶觀點(diǎn)發(fā)現(xiàn)、產(chǎn)品評(píng)論分析及社會(huì)輿情監(jiān)控等領(lǐng)域,并在推動(dòng)社會(huì)和諧發(fā)展、改善人們生活方面發(fā)揮重要作用[3]。

    互聯(lián)網(wǎng)中的文本數(shù)據(jù)大致可以分為兩類(lèi):一類(lèi)用來(lái)陳述客觀性的事實(shí),另一類(lèi)用來(lái)表達(dá)主觀性的觀點(diǎn)。相對(duì)于客觀性的事實(shí)數(shù)據(jù),主觀性的觀點(diǎn)數(shù)據(jù)由于其內(nèi)在的復(fù)雜性,在研究方法和技術(shù)上與前者區(qū)別較大。目前觀點(diǎn)挖掘分為兩類(lèi)工作:識(shí)別觀點(diǎn)的正負(fù)極性和文本中的情感類(lèi)型。文本中的情感類(lèi)型比正負(fù)極性包含更為豐富的信息,因而挖掘文本中的情感類(lèi)型更具有挑戰(zhàn)性,但往往需要大量的手工標(biāo)注數(shù)據(jù),并且所獲得的情感類(lèi)型常常缺乏可解釋性。

    挖掘觀點(diǎn)正負(fù)極性的方法主要有文檔級(jí)觀點(diǎn)挖掘[3-4]、語(yǔ)句級(jí)觀點(diǎn)挖掘[5-8]、基于情感對(duì)象特征的觀點(diǎn)挖掘[9-10]等。Turney[4]提出了一種利用非監(jiān)督學(xué)習(xí)方法計(jì)算詞之間的互信息(PMI)來(lái)判斷整個(gè)文檔的正負(fù)極性。Pang等[3]提出采用多種機(jī)器學(xué)習(xí)方法分類(lèi)每篇電影評(píng)論的正負(fù)極性。Wiebe等[8]通過(guò)大量數(shù)據(jù)集學(xué)習(xí)線索和特征,區(qū)分主觀觀點(diǎn)和客觀事實(shí),并在語(yǔ)句級(jí)判斷觀點(diǎn)的正負(fù)極性。Zhang等[11]提出利用詞之間的依賴關(guān)系分析中文語(yǔ)句的正負(fù)傾向性。Hu等[9]利用頻繁挖掘算法獲得情感對(duì)象特征,再利用語(yǔ)義詞典確定情感詞的正負(fù)極性,從而輸出針對(duì)每個(gè)情感對(duì)象特征的相關(guān)正負(fù)評(píng)論。

    挖掘文本中情感類(lèi)型的方法主要包括基于統(tǒng)計(jì)的方法[12]、機(jī)器學(xué)習(xí)方法[13-16]、基于情感結(jié)構(gòu)/模型的方法[16-17]等。基于機(jī)器學(xué)習(xí)的情感類(lèi)型挖掘工作主要采用分類(lèi)學(xué)習(xí)算法[13-14,16,18-19]。Mostafa[17]提出了一種基于情感模型的方法,該方法利用大量的手工標(biāo)注數(shù)據(jù),并基于主要的情感變量計(jì)算語(yǔ)句中幾乎所有詞的情感變量值,進(jìn)而計(jì)算得到整個(gè)語(yǔ)句的情感類(lèi)型。但是,這種方法不但需要大量人力,費(fèi)時(shí)費(fèi)力,而且不加區(qū)分地計(jì)算句子中出現(xiàn)的詞,導(dǎo)致該方法的效率和性能較低。

    綜上,觀點(diǎn)傾向性的傳統(tǒng)挖掘方法主要關(guān)注觀點(diǎn)的正負(fù)極性而忽略了其豐富的情感類(lèi)型;已有的情感類(lèi)型挖掘盡管能夠輸出豐富的情感類(lèi)型,但是需要大量的標(biāo)注數(shù)據(jù)支持。此外,以往工作幾乎都未考慮情感認(rèn)知理論模型在觀點(diǎn)挖掘和情感分析中的重要作用。因此,為了更好地實(shí)現(xiàn)從網(wǎng)上文本數(shù)據(jù)中挖掘出豐富的情感類(lèi)型,文中提出一種基于OCC情感模型的觀點(diǎn)挖掘方法。

    1 情感的認(rèn)知結(jié)構(gòu)模型OCC

    認(rèn)知評(píng)估理論[20-23]是認(rèn)知心理學(xué)研究中最為成熟和影響最廣的情感理論。認(rèn)知評(píng)估理論認(rèn)為評(píng)估過(guò)程是個(gè)體評(píng)價(jià)其與所處環(huán)境間的關(guān)系,包括目前的條件、導(dǎo)致當(dāng)前狀態(tài)的事件和對(duì)未來(lái)的預(yù)期。評(píng)估理論認(rèn)為評(píng)估本身盡管不是一個(gè)慎思的過(guò)程,但其確實(shí)由認(rèn)知的過(guò)程提供信息,尤其是那些參與理解和與環(huán)境交互的過(guò)程。評(píng)估將這些異類(lèi)過(guò)程的特征映射到一個(gè)共同的中介術(shù)語(yǔ)集(即維度變量)。這些維度變量作為個(gè)體與環(huán)境之間關(guān)系的中介描述,在刺激源和反應(yīng)之間進(jìn)行協(xié)調(diào)。維度變量刻畫(huà)了對(duì)個(gè)體而言事件的重要特征。

    認(rèn)知評(píng)估理論中的不同情感模型采用了不同的情感維度變量,但它們所使用的情感維度變量間有很大的相似性,其中文獻(xiàn)[23]工作中的分類(lèi)最全,包括相關(guān)性(relevance)、合意性(desirability)、行動(dòng)性(actionability)、責(zé)備/褒獎(jiǎng)(praise/blame-worthiness)、可能性(likelihood)、意外性(unexpectedness)、自我投入(ego-involvement)、可控性(controllability)、權(quán)力(power)、適應(yīng)性(adaptability)。

    不同的情感維度變量及其取值產(chǎn)生不同的情感類(lèi)型。比如,在一個(gè)具體的經(jīng)濟(jì)環(huán)境下,“賠錢(qián)”是個(gè)不合人意的事件,并導(dǎo)致負(fù)性情感評(píng)估。在此情形下,其他變量的不同取值可引發(fā)不同的情感評(píng)估。諸如,如果可能性是不確定的,引發(fā)“恐懼”(fear)情感,否則引發(fā)“悲傷”(distress)情感。自我的行動(dòng)帶來(lái)應(yīng)受到責(zé)備的行為后果引發(fā)“羞恥”(shame),如果事件是不合己意的,則帶來(lái)“悔恨”(remorse)。如果不合己意的事件帶來(lái)的后果是他人應(yīng)受到責(zé)備的行為引發(fā)的,則導(dǎo)致“生氣”(anger)情感。

    OCC情感模型[21]是認(rèn)知心理學(xué)中經(jīng)典的情感認(rèn)知結(jié)構(gòu)模型,也是在計(jì)算領(lǐng)域近年來(lái)采用最多的心理學(xué)情感模型,在情感的計(jì)算建模中有著非常廣泛的應(yīng)用。

    OCC情感模型的整個(gè)層次結(jié)構(gòu)主要包括3個(gè)部分:與事件結(jié)果相關(guān)的情感,與智能體行為相關(guān)的情感和與對(duì)象屬性相關(guān)的情感。這3個(gè)部分也可以結(jié)合起來(lái)組合成更為復(fù)雜的情感類(lèi)型。該模型共描述了22種不同情感類(lèi)型的認(rèn)知結(jié)構(gòu)。OCC模型中每個(gè)情感類(lèi)型的出現(xiàn)都由一定的條件觸發(fā),這些條件通過(guò)不同的情感維度值表達(dá)。其中,“合意性(desirability)” “褒貶性(praise-/blame-worthiness)”和“可能性(likelihood)”是該模型中3個(gè)最為重要的情感維度變量?!昂弦庑浴迸c主體的目標(biāo)相關(guān)聯(lián),“褒貶性”與行為是否符合社會(huì)道德標(biāo)準(zhǔn)相關(guān)聯(lián),而“可能性”則表示對(duì)事件發(fā)生的期望。

    在情感認(rèn)知結(jié)構(gòu)理論中,每個(gè)情感維度變量有不同的取值。“合意性(desirability)”維度的取值包括“合意的(desirable)”和“不合意的(undesirable)”。當(dāng)某些事件的發(fā)生有利于最終目標(biāo)的實(shí)現(xiàn)時(shí),這種情況對(duì)于主體而言是合意的;反之則是不合意的。類(lèi)似地,“褒貶性(praise-/blame-worthiness)”維度的取值有“值得稱贊的(praiseworthy)”和“應(yīng)受責(zé)備的(blameworthy)”?!翱赡苄?likelihood)”維度有“可能的(likely)”和“確定的(certain)”這兩個(gè)取值。情感維度變量的不同取值及其組合可以生成不同的情感類(lèi)型。例如,如果“合意的”事件的可能性是“確定的”,引發(fā)“高興(joy)”情感;否則引發(fā)“希望(hope)”。如果個(gè)體“值得表?yè)P(yáng)的(praiseworthy)”行為帶來(lái)合乎自己心意的行為后果,則導(dǎo)致“驕傲(pride)”情感的產(chǎn)生。表1給出了3個(gè)情感維度變量與情感類(lèi)型之間的對(duì)應(yīng)關(guān)系。

    表13個(gè)情感維度變量及其對(duì)應(yīng)的情感類(lèi)型

    Table1Threeemotionaldimensionvariablesandtheircorrespondingemotiontypes

    合意性褒貶性可能性情感類(lèi)型合意的—確定的高興不合意的—確定的悲傷合意的—可能的希望不合意的—可能的恐懼合意的值得稱贊的確定的驕傲不合意的應(yīng)受責(zé)備的確定的羞恥

    表1左邊3列是情感維度取值列表,右邊一列是在特定的情感維度取值下所產(chǎn)生的情感類(lèi)型。本文的研究思路基于經(jīng)典的OCC情感模型,選取其最主要的3個(gè)情感維度,以挖掘文中包含的這3類(lèi)維度變量的情感。

    詞為重點(diǎn),通過(guò)建立相應(yīng)的情感維度詞典,自動(dòng)推演出6種主要的情感類(lèi)型:高興(joy)、悲傷(distress)、希望(hope)、恐懼(fear)、驕傲(pride)和羞恥(shame)。

    2 基于OCC模型的情感挖掘方法

    結(jié)合前面介紹的OCC情感認(rèn)知結(jié)構(gòu)模型,建立自動(dòng)識(shí)別文本中情感類(lèi)型的方法。基于OCC模型的情感類(lèi)型挖掘問(wèn)題可以分解成兩個(gè)子問(wèn)題:1)自動(dòng)構(gòu)建高質(zhì)量的情感維度詞典,即建立包括具體的詞和抽象的情感維度值之間的映射關(guān)系;2)基于OCC模型,以規(guī)則的形式建立情感維度值與情感類(lèi)型間的對(duì)應(yīng)關(guān)系。構(gòu)建情感維度詞典則是建立文本情感類(lèi)型識(shí)別系統(tǒng)的關(guān)鍵。情感維度詞典涵蓋了比通常僅包含正負(fù)極性的情感詞庫(kù)更豐富的信息,所以在構(gòu)建情感維度詞典時(shí),綜合考慮了依存句法關(guān)系、語(yǔ)義關(guān)系和統(tǒng)計(jì)信息。由于構(gòu)建后的情感維度詞典存在語(yǔ)義、情感傾向的不一致性等問(wèn)題,因此還需要對(duì)情感維度詞典進(jìn)一步求精,過(guò)濾掉低質(zhì)量的候選詞。

    圖1是基于OCC情感模型的觀點(diǎn)挖掘方法的數(shù)據(jù)流圖,主要由情感維度詞典的構(gòu)建、求精和情感類(lèi)型的生成3個(gè)模塊組成。該方法基于海量開(kāi)源文本輸入,以句子為單位輸出情感類(lèi)型及其關(guān)聯(lián)的情感對(duì)象。其中,情感維度詞典的構(gòu)建模塊利用通用語(yǔ)義詞典和句法依存關(guān)系建立關(guān)于各情感維度值的詞典,情感維度詞典的求精模塊包括語(yǔ)義、正負(fù)情感傾向的不一致性處理和非情感詞的過(guò)濾。針對(duì)前2個(gè)模塊,文中還提出了融合Bootstrapping的構(gòu)建與求精同步的改進(jìn)算法。情感類(lèi)型的生成模塊基于前2個(gè)模塊得到情感維度詞典,利用經(jīng)典的OCC情感模型,獲得情感類(lèi)型。最后,得到情感類(lèi)型與情感對(duì)象相結(jié)合的輸出結(jié)果,以滿足用戶需求。

    圖1 基于OCC模型的本文情感挖掘方法Fig.1 OCC model-based emotion mining method from texts

    2.1 情感維度詞典的構(gòu)建與求精

    情感維度詞典是基于WordNet詞典和句法依存關(guān)系,采用統(tǒng)計(jì)的方法自動(dòng)構(gòu)建的。WordNet詞典可以提供詞的語(yǔ)義解釋和詞之間的關(guān)系,有同義詞、反義詞、還原詞、派生詞等。句法依存關(guān)系是指,通過(guò)句法分析樹(shù)中得到的詞之間存在的聯(lián)系,可以提示詞之間潛在的關(guān)系。

    為自動(dòng)構(gòu)建情感維度詞典,首先手工挑選少量高質(zhì)量的情感維度值種子詞(不超過(guò)10個(gè))和4個(gè)依存關(guān)系模板。其中,關(guān)于每個(gè)情感維度值的種子詞包含詞的原型和詞性信息。加入詞性信息是因?yàn)橄嗤脑~在詞性不同的時(shí)候含義大不相同,例如:sentence做動(dòng)詞時(shí),意思為“判刑”,維度是Blameworthy;但是做名詞時(shí),意思為“句子”,可以認(rèn)為不是情感詞。4個(gè)依存關(guān)系包括conj_and、conj_or、prep_in和parataxis。其含義分別是詞之間的并列and關(guān)系、詞之間的并列or關(guān)系、詞之間的介詞in關(guān)系和2個(gè)詞在分句中所處的并列關(guān)系。然而,僅僅依靠依存關(guān)系可能會(huì)有一些問(wèn)題。比如,簡(jiǎn)單的并列關(guān)系“wonderful and exciting”中wonderful和exciting是同義詞關(guān)系;而在另一個(gè)短語(yǔ)“young and old”中,young和old有著強(qiáng)烈的反義詞關(guān)系而不是同義詞關(guān)系。由此可見(jiàn),盡管模板conj_and可以提示詞之間存在語(yǔ)義關(guān)系,但是這種語(yǔ)義關(guān)系到底是一致還是恰好相反需要借助詞典來(lái)進(jìn)一步判斷。因此,基于詞典的方法不但用來(lái)尋找候選的情感維度詞,而且用來(lái)判斷候選情感維度詞的情感維度值的合理性。

    在第一輪循環(huán)開(kāi)始,對(duì)于每種情感維度值挑選少量高質(zhì)量的種子詞,作為初始的情感維度詞典輸入。情感維度詞典包括DICD(合意的)、DICU(不合意的)、DICP(值得稱贊的)、DICB(應(yīng)受責(zé)備的)。挑選情感維度種子詞有多種策略,可以通過(guò)手工查看數(shù)據(jù)集憑經(jīng)驗(yàn)進(jìn)行挑選或者通過(guò)計(jì)算詞出現(xiàn)的頻率挑選出頻率高并且包含情感維度值的詞作為種子詞。

    2.1.1 構(gòu)建過(guò)程

    在每一輪循環(huán)中,用WordNet和手工挑選的模板不斷地抽取不同維度值下的情感詞。在每一輪循環(huán)后,利用一個(gè)基于共現(xiàn)思想的評(píng)分函數(shù)來(lái)評(píng)估抽取的情感維度詞。情感維度詞典的構(gòu)建過(guò)程如下。

    1)針對(duì)情感維度詞典中每個(gè)新加入的情感維度詞,基于WordNet詞典,找出其同義詞和反義詞,并將其同義詞和反義詞分別放入相應(yīng)的情感維度詞典候選集中。

    2)利用前面提到的4個(gè)句法依存關(guān)系從輸入的海量文本中找出與所述相應(yīng)的情感維度詞典中已有的情感維度詞具有依存關(guān)系的新情感維度詞,放入相應(yīng)的情感維度詞典候選集中。

    3)利用(1)式所示的評(píng)分函數(shù)對(duì)相應(yīng)的情感維度詞典候選集進(jìn)行評(píng)價(jià)與過(guò)濾,選取其中評(píng)分大于閾值的候選集中的情感詞,放入相應(yīng)的情感維度詞典中:

    4)不斷重復(fù)步驟2)~3),直到不再有新的情感維度詞加入;

    5)利用WordNet中的派生以及還原關(guān)系擴(kuò)充情感維度詞典。

    構(gòu)建情感維度詞典過(guò)程中的輸入是海量的文本和關(guān)于某個(gè)情感維度值的種子詞,輸出是針對(duì)這個(gè)情感維度值建立起來(lái)的情感維度詞典。這里涉及3個(gè)維度,6個(gè)維度值,情感維度值可以是“合意的” “不合意的” “值得稱贊的” “應(yīng)受責(zé)備的” “可能的”和“確定的”,分別簡(jiǎn)寫(xiě)為“D” “U” “P” “B” “L” “C”。其中L、C情感維度詞典的構(gòu)建僅僅依賴WordNet中詞之間的語(yǔ)義關(guān)系,并且Likelihood維度的默認(rèn)值為C。

    循環(huán)初始時(shí)挑選的高質(zhì)量情感維度種子詞為1)和2)提供一個(gè)良好的基礎(chǔ)。1)和2)的目的是分別基于詞典和基于依存關(guān)系獲得候選的情感維度詞。3)通過(guò)計(jì)算一個(gè)評(píng)分函數(shù)保證進(jìn)入情感維度詞典的詞的質(zhì)量。最后,在情感維度詞典中的詞基于WordNet中的同義、反義、還原和派生關(guān)系進(jìn)行擴(kuò)充。比如,如果“harm”是在情感維度詞典中維度值為“blameworthy”的詞,擴(kuò)充它的派生詞“harmful”到情感維度詞典中,同時(shí)它的情感維度值也為“blameworthy”。

    評(píng)分函數(shù)f(v∈DICk)主要是基于共現(xiàn)的思想,如果待評(píng)價(jià)的情感詞與某一已知情感維度值的情感詞共同出現(xiàn)的次數(shù)越多,則該情感詞的維度值就更有可能成為該情感維度值。在每一輪循環(huán)中,評(píng)分函數(shù)利用WordNet詞典和句法依存關(guān)系得到候選集,通過(guò)設(shè)定共現(xiàn)次數(shù)的閾值θ1,過(guò)濾掉低質(zhì)量的候選情感維度詞。這里v是當(dāng)前待評(píng)價(jià)的候選情感詞,u是已知情感維度值為k的情感維度詞典中的詞,k的取值可以是“D” “U” “P” “B”。DICk是當(dāng)前生成的維度值為k的情感維度詞典,|DICk|表示情感維度詞典元素個(gè)數(shù)。DIC是當(dāng)前所有情感維度詞典的并集,其元素個(gè)數(shù)為|DIC|。函數(shù)c(v,u) 表示詞v和詞u在同一語(yǔ)句中共現(xiàn)的次數(shù)。評(píng)分函數(shù)中詞v是否屬于某類(lèi)情感維度詞典的計(jì)算既考慮了v與該類(lèi)情感維度詞共現(xiàn)的次數(shù)(作為后驗(yàn)),也考慮到該類(lèi)情感維度詞典在當(dāng)前所有情感維度詞典中所占的詞的比例(作為先驗(yàn))。

    2.1.2 求精過(guò)程

    構(gòu)建完成后的情感維度詞典往往存在不一致性或者噪聲,包括語(yǔ)義不一致性、情感傾向不一致性,以及非情感詞等。因此利用情感維度詞的同義詞集合和反義詞集合檢查情感維度詞的正負(fù)傾向,從而過(guò)濾掉質(zhì)量低的情感維度詞,完成情感維度詞典的求精過(guò)程。

    語(yǔ)義不一致性是指同一個(gè)詞在同一情感維度上具有相互矛盾的取值,比如在“褒貶性”維度上同時(shí)具有“P”和“B”這兩個(gè)維度值或者在“合意性”維度上同時(shí)具有“D”和“U”這兩個(gè)維度值;情感傾向不一致性是指一個(gè)詞同時(shí)具有正負(fù)情感傾向相互沖突的情感維度值。情感詞的極性可以是正向或負(fù)向。根據(jù)含義可知,“P”和“D”表示對(duì)情感對(duì)象的正面態(tài)度或評(píng)價(jià),故極性為正;“B”和“U”表示對(duì)情感對(duì)象的負(fù)面態(tài)度或評(píng)價(jià),故極性為負(fù)。若檢測(cè)到語(yǔ)義或情感傾向不一致的詞,對(duì)該情感詞的求精方法根據(jù)通用語(yǔ)義詞典中的同義和反義關(guān)系共同確定其情感傾向。當(dāng)前待求精的情感維度詞的計(jì)算公式如式(2):

    式中:nSyn、nAnt分別是當(dāng)前待求精的情感詞的同義詞和反義詞的總數(shù),nSyn+、nSyn-分別是該詞的極性為正和為負(fù)的同義詞個(gè)數(shù),nSyn-、nAnt-分別是該詞的極性為正和為負(fù)的反義詞個(gè)數(shù)。同時(shí),為了保證同義詞和反義詞集合的均衡性,將其歸一化后相加。如果計(jì)算得到的score值小于某一閾值θ2,則過(guò)濾掉該情感詞。由于以往相關(guān)工作中已建立了多個(gè)關(guān)于情感詞的正負(fù)極性詞典,這里nSyn、nAnt的正負(fù)極性可通過(guò)參照這些情感極性詞典來(lái)確定。

    非情感詞包括無(wú)實(shí)際意義的詞,如具體數(shù)字、代詞等,也包括中性的名詞和動(dòng)詞。過(guò)濾的方法包括直接列出這些明顯的不應(yīng)該加入的詞加以過(guò)濾,或者計(jì)算情感傾向,將某一閾值范圍內(nèi)的詞剔除。

    除了以本身建造的情感維度詞典作為極性詞典,還采用一個(gè)公開(kāi)的極性詞表[9]。選擇這兩個(gè)極性詞典的原因是它們的優(yōu)勢(shì)可以互補(bǔ)。構(gòu)建的情感維度詞典能夠覆蓋到較大集合的情感維度詞,詞性詞表盡管質(zhì)量高,但是包含詞的數(shù)量非常有限,并且只有詞的極性信息。所以,兩者結(jié)合后彼此揚(yáng)長(zhǎng)避短。同時(shí)可以通過(guò)(3)式進(jìn)一步提高詞的質(zhì)量。

    (0≤α≤1)

    式中scorepolarity1和scorepolarity2雖然基于相同的(2)式,但是分別利用了上面提到的不同的極性詞典計(jì)算而得的。通過(guò)設(shè)定score的閾值,以避免加入質(zhì)量過(guò)低的詞。

    2.2 情感類(lèi)型的生成

    完成構(gòu)建和求精情感維度詞典后,便可以利用OCC情感模型生成情感類(lèi)型。情感類(lèi)型的生成基于情感認(rèn)知結(jié)構(gòu)模型,根據(jù)該模型中每種情感類(lèi)型與情感維度及其取值的對(duì)應(yīng)關(guān)系,自動(dòng)生成6種主要的情感類(lèi)型。具體地說(shuō),“合意性”維度值為“合意的”并且“可能性”維度值為“確定的”時(shí)對(duì)應(yīng)的情感類(lèi)型為“高興”;“合意性”維度值為“不合意的”且“可能性”維度值為“確定的”對(duì)應(yīng)的情感類(lèi)型為“悲傷”;“合意性”維度值為“合意的”且“可能性”維度值為“可能的”對(duì)應(yīng)的情感類(lèi)型為“希望”;“合意性”維度值為“不合意的”且“可能性”維度值為“可能的”對(duì)應(yīng)的情感類(lèi)型為“恐懼”;“合意性”維度值為“合意的”,“褒貶性”維度值為 “值得稱贊的”且“可能性”維度值為“確定的”對(duì)應(yīng)的情感類(lèi)型為“驕傲”;“合意性”維度值為“不合意的”, “褒貶性”維度值為“應(yīng)受責(zé)備的” 且“可能性”維度值為“確定的”對(duì)應(yīng)的情感類(lèi)型為“羞恥”。工作實(shí)現(xiàn)的6種情感類(lèi)型生成規(guī)則如下。

    規(guī)則1 如果“合意性”維度值=“合意的”并且 “可能性”維度值=“確定的”對(duì)應(yīng)的情感類(lèi)型=“高興”。

    規(guī)則2 如果“合意性”維度值=“不合意的” 并且“可能性”維度值=“確定的”對(duì)應(yīng)的情感類(lèi)型=“悲傷”。

    規(guī)則3 如果“合意性”維度值=“不合意”并且“可能性”維度值=“可能的” 對(duì)應(yīng)的情感類(lèi)型=“希望”。

    規(guī)則4 如果 “合意性”維度值=“不合意的”并且“可能性”維度值=“可能的”對(duì)應(yīng)的情感類(lèi)型=“恐懼”。

    規(guī)則5 如果“合意性”維度值=“合意的”并且“褒貶性”維度值=“值得稱贊的” 對(duì)應(yīng)的情感類(lèi)型=“驕傲”。

    規(guī)則6 如果“合意性”維度值=“不合意的”并且“褒貶性”維度值=“應(yīng)受責(zé)備的” 對(duì)應(yīng)的情感類(lèi)型=“羞恥”。

    根據(jù)前述的情感類(lèi)型的生成過(guò)程,下面給出一個(gè)具體示例。

    圖2是對(duì)句子“US’s providing aid is a step in the right direction.”的情感類(lèi)型挖掘過(guò)程。查看情感維度詞典,可得到這句話中包含2個(gè)情感維度詞,分別是“is”和“right”。其中,“is”的情感維度“可能性”取值為“確定的”,“right”的情感維度 “合意性”取值為“合意的”,情感維度“褒貶性”的取值為“值得稱贊的”。再根據(jù)情感類(lèi)型生成規(guī)則1和規(guī)則5得到兩種情感,分別為“Joy(高興)”和“Pride(驕傲)”。

    圖2 情感類(lèi)型生成示例圖Fig.2 Generation of emotion types example

    由此可見(jiàn),通過(guò)求精后的情感維度詞典和OCC模型,最后生成多種情感類(lèi)型是切實(shí)可行的。與這些情感類(lèi)型相關(guān)聯(lián)的情感對(duì)象則通過(guò)由文獻(xiàn)[9]提出的頻繁情感對(duì)象識(shí)別算法進(jìn)行挖掘。下面是一些輸出結(jié)果的示例:

    North Korea is in a bad situation.

    =gt;(North Korea ,{Distress});

    It was very wise for us to compromise and to promise food aid.

    =gt;(food aid,{Joy, Hope, Pride}).

    Consequently, this deal is brilliant.

    =gt;( deal,{Joy, Pride}).

    2.3 實(shí)驗(yàn)結(jié)果與分析

    為實(shí)際驗(yàn)證提出的基于OCC情感模型的挖掘方法,文中基于網(wǎng)上新聞評(píng)論數(shù)據(jù),設(shè)計(jì)實(shí)驗(yàn)方法,對(duì)所建立的情感維度詞典進(jìn)行有效性驗(yàn)證。

    2.3.1 數(shù)據(jù)獲取

    從紐約時(shí)報(bào)抓取了2002年1月1日~2012年1月1日這10年間的16 398個(gè)新聞評(píng)論數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù),然后利用斯坦福的句法分析器將句子的成分都提取出來(lái),并且手工定義高質(zhì)量的情感維度種子詞,覆蓋情感維度值包括“D” “U” “P” “B” “L”。全部種子詞如表2(括號(hào)外為情感維度詞,括號(hào)內(nèi)為情感維度詞的詞性)所示。

    表2 情感維度種子詞

    基于情感維度種子詞,利用WordNet詞典和句法依存關(guān)系得到情感維度詞的候選集合,并基于共現(xiàn)思想進(jìn)行過(guò)濾,進(jìn)而獲得高質(zhì)量的情感維度詞,建立相應(yīng)的情感維度詞典。對(duì)情感維度詞典的求精過(guò)程完成語(yǔ)義、情感傾向的不一致處理和非情感詞的過(guò)濾。由于維度L主要通過(guò)同義詞和反義詞獲得,文中僅驗(yàn)證情感維度詞典DUPB的性能。詞典DUPB在求精前和求精后所包含詞的數(shù)目如表3所示。

    表3求精前后情感維度詞典

    Table3Emotion-dimensiondictionariesbeforeandafterrefinement

    階段DUPB求精前(含重復(fù))203316219109034108求精后(α=0.3,β=0.65)13071467794895

    2.3.2 實(shí)驗(yàn)設(shè)計(jì)

    為了保證標(biāo)注數(shù)據(jù)的客觀性,請(qǐng)兩個(gè)標(biāo)注者分別獨(dú)立標(biāo)注了237個(gè)測(cè)試數(shù)據(jù)。若標(biāo)注者認(rèn)為一句話中某個(gè)單詞包含某種情感維度值,就將其連同維度值一起標(biāo)注出來(lái)。為了檢查兩個(gè)標(biāo)注者的一致程度,采用式(4)計(jì)算其Kappa值:

    其中,Pr(a)表示實(shí)際標(biāo)注時(shí)的一致程度,Pr(e)表示隨機(jī)情況下期望的一致程度。實(shí)驗(yàn)中兩個(gè)標(biāo)注者的Kappa值為0.613(Kappa值大于0.6表明一致程度較好)。

    基于標(biāo)注數(shù)據(jù),利用精度、召回率和F值這3個(gè)指標(biāo)對(duì)情感維度詞典DUPB進(jìn)行定量評(píng)價(jià)。F值的計(jì)算公式為

    式中:F-value表示F值,precision表示精度,recall表示召回率。

    2.3.3 實(shí)驗(yàn)結(jié)果

    平均精度、召回率和F值的實(shí)驗(yàn)結(jié)果如表4所示。

    表4 實(shí)驗(yàn)結(jié)果

    由表4可知,平均精度、召回率和F值分別為0.622、0.400和0.482??梢钥吹剑楦芯S度詞典DUPB的平均精度較好但召回率還比較低,導(dǎo)致召回率較低的一個(gè)原因是情感維度詞典中的情感維度詞的數(shù)量有限,對(duì)于驗(yàn)證集中的情感維度詞覆蓋程度不足,因此召回率不高。

    2.3.4 結(jié)果分析及改進(jìn)

    上面介紹的基于OCC模型的情感挖掘方法仍存在一些可改進(jìn)之處,如:將情感維度詞典的構(gòu)建和求精分開(kāi)進(jìn)行,使用預(yù)先定義的固定模板,以及不加區(qū)分地對(duì)待詞之間的共現(xiàn)情形等。特別是,考慮到情感維度詞和模板之間的相互關(guān)聯(lián),可以通過(guò)兩者之間的互學(xué)習(xí)促進(jìn)情感挖掘的性能。

    針對(duì)以上不足,文中考慮了融合Bootstrapping的改進(jìn)方法。該方法將情感維度詞典的構(gòu)建和求精在同一個(gè)循環(huán)中完成。算法的主要思想是利用情感維度詞與模板進(jìn)行互學(xué)習(xí),并且對(duì)兩者分別進(jìn)行評(píng)分?;谇楦芯S度詞在模板前后的維度值,對(duì)模板進(jìn)行評(píng)分,將一致性/不一致性用模板的可區(qū)分性指標(biāo)進(jìn)行刻畫(huà)。這里的可區(qū)分情況有兩種:一種是模板前后的詞維度恰好一致,另一種是模板前后的詞維度恰好相反。如果一個(gè)模板在這兩種情況中的一種占大多數(shù),則該模板的質(zhì)量較好?;谀0?,對(duì)情感維度詞進(jìn)行評(píng)分,將情感維度詞屬于某個(gè)情感維度值的概率用可靠性進(jìn)行刻畫(huà)。此外,用相關(guān)性刻畫(huà)某一模板與情感維度詞共現(xiàn)的程度,用傾向性刻畫(huà)某一情感詞的極性值。

    3 結(jié)束語(yǔ)

    本文提出了一種基于認(rèn)知心理學(xué)領(lǐng)域發(fā)展成熟的情感認(rèn)知結(jié)構(gòu)模型OCC,設(shè)計(jì)并實(shí)現(xiàn)了一種基于OCC情感模型的觀點(diǎn)挖掘方法,并采用網(wǎng)上新聞評(píng)論數(shù)據(jù),采用實(shí)驗(yàn)方法初步驗(yàn)證了文中方法的有效性。與相關(guān)工作比較,該方法所需要的人力少,且在使用靈活性和有效性上具有明顯的優(yōu)勢(shì)。同時(shí),本文基于經(jīng)典的情感認(rèn)知結(jié)構(gòu)模型,不但給文本情感分析這一研究問(wèn)題賦予了更深層次的認(rèn)知結(jié)構(gòu)關(guān)聯(lián),而且為情感類(lèi)型的輸出維度提供了一個(gè)建立在認(rèn)知心理學(xué)模型基礎(chǔ)上的更加精細(xì)的解釋。

    [1]CHEN, Hsinchun. AI and opinion mining, part 2[J]. IEEE intelligentsystems, 2010, 25(4): 72-79.

    [2]CHEN, Hsinchun, DAVID Z. AI and opinion mining[J]. IEEE intelligentsystems, 2010, 25(3): 74-80.

    [3]PANG B, LEE L, VAITHYANATHAN S. Thumbs up?: sentiment classification using machine learning techniques[C]//Proceedings of the ACL-02 Conference on Empirical Methods in Natural Language Processing-Volume 10. Stroudsburg,USA, 2002: 79-86.

    [4]TURNEY P D. Thumbs up or thumbs down?: semantic orientation applied to unsupervised classification of reviews[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Stroudsburg, USA, 2002: 417-424.

    [5]WIEBE J, WILSON T, BRUCE R, et al. Learning subjective language[J]. Computational linguistics, 2004, 30(3): 277-308.

    [6]ATTARDI G, SIMI M. Blog Mining through opinionated words[C]//Fifteenth Text Retrieval Conference, Trec 2006.Gaithersburg, USA, 2006.

    [7]HATZIVASSILOGLOU V, WIEBE J M. Effects of adjective orientation and gradability on sentence subjectivity[C]//Proceedings of the 18th Conference on Computational Linguistics-Volume 1. Stroudsburg, USA, 2000: 299-305.

    [8]RILOFF E, WIEBE J, WILSON T. Learning subjective nouns using extraction pattern bootstrapping[C]//Proceedings of the Seventh Conference on Natural Language Learning at HLT-NAACL 2003-Volume 4. Stroudsburg,USA,2003: 25-32.

    [9]HU M, LIU B. Mining and summarizing customer reviews[C]//Proceedings of the Tenth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2004: 168-177.

    [10]HU M, LIU B. Mining opinion features in customer reviews[C]//AAAI. 2004, 4(4): 755-760.

    [11]ZHANG C, ZENG D, LI J, et al. Sentiment analysis of Chinese documents: from sentence to document level[J]. Journal of the American society for information science and technology, 2009, 60(12): 2474-2487.

    [12]READ J. Recognising affect in text using pointwise-mutual information[D]. Brighton:University of Sussex,2004:1-29.

    [13]MISHNE G. Experiments with mood classification in blog posts[C]//Proceedings of ACM SIGIR 2005 Workshop on Stylistic Analysis of Text for Information Access. Stroudsburg,USA, 2005: 19.

    [14]ALM C O, ROTH D, SPROAT R. Emotions from text: machine learning for text-based emotion prediction[C]//Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing. Association for Computational Linguistics,2005: 579-586.

    [15]FENG S, WANG D, YU G, et al. Extracting common emotions from blogs based on fine-grained sentiment clustering[J]. Knowledge and information systems, 2011, 27(2): 281-302.

    [16]KESHTKAR F, INKPEN D. Using sentiment orientation features for mood classification in blogs[C]//Proceedings of the IEEE International Conference on Natural Language Processing and Knowledge Engineering (IEEE NLP-KE 2009).Dalian, China, 2009.

    [17]SHAIKH M A M. An analytical approach for affect sensing from text[D]. Toyko: University of Tokyo,2008: 1-111.

    [18]YANG C, LIN K H Y, CHEN H H. Building emotion lexicon from weblog corpora[C]//Proceedings of the 45th Annual Meeting of the ACL on Interactive Poster and Demonstration Sessions. Stroudsburg, USA, 2007: 133-136.

    [19]MAO Y, LEBANON G. Sequential models for sentiment prediction[C]//ICML Workshop on Learning in Structured Output Spaces. Pittsburgh, USA, 2006.

    [20]FRIJDA N H. The emotions[M]. New York: Cambridge University Press, 1986.

    [21]ORTONY A. The cognitive structure of emotions[M]. New York: Cambridge University Press, 1990.

    [22]LAZARUS R S. Emotion and adaptation[M]. New York: Oxford University Press, 1991.

    [23]SCHERER K R, SCHORR A E, JOHNSTONE T E. Appraisal processes in emotion: theory, methods, research[M]. New York: Oxford University Press, 2001.

    皇甫璐雯,女,1988年生,碩士研究生,主要研究方向?yàn)樯鐣?huì)媒體信息分析與處理、情感分析與觀點(diǎn)挖掘。

    毛文吉,女,1968年生,研究員,博士生導(dǎo)師,主要研究方向?yàn)橹悄苄畔⑻幚?、人工智能、社?huì)計(jì)算。

    OCC-model-basedtext-emotionminingmethod

    HUANGFU Luwen, MAO Wenji

    (State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Science, Beijing 100190, China)

    Opinion mining, also called sentiment analysis, as one of the core research areas in the network-oriented social media analysis and mining domain, has important practical and research significance. Due to the weaknesses and limitations of traditional opinion mining methods, in this study, we designe and implemente an OCC emotion model-based opinion mining method for extracting emotion types from text. First, we adopte a statistical method to construct an emotion dictionary, based on candidate sets collected by the WordNet dictionary, as well as several syntactic dependent relationships and a small amount of annotated data. Next, we refine the constructed emotion-dimension dictionary to improve its quality by filtering out non-emotional words as well as emotional words that have conflicting syntactic or orientation. Lastly, we generate six main emotion types based on the obtained emotion-dimension dictionary combined with the corresponding relations between emotional dimensions and the different emotion types identified by the OCC model. Experimental results show that the proposed method has obvious advantages with respect to flexibility of usage, interpretability, and effectiveness.

    opinion mining; OCC emotion model; emotional dimension; emotion types; emotion dictionary; cognitive psychology; emotion mining; co-occurrence

    10.11992/tis.201312032

    http://kns.cnki.net/kcms/detail/23.1538.TP.20171021.1342.002.html

    TP391

    A

    1673-4785(2017)05-0645-08

    中文引用格式:皇甫璐雯,毛文吉.一種基于OCC模型的文本情感挖掘方法J.智能系統(tǒng)學(xué)報(bào), 2017, 12(5): 645-652.

    英文引用格式:HUANGFULuwen,MAOWenji.OCC-model-basedtext-emotionminingmethodJ.CAAItransactionsonintelligentsystems, 2017, 12(5): 645-652.

    2013-12-17. < class="emphasis_bold">網(wǎng)絡(luò)出版日期

    日期:2017-10-21.

    國(guó)家自然科學(xué)基金項(xiàng)目(61175040, 71025001).

    毛文吉. E-mail:wenji.mao@ia.ac.cn.

    猜你喜歡
    詞典維度情感
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    失落的情感
    北極光(2019年12期)2020-01-18 06:22:10
    米沃什詞典
    文苑(2019年24期)2020-01-06 12:06:50
    淺論詩(shī)中“史”識(shí)的四個(gè)維度
    情感
    如何在情感中自我成長(zhǎng),保持獨(dú)立
    評(píng)《現(xiàn)代漢語(yǔ)詞典》(第6版)
    詞典例證翻譯標(biāo)準(zhǔn)探索
    光的維度
    燈與照明(2016年4期)2016-06-05 09:01:45
    “五個(gè)維度”解有機(jī)化學(xué)推斷題
    毛片女人毛片| 国产欧美日韩一区二区精品| 午夜精品国产一区二区电影 | 69av精品久久久久久| 非洲黑人性xxxx精品又粗又长| av天堂在线播放| 精品久久久久久成人av| 97在线视频观看| 日本黄色视频三级网站网址| 级片在线观看| 在线天堂最新版资源| 免费在线观看成人毛片| 精品久久久久久久久av| 亚洲第一电影网av| 天堂动漫精品| 午夜视频国产福利| 别揉我奶头 嗯啊视频| 天堂网av新在线| 寂寞人妻少妇视频99o| 国产黄色小视频在线观看| 国内少妇人妻偷人精品xxx网站| 日韩 亚洲 欧美在线| 亚洲一级一片aⅴ在线观看| av天堂在线播放| 一个人看的www免费观看视频| 亚洲人成网站高清观看| 国产精品久久视频播放| 国产私拍福利视频在线观看| 波野结衣二区三区在线| 黄色欧美视频在线观看| 日韩三级伦理在线观看| 小蜜桃在线观看免费完整版高清| 两个人视频免费观看高清| 你懂的网址亚洲精品在线观看 | 真实男女啪啪啪动态图| 一本久久中文字幕| 国产精品永久免费网站| h日本视频在线播放| 最好的美女福利视频网| 最近视频中文字幕2019在线8| 亚洲精品久久国产高清桃花| 九九爱精品视频在线观看| 国产激情偷乱视频一区二区| 人妻夜夜爽99麻豆av| 日韩精品有码人妻一区| 一个人免费在线观看电影| 久久九九热精品免费| 特大巨黑吊av在线直播| 色5月婷婷丁香| 免费观看在线日韩| 永久网站在线| 丰满人妻一区二区三区视频av| 精品一区二区免费观看| 最近中文字幕高清免费大全6| 日韩 亚洲 欧美在线| av在线老鸭窝| 精品一区二区三区视频在线观看免费| 久久久久久伊人网av| 日韩成人av中文字幕在线观看 | www日本黄色视频网| 亚洲无线在线观看| 秋霞在线观看毛片| 欧美日本视频| 亚洲真实伦在线观看| 天堂√8在线中文| 一级毛片我不卡| 午夜精品国产一区二区电影 | 一个人看的www免费观看视频| 国产真实伦视频高清在线观看| 成年女人永久免费观看视频| 少妇人妻精品综合一区二区 | 在线播放无遮挡| 国产爱豆传媒在线观看| 女生性感内裤真人,穿戴方法视频| 国产亚洲av嫩草精品影院| 欧洲精品卡2卡3卡4卡5卡区| 亚洲成人av在线免费| 国产一区二区在线观看日韩| av卡一久久| 蜜桃亚洲精品一区二区三区| 黄色配什么色好看| 日韩制服骚丝袜av| 中国美女看黄片| 日本三级黄在线观看| 国产高清三级在线| 日本黄大片高清| 国产精品久久久久久精品电影| 一夜夜www| 夜夜夜夜夜久久久久| 真人做人爱边吃奶动态| 日产精品乱码卡一卡2卡三| 少妇的逼好多水| 给我免费播放毛片高清在线观看| 人妻丰满熟妇av一区二区三区| 高清午夜精品一区二区三区 | 久久午夜福利片| 久久久久免费精品人妻一区二区| 国产精品福利在线免费观看| 啦啦啦观看免费观看视频高清| 中国美女看黄片| 成人鲁丝片一二三区免费| 日韩成人伦理影院| 日本色播在线视频| 91久久精品国产一区二区成人| 欧美中文日本在线观看视频| 免费无遮挡裸体视频| 久久精品国产自在天天线| 69人妻影院| 91精品国产九色| 欧美人与善性xxx| 人妻夜夜爽99麻豆av| 免费高清视频大片| 美女 人体艺术 gogo| 青春草视频在线免费观看| 国内精品美女久久久久久| 国产成年人精品一区二区| 久久久久九九精品影院| 可以在线观看毛片的网站| 精品一区二区三区人妻视频| 淫秽高清视频在线观看| 亚洲欧美精品综合久久99| 日韩国内少妇激情av| eeuss影院久久| 午夜亚洲福利在线播放| 亚洲国产精品久久男人天堂| 亚洲一区二区三区色噜噜| 国产精品人妻久久久影院| 久久久色成人| 亚洲欧美成人精品一区二区| 国产不卡一卡二| 欧美在线一区亚洲| 老师上课跳d突然被开到最大视频| 欧美日韩综合久久久久久| 精品一区二区免费观看| 国产精品一区www在线观看| 国产精品野战在线观看| 亚洲成人精品中文字幕电影| 18禁在线无遮挡免费观看视频 | 免费高清视频大片| 麻豆av噜噜一区二区三区| 内射极品少妇av片p| 亚洲国产精品sss在线观看| 观看美女的网站| 成人亚洲精品av一区二区| 亚洲国产精品合色在线| 我的女老师完整版在线观看| 最近的中文字幕免费完整| 成人精品一区二区免费| 国产一级毛片七仙女欲春2| 国产亚洲91精品色在线| 国产精品美女特级片免费视频播放器| 美女被艹到高潮喷水动态| 我的老师免费观看完整版| 我的女老师完整版在线观看| 免费大片18禁| 精品午夜福利视频在线观看一区| 亚洲人成网站在线播放欧美日韩| 国产精品日韩av在线免费观看| 国产亚洲av嫩草精品影院| 黄色欧美视频在线观看| 亚洲成人精品中文字幕电影| 一个人观看的视频www高清免费观看| 国内久久婷婷六月综合欲色啪| 大香蕉久久网| 国产成人福利小说| 久久99热6这里只有精品| 日韩成人伦理影院| 高清日韩中文字幕在线| 久久午夜亚洲精品久久| 国产免费男女视频| 一级a爱片免费观看的视频| 少妇猛男粗大的猛烈进出视频 | 欧洲精品卡2卡3卡4卡5卡区| 成人毛片a级毛片在线播放| 97超视频在线观看视频| 成年免费大片在线观看| 亚洲国产精品合色在线| 国产国拍精品亚洲av在线观看| 亚洲国产色片| 91狼人影院| 三级国产精品欧美在线观看| 免费av毛片视频| 给我免费播放毛片高清在线观看| 麻豆一二三区av精品| 老熟妇仑乱视频hdxx| 日本与韩国留学比较| а√天堂www在线а√下载| 中国美女看黄片| av黄色大香蕉| 成人av一区二区三区在线看| 嫩草影院新地址| 国产真实乱freesex| 欧美激情在线99| 在线免费观看的www视频| 国产一区亚洲一区在线观看| 亚洲国产精品成人久久小说 | 国产一级毛片七仙女欲春2| 国产精品人妻久久久影院| 非洲黑人性xxxx精品又粗又长| 赤兔流量卡办理| 久久国产乱子免费精品| 中国美女看黄片| 成人欧美大片| 无遮挡黄片免费观看| 亚洲精品久久国产高清桃花| 可以在线观看毛片的网站| 亚洲精品成人久久久久久| 成熟少妇高潮喷水视频| 黄色日韩在线| 国产精品女同一区二区软件| 精品午夜福利视频在线观看一区| 身体一侧抽搐| 69人妻影院| 亚洲在线观看片| 波多野结衣高清无吗| av卡一久久| 亚洲av成人精品一区久久| 日韩欧美在线乱码| 日韩欧美一区二区三区在线观看| 国产麻豆成人av免费视频| 大香蕉久久网| 国国产精品蜜臀av免费| 色av中文字幕| 夜夜看夜夜爽夜夜摸| 国产精品精品国产色婷婷| 午夜福利成人在线免费观看| 久久精品国产亚洲av涩爱 | 免费观看人在逋| 久久久a久久爽久久v久久| 国内少妇人妻偷人精品xxx网站| 有码 亚洲区| 一卡2卡三卡四卡精品乱码亚洲| av天堂中文字幕网| 国产精品精品国产色婷婷| 精品午夜福利视频在线观看一区| 悠悠久久av| 露出奶头的视频| 99久国产av精品| 午夜福利在线观看免费完整高清在 | 亚洲专区国产一区二区| 成人特级av手机在线观看| 亚洲精品乱码久久久v下载方式| 午夜福利在线观看免费完整高清在 | 久久精品国产自在天天线| 国产成人影院久久av| 赤兔流量卡办理| 久久久久久久久大av| 精品一区二区三区视频在线| 三级经典国产精品| 长腿黑丝高跟| 日本撒尿小便嘘嘘汇集6| 亚洲成人av在线免费| 天堂√8在线中文| 蜜桃久久精品国产亚洲av| 亚洲第一区二区三区不卡| 精品免费久久久久久久清纯| 欧美最黄视频在线播放免费| 亚洲欧美日韩无卡精品| 给我免费播放毛片高清在线观看| 看免费成人av毛片| 久久久精品欧美日韩精品| 老司机福利观看| 日韩欧美 国产精品| 最近中文字幕高清免费大全6| 一级毛片aaaaaa免费看小| 亚洲国产精品sss在线观看| 国模一区二区三区四区视频| 日本熟妇午夜| 免费不卡的大黄色大毛片视频在线观看 | 两个人视频免费观看高清| 麻豆av噜噜一区二区三区| 麻豆一二三区av精品| 九九在线视频观看精品| 日韩欧美精品v在线| a级毛片免费高清观看在线播放| 毛片女人毛片| 久久精品国产亚洲av天美| 伦精品一区二区三区| 不卡一级毛片| 搡老岳熟女国产| 色综合站精品国产| 俄罗斯特黄特色一大片| 亚洲图色成人| 2021天堂中文幕一二区在线观| 老司机影院成人| 色5月婷婷丁香| 国产精品av视频在线免费观看| 亚洲成人久久爱视频| 国产精品一区二区三区四区免费观看 | 午夜福利在线观看吧| 直男gayav资源| 色在线成人网| 日韩亚洲欧美综合| 99视频精品全部免费 在线| 久久久久久国产a免费观看| 真实男女啪啪啪动态图| 看非洲黑人一级黄片| 精品无人区乱码1区二区| 国产黄片美女视频| 噜噜噜噜噜久久久久久91| 99热这里只有是精品50| 黄片wwwwww| 少妇人妻精品综合一区二区 | 极品教师在线视频| 蜜臀久久99精品久久宅男| 成年女人永久免费观看视频| 成人综合一区亚洲| 国产精品av视频在线免费观看| 性欧美人与动物交配| 欧美三级亚洲精品| 亚洲精品久久国产高清桃花| 成人高潮视频无遮挡免费网站| 亚洲精品国产成人久久av| 国产久久久一区二区三区| 女同久久另类99精品国产91| 一区二区三区四区激情视频 | 欧美xxxx黑人xx丫x性爽| 久久久久久伊人网av| 干丝袜人妻中文字幕| 色哟哟哟哟哟哟| 亚洲va在线va天堂va国产| 亚洲性久久影院| 国国产精品蜜臀av免费| 国产在线精品亚洲第一网站| 日本 av在线| 少妇人妻精品综合一区二区 | 日日摸夜夜添夜夜添小说| 五月伊人婷婷丁香| 免费看av在线观看网站| 亚洲精品亚洲一区二区| 简卡轻食公司| 色哟哟哟哟哟哟| 男人的好看免费观看在线视频| 国产探花极品一区二区| 国产男人的电影天堂91| 亚洲欧美日韩高清在线视频| 日本 av在线| 极品教师在线视频| 国产三级在线视频| 日本撒尿小便嘘嘘汇集6| 日本黄大片高清| 一本久久中文字幕| 色综合色国产| 美女内射精品一级片tv| 男女那种视频在线观看| 神马国产精品三级电影在线观看| а√天堂www在线а√下载| 此物有八面人人有两片| 一级毛片久久久久久久久女| 成年免费大片在线观看| av在线亚洲专区| 色综合亚洲欧美另类图片| 99久国产av精品国产电影| 国产又黄又爽又无遮挡在线| 国产高清不卡午夜福利| 国国产精品蜜臀av免费| 国产女主播在线喷水免费视频网站 | 一夜夜www| 日本一二三区视频观看| 99久久精品一区二区三区| 老熟妇仑乱视频hdxx| 麻豆国产97在线/欧美| 国产精品久久久久久av不卡| 如何舔出高潮| 黄色配什么色好看| 一进一出好大好爽视频| 亚洲四区av| 国产伦精品一区二区三区四那| 欧美又色又爽又黄视频| 亚洲欧美清纯卡通| 久久久精品大字幕| 91午夜精品亚洲一区二区三区| 少妇猛男粗大的猛烈进出视频 | 国产人妻一区二区三区在| 国产精品不卡视频一区二区| eeuss影院久久| 人妻少妇偷人精品九色| 特级一级黄色大片| 99久久精品热视频| 少妇人妻精品综合一区二区 | 欧美一区二区亚洲| 亚洲不卡免费看| 亚洲电影在线观看av| 最近视频中文字幕2019在线8| 精品久久久噜噜| 村上凉子中文字幕在线| 久久天躁狠狠躁夜夜2o2o| 免费观看精品视频网站| 色尼玛亚洲综合影院| 赤兔流量卡办理| 亚洲精品在线观看二区| 久久精品国产亚洲av涩爱 | 人妻少妇偷人精品九色| 国产精品一区二区免费欧美| 久久久久久九九精品二区国产| 久久这里只有精品中国| 欧美激情国产日韩精品一区| 日韩人妻高清精品专区| 精品乱码久久久久久99久播| 亚洲国产精品成人综合色| 又黄又爽又刺激的免费视频.| 寂寞人妻少妇视频99o| 亚洲国产欧洲综合997久久,| 亚洲av免费高清在线观看| 国产欧美日韩精品一区二区| 蜜臀久久99精品久久宅男| 亚洲七黄色美女视频| 亚洲三级黄色毛片| 蜜臀久久99精品久久宅男| 天天躁日日操中文字幕| 亚洲欧美成人精品一区二区| 一级毛片电影观看 | 国产精品,欧美在线| 老司机福利观看| 搡女人真爽免费视频火全软件 | 91午夜精品亚洲一区二区三区| 禁无遮挡网站| 日韩av不卡免费在线播放| 国产欧美日韩一区二区精品| 日韩精品青青久久久久久| 乱系列少妇在线播放| 亚洲精品亚洲一区二区| 韩国av在线不卡| 国产白丝娇喘喷水9色精品| 99国产精品一区二区蜜桃av| 亚洲人成网站高清观看| 国产一区二区亚洲精品在线观看| 人妻丰满熟妇av一区二区三区| 国产私拍福利视频在线观看| 美女高潮的动态| 男女那种视频在线观看| 大又大粗又爽又黄少妇毛片口| 亚洲乱码一区二区免费版| 最近手机中文字幕大全| 人妻丰满熟妇av一区二区三区| 日韩人妻高清精品专区| av在线天堂中文字幕| 一卡2卡三卡四卡精品乱码亚洲| 国产亚洲精品久久久久久毛片| 狠狠狠狠99中文字幕| 看黄色毛片网站| 久久精品人妻少妇| 精品久久久久久成人av| 成人高潮视频无遮挡免费网站| 草草在线视频免费看| 日本一二三区视频观看| 欧美高清成人免费视频www| ponron亚洲| 国产精品一及| 精品免费久久久久久久清纯| 国产精品久久久久久久久免| 国内精品久久久久精免费| 亚洲欧美日韩东京热| 午夜福利高清视频| 最新中文字幕久久久久| 嫩草影院新地址| 最近最新中文字幕大全电影3| 亚洲欧美日韩东京热| 高清日韩中文字幕在线| 久久国内精品自在自线图片| 久久久久精品国产欧美久久久| 日韩一区二区视频免费看| 亚洲精品一卡2卡三卡4卡5卡| 人人妻人人澡欧美一区二区| 亚洲自偷自拍三级| 99久久精品国产国产毛片| 成人永久免费在线观看视频| 日韩av不卡免费在线播放| 最近中文字幕高清免费大全6| 中文在线观看免费www的网站| 少妇被粗大猛烈的视频| 99久久精品国产国产毛片| 亚洲无线观看免费| 国产一区二区在线观看日韩| videossex国产| 小蜜桃在线观看免费完整版高清| 国产精品免费一区二区三区在线| 欧美色欧美亚洲另类二区| 成年版毛片免费区| 欧美性猛交╳xxx乱大交人| 亚洲人成网站在线播| 午夜福利高清视频| 免费人成视频x8x8入口观看| 九九爱精品视频在线观看| 国产男靠女视频免费网站| 69av精品久久久久久| 亚洲国产精品国产精品| 91av网一区二区| 亚洲精品国产av成人精品 | .国产精品久久| 欧美激情在线99| 欧美激情国产日韩精品一区| 床上黄色一级片| 极品教师在线视频| 日韩av不卡免费在线播放| 日本一二三区视频观看| 网址你懂的国产日韩在线| a级毛片免费高清观看在线播放| 国产精品久久电影中文字幕| 日韩一本色道免费dvd| 搡老妇女老女人老熟妇| 免费看日本二区| h日本视频在线播放| 少妇的逼好多水| 韩国av在线不卡| 欧美日韩国产亚洲二区| 国产成人一区二区在线| 中文亚洲av片在线观看爽| 日韩中字成人| 卡戴珊不雅视频在线播放| 欧美另类亚洲清纯唯美| 亚洲人成网站高清观看| 97碰自拍视频| 在线观看美女被高潮喷水网站| 韩国av在线不卡| 欧美日本视频| 少妇丰满av| 国产精品女同一区二区软件| 精品99又大又爽又粗少妇毛片| 欧美不卡视频在线免费观看| 久久婷婷人人爽人人干人人爱| 久久久国产成人免费| 一个人看视频在线观看www免费| 国内揄拍国产精品人妻在线| 免费观看的影片在线观看| 久久久精品大字幕| 精品人妻偷拍中文字幕| 乱系列少妇在线播放| 欧美日韩一区二区视频在线观看视频在线 | 国产乱人偷精品视频| 欧美日韩精品成人综合77777| 国产视频内射| 亚洲中文字幕日韩| 国产蜜桃级精品一区二区三区| 三级毛片av免费| 大型黄色视频在线免费观看| av卡一久久| 99热精品在线国产| 3wmmmm亚洲av在线观看| 欧美3d第一页| 国产成人精品久久久久久| av在线播放精品| 国产精品亚洲美女久久久| 国产一区二区在线观看日韩| 在线免费十八禁| 国产成人freesex在线 | 国产精品一二三区在线看| 熟女电影av网| av在线播放精品| 97超碰精品成人国产| 国产精品免费一区二区三区在线| 性欧美人与动物交配| 欧美日本亚洲视频在线播放| av卡一久久| 午夜免费男女啪啪视频观看 | 国产成人aa在线观看| 亚洲第一区二区三区不卡| 欧美在线一区亚洲| 精品久久久久久成人av| 国产男靠女视频免费网站| 99久久精品国产国产毛片| 欧美日韩国产亚洲二区| 久久久精品94久久精品| 十八禁国产超污无遮挡网站| 亚洲欧美成人综合另类久久久 | 日产精品乱码卡一卡2卡三| 99久久精品国产国产毛片| 亚洲人成网站在线观看播放| 免费av不卡在线播放| 久久热精品热| 丰满人妻一区二区三区视频av| 搡老妇女老女人老熟妇| 亚洲欧美中文字幕日韩二区| 蜜桃久久精品国产亚洲av| 老女人水多毛片| 欧美激情久久久久久爽电影| 国产精品综合久久久久久久免费| 国产一区二区三区av在线 | 久久久成人免费电影| 激情 狠狠 欧美| 亚洲四区av| 中文字幕人妻熟人妻熟丝袜美| 成年版毛片免费区| 亚洲自拍偷在线| 国产精品日韩av在线免费观看| 97热精品久久久久久| 成人二区视频| 能在线免费观看的黄片| 精品人妻一区二区三区麻豆 | 久久久久性生活片| 精品一区二区三区av网在线观看| 国产高清视频在线播放一区| 亚洲七黄色美女视频| av在线亚洲专区| 深夜精品福利| 亚洲人成网站在线播| 人人妻人人澡欧美一区二区| 热99re8久久精品国产| 亚洲av二区三区四区| 日韩欧美免费精品| 国产精品人妻久久久久久| 亚洲av免费在线观看| 久久草成人影院| 12—13女人毛片做爰片一| 午夜福利视频1000在线观看| 黄色一级大片看看| 色哟哟·www| 国产伦精品一区二区三区四那| 99热网站在线观看| 亚洲av不卡在线观看| 亚洲精品成人久久久久久| 亚洲欧美中文字幕日韩二区| 熟女电影av网| 亚洲七黄色美女视频| 小蜜桃在线观看免费完整版高清|