• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    網(wǎng)絡(luò)社會(huì)事件評(píng)論的高頻詞情感語料庫構(gòu)建研究

    2025-08-04 00:00:00王雨函廖丹梁國棟
    關(guān)鍵詞:高頻詞語料語料庫

    一、引言

    互聯(lián)網(wǎng)的普及深刻影響著網(wǎng)絡(luò)環(huán)境和現(xiàn)實(shí)生活。網(wǎng)絡(luò)文本分析,尤其是其中的情感分析,已成為研究網(wǎng)絡(luò)事件的重要方法之一。文本情感分析是對(duì)文本隱含的情緒信息進(jìn)行分析和歸納的過程,有助于了解文本使用者對(duì)某個(gè)問題的觀點(diǎn)和態(tài)度,進(jìn)而預(yù)測(cè)其可能的行為傾向[1]。網(wǎng)絡(luò)文本情感分析則是對(duì)網(wǎng)絡(luò)文本所承載語料的情緒和情感信息進(jìn)行分析和歸納的過程,對(duì)理解網(wǎng)民對(duì)特定事件的態(tài)度和預(yù)測(cè)其行為有著重要作用。高質(zhì)量、標(biāo)準(zhǔn)化的網(wǎng)絡(luò)文本情感語料庫不僅對(duì)提高網(wǎng)絡(luò)文本情感分析的效率和準(zhǔn)確性至關(guān)重要,也是不同領(lǐng)域網(wǎng)絡(luò)事件情感分析研究的基礎(chǔ),因而成為當(dāng)前多學(xué)科交叉研究的焦點(diǎn)。目前,中文網(wǎng)絡(luò)文本情感語料庫建設(shè)已經(jīng)取得了較大進(jìn)展,但現(xiàn)有成果在標(biāo)注類型、評(píng)定樣本數(shù)量,以及與特定領(lǐng)域的匹配度等諸多方面仍存在一定的局限性,無法滿足信息處理的需求。

    借鑒已有的中文文本情感分析語料庫在構(gòu)建過程中所形成的標(biāo)準(zhǔn)化范式,本文通過對(duì)微博平臺(tái)上具有較大影響的社會(huì)事件的評(píng)論文本進(jìn)行數(shù)據(jù)挖掘,提取高頻詞,并采用標(biāo)準(zhǔn)化的情緒維度測(cè)評(píng)范式進(jìn)行大樣本評(píng)定;通過對(duì)語料庫中數(shù)據(jù)的統(tǒng)計(jì)分析,最終構(gòu)建基于微博網(wǎng)絡(luò)社會(huì)熱點(diǎn)事件的評(píng)論文本高頻詞的情感語料庫。該語料庫可用于后續(xù)的網(wǎng)絡(luò)社會(huì)熱點(diǎn)事件分析和輿情預(yù)測(cè),具有一定的理論和應(yīng)用價(jià)值。

    二、文獻(xiàn)回顧

    情感分析是對(duì)網(wǎng)絡(luò)文本的情感色彩加以分析的過程,它涉及對(duì)主觀性文本的處理、歸納和推理。高質(zhì)量語料庫的構(gòu)建是網(wǎng)絡(luò)文本情感分析的基礎(chǔ),但當(dāng)前研究在語料庫建構(gòu)過程中未能有效區(qū)分情緒和情感兩個(gè)概念。情緒(emotion)是個(gè)體對(duì)于特定事件或情境的直接反應(yīng),具有情境性和暫時(shí)性,自動(dòng)激活且毋須復(fù)雜的思考過程;情感(affect)是一個(gè)更廣泛的概念,它包括情感狀態(tài)和傾向,是個(gè)體對(duì)某些對(duì)象、人或活動(dòng)的長(zhǎng)期和穩(wěn)定的評(píng)價(jià)和態(tài)度[2],往往涉及評(píng)估和解釋等更多認(rèn)知加工。在語料庫構(gòu)建的過程中,被試通過分析和評(píng)估詞的含義,在即刻的情緒體驗(yàn)的基礎(chǔ)上得到詞匯的情感特性,這就屬于情感分析的范疇[3]。當(dāng)前,國內(nèi)學(xué)者構(gòu)建情感語料庫所采用的情感分析方法主要分兩類:一是基于機(jī)器學(xué)習(xí)的技術(shù),即通過搜集大量已標(biāo)注或未標(biāo)注的語料,運(yùn)用機(jī)器學(xué)習(xí)算法對(duì)語料進(jìn)行特征提取和情感分析,此類研究多聚焦于算法的演進(jìn)和創(chuàng)新;二是基于情感詞典的方法,首先構(gòu)建一個(gè)通用的或特定領(lǐng)域的詞典,然后根據(jù)詞語的情感特性來進(jìn)行情感分析4。文本情感分析的準(zhǔn)確性在很大程度上依賴高質(zhì)量的情感語料庫。情感語料庫是自然語言處理領(lǐng)域的重要資源,通常標(biāo)注了文本中的情感信息,涉及篇章、句和詞等多層級(jí)文本的分析,廣泛應(yīng)用于研究和開發(fā)情感分析模型、產(chǎn)品評(píng)論、對(duì)話系統(tǒng)等多個(gè)場(chǎng)景[5]。

    國外的情感語料庫構(gòu)建起步相對(duì)較早,且涉及面較廣,當(dāng)前比較常用的一些語料庫包括:康奈爾大學(xué)影評(píng)數(shù)據(jù)集(CornellMovie-ReviewDatasets),它由網(wǎng)絡(luò)電影數(shù)據(jù)庫(IntermetMovieDatabase)的影評(píng)構(gòu)成,包含篇章(2000篇)和句(10662句)兩種語料類型,并對(duì)文本進(jìn)行了基于褒貶的類型評(píng)定[6]79-86;多視角問答語料庫(Multiple-Perspective Question Answering),它是篇章層級(jí)的語料庫,對(duì)535篇多渠道來源的新聞進(jìn)行了文本情感級(jí)性(sentimentpolarity)、情感強(qiáng)度等類型的標(biāo)注;伊利諾伊大學(xué)Hu等創(chuàng)建了產(chǎn)品領(lǐng)域評(píng)論數(shù)據(jù)集,該語料庫對(duì)5種產(chǎn)品的評(píng)論文本進(jìn)行爬取并下載了前100 條評(píng)論作為標(biāo)記對(duì)象,對(duì)文本的情感傾向性以及強(qiáng)度進(jìn)行了標(biāo)注[8]168-177;通用查詢?cè)~典(General Inquirer Lexicon),該詞典包含 4 908 個(gè)詞,其中褒義詞1 915個(gè),貶義詞2993個(gè),并對(duì)這些詞的情感類型和強(qiáng)度等進(jìn)行了標(biāo)注[9]113-116;多角度問答主觀性詞典(Multiple-Perspective Question Answering Subjectivity Lexicon),該詞典由 8 O00 多個(gè)詞匯和短語構(gòu)成,采用情感傾向性進(jìn)行標(biāo)注[7]。

    中文情感語料庫的研究雖起步較晚,但已形成了一系列具有一定影響力的成果。本文對(duì)常見的中文情感語料庫進(jìn)行了整理,結(jié)果見表1。如表1所示,本文區(qū)分了它們?cè)谡Z料類型(詞、句、篇章)、語料數(shù)量、語料來源(傳統(tǒng)文本、互聯(lián)網(wǎng)文本)、標(biāo)注類型(維度評(píng)定、類別評(píng)定)、領(lǐng)域限定(無限定、特定領(lǐng)域)、評(píng)定方式(人工評(píng)定、機(jī)器學(xué)習(xí))和樣本規(guī)模等方面的異同。

    表1常見中文情感語料庫
    續(xù)上表

    在語料類型方面,當(dāng)前文本情感分析的主流語料可以分為詞、句和篇章三個(gè)層級(jí),但主要集中在詞和句的層級(jí),篇章層級(jí)的語料庫相對(duì)較少?;谠~的情感分析是句和篇章層級(jí)的情感分析的前提,也是后續(xù)結(jié)合上下文語義進(jìn)行情感分析的基礎(chǔ)環(huán)節(jié)[5]。

    在語料數(shù)量方面,不同語料庫在語料數(shù)量上有較大的差距。語料的數(shù)量往往與其語料來源、適用的領(lǐng)域關(guān)系密切。因此,不能簡(jiǎn)單基于語料的數(shù)量來判斷語料庫的優(yōu)劣,而是要綜合考慮其對(duì)所適用的領(lǐng)域的代表性、語料的實(shí)用性,以及標(biāo)注的樣本量或機(jī)器評(píng)定的模型選擇等一系列因素。

    在語料來源方面,現(xiàn)有語料庫的詞的來源主要分為傳統(tǒng)文本和互聯(lián)網(wǎng)文本兩類。傳統(tǒng)文本材料不僅包括《現(xiàn)代漢語詞典》等語言工具書,還包括政府工作報(bào)告[21]、學(xué)術(shù)論文的引文[22],以及教學(xué)過程中的教師評(píng)語[23]等諸多領(lǐng)域來源的語料。由于網(wǎng)絡(luò)語言的獨(dú)特性,基于傳統(tǒng)文本構(gòu)建的語料庫對(duì)網(wǎng)絡(luò)文本的適用性存在爭(zhēng)議。因此,基于互聯(lián)網(wǎng)文本的語料庫建設(shè)也引起研究者的關(guān)注[24-25]

    在標(biāo)注類型方面,當(dāng)前的情感語料庫的標(biāo)注類型主要包括類別評(píng)定和維度評(píng)定兩種模式,其中,類別評(píng)定是最常用的標(biāo)注類型。在類別評(píng)定方面,Ekman 等[26]提出了6種基本情緒分類:高興、悲傷、憤怒、恐懼、厭惡和詫異。Plutchik[27]在Ekman等的基礎(chǔ)上提出了包含4對(duì)雙向組合的情緒模型:高興與悲傷、憤怒與恐懼、信任與厭惡、詫異與期望。采用類別評(píng)定模式的語料庫在構(gòu)建過程多沿用上述情緒分類或在其基礎(chǔ)上做一定的修訂,例如,張鵬等[28采取Plutchik的4對(duì)情緒分類,對(duì)中文劇集網(wǎng)絡(luò)評(píng)論文本進(jìn)行了情感評(píng)價(jià);董穎紅等[13]則對(duì) Ekman 等的分類進(jìn)行了調(diào)整,并最終形成了5種情緒分類的語料庫。類型評(píng)定模式簡(jiǎn)明直觀,能夠快速地對(duì)情緒進(jìn)行分類,因此應(yīng)用相對(duì)較為廣泛。另一種重要的情緒分類評(píng)定的模式是維度評(píng)定,Wundt[29]25將情緒分為不愉快與愉快、松弛與緊張、平靜與激動(dòng)三組,通過在三組維度特征的兩極之間的坐標(biāo)系上確定相應(yīng)位置,可以對(duì)情緒進(jìn)行精準(zhǔn)的標(biāo)注和分類。而后,Russel[30]提出了三維情感模型(Pleasure-Arousal-Dominance),將情感的三個(gè)維度界定為:愉悅度、喚醒度和支配度,并在此基礎(chǔ)上提出情感環(huán)模型。從表1可知,當(dāng)前的中文情感語料庫在標(biāo)注類型上主要采用類別評(píng)定這一模式,基于情感維度展開的研究相對(duì)較為少見。

    在領(lǐng)域限定方面,早期的語料庫多是通用的,但研究者逐漸發(fā)現(xiàn)不同領(lǐng)域文本的關(guān)鍵信息分布存在著顯著差異,即出現(xiàn)領(lǐng)域適用性問題。因此,針對(duì)特定領(lǐng)域的語料庫應(yīng)運(yùn)而生,例如,針對(duì)電商平臺(tái)在線評(píng)論的語料整理[31]、涉警網(wǎng)絡(luò)輿情感詞典的建立[32」、關(guān)于“雙減”的教育類微博文本挖掘[33]等?;仡櫼延醒芯靠芍?,盡管現(xiàn)有的限定領(lǐng)域語料庫在特定領(lǐng)域內(nèi)具有較高的針對(duì)性,但它們并未涵蓋本文所關(guān)注的領(lǐng)域。也就是說,目前尚未有研究專門針對(duì)微博熱點(diǎn)社會(huì)事件評(píng)論文本而構(gòu)建的情感語料庫。

    在評(píng)定方式方面,現(xiàn)有評(píng)定方式主要分為兩類:人工評(píng)定和機(jī)器學(xué)習(xí)。人工評(píng)定是通過招募一定數(shù)量的被試來評(píng)定詞的情感類型或維度,這種評(píng)定方式準(zhǔn)確度高,但標(biāo)注效率有限,且對(duì)標(biāo)注者的個(gè)體能力和專業(yè)知識(shí)有一定的要求。機(jī)器學(xué)習(xí)則是利用現(xiàn)代信息技術(shù)自動(dòng)建立詞庫,即先確定具有情感傾向的種子詞,并通過算法獲得種子詞與新詞之間的語義聯(lián)系,然后對(duì)該詞進(jìn)行情感判斷。這種方法需要在一定人工評(píng)定詞庫的基礎(chǔ)上,利用算法對(duì)詞進(jìn)行擬合,推導(dǎo)出擴(kuò)展詞的情感特征。該評(píng)定方式標(biāo)注效率高,應(yīng)用范圍廣,但可能存在錯(cuò)標(biāo)和漏標(biāo)等問題,且對(duì)算法的要求較高。值得注意的是,原始詞庫標(biāo)記的準(zhǔn)確度直接影響后續(xù)算法所形成的標(biāo)記的信度和效度,而原始詞庫的建立往往以人工評(píng)定為基礎(chǔ)。故而,為保證研究結(jié)果的有效性,本文基于心理學(xué)標(biāo)準(zhǔn)化的情感維度測(cè)評(píng)范式,采用人工評(píng)定的方式展開研究。

    在情感評(píng)定的樣本規(guī)模方面,機(jī)器學(xué)習(xí)通常不涉及樣本量問題,而人工評(píng)定則有所不同。樣本量是影響人工情感評(píng)定有效性和準(zhǔn)確性的關(guān)鍵因素之一。小樣本標(biāo)注容易因個(gè)人主觀傾向而產(chǎn)生標(biāo)注偏差,進(jìn)而導(dǎo)致情感標(biāo)注的有效性和準(zhǔn)確性不足[34]。為了減少主觀偏差,增大樣本量是一種有效方法。但由于標(biāo)注所需人力等成本較高,進(jìn)行大樣本標(biāo)注有一定的困難,從表1也可見,僅有少量研究的樣本量大于30,達(dá)到統(tǒng)計(jì)學(xué)上大樣本的標(biāo)準(zhǔn)。因此,在建立高水平的中文情感詞語料庫的過程中,采用大樣本人工評(píng)定的方法,是提升標(biāo)注有效性和準(zhǔn)確性的可行途徑之一。

    通過對(duì)現(xiàn)有中文情感語料庫的細(xì)致對(duì)比分析可見,這些語料庫在標(biāo)注類型、評(píng)定樣本數(shù)量,以及與特定領(lǐng)域的匹配度等諸多方面仍存在一定的局限性。首先,現(xiàn)有研究普遍采用類別評(píng)定的方法,但這種方法對(duì)情感的描述不夠細(xì)致全面。維度評(píng)定是心理學(xué)領(lǐng)域內(nèi)認(rèn)可度較高的情感評(píng)定方法,它有以下優(yōu)點(diǎn):一是細(xì)致度與連續(xù)性更強(qiáng),能提供更細(xì)粒度的情感預(yù)測(cè) [35]4367-4380 ;二是允許在同一情感狀態(tài)下考察不同的情感維度,有助于多維度情感信息的捕捉[36];三是與機(jī)器學(xué)習(xí)的適配性更好,能夠更準(zhǔn)確地處理復(fù)雜的情感數(shù)據(jù)[37]。但維度評(píng)定的復(fù)雜性導(dǎo)致其工作量和成本遠(yuǎn)大于類別評(píng)定,這也是大多數(shù)語料庫使用類別評(píng)定的原因之一。本文采用心理學(xué)領(lǐng)域認(rèn)可度較高且更加細(xì)致全面的維度評(píng)定模式,從而能夠從多角度捕捉目標(biāo)詞的情感特點(diǎn),進(jìn)而對(duì)現(xiàn)有中文情感語料庫資源進(jìn)行有價(jià)值的補(bǔ)充。其次,現(xiàn)有的基于人工評(píng)定的語料庫通常使用小樣本進(jìn)行評(píng)定,但統(tǒng)計(jì)學(xué)研究表明,當(dāng)樣本量小于30時(shí),統(tǒng)計(jì)檢驗(yàn)的功效會(huì)顯著降低,從而增加未能檢測(cè)到實(shí)際存在效應(yīng)的概率;同時(shí),小樣本會(huì)削弱結(jié)果的可重復(fù)性,并使得統(tǒng)計(jì)量對(duì)極端值或異常值更加敏感,從而影響推斷的穩(wěn)健性[38]135-143。為此,本文采用大樣本評(píng)定的方法,通過擴(kuò)大樣本量來提高統(tǒng)計(jì)分析的可靠性,降低因抽樣變異導(dǎo)致的估計(jì)偏差。再次,現(xiàn)有成果中缺乏針對(duì)網(wǎng)絡(luò)熱點(diǎn)社會(huì)事件評(píng)論文本的專門語料庫。網(wǎng)絡(luò)語料庫的領(lǐng)域適用性越強(qiáng),對(duì)網(wǎng)絡(luò)事件的分析和解讀就越精準(zhǔn)。構(gòu)建一個(gè)高質(zhì)量、領(lǐng)域適用性強(qiáng)的網(wǎng)絡(luò)語料庫,不僅能夠?yàn)檠芯空咛峁┴S富的文本數(shù)據(jù)支持,還有助于深入地挖掘網(wǎng)絡(luò)熱點(diǎn)事件中的公眾情緒、觀點(diǎn)傾向和社會(huì)態(tài)度。最后,在語料選取上,與事件報(bào)告文本相比,評(píng)論文本能從更多角度反映網(wǎng)絡(luò)用戶對(duì)事件的態(tài)度,是深入分析網(wǎng)絡(luò)事件所引發(fā)的公眾情緒和社會(huì)態(tài)度的有效途徑。據(jù)此,本文選取基于微博平臺(tái)的熱點(diǎn)社會(huì)事件評(píng)論文本作為語料來源,以構(gòu)建具有較強(qiáng)領(lǐng)域針對(duì)性的情感語料庫,從而為相關(guān)研究提供更為精準(zhǔn)的數(shù)據(jù)支持。

    網(wǎng)絡(luò)文本情感語料庫的建立通常要面對(duì)海量文本,對(duì)其進(jìn)行全面且規(guī)范的大樣本標(biāo)注需要耗費(fèi)大量人力物力,而上述困難往往通過抽取領(lǐng)域文本高頻詞的方法來加以解決。高頻詞的分析能揭示在同類文本中頻繁出現(xiàn)的詞的特征,進(jìn)而反映網(wǎng)絡(luò)用戶對(duì)該類問題的共同情感和態(tài)度。因此,對(duì)高頻詞的分析成為網(wǎng)絡(luò)文本分析、網(wǎng)絡(luò)行為與輿情預(yù)測(cè)的重要手段,大量關(guān)于不同領(lǐng)域的網(wǎng)絡(luò)評(píng)論和網(wǎng)絡(luò)行為研究都是基于這一范式展開[39-41]。本文通過對(duì)爬取的評(píng)論文本進(jìn)行切分,獲得關(guān)鍵詞,并在此基礎(chǔ)上采用公式(定性)選取法凝練關(guān)鍵詞,為后續(xù)更快速有效地捕捉社會(huì)事件所引發(fā)的群體情感提供支持。

    綜上,本文旨在彌補(bǔ)已有情感語料庫在標(biāo)注類型、樣本數(shù)量和領(lǐng)域適用性等方面存在的不足,采用心理學(xué)標(biāo)準(zhǔn)化的情感維度測(cè)評(píng)范式,通過大樣本人工標(biāo)注的方法對(duì)微博熱點(diǎn)社會(huì)事件評(píng)論文本的高頻詞進(jìn)行情感維度標(biāo)注,進(jìn)而構(gòu)建微博熱點(diǎn)社會(huì)事件評(píng)論文本的高頻詞情感語料庫。本文一方面有助于彌補(bǔ)當(dāng)前中文網(wǎng)絡(luò)文本語料庫缺少從情感維度層面進(jìn)行語料標(biāo)注的不足,另一方面聚焦特定類型的網(wǎng)絡(luò)事件,通過大樣本的情感評(píng)定,減少被試個(gè)體偏差,提高評(píng)定結(jié)果的準(zhǔn)確性和有效性,為網(wǎng)絡(luò)熱點(diǎn)社會(huì)事件的預(yù)測(cè)和發(fā)展分析提供有力支撐。

    三、語料庫構(gòu)建

    語料庫構(gòu)建是通過定性或定量分析的方法將相關(guān)文本信息進(jìn)行分析和整合,進(jìn)而規(guī)范且完整地表述文本各方面特征的過程,是后續(xù)文本分析得以有效展開的關(guān)鍵。本文旨在構(gòu)建微博熱點(diǎn)社會(huì)事件的評(píng)論文本高頻詞情感語料庫,研究采用維度評(píng)定的標(biāo)注方式進(jìn)行大樣本評(píng)定,以保證結(jié)果的有效性。語料庫建構(gòu)設(shè)計(jì)流程見圖1。

    (一)預(yù)處理:微博熱點(diǎn)社會(huì)事件的選擇和詞的初步獲取

    鑒于當(dāng)前對(duì)特定領(lǐng)域文本情感語料庫的需求,本文聚焦具有較高影響力的微博熱點(diǎn)社會(huì)事件。借鑒學(xué)界目前普遍采用的微博熱點(diǎn)事件篩選標(biāo)準(zhǔn)[42-43],選取2020年1月1日至12月30 日期間閱讀數(shù)量超過10億次,討論次數(shù)大于10萬次的熱點(diǎn)社會(huì)事件共計(jì)25個(gè),事件涉及的領(lǐng)域涵蓋醫(yī)療、教育、法律等社會(huì)關(guān)注高的領(lǐng)域。在文本爬取階段,針對(duì)這25個(gè)熱點(diǎn)社會(huì)事件進(jìn)行評(píng)論數(shù)據(jù)的收集。其中,23個(gè)事件每個(gè)均成功爬取到了超過1500條評(píng)論,另外2個(gè)事件每個(gè)爬取到的評(píng)論條目不足800條。為確保數(shù)據(jù)均衡分布,刪除這2個(gè)評(píng)論數(shù)量較少的事件,最終保留23個(gè)具有足夠評(píng)論條目的網(wǎng)絡(luò)社會(huì)熱點(diǎn)事件。對(duì)于每個(gè)事件,按照新聞媒體的權(quán)威度和事件的討論度,選取有較高權(quán)威度和討論度的3個(gè)主流媒體(“人民日?qǐng)?bào)”“央視新聞”和“鳳凰網(wǎng)”)報(bào)道下的評(píng)論文本。之后,2021年1月1日至2024年6月30日期間,筆者采用與2020年同樣的標(biāo)準(zhǔn),每年篩選3個(gè)微博熱點(diǎn)社會(huì)事件進(jìn)行補(bǔ)充,合并至2020年建立的基礎(chǔ)評(píng)論數(shù)據(jù),總計(jì)獲得網(wǎng)絡(luò)熱點(diǎn)社會(huì)事件32個(gè),并最終爬取網(wǎng)絡(luò)評(píng)論文本共計(jì)113748條。對(duì)上述語料,使用Python自帶的“Jieba”切詞工具并選擇精確模式進(jìn)行切分,以保證文本不存在冗余單詞。切分后共獲得字符串3141956個(gè),排除標(biāo)點(diǎn)、符號(hào)、表情、純西文分詞等后,共獲得中文字符2989261個(gè)。對(duì)該結(jié)果進(jìn)行二次清洗,進(jìn)一步刪除了所有非中文字符后,最終獲得956757個(gè)有效中文詞,包含雙字詞、三字詞和多字詞等多種類別詞。

    (二) 高頻情感詞的篩選

    關(guān)于高頻詞閾值范圍的界定存在多種方法,包括自定義選取法、公式(定性)選取法和混合選取法[44]。當(dāng)前學(xué)界在高頻詞閾值選取方法方面并不統(tǒng)一,使用最廣泛的是自定義選取法,即由研究者自行指定某一百分比值作為高頻詞的臨界點(diǎn)。該方法主觀性較強(qiáng),更多依賴研究者的個(gè)人經(jīng)驗(yàn)和判斷,故而結(jié)果的準(zhǔn)確性和科學(xué)性存在一定爭(zhēng)議。公式(定性)選取法則是基于統(tǒng)計(jì)分析的方法,如高低頻詞界定公式選取法[45]、普賴斯公式選取法[46],以及安興茹[47]提出的正態(tài)分布詞頻分析法等。其中,高低頻詞界定公式選取法應(yīng)用最為廣泛,相較于其他方法,該方法更為客觀,但限制因素較多,實(shí)操較為困難,且因該方法對(duì)高頻詞界定的標(biāo)準(zhǔn)比較嚴(yán)格,從而相較其他方法得到的高頻詞數(shù)量相對(duì)較少。因此,更多的研究者采用混合選取法,即結(jié)合自定義選取法和公式(定性)選取法來確定高頻詞界定的閾值。

    在保證樣本量的基礎(chǔ)上,本文采用學(xué)界普遍認(rèn)可的公式(定性)選取法。在公式(定性)選取法中,高低頻詞界定公式選取法因其效度較高且標(biāo)準(zhǔn)嚴(yán)格,應(yīng)用最為廣泛,常被用作極高頻詞的篩選工具。故而,本文將該公式作為極高頻詞頻界定的工具,見公式(1):

    式中, T 為高頻詞和低頻詞的分界數(shù),如 T=200 ,則出現(xiàn)高于200次的詞為高頻詞,反之則為低頻詞; I1 為只出現(xiàn)1次的詞的數(shù)量[45]。本次爬取共獲得極低頻詞97 213個(gè),代人公式計(jì)算得出極高頻詞閾值為441,即極高頻詞為所有出現(xiàn)頻次大于441次的詞,按排序計(jì)算后共180個(gè)。在這180個(gè)極高頻詞的基礎(chǔ)上,進(jìn)一步篩選次高頻詞以擴(kuò)大語料庫詞匯量。在次高頻詞選取過程中,為保證高頻詞選取的客觀性,本文未采用自定義選取法,而是進(jìn)一步結(jié)合公式(定性)選取法中較為常用的正態(tài)分布的詞頻分析法,來選取次高頻詞。安興茹[4指出,根據(jù)正態(tài)分布的主體計(jì)算規(guī)則,研究熱點(diǎn)需要的高頻詞要能夠反映語料庫的中心( 34% )。因此,本文選取 34% 作為次高頻詞閾值標(biāo)準(zhǔn)。將極高頻詞和次高頻詞結(jié)合后總計(jì)獲得高頻詞901個(gè),初步形成“網(wǎng)絡(luò)熱點(diǎn)事件評(píng)論文本的高頻詞語料庫”,該語料庫將用于下一步的情感維度評(píng)定,是本文最終形成的“網(wǎng)絡(luò)社會(huì)事件評(píng)論的高頻詞情感語料庫”的基礎(chǔ)。

    對(duì)語料庫中的高頻詞進(jìn)一步進(jìn)行人工清洗,刪除介詞、方位詞等不帶有情感色彩的詞;同時(shí),為排除大量與情感無關(guān)的冗余詞對(duì)被試情感維度評(píng)定過程造成的干擾,并減少因冗余詞過多而造成的被試疲勞效應(yīng)對(duì)結(jié)果的干擾,在正式進(jìn)行情感維度評(píng)定之前,先對(duì)“網(wǎng)絡(luò)熱點(diǎn)事件評(píng)論文本的高頻詞語料庫”中的語料進(jìn)行情感色彩的判定和篩選,具體方法如下:

    被試:32名大學(xué)生被試參與本次測(cè)評(píng),其中,1名被試因任務(wù)完成度不佳被刪除,1名被試因母語為非漢語被刪除,最終獲得有效被試30人,男女各半,平均年齡21歲,全部被試母語均為漢語。所有被試均簽署知情同意書。在實(shí)驗(yàn)前對(duì)所有被試進(jìn)行系統(tǒng)的培訓(xùn),確保其明確了解評(píng)定流程,并正確理解需要評(píng)定的任務(wù)。測(cè)評(píng)結(jié)束后,實(shí)驗(yàn)者對(duì)評(píng)定結(jié)果進(jìn)行任務(wù)完成度的檢查后支付酬勞。

    實(shí)驗(yàn)任務(wù):要求被試對(duì)901個(gè)詞的情感色彩(詞匯是否帶有情感色彩,即情感色彩是積極的還是消極的,1.積極;2.消極;3.中性,不帶有情感色彩)和趨向度(從感覺回避到愿意趨近的范圍,1表示閱讀后感到極端的回避、不愿久視、不愿久擁有;9表示愿意趨近或擁有其物,5為不趨向也不回避)進(jìn)行評(píng)分。

    根據(jù)評(píng)定結(jié)果,本文刪除中性的、不帶有情感色彩的詞,在篩選的過程中將趨向度的結(jié)果作為情感色彩的驗(yàn)證指標(biāo),部分情感色彩評(píng)分和趨向度評(píng)分不一致的詞將不納入后續(xù)評(píng)定范圍。661個(gè)詞進(jìn)人最終情感維度的測(cè)評(píng)。刪除和被保留的詞的情感色彩評(píng)分結(jié)果和趨向度評(píng)分結(jié)果數(shù)據(jù)見表2。

    表2篩選詞的情感色彩和趨向度評(píng)分結(jié)果

    其中,在情感色彩方面,刪除詞的情感色彩的均值更接近3且標(biāo)準(zhǔn)差較小,說明大部分被試認(rèn)為該詞不帶有情感色彩,而保留詞的情感色彩的均值更接近2且標(biāo)準(zhǔn)差較小,說明更多被試認(rèn)為該詞帶有情感色彩。在趨向度方面,刪除詞的趨向度接近5且標(biāo)準(zhǔn)差相對(duì)較小,說明大部分被試認(rèn)為對(duì)詞閱讀后不會(huì)產(chǎn)生趨向或回避的感受,而保留的詞的趨向度小于5且標(biāo)準(zhǔn)差相對(duì)較大,說明更多被試認(rèn)為該詞容易使人產(chǎn)生回避或趨向兩種不同的體驗(yàn)。

    (三)詞的情感特性判斷

    在完成高頻詞的篩選后,基于愉悅度、喚醒度、優(yōu)勢(shì)度和趨向度4個(gè)情感維度本文進(jìn)一步對(duì)所得詞進(jìn)行評(píng)定,在統(tǒng)計(jì)分析的基礎(chǔ)上最終形成基于多個(gè)情感維度的網(wǎng)絡(luò)熱點(diǎn)社會(huì)事件高頻詞情感語料庫。具體方法如下:

    被試:66名母語為漢語的大學(xué)生被試參與實(shí)驗(yàn),3名被試因數(shù)據(jù)完成質(zhì)量問題被刪除,最終獲得有效被試63名,平均年齡21歲。其中,女生32名,男生31名;所有被試無情感障礙病史,眼睛矯正視力正常。在實(shí)驗(yàn)前對(duì)所有被試進(jìn)行了系統(tǒng)培訓(xùn),使其明確評(píng)定流程,并詳細(xì)講解4個(gè)情感維度的意義,確保被試能正確理解需要評(píng)定的任務(wù)。測(cè)評(píng)結(jié)束后,實(shí)驗(yàn)者對(duì)評(píng)定結(jié)果進(jìn)行任務(wù)完成度的檢查后支付酬旁。

    實(shí)驗(yàn)材料:在預(yù)實(shí)驗(yàn)所形成的“微博熱點(diǎn)社會(huì)事件評(píng)論文本的高頻詞語料庫”的基礎(chǔ)上展開情緒維度測(cè)評(píng)。

    實(shí)驗(yàn)任務(wù):本文采用自編問卷,選取愉悅度、喚醒度、優(yōu)勢(shì)度和趨向度作為測(cè)量維度。實(shí)驗(yàn)前告知被試其所閱讀的詞均來自網(wǎng)絡(luò),要求被試在閱讀后分別從4個(gè)維度對(duì)661個(gè)高頻詞在9點(diǎn)量表上進(jìn)行評(píng)定。為避免材料序列效應(yīng)的干擾,所有材料進(jìn)行了3種不同順序的隨機(jī)序列處理。其中,愉悅度是指詞所表達(dá)的情緒是否愉快,愉快程度越低,評(píng)分越接近1,愉快程度越高,評(píng)分越接近9,5為中性情緒;喚醒度是指詞所表達(dá)的情感的興奮程度,1為感到平靜、放松,9表示情感強(qiáng)度極高,如極其激動(dòng)、極其高興、極其憤怒、令人覺醒,5為中等程度的情感喚醒;優(yōu)勢(shì)度是指詞所描述對(duì)象的受控制程度,越弱小易受控制,評(píng)分越接近1,越強(qiáng)大越不受控制,評(píng)分越接近9,5為該詞語沒有表現(xiàn)出控制與被控制的關(guān)系;趨向度是指從感覺回避到愿意趨近的范圍,1表示閱讀后令人感到極端的回避、不愿久視、不愿久擁有,9表示愿意趨近或擁有,5為不趨向也不回避。

    在實(shí)驗(yàn)前,要求所有被試認(rèn)真閱讀指導(dǎo)語,并詢問被試是否可以區(qū)分不同情緒維度的評(píng)價(jià)標(biāo)準(zhǔn),如確定被試可以,則要求其在整個(gè)實(shí)驗(yàn)中按照指導(dǎo)語實(shí)施評(píng)價(jià),測(cè)評(píng)正式開始。測(cè)評(píng)結(jié)束后,主試會(huì)逐一檢查被試的結(jié)果,如出現(xiàn)評(píng)價(jià)結(jié)果一致化或答案缺漏等情況,該結(jié)果將不納入最終統(tǒng)計(jì)分析。

    四、評(píng)定結(jié)果與討論

    本文使用Python工具,從32個(gè)微博熱點(diǎn)社會(huì)事件中共爬取網(wǎng)絡(luò)評(píng)論文本113748條,切分后獲得有效中文詞956757個(gè)。結(jié)合高低頻詞界定公式選取法和正態(tài)分布詞頻分析法進(jìn)行計(jì)算,最終獲得高頻詞901個(gè)。30名有效被試對(duì)901個(gè)詞進(jìn)行了初步評(píng)定,在初步排除介詞、方位詞等不帶有情感色彩的詞的基礎(chǔ)上,最終獲得高頻詞661個(gè),形成初步的“微博熱點(diǎn)社會(huì)事件評(píng)論文本的高頻詞庫”。在此基礎(chǔ)上,進(jìn)一步使用 SPSS 29.0對(duì)評(píng)定結(jié)果進(jìn)行描述性統(tǒng)計(jì)、探索性因子分析和相關(guān)分析,并對(duì)結(jié)果的有效性進(jìn)行驗(yàn)證分析,最終形成“微博熱點(diǎn)社會(huì)事件評(píng)論文本的高頻詞情感語料庫”。

    (一)高頻情感詞在情感維度評(píng)定得分上的描述性統(tǒng)計(jì)和一致性分析

    對(duì)661個(gè)高頻情感詞在4個(gè)評(píng)定維度上的得分進(jìn)行描述性統(tǒng)計(jì)分析,具體結(jié)果見表3。對(duì)63名被試的結(jié)果分析顯示,愉悅度和趨向度的全距相對(duì)較大,愉悅度最小值為1.79,最大值為7.25,全距為5.46,趨向度最小值為1.54,最大值為7.67,全距為6.13;喚醒度和優(yōu)勢(shì)度的全距相對(duì)較小,其中,喚醒度最小值為2.94,最大值為7.60,全距為4.66,優(yōu)勢(shì)度最小值為3.48,最大值為6.68,全距為3.20。這表明愉悅度和趨向度在9點(diǎn)量表的覆蓋范圍更大,而喚醒度和優(yōu)勢(shì)度的數(shù)據(jù)更集中在接近5的中間范圍,極端值較少,說明中文網(wǎng)絡(luò)用戶在表達(dá)情感傾向時(shí)較為保守,較少使用極其強(qiáng)烈的、控制程度高的極端情感表述。進(jìn)一步分析最大值和最小值的數(shù)據(jù)可以看出,網(wǎng)絡(luò)用戶在閱讀熱點(diǎn)網(wǎng)絡(luò)事件相關(guān)信息后,其情緒得到了一定程度的激發(fā),并在用戶所發(fā)表的評(píng)論文本用詞中有所體現(xiàn),但所激發(fā)的情緒強(qiáng)度并不極端也未失控,這從喚醒度和優(yōu)勢(shì)度的最大值范圍上可以體現(xiàn)。

    表3高頻情感詞在4個(gè)評(píng)定維度上的得分情況

    進(jìn)一步對(duì)結(jié)果進(jìn)行一致性分析,愉悅度的一致性系數(shù)(Cronbach's α )為0.963,喚醒度的一致性系數(shù)為0.995,優(yōu)勢(shì)度的一致性系數(shù)為0.988,趨向度的一致性系數(shù)0.984。4個(gè)維度的一致性系數(shù)均高于0.9,說明研究結(jié)果具有較高的可靠性。

    (二)高頻情感詞在信息維度上的因子分析

    對(duì)本文661個(gè)高頻詞的評(píng)定結(jié)果進(jìn)行探索性因子分析,以了解情感詞評(píng)分的主成分。采用主成分分析法對(duì)特征根大于1的主成分進(jìn)行抽取,得到2個(gè)主成分,在此基礎(chǔ)上形成碎石圖,結(jié)果見圖2。圖2顯示,從主成分3開始其根特征都相對(duì)較低,說明僅提取2個(gè)主成分即可。進(jìn)一步進(jìn)行Bartlet球形檢驗(yàn),結(jié)果小于0.001,探索變量間相關(guān)性的KMO等于0.578,說明結(jié)果可用。其中,愉悅度和趨向度對(duì)第一個(gè)主成分的貢獻(xiàn)較大,其貢獻(xiàn)值分別為0.945和0.947,說明第一個(gè)主成分主要反映了感受自身正向或負(fù)向情感并產(chǎn)生與之相匹配的趨向或回避情感的程度,該成分可能主要代表情感的積極性或親和力。例如,高愉悅度通常與積極的情感體驗(yàn)相關(guān),而這類情感容易引發(fā)趨向度行為;而喚醒度和優(yōu)勢(shì)度對(duì)第二個(gè)主成分貢獻(xiàn)相對(duì)較大,其貢獻(xiàn)值分別為0.331和0.908,表明第二個(gè)主成分反映了情感的強(qiáng)度和受控制的程度。

    圖2雙字詞感情色彩評(píng)定的主成分分析碎石圖

    進(jìn)一步進(jìn)行主成分分析,分析結(jié)果見表4。結(jié)果顯示,因子1和因子2這2個(gè)因子的累計(jì)貢獻(xiàn)率已經(jīng)達(dá)到了 84.531% 。

    表4高頻情感詞主成分分析的變量特征及貢獻(xiàn)率

    對(duì)公因子方差比進(jìn)行分析可知,所有評(píng)定維度的公因子方差比都在0.5以上,且其中除喚醒度外的3個(gè)維度均超過0.7,說明愉悅度、優(yōu)勢(shì)度、趨向度這3個(gè)評(píng)定維度都得到了較充分的提取。公因子方差比的結(jié)果見表5。

    表5高頻情感詞主成分分析的公因子方差比

    (三)情感形容詞感情色彩的相關(guān)分析

    為進(jìn)一步探究愉悅度、喚醒度、優(yōu)勢(shì)度和趨向度這4個(gè)評(píng)定維度之間的關(guān)系,選取愉悅度9點(diǎn)評(píng)分中的5作為中位值,將評(píng)分大于5的結(jié)果歸于正性高愉悅詞,而評(píng)分低于5的歸于負(fù)性低愉悅詞,并與其余三個(gè)維度的評(píng)定結(jié)果進(jìn)行相關(guān)分析。分析結(jié)果顯示,對(duì)于負(fù)性低愉悅詞,愉悅度與喚醒度( r=-0.893 , plt;0.01 )和優(yōu)勢(shì)度( r=-0.321 , plt;0.01 )都呈負(fù)相關(guān)關(guān)系,而與趨向度( r=0.893 , plt;0.01 )呈正相關(guān)關(guān)系。對(duì)于正性高愉悅詞,愉悅度與喚醒度( r=0.757 , plt;0.01 )和趨向度( r=0.874 , plt;0.01 )呈正相關(guān),但與優(yōu)勢(shì)度相關(guān)關(guān)系不顯著( r=0.065 , pgt;0.01 )。采用二維散點(diǎn)圖表現(xiàn)愉悅度、喚醒度、優(yōu)勢(shì)度和趨向度的相關(guān)系數(shù)分布情況如圖3所示。

    圖3高頻情感詞情感信息的4個(gè)維度相關(guān)系數(shù)的分布關(guān)系

    結(jié)果顯示,對(duì)于負(fù)性低愉悅詞,愉悅度與喚醒度和優(yōu)勢(shì)度呈負(fù)相關(guān)關(guān)系,說明越不愉快的情感往往伴隨著較高的喚醒度和優(yōu)勢(shì)度,即愉悅度越低,情感的強(qiáng)度越強(qiáng),且個(gè)體受控制感越強(qiáng),然而,與趨向度的正相關(guān)則表明,個(gè)體對(duì)這類情感傾向于回避。對(duì)于正性高愉悅詞,愉悅度與喚醒度、趨向度均呈正相關(guān)關(guān)系,說明越愉快的情感越會(huì)伴隨較高的喚醒度并引發(fā)趨向行為;同時(shí),個(gè)體在這一過程中不會(huì)產(chǎn)生強(qiáng)烈的受控制感,說明積極情感更多指向個(gè)體內(nèi)部,而消極情感往往與外部力量相關(guān)。

    (四) 結(jié)果有效性驗(yàn)證分析

    本文隨機(jī)選取2000條基于網(wǎng)絡(luò)社會(huì)事件的評(píng)論文本,通過人工評(píng)定的方法對(duì)文本進(jìn)行標(biāo)記,最終篩選有效測(cè)試文本1500條,其中積極500條,消極500條,中性500條,并形成測(cè)試集。針對(duì)本文所構(gòu)建的“網(wǎng)絡(luò)社會(huì)事件評(píng)論文本的高頻詞情感語料庫”,以及應(yīng)用較為廣泛的“中文情感詞匯本體庫”和心理學(xué)領(lǐng)域認(rèn)可度較高的“漢語情感詞系統(tǒng)”,并借鑒已有研究[48]中采用的情感詞典與規(guī)則組合相結(jié)合的情感分類方法,分別計(jì)算測(cè)試集中每條測(cè)試文本的情感傾向。以人工評(píng)價(jià)的測(cè)試集為基準(zhǔn),通過精確率 (P) 、召回率( R )和 F 值,對(duì)三個(gè)詞典在特定領(lǐng)域的評(píng)估性能進(jìn)行比較,具體結(jié)果見表6。從結(jié)果可見,在特定領(lǐng)域網(wǎng)絡(luò)評(píng)論文本中的測(cè)評(píng)結(jié)果中,本文構(gòu)建的語料庫在多項(xiàng)得分上均優(yōu)于“情感詞匯本體庫”和“漢語情感詞系統(tǒng)”。其中,與“情感詞匯本體庫”對(duì)比,本文構(gòu)建的語料庫在各項(xiàng)得分上均高出 4%-10% ;與“漢語情感詞系統(tǒng)”相比,本文構(gòu)建語料庫僅在消極文本的準(zhǔn)確率上略有不足(差異小于 1% ),其余得分均有提高。

    表6三種情感詞典的性能評(píng)估

    (五)基于結(jié)果的討論

    本文構(gòu)建的語料庫彌補(bǔ)了現(xiàn)有中文情感語料庫的不足,特別是彌補(bǔ)了現(xiàn)有研究在標(biāo)注類型、樣本規(guī)模和領(lǐng)域適用性方面的不足。在標(biāo)注類型方面,本文基于愉悅度、喚醒度、優(yōu)勢(shì)度和趨向度4個(gè)維度對(duì)高頻詞的情感特性進(jìn)行評(píng)定,能從多角度全面捕捉所需評(píng)定詞的情感特點(diǎn),是對(duì)當(dāng)前已有中文情感語料庫標(biāo)注類型的有效補(bǔ)充。在樣本規(guī)模方面,本文采用大樣本的人工評(píng)定,彌補(bǔ)了現(xiàn)有中文情感語料庫構(gòu)建過程中多采用小樣本評(píng)定的不足[38]135-143,提高了統(tǒng)計(jì)分析的可靠性,降低了因抽樣變異導(dǎo)致的估計(jì)偏差。在領(lǐng)域適用性方面,本文聚焦網(wǎng)絡(luò)熱點(diǎn)社會(huì)事件,具有較高的領(lǐng)域適應(yīng)性。研究基于微博平臺(tái)篩選熱點(diǎn)社會(huì)事件,涵蓋醫(yī)療、教育、法律等高關(guān)注度社會(huì)問題,有效保證了研究對(duì)象的涵蓋范圍。通過對(duì)這些熱點(diǎn)社會(huì)事件評(píng)論文本的高頻詞進(jìn)行情感分析,能夠?qū)崿F(xiàn)對(duì)網(wǎng)絡(luò)社會(huì)事件熱度演進(jìn)的追蹤與預(yù)測(cè)。這一研究不僅豐富了當(dāng)前語料庫在領(lǐng)域適用性方面的范圍,還有效彌補(bǔ)了現(xiàn)有中文情感語料庫在領(lǐng)域適用性方面的不足。

    同時(shí),與現(xiàn)有常用情感詞語料庫相比較,本文構(gòu)建的語料庫在多項(xiàng)得分上均有所提升。使得精確率提升的原因主要可能在于以下兩個(gè)方面,一方面,如表1所示,“情感詞匯本體庫”和“漢語情感詞系統(tǒng)”主要構(gòu)成均全部或大部分源于傳統(tǒng)文本,互聯(lián)網(wǎng)文本僅占較小部分,而本文構(gòu)建語料庫的詞均源自網(wǎng)絡(luò),因此,對(duì)于網(wǎng)絡(luò)評(píng)論文本的測(cè)評(píng)效果更好;另一方面,本文所構(gòu)建的語料庫基于網(wǎng)絡(luò)熱點(diǎn)社會(huì)事件,具有較高的領(lǐng)域限定性,因此在對(duì)特定領(lǐng)域的文本進(jìn)行測(cè)評(píng)的過程中,其效果要好于兩個(gè)無限定領(lǐng)域的語料庫。但由于本語料庫的詞為高頻詞,其數(shù)量相對(duì)有限,因而也在一定程度上限制了對(duì)測(cè)評(píng)文本的分析,在消極情緒測(cè)評(píng)上與“漢語情感詞系統(tǒng)”的差異可能由此造成。因此,在后續(xù)研究中需進(jìn)一步補(bǔ)充語料來源,豐富現(xiàn)有語料庫中詞的數(shù)量。

    中文互聯(lián)網(wǎng)語言的情感表達(dá)具有克制性。本文發(fā)現(xiàn),中文網(wǎng)絡(luò)用戶在表達(dá)情感傾向時(shí)較為克制保守,較少使用極端情感的表述。本文所關(guān)注的社會(huì)事件來源均為主流媒體的評(píng)論,評(píng)論者的受眾意識(shí)和社交媒體的公開性促使用戶謹(jǐn)慎表達(dá)情感,這一特點(diǎn)是否在其他媒體平臺(tái)上同樣存在,需要在后續(xù)語料庫建設(shè)過程中不斷豐富評(píng)論語料來源來加以驗(yàn)證。此外,這種情感表達(dá)的克制性也與中文互聯(lián)網(wǎng)語言使用的環(huán)境密切相關(guān)。在各部門聯(lián)合開展的“清朗·規(guī)范網(wǎng)絡(luò)語言文字使用”專項(xiàng)行動(dòng)等行動(dòng)中①,均強(qiáng)調(diào)了對(duì)互聯(lián)網(wǎng)語言文字的規(guī)范和管理,明確應(yīng)堅(jiān)決遏阻庸俗暴戾網(wǎng)絡(luò)語言傳播,建設(shè)健康文明的網(wǎng)絡(luò)語言環(huán)境。在這種網(wǎng)絡(luò)語言環(huán)境背景下,情感分析系統(tǒng)需要捕捉和理解這種細(xì)膩且含蓄的情感表達(dá),以準(zhǔn)確評(píng)估網(wǎng)絡(luò)與論動(dòng)向。

    情感表達(dá)具有引導(dǎo)性和多維性。情感和認(rèn)知是共同決定人類行為兩個(gè)重要變量[49],網(wǎng)絡(luò)用戶對(duì)熱點(diǎn)網(wǎng)絡(luò)事件的評(píng)論行為是基于對(duì)網(wǎng)絡(luò)事件文本閱讀后的認(rèn)知加工,閱讀材料激發(fā)了網(wǎng)絡(luò)用戶的情感,并在其所發(fā)表的評(píng)論文本中展現(xiàn)出來,這一點(diǎn)在表3的描述統(tǒng)計(jì)報(bào)告中也有所表現(xiàn)。本文中熱點(diǎn)網(wǎng)絡(luò)事件的高頻詞所表現(xiàn)出來的情感維度特性驗(yàn)證了情緒感染理論,該理論認(rèn)為情緒會(huì)在群體成員之間傳遞,且這種傳遞現(xiàn)象在強(qiáng)烈的情緒狀態(tài)下更容易發(fā)生[50]。網(wǎng)絡(luò)熱點(diǎn)事件所激發(fā)的情感在網(wǎng)絡(luò)用戶之間傳遞,引發(fā)更廣泛的網(wǎng)絡(luò)評(píng)論等傳播行為,同時(shí)所誘發(fā)的情感特性又在這些評(píng)論文本的用詞中體現(xiàn)出來。也就是說,情感體驗(yàn)作為一種強(qiáng)烈的動(dòng)機(jī),對(duì)個(gè)體的行為產(chǎn)生了引導(dǎo)[51]。但不同的情感體驗(yàn)與網(wǎng)絡(luò)互動(dòng)行為的關(guān)系仍存在一定爭(zhēng)議,有研究者指出,與表達(dá)消極情感的文本信息相比,表達(dá)積極情感的信息更有可能引發(fā)分享行為[52];積極情感增加了讀者轉(zhuǎn)發(fā)的可能性和轉(zhuǎn)發(fā)的數(shù)量,且隨著積極情感強(qiáng)度的加強(qiáng),轉(zhuǎn)發(fā)的可能性和轉(zhuǎn)發(fā)的數(shù)量都有所提高,而消極情感則產(chǎn)生相反的效果[53]。但也有研究者持相反觀點(diǎn),認(rèn)為消極情感更容易誘發(fā)網(wǎng)絡(luò)互動(dòng)行為[54]。未來,筆者將基于本語料庫所獲得的高頻詞的情緒維度特性來設(shè)計(jì)實(shí)驗(yàn),嘗試解決這一爭(zhēng)議。此外,本文還發(fā)現(xiàn),不同情感維度對(duì)主成分的貢獻(xiàn)不同,主成分的分離反映了情感的多維結(jié)構(gòu),即情感可以從多個(gè)維度進(jìn)行理解和分析,這一點(diǎn)與已有研究的結(jié)果相印證[55],進(jìn)一步驗(yàn)證了本文所采用情感維度理論進(jìn)行評(píng)定的有效性,這也有助于在后續(xù)研究中幫助其他研究者厘清不同維度的情感之間的關(guān)系。

    五、余論

    本文采用人工大樣本標(biāo)注的形式,生成微博熱點(diǎn)社會(huì)事件的評(píng)論文本高頻詞情感語料庫,進(jìn)而基于本語料庫對(duì)愉悅度、喚醒度、優(yōu)勢(shì)度和趨向度4個(gè)維度上的特點(diǎn)進(jìn)行了統(tǒng)計(jì)分析,并通過一定的措施保證其結(jié)果客觀可信。本語料庫所形成的661個(gè)高頻詞的情感維度特征,既可作為探討網(wǎng)絡(luò)文本與網(wǎng)絡(luò)行為關(guān)系的研究材料,也有助于后續(xù)的網(wǎng)絡(luò)社會(huì)熱點(diǎn)事件的輿情預(yù)測(cè),其具體的應(yīng)用主要體現(xiàn)在以下幾個(gè)方面。第一,有助于更加準(zhǔn)確地進(jìn)行實(shí)時(shí)情感追蹤。通過構(gòu)建的高頻詞情感語料庫,能夠迅速分析微博熱點(diǎn)事件中的公眾情感走向,幫助相關(guān)方在事件發(fā)酵早期及時(shí)掌握輿論動(dòng)向,采取應(yīng)對(duì)措施,防止負(fù)面情感擴(kuò)散;第二,有助于網(wǎng)絡(luò)事件的情感趨勢(shì)進(jìn)行預(yù)測(cè),為政府、企業(yè)或媒體提供決策支持;第三,有助于個(gè)體情感行為分析,為個(gè)性化的輿情引導(dǎo)提供依據(jù)。此外,本研究還可以拓展到心理健康監(jiān)測(cè)、災(zāi)難與危機(jī)事件管理等其他領(lǐng)域的研究中。

    當(dāng)然,本文所建立的情感語料庫仍存在諸多問題,有待后續(xù)進(jìn)一步改進(jìn)。首先,本文致力于建立聚焦社會(huì)熱點(diǎn)事件這一特定領(lǐng)域的情感語料庫,但在領(lǐng)域的細(xì)分上,后續(xù)在不斷增加評(píng)論文本數(shù)量的過程中,仍可對(duì)領(lǐng)域進(jìn)行進(jìn)一步細(xì)分;其次,由于網(wǎng)絡(luò)用詞具有流行性的特點(diǎn),因而需要對(duì)現(xiàn)有的語料庫進(jìn)行實(shí)時(shí)更新,以契合網(wǎng)絡(luò)語言的實(shí)際情況;再次,本語料庫的被試范圍仍有一定的局限性,同一個(gè)詞可能因被試的性別、教育程度、個(gè)人經(jīng)歷等方面的差異而產(chǎn)生不同的情感體驗(yàn),因此,在后續(xù)的研究中可考慮進(jìn)一步擴(kuò)大和豐富樣本量和樣本的人口學(xué)特點(diǎn)分布;最后,本文所使用的情感維度為心理學(xué)研究中普遍認(rèn)可的4種維度,但在網(wǎng)絡(luò)語言使用的過程中,是否還存在其他維度,也有待進(jìn)一步探索。

    參考文獻(xiàn):

    [1] 周勝臣,瞿文婷,石英子,等.中文微博情感分析研究綜述[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(3):161-164.

    [2] IZARD C E.Emotion theory and research:highlights,unanswered questions,and emerging isses [J].AnnualReview of Psychology,2009,60:1-25.

    [3] 雷鳴,張慶林.大學(xué)生情緒形容詞詞庫的初步建立[J].四川理工學(xué)院學(xué)報(bào)(社會(huì)科學(xué)版),2013,28(3): 91-95.

    [4] 代麗,樊粵湘,陳思.基于卷積神經(jīng)網(wǎng)絡(luò)的短文本情感分類[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2021,30(1):214-220.

    [5] 陳蘋,馮林.情感分析中的方面提取綜述[J].計(jì)算機(jī)應(yīng)用,2018,38(S2):84-88,96.

    [6] PANG B,LEE L, VAITHYANATHAN S. Proceedings of the ACL-02 conference on empirical methods in naturallanguage processing,May 28,2002 [C]. Stroudsburg: Association for Computational Linguistics,2002.

    [7] WIEBE J,WILSON T,CARDIE C. Annotating expressions of pinions and emotions in language [J]. LanguageResources amp; Evaluation,2005,39:165-210.

    [8] HU M,LIU B. Mining and summarizing customer reviews.Proceedings of the tenth ACM SIGKDD internationalconference on knowledge discovery and data mining,August 22-25,2004[C]. New York:Association forComputing Machinery, 2004.

    [9] STONE P,DUNPHY D C, SMITH M S. The general inquirer: a computer approach to content analysis [M].Oxford:MIT Press,1966.

    [10] 王一牛,周立明,羅躍嘉.漢語情感詞系統(tǒng)的初步編制及評(píng)定[J].中國心理衛(wèi)生雜志,2008,22(8):608 -612.

    [11] 徐琳宏,林鴻飛,潘宇,等.情感詞匯本體的構(gòu)造[J].情報(bào)學(xué)報(bào),2008,27(2):180-185.

    [12] SHI W,WANG H W,HE S Y.EOSentiMiner: an opinion-aware system based on emotion ontology forsentiment analysis ofChinese online reviews[J].Journal ofExperimental amp;Theoretical Artificial Intelligence,2015,27 (4): 423-448.

    [13] 董穎紅,陳浩,賴凱聲,等.微博客基本社會(huì)情緒的測(cè)量及效度檢驗(yàn)[J].心理科學(xué),2015,38(5):1141 -1146.

    [14] KU L W,CHEN H H. Mining opinions from the web: beyond relevance retrieval [J]. Journal of theAssociation for Information Science and Technology,2007,58(12):1838-1850.

    [15] 姚源林,王樹偉,徐睿峰.面向微博文本的情緒標(biāo)注語料庫構(gòu)建[J].中文信息學(xué)報(bào),2014,28(5):83-91.

    [16] 李長(zhǎng)榮,紀(jì)雪梅.面向突發(fā)公共事件網(wǎng)絡(luò)輿情分析的領(lǐng)域情感詞典構(gòu)建研究[J].?dāng)?shù)字圖書館論壇,2020(9):32-40.

    [17] 徐琳宏,丁堃,陳娜.中文文獻(xiàn)引文情感語料庫構(gòu)建[J].情報(bào)學(xué)報(bào),2020,39(1):25-37.

    [18] 崔大志,李媛.網(wǎng)絡(luò)評(píng)論情感語料庫的構(gòu)建研究[J].中國社會(huì)科學(xué)院研究生院學(xué)報(bào),2010(4):119-123.

    [19] ZHAO JL,LI M Z,YAO J.The development of the Chinese sentiment lexicon for internet[J]. Frontiers inPsychology,2019(10):2473.

    [20] ZHAO JM, ZHANG T G,HUJW. Proceedings of the 6Oth annual meeting of the association for computationallinguistics,May 9,2O22[C]. Dublin:Association for Computational Linguistics,2022.

    [21] 林西,董瑜,鄭新曼.情感分析視角下政府注意力配置量化研究——以國務(wù)院政府工作報(bào)告為例[J].圖書情報(bào)工作,2024,68(11):136-147.

    [22] 土心坍,趙丹群.引文情感識(shí)別研究進(jìn)展及評(píng)述[J」.情報(bào)埋論與實(shí)踐,2024,47(1):173-181,189.

    [23] 郁曉華,戰(zhàn)曉瑜.教師評(píng)語知多少?——探析文本后面的情感價(jià)值[J].電化教育研究,2022,43(7):97 -105.

    [24] 王佳,張子杰,羅海吉.基于泛在網(wǎng)絡(luò)的大學(xué)生情緒語料庫的構(gòu)建[J].大學(xué)教育,2020(1):189 -191.

    [25] 汪雨晴,朱廣麗,段文杰.基于交互注意力機(jī)制的心理咨詢文本情感分類[J].計(jì)算機(jī)應(yīng)用,2024,44(8):2393-2399.

    [26] EKMAN P,F(xiàn)RIESEN W V. Constants acrosscultures in the face and emotion [J]. Journal of Personality andSocial Psychology,1971,17(2):124–129.

    [27] PLUTCHIK R. The nature of emotions:human emotions have deep evolutionary roots,a fact that may explaintheir complexity and provide tools for clinical practice[J].American scientist,2001,89 (4): 344 -350.

    [28] 張鵬,丘萍,丁又專.基于Plutchik 情感輪的劇集網(wǎng)絡(luò)評(píng)論文本的離散情感評(píng)價(jià)及有效性分析[J].中國傳媒大學(xué)學(xué)報(bào)(自然科學(xué)版),2024,31(2):44-51.

    [29] WUNDT W M. Outlines of psychology [M]. New York: Thoemmes Continuum Press,1879.

    [30] RUSSELL JA.A circumplex model of afect[J]. Journal of Personalityand Social Psychology,1980,39(6): 1161 -1178.

    [31] TANG M,JIN J,LIU Y. Integrating topic,sentiment,and syntax for modeling online reviews:a topic modelapproach [J]. Journal of Computing and Information Science in Engineering,2019,19 (1): 1-12.

    [32] 管雨翔,王娟,張鵬.涉警網(wǎng)絡(luò)輿情主題發(fā)現(xiàn)及情感分析研究[J].情報(bào)工程,2023,9(6):105-116.

    [33] 張寶生,劉玉鑫.“雙減”政策的公眾情緒演進(jìn)及其對(duì)公共政策傳播的啟示——基于微博文本數(shù)據(jù)的挖掘分析[J].情報(bào)探索,2024(1):37-44.

    [34] NANDWANI P,VERMA R. A review on sentiment analysis and emotion detection from text [J]. SocialNetwork Analysis and Mining,2021,11(1):81-100.

    [35] PARK S,KIMJ,YE S. Proceedings of the 2019 conference of the north American chapter of the association forcomputational Linguistics.November 6,2019[C].Online:Association for Computational Linguistics,2021.

    [36] HARMON E,HARMON C, SUMMERELL E. On the importance of both dimensional and discrete models ofemotion [J].Behavioral Sciences,2017,7(4):66-82.

    [37] ATMAJA B T,AKAGI M. Dimensional speech emotion recognition from speech features and word embeddingsby using multitask learning [J]. APSIPA Transactions on Signal and Information Processing, 202O (9):1-12.

    [38] MOORE D S,MCCABE G P. Introduction to the practice of statistics[M]. New York:WH Freeman,2017.

    [39] 劉莎,陳艷平.基于評(píng)論有用性投票的低頻關(guān)鍵詞提取方法研究[J].計(jì)算機(jī)與數(shù)字工程,2021,49(6):1148 -1152.

    [40] 張丹,田路晗,劉立華.基于語料庫的中國扶貧國外報(bào)道話語研究[J].山東外語教學(xué),2024,45(2):22-34.

    [41] 韋景竹,操慧子,張樂樂.基于在線評(píng)論的公共文化云活動(dòng)用戶需求研究[J].圖書情報(bào)工作,2022,66(9): 66 -73.

    [42] 安璐,惠秋悅.熱點(diǎn)事件情境下微博輿情反轉(zhuǎn)預(yù)測(cè)[J].信息資源管理學(xué)報(bào),2022,12(3):21-34.

    [43] 楊柳,徐宇昭,焦暢.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)輿論分階段控制與引導(dǎo)研究[J].情報(bào)探索,2022(2):9-17.

    [44] 劉奕杉,王玉琳,李明鑫.詞頻分析法中高頻詞閾值界定方法適用性的實(shí)證分析[J].?dāng)?shù)字圖書館論壇,2017 (9):42-49.

    [45] 孫清蘭.高頻詞與低頻詞的界分及詞頻估算法[J].中國圖書館學(xué)報(bào),1992(2):78-81.

    [46] 巴志超,李綱,朱世偉.共現(xiàn)分析中的關(guān)鍵詞選擇與語義度量方法研究[J].情報(bào)學(xué)報(bào),2016,35(2):197 -207.

    [47] 安興茹.基于正態(tài)分布的詞頻分析法高頻詞閾值研究[J].情報(bào)雜志,2014,33(10):129-136.

    [48] 陳國蘭.基于情感詞典與語義規(guī)則的微博情感分析[J].情報(bào)探索,2016(2):1-6.

    [49] PESSOA L. On the relationship between emotion and cognition [J].Nature Reviews Neuroscience,2011(9):148 -158.

    [50] GOLDENBERG A, GROSS JJ. Digital emotion contagion [J]. Trends in Cognitive Sciences, 2020, 24(4) :316-328.

    [51] VAN KLEEFG A,COTE S. The social effects of emotions [J]. Annual Review of Psychology,2022,73(1):629-658.

    [52] 張洪,蔣婷,萬曉榆,等.信息情緒類型對(duì)用戶分享意愿的影響——基于微博熱點(diǎn)事件的研究[J].情報(bào)雜志,2019,38(5):169-176.

    [53] 廖琳,黃濤.信源、信息內(nèi)容、情緒特征對(duì)微博轉(zhuǎn)發(fā)的影響探究[J].現(xiàn)代情報(bào),2020,40(9):42-52.

    [54] 葉鳳云,常琳,葉雨欣,等.社交網(wǎng)絡(luò)用戶虛假信息揭露行為研究:認(rèn)知與情緒雙路徑視角[J].圖書情報(bào)工作,2024,68(21):79-92.

    [55] YAO Z,WU J,ZHANG Y,WANG Z. Norms of valence,arousal,concreteness, familiarity,imageability,and context availability for 1,100 Chinese words[J]. Behavior Research Methods,2017,49:1374-1385.

    On the Construction of a High-frequency Word Sentiment Corpus for Online Social Event Comments

    WANG Yuhan'LIAO Dan2 LIANG Guodong3

    (1.College ofEducation Science,Guangdong Polytechnic Normal University,Guangzhou 510665,Guangdong,China; 2.School of Design,South China University of Technology,Guangzhou 51006,Guangdong,China;3.School

    ofElectronicand Information Engineering,South China Universityof Technology,Guangzhou 510641,Guangdong,China)

    Abstract: Sentiment analysis of online texts is a key approach for studying online events, understanding public atitudes, and tracking trends in public opinion. However, existing Chinese sentiment corpora face limitations in annotation system, sample size,and domain adaptability,restricting their application in information processing. Therefore, thisstudy focuses on comments related to popular social events on Weibo, aiming to develop a highfrequency word sentiment corpus with strong domain applicability and large-scale dimensional sentiment annotation. Using Python,online texts were collected, segmented, and cleaned to extract high-frequency words. A total of 63 valid participants rated 661 selected high-frequency words across four affective dimensions—valence (pleasure-displeasure),arousal, dominance, and approach-avoidance—on a 9-point scale. The results of exploratory factor analysis show that the cumulative contribution rate of pleasure, arousal, and dominance exceeds 99% , indicating that the assessment comprehensively captured the emotional information of vocabulary. Additionally, two principal components were extracted: the first component primarily reflects the extent to which readers perceive positive or negative emotional experiences and generate corresponding approach or avoidance tendencies,while the second reflects the intensity and level of control over these emotions. This corpus not only enriches resources for sentiment analysis of online texts but also serves as an auxiliary tool for analyzing hot social events and forecasting public opinion, demonstrating significant theoretical and practical value.

    Key words: online comment text; high-frequency word; corpus; affective dimension

    猜你喜歡
    高頻詞語料語料庫
    基于語料庫的中國主流英文媒體對(duì)5G的話語建構(gòu)研究
    基于翻譯語料的漢英差比句分析
    信息類文本閱讀的“信息量”有多大
    語料庫文體學(xué)視域下維多利亞時(shí)代英國作家的性別敘事研究
    基于“語言與社會(huì)共變”視角分析網(wǎng)絡(luò)流行語
    中國故事(2025年6期)2025-08-14 00:00:00
    大語言模型賦能語料庫建設(shè)的方法探究
    《智能家用電器語音交互能力分級(jí)評(píng)價(jià)技術(shù)規(guī)范》系列標(biāo)準(zhǔn)解讀
    HSK高等漢語水平日本留學(xué)生學(xué)習(xí)“有”字句偏誤分析
    久久精品久久精品一区二区三区| 免费大片黄手机在线观看| 成人午夜精彩视频在线观看| 欧美人与善性xxx| 亚洲在久久综合| 亚洲精品乱码久久久v下载方式| 国产色爽女视频免费观看| 午夜影院在线不卡| 在线天堂最新版资源| 人妻夜夜爽99麻豆av| 久久99精品国语久久久| 日韩制服骚丝袜av| 日韩三级伦理在线观看| 亚洲成人手机| a级毛片黄视频| 最近2019中文字幕mv第一页| 高清毛片免费看| 国产免费又黄又爽又色| 国产欧美亚洲国产| 纵有疾风起免费观看全集完整版| 黄片无遮挡物在线观看| 大码成人一级视频| 啦啦啦中文免费视频观看日本| 插阴视频在线观看视频| 国产精品一二三区在线看| 嘟嘟电影网在线观看| tube8黄色片| 国产精品人妻久久久久久| 国产在线免费精品| 日韩人妻高清精品专区| 草草在线视频免费看| 亚洲综合色网址| 精品久久国产蜜桃| 男女高潮啪啪啪动态图| 伦理电影免费视频| 青春草亚洲视频在线观看| 一级片'在线观看视频| 免费大片18禁| a级毛片黄视频| 99久国产av精品国产电影| 青春草国产在线视频| 老熟女久久久| 午夜影院在线不卡| 人人妻人人爽人人添夜夜欢视频| 成人免费观看视频高清| 久久免费观看电影| 亚洲av.av天堂| 久久久精品94久久精品| 一本久久精品| 国产精品蜜桃在线观看| 午夜免费男女啪啪视频观看| 高清黄色对白视频在线免费看| 街头女战士在线观看网站| 色吧在线观看| 国产片内射在线| 久久青草综合色| 久久久久人妻精品一区果冻| 女性生殖器流出的白浆| 麻豆精品久久久久久蜜桃| 高清不卡的av网站| 少妇人妻久久综合中文| 尾随美女入室| 建设人人有责人人尽责人人享有的| 一级毛片电影观看| 亚洲精品久久久久久婷婷小说| 女性生殖器流出的白浆| 青春草视频在线免费观看| 色视频在线一区二区三区| 在线播放无遮挡| 欧美日韩av久久| 日韩av免费高清视频| 少妇高潮的动态图| 熟妇人妻不卡中文字幕| 国产日韩欧美视频二区| 18禁裸乳无遮挡动漫免费视频| 国产永久视频网站| 亚洲成色77777| 欧美日本中文国产一区发布| 亚洲精品一区蜜桃| 丝袜脚勾引网站| 插阴视频在线观看视频| 女性被躁到高潮视频| 婷婷成人精品国产| 99久久精品一区二区三区| 久久久久国产网址| 国产极品天堂在线| 一级a做视频免费观看| 美女福利国产在线| 一边摸一边做爽爽视频免费| 精品亚洲成国产av| 岛国毛片在线播放| 哪个播放器可以免费观看大片| 啦啦啦在线观看免费高清www| 日日爽夜夜爽网站| 国产乱来视频区| 国产亚洲精品第一综合不卡 | 水蜜桃什么品种好| 久久久国产欧美日韩av| 人人妻人人澡人人爽人人夜夜| 亚洲精品亚洲一区二区| 久久 成人 亚洲| 下体分泌物呈黄色| 日本91视频免费播放| 久久人妻熟女aⅴ| 国产熟女午夜一区二区三区 | 久久精品国产亚洲网站| 免费黄频网站在线观看国产| 免费av不卡在线播放| 亚洲av中文av极速乱| 亚洲美女视频黄频| 精品久久久久久久久av| 丝袜脚勾引网站| 午夜福利视频在线观看免费| 亚洲成人av在线免费| 免费观看av网站的网址| 菩萨蛮人人尽说江南好唐韦庄| 久久久久人妻精品一区果冻| 亚洲欧美一区二区三区国产| 成人二区视频| 十八禁高潮呻吟视频| 国产一区二区三区综合在线观看 | 亚洲精品日韩av片在线观看| 一级片'在线观看视频| 久久精品久久精品一区二区三区| 午夜久久久在线观看| 色哟哟·www| 精品少妇内射三级| av在线app专区| 赤兔流量卡办理| 亚洲av日韩在线播放| 99热国产这里只有精品6| 丰满迷人的少妇在线观看| 亚洲情色 制服丝袜| 美女内射精品一级片tv| 午夜激情av网站| 狂野欧美白嫩少妇大欣赏| 国产精品久久久久久久久免| 老熟女久久久| 黑丝袜美女国产一区| 亚洲色图 男人天堂 中文字幕 | 黄色一级大片看看| 中文欧美无线码| 校园人妻丝袜中文字幕| 日韩一区二区三区影片| kizo精华| 91午夜精品亚洲一区二区三区| 这个男人来自地球电影免费观看 | 欧美少妇被猛烈插入视频| 好男人视频免费观看在线| 欧美日韩亚洲高清精品| 日日摸夜夜添夜夜添av毛片| 只有这里有精品99| 国产视频首页在线观看| 国产视频内射| 99国产精品免费福利视频| a级片在线免费高清观看视频| 乱码一卡2卡4卡精品| 男女边吃奶边做爰视频| 国产精品秋霞免费鲁丝片| 国产精品偷伦视频观看了| 大话2 男鬼变身卡| 日韩一本色道免费dvd| 久久97久久精品| 亚州av有码| 成人国产av品久久久| 久久综合国产亚洲精品| 久久久久精品久久久久真实原创| 久久99一区二区三区| 午夜视频国产福利| 精品亚洲成国产av| 女的被弄到高潮叫床怎么办| 麻豆精品久久久久久蜜桃| 大片免费播放器 马上看| 久久97久久精品| 亚洲精品中文字幕在线视频| 亚洲国产日韩一区二区| 日本色播在线视频| 欧美日韩视频高清一区二区三区二| 一区二区三区乱码不卡18| 女的被弄到高潮叫床怎么办| 久久久久久久久久成人| 精品久久久久久久久亚洲| 黑人欧美特级aaaaaa片| 美女cb高潮喷水在线观看| 久久久久久久国产电影| 成年人免费黄色播放视频| 国产黄频视频在线观看| 久久影院123| 日本欧美国产在线视频| 精品亚洲成国产av| 国产精品一区二区在线观看99| 日本与韩国留学比较| 国产亚洲最大av| 中文乱码字字幕精品一区二区三区| 日本91视频免费播放| 欧美日本中文国产一区发布| 国产伦精品一区二区三区视频9| 亚洲av电影在线观看一区二区三区| 亚洲欧美一区二区三区国产| 亚洲精华国产精华液的使用体验| 国产极品天堂在线| 观看美女的网站| 久久精品国产a三级三级三级| 成人亚洲欧美一区二区av| 搡女人真爽免费视频火全软件| 美女福利国产在线| 丁香六月天网| 久久99一区二区三区| 人人澡人人妻人| 免费看av在线观看网站| 亚洲无线观看免费| 久久99蜜桃精品久久| 久久午夜综合久久蜜桃| 国产一级毛片在线| 女人久久www免费人成看片| 欧美bdsm另类| 亚洲综合精品二区| 妹子高潮喷水视频| 久久久久久人妻| 免费观看av网站的网址| 丰满乱子伦码专区| 国产亚洲一区二区精品| 亚洲久久久国产精品| 亚洲美女黄色视频免费看| 丰满迷人的少妇在线观看| 性色av一级| 亚洲在久久综合| 日韩精品有码人妻一区| 热re99久久国产66热| 男女无遮挡免费网站观看| 亚洲激情五月婷婷啪啪| 国产亚洲最大av| 久久久精品区二区三区| 女性生殖器流出的白浆| xxx大片免费视频| 久久久久网色| 国产色爽女视频免费观看| 国产av码专区亚洲av| 成人国产av品久久久| 日韩三级伦理在线观看| 少妇人妻精品综合一区二区| 中国美白少妇内射xxxbb| 只有这里有精品99| 黄片播放在线免费| 香蕉精品网在线| 一个人看视频在线观看www免费| 亚洲人成77777在线视频| 国产成人91sexporn| 国语对白做爰xxxⅹ性视频网站| 国产乱人偷精品视频| 美女脱内裤让男人舔精品视频| 亚州av有码| 美女国产高潮福利片在线看| 国产精品不卡视频一区二区| 亚洲色图 男人天堂 中文字幕 | av免费在线看不卡| 亚洲综合精品二区| 两个人免费观看高清视频| 欧美亚洲 丝袜 人妻 在线| 久久午夜综合久久蜜桃| 少妇 在线观看| 欧美+日韩+精品| 观看av在线不卡| 亚洲色图综合在线观看| 91成人精品电影| 免费观看av网站的网址| 国产成人免费观看mmmm| 亚洲欧美日韩另类电影网站| 中国美白少妇内射xxxbb| 欧美日韩精品成人综合77777| 中文字幕av电影在线播放| 美女国产高潮福利片在线看| 在线观看人妻少妇| 在线看a的网站| 日韩中字成人| 人妻人人澡人人爽人人| 欧美成人午夜免费资源| 两个人的视频大全免费| 久久综合国产亚洲精品| 熟妇人妻不卡中文字幕| 寂寞人妻少妇视频99o| 国产片内射在线| 妹子高潮喷水视频| 你懂的网址亚洲精品在线观看| 亚洲av福利一区| 亚洲人与动物交配视频| 国产不卡av网站在线观看| 国产有黄有色有爽视频| 免费观看性生交大片5| 亚洲欧美一区二区三区国产| 老司机影院成人| 精品国产国语对白av| 美女视频免费永久观看网站| 黄色欧美视频在线观看| 久久久久国产网址| 国产在线视频一区二区| 高清视频免费观看一区二区| a级片在线免费高清观看视频| 九九在线视频观看精品| 你懂的网址亚洲精品在线观看| 日本黄大片高清| 一区二区三区精品91| 在线观看免费日韩欧美大片 | 91aial.com中文字幕在线观看| 国产 一区精品| 大码成人一级视频| 一区二区三区乱码不卡18| 日韩一区二区视频免费看| 久久久久久久久久久免费av| 国产亚洲欧美精品永久| 久久人人爽人人片av| 日本黄色日本黄色录像| 成人国语在线视频| 少妇熟女欧美另类| 麻豆成人av视频| 精品国产一区二区久久| 成年人午夜在线观看视频| av视频免费观看在线观看| 最黄视频免费看| 一区二区三区免费毛片| 一级爰片在线观看| 我的老师免费观看完整版| 男女高潮啪啪啪动态图| 亚洲国产欧美日韩在线播放| 黑丝袜美女国产一区| 国产 一区精品| 亚洲国产最新在线播放| 18+在线观看网站| 搡女人真爽免费视频火全软件| av国产精品久久久久影院| 久久久久久久久久久丰满| 中文天堂在线官网| 91久久精品国产一区二区成人| 国产亚洲av片在线观看秒播厂| 欧美精品人与动牲交sv欧美| 一级片'在线观看视频| 一个人免费看片子| 成人国产av品久久久| 国产 精品1| 成年人免费黄色播放视频| 久久久久视频综合| 免费看av在线观看网站| 国产成人精品无人区| 成人影院久久| 亚洲图色成人| 亚洲成色77777| 一二三四中文在线观看免费高清| h视频一区二区三区| 国产一区亚洲一区在线观看| 成人综合一区亚洲| 国产男女内射视频| 在线观看免费视频网站a站| 爱豆传媒免费全集在线观看| 中文字幕人妻熟人妻熟丝袜美| 日韩精品有码人妻一区| 欧美 日韩 精品 国产| 人成视频在线观看免费观看| 国产精品欧美亚洲77777| 婷婷色综合www| 亚洲欧美色中文字幕在线| 人人妻人人澡人人爽人人夜夜| 最新中文字幕久久久久| 99九九线精品视频在线观看视频| 亚洲欧美清纯卡通| 国产精品嫩草影院av在线观看| 少妇精品久久久久久久| 欧美激情 高清一区二区三区| 永久网站在线| 成人国产av品久久久| 老司机影院毛片| 边亲边吃奶的免费视频| 国产一区二区三区av在线| 欧美另类一区| 97精品久久久久久久久久精品| 午夜视频国产福利| 在线看a的网站| 永久免费av网站大全| 精品久久蜜臀av无| 黄片播放在线免费| 国产乱来视频区| 99热这里只有精品一区| 久久久久久久久久久丰满| www.av在线官网国产| 97超视频在线观看视频| 热re99久久精品国产66热6| 久久久久久久久久人人人人人人| 制服人妻中文乱码| 又黄又爽又刺激的免费视频.| 亚洲天堂av无毛| 午夜福利影视在线免费观看| 日韩,欧美,国产一区二区三区| 免费久久久久久久精品成人欧美视频 | 乱码一卡2卡4卡精品| 人妻制服诱惑在线中文字幕| 男女免费视频国产| 亚洲国产av影院在线观看| 大香蕉久久网| 日本午夜av视频| 亚洲av福利一区| 人妻人人澡人人爽人人| 三级国产精品片| 精品视频人人做人人爽| 日本黄色日本黄色录像| av福利片在线| 人人妻人人添人人爽欧美一区卜| av电影中文网址| 日日啪夜夜爽| 精品国产露脸久久av麻豆| 18在线观看网站| 中文字幕最新亚洲高清| 天堂俺去俺来也www色官网| 另类亚洲欧美激情| 精品午夜福利在线看| 中文字幕免费在线视频6| 男女啪啪激烈高潮av片| 亚洲精品成人av观看孕妇| 国产精品成人在线| 亚洲国产成人一精品久久久| 国产国语露脸激情在线看| 丰满饥渴人妻一区二区三| 天堂中文最新版在线下载| 国产黄片视频在线免费观看| 午夜视频国产福利| 一本色道久久久久久精品综合| 特大巨黑吊av在线直播| 国产免费现黄频在线看| 成人18禁高潮啪啪吃奶动态图 | 国产午夜精品一二区理论片| 一级毛片 在线播放| 欧美 日韩 精品 国产| 18在线观看网站| 亚洲精品日本国产第一区| 国产成人精品在线电影| 日本av手机在线免费观看| 亚洲精品久久成人aⅴ小说 | 国产日韩一区二区三区精品不卡 | 成人国产麻豆网| 亚洲图色成人| 爱豆传媒免费全集在线观看| 亚洲精品乱码久久久v下载方式| 最近最新中文字幕免费大全7| 久久久国产欧美日韩av| 亚洲美女视频黄频| 亚洲国产成人一精品久久久| 欧美日韩成人在线一区二区| 99久国产av精品国产电影| 欧美变态另类bdsm刘玥| 亚州av有码| 午夜精品国产一区二区电影| 色94色欧美一区二区| av天堂久久9| 夜夜爽夜夜爽视频| 亚洲怡红院男人天堂| 欧美丝袜亚洲另类| 亚洲精品乱码久久久久久按摩| 夜夜骑夜夜射夜夜干| 久久久久久久久久久免费av| 久久人人爽av亚洲精品天堂| 精品久久久噜噜| 亚洲国产av新网站| 国产一级毛片在线| 欧美日韩成人在线一区二区| 男人爽女人下面视频在线观看| 国产欧美亚洲国产| 三级国产精品欧美在线观看| 亚洲国产精品一区三区| 国产免费现黄频在线看| 亚洲精品日本国产第一区| 婷婷色麻豆天堂久久| 如何舔出高潮| 亚洲综合色惰| 80岁老熟妇乱子伦牲交| 日本av手机在线免费观看| 久久久久久久久久人人人人人人| 日日摸夜夜添夜夜爱| 国产成人精品福利久久| 春色校园在线视频观看| 久久久午夜欧美精品| 嘟嘟电影网在线观看| 久久久久久伊人网av| 秋霞伦理黄片| 午夜免费鲁丝| 99精国产麻豆久久婷婷| 狂野欧美白嫩少妇大欣赏| av免费观看日本| 老女人水多毛片| av一本久久久久| 亚洲在久久综合| 国语对白做爰xxxⅹ性视频网站| 久久热精品热| 亚洲国产成人一精品久久久| 国产精品人妻久久久影院| 亚洲人成网站在线观看播放| 久久97久久精品| 亚洲第一区二区三区不卡| 久久人人爽人人片av| 久久久久精品久久久久真实原创| 中文字幕久久专区| 黑人欧美特级aaaaaa片| 精品国产一区二区三区久久久樱花| 精品人妻熟女av久视频| 看非洲黑人一级黄片| 精品亚洲成国产av| 制服人妻中文乱码| 亚洲成人av在线免费| 日韩 亚洲 欧美在线| 日韩中字成人| 亚洲三级黄色毛片| 97在线视频观看| av视频免费观看在线观看| 久久久久人妻精品一区果冻| 老司机影院毛片| av不卡在线播放| 中文字幕人妻丝袜制服| 日韩亚洲欧美综合| 成人黄色视频免费在线看| 久久久国产欧美日韩av| 一级二级三级毛片免费看| 成人亚洲欧美一区二区av| 狂野欧美激情性bbbbbb| 久久精品国产自在天天线| 一个人免费看片子| 久久综合国产亚洲精品| 日本免费在线观看一区| 在线观看www视频免费| 女人精品久久久久毛片| 中国美白少妇内射xxxbb| 欧美日韩国产mv在线观看视频| 母亲3免费完整高清在线观看 | 欧美国产精品一级二级三级| 国产免费又黄又爽又色| 久久久国产一区二区| 亚洲丝袜综合中文字幕| 午夜久久久在线观看| 赤兔流量卡办理| 免费av中文字幕在线| 80岁老熟妇乱子伦牲交| 亚洲精品国产色婷婷电影| 日日摸夜夜添夜夜添av毛片| 99九九线精品视频在线观看视频| 麻豆成人av视频| 一区二区三区四区激情视频| 亚洲经典国产精华液单| 丰满少妇做爰视频| 熟女电影av网| 一本大道久久a久久精品| av.在线天堂| 久久久久精品性色| 这个男人来自地球电影免费观看 | 自拍欧美九色日韩亚洲蝌蚪91| 高清在线视频一区二区三区| 一级毛片 在线播放| 夜夜爽夜夜爽视频| 少妇人妻久久综合中文| av线在线观看网站| 日韩不卡一区二区三区视频在线| 国产一级毛片在线| 免费高清在线观看视频在线观看| 亚洲精品成人av观看孕妇| 日韩av不卡免费在线播放| 国产无遮挡羞羞视频在线观看| 久久久久久伊人网av| 欧美一级a爱片免费观看看| 多毛熟女@视频| 日韩成人伦理影院| 观看美女的网站| 亚洲精品美女久久av网站| 亚洲国产精品一区三区| 精品少妇黑人巨大在线播放| 一区二区三区四区激情视频| 黑丝袜美女国产一区| 春色校园在线视频观看| 人成视频在线观看免费观看| 五月天丁香电影| 两个人的视频大全免费| 建设人人有责人人尽责人人享有的| 亚洲av中文av极速乱| 国产精品国产三级国产专区5o| 日本av免费视频播放| 国产爽快片一区二区三区| 极品人妻少妇av视频| 免费少妇av软件| 男女国产视频网站| 91精品三级在线观看| 91精品伊人久久大香线蕉| 国产熟女欧美一区二区| 日本欧美国产在线视频| 天天躁夜夜躁狠狠久久av| 日本黄色片子视频| av福利片在线| 午夜福利视频在线观看免费| 欧美精品国产亚洲| 欧美老熟妇乱子伦牲交| 视频中文字幕在线观看| 国产男女超爽视频在线观看| 五月天丁香电影| av播播在线观看一区| 国产色婷婷99| 美女内射精品一级片tv| 街头女战士在线观看网站| 国产成人精品一,二区| 欧美日韩视频高清一区二区三区二| 两个人的视频大全免费| 自线自在国产av| 欧美性感艳星| 亚洲欧美一区二区三区黑人 | 亚洲av免费高清在线观看| 又大又黄又爽视频免费| 欧美激情 高清一区二区三区| 色婷婷久久久亚洲欧美| 国产精品秋霞免费鲁丝片| 伦精品一区二区三区| 女性被躁到高潮视频| 精品久久久久久电影网| kizo精华|