• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于在線評(píng)級(jí)和評(píng)論的評(píng)價(jià)者效用機(jī)制研究

    2016-12-28 02:05:22施曉菁孫曉蕾
    中國(guó)管理科學(xué) 2016年5期
    關(guān)鍵詞:評(píng)價(jià)者效用評(píng)級(jí)

    施曉菁,梁 循,孫曉蕾

    (1.中國(guó)人民大學(xué)信息學(xué)院,北京 100872;2.中科院科技政策與管理科學(xué)研究所 100190)

    ?

    基于在線評(píng)級(jí)和評(píng)論的評(píng)價(jià)者效用機(jī)制研究

    施曉菁1,梁 循1,孫曉蕾2

    (1.中國(guó)人民大學(xué)信息學(xué)院,北京 100872;2.中科院科技政策與管理科學(xué)研究所 100190)

    互聯(lián)網(wǎng)中對(duì)產(chǎn)品和服務(wù)的評(píng)價(jià)越來越受到重視,因?yàn)樵u(píng)價(jià)能夠消除消費(fèi)者的不確定性,輔助其做出購(gòu)買決策。大多數(shù)在線購(gòu)物網(wǎng)站中用戶的評(píng)價(jià)包括評(píng)級(jí)和評(píng)論?,F(xiàn)有的評(píng)價(jià)反饋系統(tǒng)和評(píng)價(jià)研究往往只單獨(dú)關(guān)注評(píng)價(jià)者之間的評(píng)級(jí)或評(píng)論,而忽略了兩者之間的有機(jī)統(tǒng)一。評(píng)價(jià)者的評(píng)級(jí)并不一定反映評(píng)價(jià)者的真實(shí)評(píng)價(jià),很多評(píng)價(jià)者更傾向于選擇評(píng)論文本來表達(dá)自己的真實(shí)情感。本文以從淘寶網(wǎng)抓取的852071條評(píng)價(jià)數(shù)據(jù)為基礎(chǔ),通過分析評(píng)價(jià)者評(píng)級(jí)和評(píng)論之間的不一致性,結(jié)合RFM模型,考慮評(píng)級(jí)和評(píng)論兩種信息形成的評(píng)價(jià)效用,提出了RFMA模型來計(jì)算評(píng)價(jià)者的總體評(píng)價(jià)效用。并據(jù)此對(duì)好的與不好的評(píng)價(jià)者進(jìn)行區(qū)分,進(jìn)一步為消費(fèi)者的購(gòu)買決策提供支持。通過對(duì)評(píng)價(jià)者的總體分析可以得出,本文提出的機(jī)制更加具有可用性和有效性。

    評(píng)級(jí)和評(píng)論的不一致性;評(píng)價(jià);評(píng)價(jià)者;RFMA

    1 引言

    在線交易機(jī)制和環(huán)境使得消費(fèi)者對(duì)產(chǎn)品和服務(wù)掌握的信息不充分,因?yàn)橄M(fèi)者在購(gòu)買產(chǎn)品前不能看見或使用它。但是若消費(fèi)者信任該服務(wù)提供商,那么即使他事先未看見或未使用商品,他也會(huì)做出購(gòu)買決策。當(dāng)用戶需要做出是否與某個(gè)服務(wù)提供商進(jìn)行交互的決定時(shí),往往非常在意商家的信譽(yù)[1]。而判斷某個(gè)實(shí)體是否值得信任是非常困難的,因?yàn)樵诰€交流媒體使得我們遠(yuǎn)離了原先熟悉的交互方式[2]。因此,大部分在線購(gòu)物網(wǎng)站為消費(fèi)者提供了評(píng)價(jià)(在本文中,評(píng)價(jià)是包括評(píng)級(jí)與評(píng)論的整體)反饋機(jī)制,消費(fèi)者在購(gòu)買商品后能以評(píng)級(jí)和評(píng)論的形式進(jìn)行評(píng)價(jià)。由于評(píng)級(jí)往往以數(shù)字等級(jí)的形式展示,這些購(gòu)物網(wǎng)站可以方便地將消費(fèi)者的評(píng)級(jí)集合起來,提供商品總體評(píng)分的信息,幫助消費(fèi)者直觀地了解評(píng)價(jià)者對(duì)商品的總體評(píng)價(jià)。但是出于種種原因,人們的評(píng)級(jí)往往不能真實(shí)地反映他們的傾向,且評(píng)級(jí)所包含的信息太過單一,評(píng)論文本信息逐漸成為了人們決策的重要參考。很多消費(fèi)者通過查看評(píng)論文本來了解商品的好壞。研究表明,在線商品評(píng)論顯著地影響著消費(fèi)者的購(gòu)買決策和B2C電子商務(wù)網(wǎng)站的產(chǎn)品銷售[3]。評(píng)論使得消費(fèi)者能夠集合社區(qū)中集體智慧來幫助自己做出購(gòu)買商品和服務(wù)的決策[4]。一方面,在線消費(fèi)者常常通過衡量他人對(duì)某件商品的評(píng)論來制定自己的購(gòu)買決策;另一方面,商品制造商可以從在線商品評(píng)論中獲得啟發(fā),從而支持廣泛的管理活動(dòng),如品牌塑造、客戶關(guān)系管理、產(chǎn)品研發(fā)以及質(zhì)量管理[5]。不論買家還是賣家,作為在線商品評(píng)論的讀者都希望從中獲得有助于制定決策的信息。

    很多用戶在各種社交媒體上發(fā)表和共享大量的評(píng)論,為消費(fèi)者提供了豐富的決策參考信息。但這也帶來了很大的問題:面對(duì)海量評(píng)論,評(píng)論閱讀者可能迷失其中,無法有效識(shí)別和利用其中有價(jià)值的信息來判斷商品的真實(shí)質(zhì)量[6]。另外,雖然在線評(píng)論的文本內(nèi)容十分豐富,可為人們提供海量的信息資源,但并非所有評(píng)論都有價(jià)值,其中包括許多隨意或虛假的評(píng)論。由于網(wǎng)絡(luò)的匿名性、非面對(duì)面地接觸、溝通成本低廉等特征[7],評(píng)論的質(zhì)量往往參差不齊。評(píng)論的海量性及其質(zhì)量的不確定性,使得消費(fèi)者不容易從中獲得所需的信息,干擾了消費(fèi)者對(duì)商品質(zhì)量的判斷,從而影響了消費(fèi)決策。

    因此,及時(shí)有效地識(shí)別在線評(píng)論文本中有價(jià)值的信息對(duì)提高消費(fèi)者的決策效率和效果至關(guān)重要。針對(duì)這一點(diǎn),許多B2C 電子商務(wù)網(wǎng)站,如淘寶、亞馬遜、京東商城等,提供在線商品評(píng)論的效用評(píng)價(jià)功能——依據(jù)每條評(píng)論獲得的“有用”投票數(shù)占總投票數(shù)的比例對(duì)商品評(píng)論進(jìn)行排序,獲得支持票數(shù)越多的評(píng)論,其排名越靠前[8],通過這樣的手段來幫助評(píng)論閱讀者識(shí)別評(píng)論的價(jià)值。但是該指標(biāo)需要長(zhǎng)時(shí)間累積,無法及時(shí)提供最新發(fā)布的評(píng)論的有用性信息,應(yīng)用效果有待衡量[9]。這是因?yàn)槿藗兺粚?duì)前幾條評(píng)論進(jìn)行瀏覽,已經(jīng)置頂?shù)脑u(píng)論更加有機(jī)會(huì)被瀏覽而被重復(fù)投票,而一些新發(fā)布的高品質(zhì)的評(píng)論則因?yàn)闆]有及時(shí)獲得足夠的有用投票而被忽略。

    評(píng)級(jí)信息的單一性,使得由此設(shè)計(jì)的商品總體評(píng)分制度不能準(zhǔn)確反映評(píng)價(jià)者的觀點(diǎn)。評(píng)論信息的復(fù)雜性與主觀性,使得潛在消費(fèi)者難以直接從中快速獲得有用的觀點(diǎn)。通過前期研究發(fā)現(xiàn),評(píng)價(jià)者對(duì)某件商品給出的評(píng)級(jí)與評(píng)論經(jīng)常存在相反或不一致的現(xiàn)象,如評(píng)價(jià)者給出的評(píng)級(jí)為好評(píng),評(píng)論內(nèi)容卻是“質(zhì)量不怎么樣,習(xí)慣性好評(píng)”。為解決當(dāng)前B2C 電子商務(wù)網(wǎng)站對(duì)在線商品評(píng)論的效用評(píng)價(jià)的局限性,學(xué)術(shù)界提出了一系列基于文本挖掘和信息質(zhì)量評(píng)價(jià)理論的解決方案。但是很少有研究關(guān)注到評(píng)級(jí)信息與評(píng)論信息的不一致性,也幾乎沒有研究考慮將其進(jìn)行有機(jī)統(tǒng)一,對(duì)整體評(píng)價(jià)進(jìn)行效用分析。另外,評(píng)價(jià)者本身是否為一個(gè)好的評(píng)價(jià)者,對(duì)于潛在消費(fèi)者是否決定采納這條評(píng)價(jià)有著重要的影響。如何判別評(píng)價(jià)者的評(píng)價(jià)效用,也是評(píng)價(jià)研究中十分重要的一個(gè)方向。

    針對(duì)這些問題,在本文的研究中,我們?cè)O(shè)計(jì)并提出了一種評(píng)價(jià)效用衡量機(jī)制,通過引入營(yíng)銷領(lǐng)域的RFM模型,以評(píng)價(jià)者的評(píng)級(jí)和評(píng)論信息作為評(píng)價(jià)效用(A)這一新指標(biāo),提出RFMA模型來對(duì)評(píng)價(jià)者本身的評(píng)價(jià)能力進(jìn)行分析,從而對(duì)評(píng)價(jià)者進(jìn)行分類,從中找出好的評(píng)價(jià)者。蔡淑琴[10]等已將RFM模型引入到對(duì)意見領(lǐng)袖的識(shí)別中,并添加了情感(S)這一新指標(biāo)。但是僅以情感值的大小作為新指標(biāo)進(jìn)行輸入,而未區(qū)分情感的正負(fù)向以及進(jìn)一步考慮情感在其中所起的作用。本文引入評(píng)論情感的正負(fù)向來對(duì)評(píng)價(jià)者的評(píng)級(jí)和評(píng)論的不一致性進(jìn)行衡量,并將這種不一致體現(xiàn)在對(duì)評(píng)價(jià)者的效用衡量上,充分使用了評(píng)級(jí)和評(píng)論信息。

    以下是本文的三個(gè)主要研究問題:

    (1)如何衡量評(píng)級(jí)和評(píng)論之間的不一致性。評(píng)級(jí)和評(píng)論之間的不一致性會(huì)造成混亂,因此衡量其不一致性在本文提出的機(jī)制中有著重要作用。我們使用了文本情感分析的方法對(duì)評(píng)論的情感傾向進(jìn)行衡量,并與評(píng)級(jí)進(jìn)行比較。

    (2) 如何衡量單次評(píng)價(jià)的效用。購(gòu)物之后的評(píng)價(jià)反饋包括數(shù)字的評(píng)級(jí)和文本的評(píng)論。為了充分利用評(píng)論包含的信息,本文使用PageRank方法衡量評(píng)級(jí)的效用,并使用基于LDA主題模型的相似度方法衡量評(píng)論的效用,提出了將兩種信息相結(jié)合的評(píng)價(jià)效用衡量機(jī)制,同時(shí)還給出了可信度。

    (3)如何衡量評(píng)價(jià)者的評(píng)價(jià)能力與評(píng)價(jià)效用并區(qū)分好與不好的評(píng)價(jià)者。根據(jù)新提出的RFMA模型,綜合得到評(píng)價(jià)者的總體評(píng)價(jià)效用。通過模型分類與人工分類的比較,衡量本文提出的機(jī)制對(duì)評(píng)價(jià)者評(píng)價(jià)能力的分類效果。

    2 模型和方法

    在線購(gòu)物網(wǎng)站已經(jīng)成為人們購(gòu)物不可或缺的平臺(tái)。但是,信息不對(duì)稱和信譽(yù)問題導(dǎo)致用戶不能放心地在網(wǎng)上進(jìn)行購(gòu)物?,F(xiàn)有的評(píng)論效用研究往往只單獨(dú)考慮評(píng)論本身,而忽略了評(píng)級(jí)與評(píng)論的有機(jī)統(tǒng)一。如何將用戶的兩種評(píng)價(jià)信息統(tǒng)一到衡量體系中,是一個(gè)重要的研究方向。在本節(jié)中,我們提出一種新的集成RFM模型并結(jié)合評(píng)級(jí)和評(píng)論兩種信息的評(píng)價(jià)者評(píng)價(jià)效用衡量機(jī)制(RFMA),為用戶的購(gòu)買決策提供重要支持。

    2.1 RFM測(cè)量

    RFM模型是客戶關(guān)系管理領(lǐng)域中一種定量分析模型,其基本思想是通過三個(gè)客戶行為指標(biāo)來判斷客戶價(jià)值,即近度(Recency)、頻度(Frequency)和值度(Monentary)。近度表示客戶最近一次交易離現(xiàn)在的時(shí)間間隔,頻度表示客戶在一定時(shí)期交易的次數(shù),值度表示客戶在一定時(shí)期內(nèi)交易的總金額。近度值越低,頻度值越高,值度值越高,則客戶的價(jià)值也越高。

    本文將RFM模型用于測(cè)量在線評(píng)價(jià)者的評(píng)價(jià)能力,需要對(duì)三個(gè)指標(biāo)的含義進(jìn)行修正。其中R、F指標(biāo)可以直接進(jìn)行類比。M指標(biāo)原本為客戶在一定時(shí)期內(nèi)交易的總金額,但是評(píng)價(jià)對(duì)其他人影響的購(gòu)買金額無法準(zhǔn)確統(tǒng)計(jì)。蔡淑琴[10]等使用其他用戶對(duì)在線口碑做出的有用性判斷作為指標(biāo)M。本文作者在對(duì)實(shí)際在線購(gòu)物網(wǎng)站進(jìn)行觀察后發(fā)現(xiàn),大部分的評(píng)價(jià)者并不使用該功能,且該功能需要長(zhǎng)時(shí)間進(jìn)行累積,不具有可用性。而對(duì)于評(píng)價(jià)者,其發(fā)布評(píng)論的本身特征才是用于衡量評(píng)價(jià)者評(píng)價(jià)能力的合理指標(biāo)。因此,本文對(duì)這三個(gè)指標(biāo)修正如下:(1) 近度(R)表示評(píng)價(jià)者三個(gè)月內(nèi)最近一次發(fā)布評(píng)價(jià)到當(dāng)前的時(shí)間間隔,以天為時(shí)間單位。(2) 頻度(F)定義為評(píng)價(jià)者在最近三個(gè)月內(nèi)進(jìn)行評(píng)價(jià)(有評(píng)論內(nèi)容)的次數(shù)。(3) 值度(M)則表示評(píng)價(jià)者發(fā)表的評(píng)論的長(zhǎng)度平均值,以字?jǐn)?shù)為單位。

    由于R、F、M三個(gè)指標(biāo)的度量單位和取值存在較大差異,且影響方向并不相同,所以需要對(duì)原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。R′、F′、M′分別表示標(biāo)準(zhǔn)化后的R、F、M,計(jì)算公式如下式(1):

    (1)

    其中Rmin和Rmin分別表示R的最大值與最小值,F(xiàn)max和Fmin分別表示F的最大值與最小值,Mmax和Mmin分別表示M的最大值與最小值。

    2.2 評(píng)級(jí)和評(píng)論的比較

    從用戶的生成內(nèi)容中可以分析用戶的情感傾向,從而獲得對(duì)其他用戶有用的參考信息。為了確定用戶發(fā)布內(nèi)容的傾向性,一些情感分析的方法已經(jīng)被提出,其中大部分是基于文本分析的[11]。因此,為了探究評(píng)價(jià)者在評(píng)級(jí)和評(píng)論上的不一致性,本文對(duì)評(píng)論文本進(jìn)行短文本情感傾向分析。將評(píng)論的情感傾向轉(zhuǎn)化為可量化的數(shù)字,從而與評(píng)級(jí)的好(1)、中(0)、差評(píng)(-1)進(jìn)行比較。本文采用的是基于Shen Yang等[12]提出的MBEWC方法進(jìn)行改進(jìn)的計(jì)算方法。以HowNet[13]情感詞典為基礎(chǔ),對(duì)文本進(jìn)行分句、分詞、標(biāo)注、情感處理等后,通過詞語的語義相似度計(jì)算,綜合計(jì)算短文本的情感傾向。

    本文使用HowNet語義相似度計(jì)算軟件及其提供的情感和評(píng)價(jià)詞匯構(gòu)建模糊情感本體庫(kù),得到正負(fù)向兩個(gè)情感詞典。每個(gè)詞匯對(duì)正負(fù)向情感詞典有不同的隸屬度。在這里選取隸屬度大的那個(gè)情感類作為該詞的情感類,隸屬度最大值就是這個(gè)詞的情感強(qiáng)度。若出現(xiàn)隸屬度相同的情況,則將該詞判斷為中性詞。

    在中文中,程度副詞經(jīng)常與情感詞一起出現(xiàn)從而改變了情感詞的情感強(qiáng)烈程度。為了更好地分析評(píng)論本文中的情感強(qiáng)度,我們?cè)O(shè)定了一個(gè)程度副詞詞典(Degree words dictionary),從HowNet中抽取58個(gè)程度副詞并將其分成7類。我們?cè)谇楦性~的上下文中設(shè)置一個(gè)大小為5的檢測(cè)窗口,如果在檢測(cè)窗口中有程度副詞出現(xiàn),則按照表1中所給的賦值相應(yīng)改變情感詞的情感強(qiáng)度。

    表1 程度副詞

    否定詞的出現(xiàn)往往會(huì)改變情感詞傾向性。同樣從HowNet中人工抽取10個(gè)否定副詞建立否定副詞詞典(Negative Words Dictionary)。在情感詞上下文設(shè)置了一個(gè)大小為5的檢測(cè)窗口,若在檢測(cè)窗口內(nèi)出現(xiàn)否定詞,就對(duì)詞的情感值取反。

    綜合上述規(guī)則,每條評(píng)論的情感值計(jì)算如式(2):

    (2)

    其中,Sensibility(wk)表示詞匯的情感值(即情感類的隸屬度);l表示否定副詞的個(gè)數(shù);valueadv表示程度副詞的取值。

    最終每條評(píng)論都能得到一個(gè)數(shù)值的情感值。為了能更好地與評(píng)級(jí)進(jìn)行比較,我們對(duì)評(píng)論的情感值做一個(gè)處理,將情感值大于0的評(píng)論歸為好評(píng),情感值小于0的歸為差評(píng),而情感值等于0的歸為中評(píng)。

    2.3 評(píng)級(jí)的效用衡量

    評(píng)級(jí)是評(píng)價(jià)者最基本的評(píng)價(jià)信息,目前大多數(shù)在線購(gòu)物網(wǎng)站都使用評(píng)級(jí)信息來進(jìn)行商品總體評(píng)分計(jì)算。不同于簡(jiǎn)單的加和計(jì)算,為了衡量評(píng)價(jià)者的評(píng)級(jí)質(zhì)量,我們使用的方法來源于Brin[14]等提出的用于部分搜索引擎的PageRank算法。本節(jié)使用的方法基于這樣的假設(shè):商品的質(zhì)量可以由多數(shù)原則來衡量。即若一件商品的大多數(shù)評(píng)級(jí)都為好評(píng),那么我們有理由相信這件商品的質(zhì)量較好;若針對(duì)某一商品的大多數(shù)評(píng)級(jí)為差評(píng),那么這件商品很有可能質(zhì)量很差。

    由于評(píng)價(jià)者的評(píng)級(jí)是用數(shù)字表示的好、中、差評(píng)三種類別,通過針對(duì)一個(gè)商品的所有評(píng)級(jí)的頻率分布來計(jì)算每個(gè)獨(dú)立評(píng)級(jí)的質(zhì)量。根據(jù)評(píng)價(jià)者對(duì)同一商品給出的評(píng)級(jí)將其分組,組內(nèi)的評(píng)價(jià)者被認(rèn)為相互給出最大的支持。組間的支持則由每個(gè)評(píng)級(jí)的不一致性來界定。那么,評(píng)級(jí)i的質(zhì)量可被定義為QRi,是由所有組對(duì)其支持的總和來決定的,具體公式如式(3)所示:

    (3)

    其中,QRj是評(píng)級(jí)j的質(zhì)量;Ej,i是評(píng)級(jí)j對(duì)評(píng)級(jí)i的支持;Ni和Nj分別是給出評(píng)級(jí)i和評(píng)級(jí)j的評(píng)論者數(shù)量。某個(gè)組對(duì)其他組及其本身的支持度總和為1。所有QRi的總和也為1。

    另外,QRi的置信度由評(píng)級(jí)的數(shù)量Ni(即對(duì)某個(gè)商品的某類評(píng)級(jí)總數(shù))決定?;贑hen[15]等所使用的來源于Breslow[16]等提出的統(tǒng)計(jì)指數(shù),如表2所示的分段函數(shù)將用于計(jì)算QRi的置信度CRi。

    圖2 CR分段函數(shù)

    2.4 評(píng)論的效用衡量

    除了以數(shù)字表示的評(píng)級(jí),評(píng)價(jià)者的評(píng)論文本其實(shí)包含了更多的信息。我們可以看出評(píng)論者滿意或是不滿意的原因等評(píng)級(jí)無法表達(dá)的信息。因此,如何計(jì)算評(píng)論的效用,是本文研究的一個(gè)重點(diǎn)。Hu Nan等[17]認(rèn)為蘊(yùn)含較強(qiáng)極性和個(gè)人觀點(diǎn)的商品評(píng)論可能并不可靠。我們認(rèn)為,能夠反映大多數(shù)其他消費(fèi)者觀點(diǎn)的評(píng)論才有可能是一篇好的評(píng)論。郝媛媛[6]等提出,評(píng)論內(nèi)容的正負(fù)向情感混雜度對(duì)評(píng)論有用性存在顯著正向影響,且評(píng)論中觀點(diǎn)句的主觀與客觀表達(dá)形式的混雜度也對(duì)評(píng)論有用性存在顯著正向影響。淘寶網(wǎng)在每個(gè)商品評(píng)價(jià)頁(yè)面給出了商品評(píng)價(jià)的總體標(biāo)簽,包括商品的客觀屬性和主觀評(píng)價(jià)結(jié)果,并且包含了正負(fù)向兩種情感傾向,因此我們以淘寶網(wǎng)自身評(píng)價(jià)頁(yè)面的標(biāo)簽作為標(biāo)準(zhǔn)評(píng)論,計(jì)算評(píng)價(jià)者評(píng)論與其相似度,以此作為評(píng)價(jià)者評(píng)論的效用。

    由于文檔的主題分布是文檔向量空間的單純形映射,所以在文檔的主題表示情況下,計(jì)算兩條評(píng)論的相似度可以通過計(jì)算與之對(duì)應(yīng)的主題概率分布來實(shí)現(xiàn)。由于主題是詞向量的混合分布,因而使用KL (Kullback-Leibler)距離作為相似度度量標(biāo)準(zhǔn)。公式如(4):

    (4)

    其中p和q分別為兩條評(píng)論的主題概率分布。但是由于KL距離非對(duì)稱,使用變化后的JS (Jensen-Shannon) 距離進(jìn)行衡量,公式如(5):

    (5)

    那么第l條評(píng)論的質(zhì)量QCl由公式(6)來衡量。其中pl是第l條評(píng)論的主題概率分布,而s是標(biāo)準(zhǔn)評(píng)論的主題概率分布:

    QCl=DJS(pl,s)

    (6)

    以每個(gè)評(píng)價(jià)者在每個(gè)商品所屬品類下的評(píng)論個(gè)數(shù)比上其所有評(píng)論個(gè)數(shù)作為評(píng)論的置信度CC。

    2.5 評(píng)價(jià)效用指標(biāo)A測(cè)量

    在分別得到評(píng)級(jí)和評(píng)論的效用和置信度后,我們對(duì)單次評(píng)價(jià)的效用進(jìn)行衡量。在衡量單次評(píng)價(jià)的總體效用時(shí),我們基于這樣的兩個(gè)假設(shè):大多數(shù)人的評(píng)價(jià)是可信的;個(gè)人的評(píng)論與評(píng)級(jí)相一致才有可能是好的評(píng)價(jià)。當(dāng)評(píng)級(jí)與評(píng)論情感傾向不一致時(shí),即使評(píng)論本身的效用很高,我們也認(rèn)為這次評(píng)價(jià)不是一個(gè)好的評(píng)價(jià),因?yàn)榫W(wǎng)站只使用評(píng)級(jí)對(duì)商品進(jìn)行總體計(jì)分,而虛高的總分會(huì)使評(píng)論閱讀者產(chǎn)生混亂。評(píng)價(jià)的總價(jià)值A(chǔ)Q可由如下公式(7)得出。

    (7)

    消費(fèi)者在在線購(gòu)物網(wǎng)站中購(gòu)買很多商品,并做出評(píng)價(jià)反饋,累積了很多歷史評(píng)價(jià)信息。將評(píng)價(jià)者的歷史評(píng)價(jià)效用AQ進(jìn)行累加并計(jì)算均值得到指標(biāo)A,標(biāo)準(zhǔn)化計(jì)算見下式(8):

    (8)

    其中Amax和Amin分別是A的最大值和最小值。

    2.6 RFMA模型權(quán)重確定

    我們希望對(duì)評(píng)價(jià)者本身的評(píng)價(jià)能力進(jìn)行衡量。在RFMA模型下,評(píng)價(jià)者的整體評(píng)價(jià)效用可以表示成式(9):

    U(ci)=WR×R′(ci)+WF×F′(ci)+WM×M′(ci)+WA×A′(ci)

    (9)

    其中R(ci),F(xiàn)(ci),M(ci),A(ci)分別表示評(píng)價(jià)者ci的四個(gè)指標(biāo)值;而WR,WF,WM,WA則分別表示四個(gè)指標(biāo)的權(quán)重,且WR+WF+WM+WA=1。

    Hughes[19]認(rèn)為RFM中三個(gè)變量權(quán)重相等,并未給予不同劃分。但Stone[20]在對(duì)信用卡進(jìn)行實(shí)證分析后,認(rèn)為各個(gè)指標(biāo)的權(quán)重并不相同。本文認(rèn)為這幾個(gè)權(quán)重存在一定的差異,因此采用層次分析法來進(jìn)行比較分析,通過兩兩比較矩陣(一致性比例CR=0.0097<0.1)最終得到四個(gè)指標(biāo)的權(quán)重分別為:

    [WR,WF,WM,WA]=[0.0953,0.1598,0.2773,0.4676]

    其中A的權(quán)重最大,即認(rèn)為評(píng)級(jí)和評(píng)論的效用是影響評(píng)價(jià)者效用高低的最主要因素。

    2.7 評(píng)價(jià)者評(píng)價(jià)效用衡量

    為測(cè)試上述提出的機(jī)制對(duì)評(píng)價(jià)者整體評(píng)價(jià)效用分類能力,衡量評(píng)價(jià)者的整體評(píng)價(jià)效用,按照Ghose和Ipeirotis[21]提出的方法進(jìn)行分類。

    (1)對(duì)評(píng)價(jià)者是否為好的評(píng)價(jià)者進(jìn)行人工標(biāo)注。我們以人工的方法對(duì)評(píng)價(jià)者評(píng)價(jià)效用進(jìn)行區(qū)分。按照這些基本原則:評(píng)價(jià)的個(gè)數(shù)、評(píng)級(jí)與評(píng)論的一致性、評(píng)論的篇幅、評(píng)論內(nèi)容的客觀性與主觀性。

    (2)確定一個(gè)合適的分界值θ將評(píng)價(jià)者分為好的和不好兩類。平均評(píng)價(jià)效用≥θ的評(píng)價(jià)者被分類為“好的評(píng)價(jià)者”,而平均評(píng)價(jià)效用<θ的評(píng)價(jià)者被分類為“不好的評(píng)價(jià)者”。

    (3)將模型分類結(jié)果與人工分類結(jié)果做比較。判斷評(píng)價(jià)者是否為好的評(píng)價(jià)者是一種二值分類,借助二維列聯(lián)表計(jì)算查準(zhǔn)率、查全率及兩者合成的綜合指數(shù),以此來評(píng)估模型的效果。見表3。

    表3 分類評(píng)估列聯(lián)表

    其中,好的評(píng)價(jià)者的查準(zhǔn)率:

    (10)

    好的評(píng)價(jià)者的查全率:

    (11)

    綜合指數(shù):

    (12)

    3 實(shí)驗(yàn)

    3.1 數(shù)據(jù)及來源

    作為一個(gè)C2C網(wǎng)上交易平臺(tái),淘寶在中國(guó)擁有最多的商品列表,最高的轉(zhuǎn)化率,超過8千萬的注冊(cè)用戶,以及在2億5千多萬的網(wǎng)民中最高的普及率[22]。因此本實(shí)驗(yàn)選擇淘寶平臺(tái)作為數(shù)據(jù)來源。通過編寫爬蟲程序隨機(jī)抽取1個(gè)店鋪的商品列表頁(yè)商品的所有評(píng)價(jià)者,去掉其中匿名的用戶及歷史購(gòu)買次數(shù)小于30的用戶。將選取出來的183名評(píng)價(jià)者作為研究對(duì)象,根據(jù)他們的歷史評(píng)價(jià)記錄進(jìn)行計(jì)算,共得到8303條歷史評(píng)論。另外,本文還抽取了所有這些評(píng)價(jià)者的歷史評(píng)價(jià)中的商品的所有評(píng)價(jià)(剔除無效數(shù)據(jù))共852071條。所有的數(shù)據(jù)收集工作在2014年5月24到6月7日之間完成。數(shù)據(jù)抓取的結(jié)構(gòu)圖見圖1。

    圖1 數(shù)據(jù)抓取結(jié)構(gòu)

    3.2 情感詞典的構(gòu)建

    從HowNet提供的情感詞匯和評(píng)價(jià)詞匯表中,我們抽取了與網(wǎng)上購(gòu)物評(píng)價(jià)相關(guān)的正負(fù)向詞匯,其中正向詞匯1131個(gè),負(fù)向詞匯1710個(gè)。所有183個(gè)用戶的歷史評(píng)論數(shù)據(jù)進(jìn)行分詞、去除停用詞等預(yù)處理后,利用HowNet提供的語義相似度計(jì)算軟件分別與正負(fù)向詞匯進(jìn)行相似度計(jì)算,分別得到正負(fù)向相似度詞典,格式為(詞1,詞2:相似度)。在兩個(gè)詞典中,對(duì)同一個(gè)詞只保留相似度最大的那一行,最終得到正負(fù)向情感詞典。

    3.3 評(píng)論文本效用計(jì)算

    LDA主題模型的Gibbs Sampling方法已經(jīng)有了各種實(shí)現(xiàn),本文使用Matlab軟件的topictoolbox工具包進(jìn)行計(jì)算。我們將進(jìn)行分詞、去停用詞等預(yù)處理后的文本數(shù)據(jù)處理成工具包所需的輸入形式。對(duì)于所考察的183名評(píng)價(jià)者,分別對(duì)其所有的評(píng)價(jià)進(jìn)行評(píng)論文本的衡量,得到每條評(píng)論與標(biāo)準(zhǔn)評(píng)論的相似度,作為評(píng)論文本的效用。

    4 結(jié)果及分析

    我們的實(shí)驗(yàn)分成兩部分:第一部分是對(duì)于原始評(píng)級(jí)和評(píng)論及其區(qū)別的觀察;第二部分則是對(duì)于我們所構(gòu)建的評(píng)價(jià)效用機(jī)制的實(shí)現(xiàn)和分析。

    4.1 評(píng)級(jí)和評(píng)論的不一致性

    對(duì)于每個(gè)評(píng)價(jià)者,我們分別統(tǒng)計(jì)了他們歷史評(píng)價(jià)中的好、中、差評(píng)的個(gè)數(shù),以及進(jìn)行了情感分析后的評(píng)論數(shù)據(jù)中得分為1、0、-1的個(gè)數(shù),結(jié)果如下圖2(a)、2(b)所示。

    圖2(a) 評(píng)價(jià)者評(píng)級(jí)的好、中、差評(píng)分布

    圖2(b) 評(píng)價(jià)者評(píng)論(情感分析后)的好、中、差評(píng)分布

    從圖2(a)中可以直觀地看出,原始的評(píng)級(jí)基本上集中在好評(píng),中評(píng)和差評(píng)很少。進(jìn)行了情感分析后,圖2(b)顯示了評(píng)級(jí)的分布向中評(píng)和差評(píng)軸偏移,也就是中評(píng)和差評(píng)的個(gè)數(shù)變多了。這種現(xiàn)象符合我們對(duì)在線購(gòu)物評(píng)價(jià)的認(rèn)知:消費(fèi)者在評(píng)級(jí)時(shí)往往不能真實(shí)表達(dá)自己的感受,習(xí)慣性好評(píng)或是擔(dān)心被商家報(bào)復(fù)而給予好評(píng);在文字評(píng)論中,消費(fèi)者能夠直接表達(dá)真實(shí)的評(píng)價(jià)信息。這是由于現(xiàn)有的在線購(gòu)物評(píng)價(jià)系統(tǒng)只以評(píng)級(jí)作為商品總分計(jì)算的來源造成的。

    同時(shí),我們計(jì)算了評(píng)級(jí)和評(píng)論(情感分析后)的好、中、差評(píng)個(gè)數(shù)的歐氏距離,并畫出其概率密度曲線,見圖3和圖4。可以看到評(píng)價(jià)者評(píng)級(jí)與評(píng)論的不一致性的分布具有長(zhǎng)尾現(xiàn)象,大部分的評(píng)價(jià)者具有一定的不一致性,完全一致和完全不一致的評(píng)價(jià)者較少。這也符合我們對(duì)現(xiàn)實(shí)中評(píng)價(jià)者的認(rèn)知,評(píng)價(jià)者們并不會(huì)完全隱藏自己的真實(shí)感情。

    圖3 評(píng)級(jí)與評(píng)論好、中、差評(píng)的歐氏距離(標(biāo)準(zhǔn)化后)

    圖4 概率密度分布

    為了更進(jìn)一步地分析評(píng)級(jí)與評(píng)論的不一致性,我們將不同的商品歸結(jié)為鞋服配飾類、手機(jī)數(shù)碼類、彩妝個(gè)護(hù)類、母嬰用品類、家居物業(yè)類、食品類、運(yùn)動(dòng)戶外用品類與花鳥文娛類這八個(gè)大類,分別探究評(píng)價(jià)者對(duì)不同類別商品的評(píng)級(jí)與評(píng)論的好、中、差評(píng)分布情況。圖5選取了其中最為典型的鞋服配飾類、彩妝個(gè)護(hù)類與家居物業(yè)類這三個(gè)類別進(jìn)行展示。同時(shí)將評(píng)價(jià)者進(jìn)行編號(hào),方便比較,可以看到如G1、J10、F16等點(diǎn)都發(fā)生了較大的偏移。整體來說,鞋服配飾類的偏移最大,居家物業(yè)類次之,彩妝個(gè)護(hù)類

    圖5 rating-1到rating-3分別是評(píng)價(jià)者評(píng)級(jí)在鞋服配飾類、彩妝個(gè)護(hù)類與居家物業(yè)類的好中差評(píng)分布;sentiment-1到sentiment-3分別是評(píng)價(jià)者評(píng)論(情感分析后)在鞋服配飾類、彩妝個(gè)護(hù)類與居家物業(yè)類的好中差評(píng)分布

    最小。這是因?yàn)樾滹楊惖纳唐放c賣家質(zhì)量參差不齊,也是消費(fèi)者的購(gòu)買主體,導(dǎo)致出現(xiàn)的評(píng)價(jià)差異很大,往往包含較多的不一致現(xiàn)象。而彩妝個(gè)護(hù)類的商品使用效果具有較大的個(gè)體差異性,評(píng)價(jià)者所給出的評(píng)價(jià)也帶有較強(qiáng)的主觀性,反而能夠較為真實(shí)地反映情感傾向。

    進(jìn)一步地,我們可以從圖6對(duì)三種評(píng)級(jí)的均值看出,經(jīng)過情感分析后,中評(píng)變化不大,但是差評(píng)個(gè)數(shù)卻是增加了。

    通過對(duì)評(píng)價(jià)者評(píng)級(jí)與評(píng)論的不一致性結(jié)果進(jìn)行分析,并對(duì)原始數(shù)據(jù)進(jìn)行觀察,我們對(duì)評(píng)價(jià)者評(píng)級(jí)與評(píng)論的不一致性的原因進(jìn)行了總結(jié):(1)評(píng)價(jià)者擔(dān)心負(fù)面的評(píng)級(jí)會(huì)遭到賣家的報(bào)復(fù)而選擇正面的評(píng)級(jí),但在評(píng)論里表達(dá)了自己的負(fù)面情感;(2)評(píng)價(jià)者的個(gè)體標(biāo)準(zhǔn)差異性導(dǎo)致評(píng)論里表達(dá)對(duì)商品較為滿意,評(píng)級(jí)卻是中差評(píng);(3)操作誤差。

    圖6 情感分析前后好中差評(píng)均值

    4.2 評(píng)價(jià)者評(píng)價(jià)效用分析

    為了衡量評(píng)價(jià)者的評(píng)價(jià)效用,區(qū)分評(píng)價(jià)者的評(píng)價(jià)能力,我們按照前述方法對(duì)其進(jìn)行模型分類與人工分類的比較。對(duì)只用評(píng)級(jí)效用、只用評(píng)論效用、使用評(píng)論效用、RFM模型效用、RFMA模型效用這五者都分別進(jìn)行分類比較,見表4、5、6、7、8。

    分別計(jì)算得到好的評(píng)價(jià)者的查準(zhǔn)率、查全率和綜合指數(shù)見下表9。

    表4 分類評(píng)估列聯(lián)表(評(píng)級(jí)效用)

    表5 分類評(píng)估列聯(lián)表(評(píng)論效用)

    表6 分類評(píng)估列聯(lián)表(評(píng)價(jià)效用)

    表7 分類評(píng)估列聯(lián)表(RFM模型效用)

    表8 分類評(píng)估列聯(lián)表(RFMA模型效用)

    表9 評(píng)價(jià)者分類計(jì)算結(jié)果

    從表中結(jié)果可以看出,雖然在查準(zhǔn)率方面稍遜于以RFM模型效用來區(qū)分的分類效果,但是在查全率和綜合指數(shù)上,結(jié)合了評(píng)級(jí)和評(píng)論的評(píng)價(jià)效用機(jī)制要遠(yuǎn)遠(yuǎn)優(yōu)于其他幾種方法。說明本文提出的機(jī)制對(duì)于是否為好的評(píng)價(jià)者有較強(qiáng)的區(qū)分能力。

    5 結(jié)語

    本文以中國(guó)最大的在線購(gòu)物網(wǎng)站淘寶網(wǎng)為數(shù)據(jù)來源,以為評(píng)價(jià)閱讀者及時(shí)提供評(píng)價(jià)效用,并幫助評(píng)價(jià)閱讀者區(qū)別評(píng)價(jià)者的評(píng)價(jià)能力為目標(biāo),結(jié)合文本挖掘中的情感分析和LDA主題模型研究方法,引入客戶營(yíng)銷模型RFM,結(jié)合評(píng)級(jí)和評(píng)論兩種信息,提出以RFMA模型對(duì)評(píng)價(jià)者評(píng)價(jià)效用進(jìn)行衡量的機(jī)制,并據(jù)此對(duì)評(píng)價(jià)者進(jìn)行分類,區(qū)分好與不好的評(píng)價(jià)者。該機(jī)制不僅能夠幫助消費(fèi)者從海量評(píng)價(jià)信息中識(shí)別出具有價(jià)值的部分,還能結(jié)合評(píng)級(jí)和評(píng)論兩種信息來提升消費(fèi)者的決策效率。另外,潛在消費(fèi)者在閱讀評(píng)價(jià)時(shí),除了看重評(píng)價(jià)本身的效用,還關(guān)注評(píng)價(jià)者的評(píng)價(jià)能力,即評(píng)價(jià)者是否為好的評(píng)價(jià)者?;赗FM模型提出的RFMA模型為評(píng)價(jià)者的評(píng)價(jià)效用衡量找出了新的機(jī)制,并且可以作為購(gòu)物平臺(tái)實(shí)現(xiàn)對(duì)評(píng)價(jià)者進(jìn)行分類的基礎(chǔ),為進(jìn)一步完善現(xiàn)有的信譽(yù)系統(tǒng)提供了新的思路。實(shí)驗(yàn)結(jié)果表明,本文提出的機(jī)制對(duì)于區(qū)分評(píng)價(jià)者具有很好的效果。

    在研究過程中發(fā)現(xiàn),標(biāo)準(zhǔn)評(píng)論的選取會(huì)對(duì)評(píng)論的效用結(jié)果產(chǎn)生較大的影響。本文選取的是淘寶評(píng)價(jià)頁(yè)面的標(biāo)簽,在后續(xù)研究中,可以通過自主提取標(biāo)簽來改進(jìn)研究結(jié)果。另外,由于LDA主題模型需要預(yù)先設(shè)定主題個(gè)數(shù),主題個(gè)數(shù)對(duì)于詞項(xiàng)的分布有較大的影響,如何科學(xué)地確定有效的主題個(gè)數(shù)也是后續(xù)需要開展的研究。

    [2] J?sang A, Ismail R, Boyd C.A survey of trust and reputation systems for online service provision[J].Decision support systems, 2007, 43(2): 618-644.

    [3] Park D H, Lee J, Han I.The effect of on-line consumer reviews on consumer purchasing intention: The moderating role of involvement[J].International Journal of Electronic Commerce, 2007, 11(4): 125-148.

    [4] Chen Mao, Singh J P.Computing and using reputations for internet ratings[C]//Proceedings of the 3rd ACM conference on Electronic Commerce.Tampa,Florida,USA,October 14-17,2001.

    [5] Dellarocas C.The digitization of word of mouth: Promise and challenges of online feedback mechanisms[J].Management science, 2003, 49(10): 1407-1424.

    [6] 郝媛媛, 葉強(qiáng), 李一軍.基于影評(píng)數(shù)據(jù)的在線評(píng)論有用性影響因素研究[J].管理科學(xué)學(xué)報(bào), 2010, 13(8): 78-88.

    [7] Harrison-Walker L J.The measurement of word-of-mouth communication and an investigation of service quality and customer commitment as potential antecedents[J].Journal of Service Research, 2001, 4(1): 60-75.

    [8] 楊銘, 祁巍, 閆相斌.在線商品評(píng)論的效用分析研究[J].管理科學(xué)學(xué)報(bào), 2012, 15(5): 65-75.

    [9] Ghose A, Ipeirotis P G.Designing novel review ranking systems: Predicting the usefulness and impact of reviews[C]//Proceedings of the ninth international conference on Electronic commerce,Minneapolis,MN,USA,August 19-22,2007.

    [10] 蔡淑琴, 馬玉濤, 王瑞.在線口碑傳播的意見領(lǐng)袖識(shí)別方法研究[J].中國(guó)管理科學(xué), 2013, 21(2): 185-192.

    [11] Rabelo J C B, Prudêncio R C B, Barros F A.Leveraging relationships in social networks for sentiment analysis[C]//Proceedings of the 18th Brazilian symposium on Multimedia and the Web,S?o Paulo,Brazil,October 15-18,2012.

    [12] Shen Yang, Li Shuchen, Zheng Ling, et al.Emotion mining research on micro-blog[C]//Proceedings of 1st IEEE Symposium on Web Society,Lanzhou,China,August 23-24,2009.

    [13] 劉群,李素建.基于知網(wǎng)的詞匯語義相似度的計(jì)算[C]//第三屆漢語詞匯語義學(xué)研討會(huì),臺(tái)北,2002.

    [14] Brin S, Page L.The anatomy of a large-scale hypertextual Web search engine[J].Computer networks and ISDN systems, 1998, 30(1): 107-117.

    [15] Chen Mao, Singh J P.Computing and using reputations for internet ratings[C]//Proceedings of the 3rd ACM conference on Electronic Commerce,Tampa,Florida,USA,October 14-17,2001.

    [16] Breslow N E, Day N E.Statistical methods in cancer research[M].Lyon: International Agency for Research on Cancer, 1987.

    [17] Hu Nan, Pavlou P A, Zhang Jie.Can online reviews reveal a product's true quality?: Empirical findings and analytical modeling of Online word-of-mouth communication[C]//Proceedings of the 7th ACM conference on Electronic Commerce,Ann Arbor,Michigan,USA,June 11-15,2006.

    [18] Blei D M, Ng A Y, Jordan M I.Latent dirichlet allocation[J].the Journal of machine Learning research, 2003, 3: 993-1022.

    [19] Hughes AM.Boosting response with RFM[J].American Demographics, 1996, 5: 4-9.

    [20] Stone B, Jacobs R.Successful direct marketing methods[M].Lincolnwood, IL: NTC Business Books, 1988.

    [21] Ghose A, Ipeirotis P G.Designing novel review ranking systems: Predicting the usefulness and impact of reviews[C]//Proceedings of the ninth international conference on Electronic commerce,Minneapolis,MN,USA,August 19-22,2007.

    [22] Ou C X, Davison R M.Technical opinion Why eBay lost to TaoBao in China: The glocal advantage[J].Communications of the ACM, 2009, 52(1): 145-148.

    Rater Utility Mechanism Research Based On Online Rating and Comment

    SHI Xiao-jing1, LIANG Xun1, SUN Xiao-lei2

    (1.School of Information, Renmin University of China, Beijing 100872, China;2.Institute of Policy and Management, Chinese Academy of Sciences, Beijing 100190, China)

    Appraisals for products and services are increasingly important on the Internet, as they eliminate consumers’ uncertainty, and help them to make purchase decision.Raters’ appraisals for products are divided into ratings and comments in most online shopping sites.The existing online reputation system and appraisal studies tend to focus on the user rating or comment respectively, but ignore the organic unification between them.User ratings do not fully reflect users’ real evaluation, as they are inclined to express their true feelings by comments.On the basis of the 852071 appraisal captured from Taobao, this paper proposes RFMA model to calculate raters’ appraise quality, which combines RFM model and considers two kinds of information containing rating and comment by analyzing the inconsistency of rating and comment.Then the good raters and bad raters are distinguished, and further support for consumer purchase is provided.The proposed RFMA model finds a new mechanism for measuring raters’ effectiveness.It can be used as a basement for shopping platform to classify the raters, and provide a new way of thinking to further improve the existing online reputation system.Through analyzing all of the raters, it can be concluded that the mechanism of combining the comments is more available and effective.

    inconsistency of rating and comment; appraise; rater; RFMA

    1003-207(2016)05-0149-09

    10.16381/j.cnki.issn1003-207x.2016.05.017

    2014-06-27;

    2014-12-21

    國(guó)家自然科學(xué)基金資助項(xiàng)目(71531012,71271211);京東商城電子商務(wù)研究項(xiàng)目(413313012);北京市自然科學(xué)基金資助項(xiàng)目(4132067);中國(guó)人民大學(xué)品牌計(jì)劃項(xiàng)目(10XNI029)

    簡(jiǎn)介:梁循(1965-),男(漢族),北京人,中國(guó)人民大學(xué)信息學(xué)院教授,研究方向:數(shù)據(jù)挖掘、網(wǎng)絡(luò)金融、社會(huì)計(jì)算,E-mail:xliang@ruc.edu.cn.

    F272.5

    A

    猜你喜歡
    評(píng)價(jià)者效用評(píng)級(jí)
    小學(xué)美術(shù)課堂板書的四種效用
    考慮評(píng)價(jià)信息滿意度的群體信息集結(jié)方法研究
    基于評(píng)價(jià)信息滿意度的群體信息集結(jié)方法
    分析師最新給予買入評(píng)級(jí)的公司
    學(xué)習(xí)者為評(píng)價(jià)者的國(guó)際漢語教材評(píng)價(jià)標(biāo)準(zhǔn)預(yù)試研究
    納米硫酸鋇及其對(duì)聚合物的改性效用
    百度遭投行下調(diào)評(píng)級(jí)
    幾種常見葉面肥在大蒜田效用試驗(yàn)
    玉米田不同控釋肥料效用研討
    創(chuàng)投概念股評(píng)級(jí)一覽表
    免费在线观看影片大全网站| 超碰97精品在线观看| 黑人猛操日本美女一级片| 自拍欧美九色日韩亚洲蝌蚪91| 一进一出抽搐动态| 性少妇av在线| 两人在一起打扑克的视频| 国产欧美日韩综合在线一区二区| 欧美黄色淫秽网站| 亚洲国产精品一区二区三区在线| 国产又色又爽无遮挡免费看| 国产精品麻豆人妻色哟哟久久| tube8黄色片| 国产又爽黄色视频| 欧美午夜高清在线| 美女高潮喷水抽搐中文字幕| 丝袜美腿诱惑在线| 男女之事视频高清在线观看| 这个男人来自地球电影免费观看| 久久久久国内视频| 国产色视频综合| 69精品国产乱码久久久| 国产成人一区二区三区免费视频网站| 精品国产一区二区久久| 欧美日韩亚洲国产一区二区在线观看 | 欧美另类亚洲清纯唯美| 日日爽夜夜爽网站| 五月天丁香电影| 婷婷成人精品国产| 久久国产精品男人的天堂亚洲| 国产精品久久久人人做人人爽| 国产成人精品在线电影| 国产亚洲精品久久久久5区| 中文字幕人妻熟女乱码| 黑人欧美特级aaaaaa片| 精品久久久精品久久久| 欧美亚洲日本最大视频资源| 在线观看一区二区三区激情| 啦啦啦 在线观看视频| 又大又爽又粗| 一本—道久久a久久精品蜜桃钙片| 后天国语完整版免费观看| 首页视频小说图片口味搜索| 国产精品 国内视频| 大陆偷拍与自拍| 免费高清在线观看日韩| 十八禁网站免费在线| 精品国产一区二区三区四区第35| 国产高清视频在线播放一区| 夜夜骑夜夜射夜夜干| 高潮久久久久久久久久久不卡| 亚洲精品乱久久久久久| 18在线观看网站| 久久久久久亚洲精品国产蜜桃av| 午夜免费鲁丝| www日本在线高清视频| 黄色 视频免费看| 欧美日韩精品网址| 色播在线永久视频| 制服人妻中文乱码| 女人精品久久久久毛片| 波多野结衣一区麻豆| 男女免费视频国产| 黄片小视频在线播放| 丁香欧美五月| 久久婷婷成人综合色麻豆| 色老头精品视频在线观看| 亚洲中文日韩欧美视频| 国产精品一区二区在线不卡| 成人国产av品久久久| 亚洲人成电影免费在线| 亚洲黑人精品在线| 免费高清在线观看日韩| 中文字幕人妻丝袜一区二区| 精品一区二区三卡| av视频免费观看在线观看| 国产又爽黄色视频| 亚洲熟妇熟女久久| 久久99一区二区三区| 午夜福利免费观看在线| 日本黄色日本黄色录像| 99精国产麻豆久久婷婷| 国产精品一区二区在线观看99| 99国产精品免费福利视频| 国产免费现黄频在线看| 成人三级做爰电影| 一边摸一边抽搐一进一出视频| 欧美精品高潮呻吟av久久| 精品免费久久久久久久清纯 | 欧美国产精品va在线观看不卡| 丁香欧美五月| 久久性视频一级片| 热re99久久国产66热| 人人妻,人人澡人人爽秒播| 国产av精品麻豆| e午夜精品久久久久久久| 亚洲专区字幕在线| tube8黄色片| 男女床上黄色一级片免费看| 国产黄频视频在线观看| 男男h啪啪无遮挡| 乱人伦中国视频| 中文字幕另类日韩欧美亚洲嫩草| 亚洲综合色网址| 精品福利观看| 十八禁网站免费在线| bbb黄色大片| 色播在线永久视频| 日韩欧美一区视频在线观看| 国产成人影院久久av| 亚洲情色 制服丝袜| 欧美日韩黄片免| av有码第一页| 大码成人一级视频| 一级a爱视频在线免费观看| 欧美黑人精品巨大| 99精品久久久久人妻精品| 一级毛片女人18水好多| 成人av一区二区三区在线看| 日韩视频一区二区在线观看| 多毛熟女@视频| 一边摸一边做爽爽视频免费| 久久久国产精品麻豆| 18禁黄网站禁片午夜丰满| 日日爽夜夜爽网站| 久久狼人影院| tocl精华| 欧美精品啪啪一区二区三区| 欧美老熟妇乱子伦牲交| 一区二区av电影网| 老熟妇乱子伦视频在线观看| 黄色视频不卡| 可以免费在线观看a视频的电影网站| 国产精品熟女久久久久浪| 国产又色又爽无遮挡免费看| 久久精品成人免费网站| 久久国产亚洲av麻豆专区| 亚洲伊人色综图| 国产免费福利视频在线观看| 最新美女视频免费是黄的| 精品国产超薄肉色丝袜足j| 捣出白浆h1v1| 成年女人毛片免费观看观看9 | 欧美亚洲日本最大视频资源| 少妇裸体淫交视频免费看高清 | 日韩人妻精品一区2区三区| 国产亚洲午夜精品一区二区久久| 成人av一区二区三区在线看| 国产伦人伦偷精品视频| 丰满迷人的少妇在线观看| 老司机靠b影院| 亚洲精品粉嫩美女一区| 中文字幕色久视频| 天堂俺去俺来也www色官网| 亚洲精品粉嫩美女一区| 大片电影免费在线观看免费| 欧美成人午夜精品| videosex国产| 国产精品欧美亚洲77777| 中文亚洲av片在线观看爽 | 免费观看a级毛片全部| 久久99热这里只频精品6学生| 亚洲av成人不卡在线观看播放网| 久久免费观看电影| 窝窝影院91人妻| 久久久久久久大尺度免费视频| 亚洲av电影在线进入| 国产单亲对白刺激| 欧美成人午夜精品| 精品国产一区二区三区久久久樱花| 777米奇影视久久| 精品福利观看| 成人亚洲精品一区在线观看| 中文字幕最新亚洲高清| 男人舔女人的私密视频| 麻豆av在线久日| 脱女人内裤的视频| 日韩精品免费视频一区二区三区| 亚洲一卡2卡3卡4卡5卡精品中文| 成年人午夜在线观看视频| 久久中文看片网| 菩萨蛮人人尽说江南好唐韦庄| 99国产精品一区二区三区| 日韩欧美一区视频在线观看| 精品久久久久久电影网| 亚洲中文字幕日韩| 日韩欧美免费精品| 免费在线观看日本一区| 精品视频人人做人人爽| 亚洲国产av影院在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 热99国产精品久久久久久7| 考比视频在线观看| 99热国产这里只有精品6| 在线 av 中文字幕| 成人免费观看视频高清| 国产高清videossex| 久久久久久久国产电影| 国产黄色免费在线视频| 一级毛片精品| 久久毛片免费看一区二区三区| 女警被强在线播放| 亚洲欧美日韩高清在线视频 | 老司机午夜福利在线观看视频 | 色播在线永久视频| 亚洲五月色婷婷综合| 国产精品国产av在线观看| 亚洲久久久国产精品| 一区在线观看完整版| 中文字幕av电影在线播放| 中文亚洲av片在线观看爽 | videosex国产| 伦理电影免费视频| 丁香欧美五月| 最黄视频免费看| 亚洲va日本ⅴa欧美va伊人久久| 亚洲av美国av| 自拍欧美九色日韩亚洲蝌蚪91| 国产成人欧美| 精品免费久久久久久久清纯 | 麻豆成人av在线观看| 天天躁夜夜躁狠狠躁躁| 精品午夜福利视频在线观看一区 | av天堂久久9| 怎么达到女性高潮| 久久精品国产综合久久久| 成人国产一区最新在线观看| 一本一本久久a久久精品综合妖精| av超薄肉色丝袜交足视频| 99热网站在线观看| 天天躁日日躁夜夜躁夜夜| 一个人免费看片子| 国产欧美日韩精品亚洲av| 欧美日韩中文字幕国产精品一区二区三区 | 午夜成年电影在线免费观看| 97在线人人人人妻| 男人操女人黄网站| 黑人操中国人逼视频| 国产欧美日韩一区二区三| 国产97色在线日韩免费| 纯流量卡能插随身wifi吗| 狠狠狠狠99中文字幕| 国产精品一区二区免费欧美| 两个人免费观看高清视频| 日韩有码中文字幕| 久久久精品区二区三区| 日韩人妻精品一区2区三区| 午夜福利视频精品| 黄片小视频在线播放| 18禁裸乳无遮挡动漫免费视频| 精品国产亚洲在线| 久久久久国内视频| 五月天丁香电影| 成年人免费黄色播放视频| 国产男女内射视频| 男女午夜视频在线观看| 久久香蕉激情| 天堂俺去俺来也www色官网| 狠狠狠狠99中文字幕| 国产av国产精品国产| 国产高清激情床上av| 国产一区二区在线观看av| 国产亚洲av高清不卡| 国产男女超爽视频在线观看| 国产男女内射视频| 无遮挡黄片免费观看| 久久九九热精品免费| 不卡av一区二区三区| 国产欧美日韩精品亚洲av| 国产男女内射视频| 日韩视频在线欧美| 成人国产av品久久久| 视频在线观看一区二区三区| 女性被躁到高潮视频| 国产在线免费精品| 50天的宝宝边吃奶边哭怎么回事| 18禁国产床啪视频网站| 法律面前人人平等表现在哪些方面| 黑人巨大精品欧美一区二区蜜桃| 国产av又大| 欧美激情久久久久久爽电影 | 国产精品1区2区在线观看. | 18在线观看网站| 欧美人与性动交α欧美软件| 欧美激情极品国产一区二区三区| 亚洲精品久久午夜乱码| 日韩欧美三级三区| 夫妻午夜视频| 在线观看免费视频网站a站| 色婷婷av一区二区三区视频| 午夜视频精品福利| 国产av又大| 国产精品98久久久久久宅男小说| 在线看a的网站| 热re99久久国产66热| 91九色精品人成在线观看| 1024香蕉在线观看| 欧美日韩亚洲国产一区二区在线观看 | 天堂俺去俺来也www色官网| 国产成人精品无人区| netflix在线观看网站| 老汉色av国产亚洲站长工具| 搡老乐熟女国产| 搡老岳熟女国产| 亚洲成a人片在线一区二区| 蜜桃国产av成人99| 成人手机av| 777久久人妻少妇嫩草av网站| 欧美激情高清一区二区三区| 一区二区三区乱码不卡18| 在线天堂中文资源库| 欧美精品av麻豆av| 国产高清激情床上av| 老司机午夜福利在线观看视频 | 国产av又大| 变态另类成人亚洲欧美熟女 | 蜜桃国产av成人99| 91国产中文字幕| 国产精品98久久久久久宅男小说| 欧美精品一区二区大全| 成年人午夜在线观看视频| 俄罗斯特黄特色一大片| 久久ye,这里只有精品| 日韩一区二区三区影片| 欧美在线黄色| 色在线成人网| 这个男人来自地球电影免费观看| 丁香六月欧美| 国产亚洲精品第一综合不卡| 肉色欧美久久久久久久蜜桃| 国产人伦9x9x在线观看| 十八禁高潮呻吟视频| 国产亚洲欧美在线一区二区| 久久香蕉激情| 欧美精品啪啪一区二区三区| 亚洲久久久国产精品| 十分钟在线观看高清视频www| 少妇 在线观看| 人人妻人人澡人人爽人人夜夜| 首页视频小说图片口味搜索| 亚洲午夜精品一区,二区,三区| 十八禁网站免费在线| 国产色视频综合| 亚洲欧洲精品一区二区精品久久久| 精品福利观看| 国产福利在线免费观看视频| 搡老熟女国产l中国老女人| 精品国产一区二区三区四区第35| tube8黄色片| 妹子高潮喷水视频| www.999成人在线观看| 香蕉国产在线看| 亚洲专区国产一区二区| 国产精品 国内视频| 欧美激情久久久久久爽电影 | 美女福利国产在线| 天堂动漫精品| 色视频在线一区二区三区| 午夜福利,免费看| av天堂久久9| 久久毛片免费看一区二区三区| av一本久久久久| 精品视频人人做人人爽| 国产成人啪精品午夜网站| 在线观看免费视频网站a站| 亚洲综合色网址| 亚洲国产看品久久| 亚洲avbb在线观看| 80岁老熟妇乱子伦牲交| 亚洲情色 制服丝袜| a级片在线免费高清观看视频| 欧美精品av麻豆av| 免费在线观看完整版高清| 正在播放国产对白刺激| 亚洲,欧美精品.| 亚洲欧洲精品一区二区精品久久久| 久久久精品免费免费高清| 法律面前人人平等表现在哪些方面| 99re在线观看精品视频| 亚洲欧洲日产国产| 亚洲成人国产一区在线观看| 黄片播放在线免费| 亚洲精品美女久久av网站| 怎么达到女性高潮| 国产一区二区激情短视频| 99国产精品99久久久久| 国产免费现黄频在线看| 香蕉久久夜色| 亚洲国产精品一区二区三区在线| 99国产精品一区二区三区| 久久人妻熟女aⅴ| 欧美精品啪啪一区二区三区| 母亲3免费完整高清在线观看| 精品福利观看| 国产精品偷伦视频观看了| 丰满饥渴人妻一区二区三| 国产精品 国内视频| 免费一级毛片在线播放高清视频 | 精品国产一区二区久久| 亚洲精品久久午夜乱码| 男女午夜视频在线观看| 免费人妻精品一区二区三区视频| 成人精品一区二区免费| 久热这里只有精品99| 桃花免费在线播放| 狠狠精品人妻久久久久久综合| 中文字幕人妻丝袜制服| 久久久精品94久久精品| 韩国精品一区二区三区| 在线观看免费日韩欧美大片| 亚洲自偷自拍图片 自拍| 日本黄色日本黄色录像| av一本久久久久| 亚洲成人免费av在线播放| 波多野结衣一区麻豆| 亚洲午夜精品一区,二区,三区| 人人妻人人爽人人添夜夜欢视频| 成人黄色视频免费在线看| 亚洲va日本ⅴa欧美va伊人久久| 中文字幕人妻丝袜一区二区| 高潮久久久久久久久久久不卡| 欧美黑人欧美精品刺激| 脱女人内裤的视频| 精品久久久久久久毛片微露脸| 色播在线永久视频| 欧美激情高清一区二区三区| 女性被躁到高潮视频| 久久99一区二区三区| 国产老妇伦熟女老妇高清| 久久亚洲真实| 亚洲色图av天堂| 人成视频在线观看免费观看| 亚洲专区国产一区二区| 欧美成狂野欧美在线观看| 12—13女人毛片做爰片一| 亚洲熟女精品中文字幕| 欧美日韩亚洲高清精品| 一进一出抽搐动态| 女人高潮潮喷娇喘18禁视频| 精品欧美一区二区三区在线| 久久中文看片网| 日本av手机在线免费观看| 国产精品一区二区在线观看99| 一本综合久久免费| 交换朋友夫妻互换小说| 不卡一级毛片| aaaaa片日本免费| 色在线成人网| 国产高清videossex| 亚洲第一青青草原| 久久国产亚洲av麻豆专区| 国产av精品麻豆| 国产精品久久久久久精品电影小说| 天天操日日干夜夜撸| 国产日韩欧美视频二区| 操出白浆在线播放| 搡老岳熟女国产| 一级毛片电影观看| 成年人免费黄色播放视频| 亚洲av成人一区二区三| 少妇猛男粗大的猛烈进出视频| 日韩三级视频一区二区三区| 一本综合久久免费| 视频在线观看一区二区三区| 欧美 日韩 精品 国产| e午夜精品久久久久久久| 99re在线观看精品视频| 国产日韩一区二区三区精品不卡| 91成年电影在线观看| 免费在线观看视频国产中文字幕亚洲| 男女边摸边吃奶| 妹子高潮喷水视频| 亚洲伊人久久精品综合| 久热这里只有精品99| 在线播放国产精品三级| 精品少妇黑人巨大在线播放| 精品卡一卡二卡四卡免费| 交换朋友夫妻互换小说| 丰满饥渴人妻一区二区三| 一进一出抽搐动态| 在线观看一区二区三区激情| 国产高清国产精品国产三级| 国产亚洲欧美在线一区二区| 久久精品亚洲熟妇少妇任你| 亚洲人成电影观看| av线在线观看网站| 国产激情久久老熟女| 一本一本久久a久久精品综合妖精| 我的亚洲天堂| 捣出白浆h1v1| 成人18禁高潮啪啪吃奶动态图| 午夜激情av网站| 精品国产亚洲在线| 男女免费视频国产| 久久精品国产综合久久久| 成人免费观看视频高清| 99精品在免费线老司机午夜| h视频一区二区三区| av网站在线播放免费| tube8黄色片| 日本一区二区免费在线视频| 黄网站色视频无遮挡免费观看| 亚洲av国产av综合av卡| 97人妻天天添夜夜摸| 精品免费久久久久久久清纯 | 极品人妻少妇av视频| 亚洲国产成人一精品久久久| 香蕉国产在线看| 久热爱精品视频在线9| 天天操日日干夜夜撸| 在线 av 中文字幕| 欧美精品人与动牲交sv欧美| 国产精品免费视频内射| 丝袜人妻中文字幕| 亚洲专区国产一区二区| 亚洲国产欧美一区二区综合| 岛国在线观看网站| 大陆偷拍与自拍| 久久 成人 亚洲| a级片在线免费高清观看视频| 国产成人啪精品午夜网站| 欧美在线黄色| 十分钟在线观看高清视频www| 国产野战对白在线观看| 黄色片一级片一级黄色片| 一级黄色大片毛片| 亚洲av第一区精品v没综合| 99国产精品一区二区三区| 精品国产一区二区三区久久久樱花| 日日摸夜夜添夜夜添小说| 日韩三级视频一区二区三区| 亚洲欧美日韩高清在线视频 | 久久久久视频综合| 日韩制服丝袜自拍偷拍| 在线观看免费午夜福利视频| 丝袜在线中文字幕| 中文欧美无线码| 精品一区二区三区视频在线观看免费 | 欧美黑人欧美精品刺激| 搡老乐熟女国产| 他把我摸到了高潮在线观看 | 12—13女人毛片做爰片一| 国产色视频综合| 亚洲中文字幕日韩| 老鸭窝网址在线观看| 欧美国产精品va在线观看不卡| 日韩视频一区二区在线观看| 国产成人免费无遮挡视频| 亚洲精品国产精品久久久不卡| 午夜免费鲁丝| 久久av网站| 成人影院久久| 午夜福利乱码中文字幕| 成人三级做爰电影| 国产在线观看jvid| 成人国产av品久久久| 狠狠狠狠99中文字幕| 国产成人精品久久二区二区免费| 国产精品.久久久| 国产免费视频播放在线视频| 女性生殖器流出的白浆| 黑人操中国人逼视频| 亚洲九九香蕉| 王馨瑶露胸无遮挡在线观看| 成人免费观看视频高清| 精品高清国产在线一区| 欧美日韩亚洲综合一区二区三区_| 成人永久免费在线观看视频 | 9191精品国产免费久久| 日韩欧美免费精品| 高清欧美精品videossex| 亚洲av日韩在线播放| 水蜜桃什么品种好| 国产成人影院久久av| 精品国产亚洲在线| 免费观看a级毛片全部| 久久人人97超碰香蕉20202| 成人国产av品久久久| 国产成人av教育| 国产野战对白在线观看| 亚洲第一欧美日韩一区二区三区 | 一边摸一边抽搐一进一小说 | 国产高清视频在线播放一区| 女警被强在线播放| 精品人妻1区二区| 大片电影免费在线观看免费| 国产又色又爽无遮挡免费看| 午夜成年电影在线免费观看| 久久天堂一区二区三区四区| 欧美精品av麻豆av| 18禁国产床啪视频网站| 精品第一国产精品| 美女高潮喷水抽搐中文字幕| 精品国内亚洲2022精品成人 | 老熟妇仑乱视频hdxx| 成在线人永久免费视频| 丝袜美足系列| 久久人妻福利社区极品人妻图片| 一级毛片精品| 91成年电影在线观看| 久久久久网色| 国产免费福利视频在线观看| 五月天丁香电影| 在线看a的网站| 女性被躁到高潮视频| 欧美在线一区亚洲| 欧美日韩av久久| 国产黄色免费在线视频| 国产精品亚洲一级av第二区| 制服诱惑二区| 亚洲全国av大片| 国产成人欧美在线观看 | 欧美午夜高清在线| 精品少妇久久久久久888优播| 丝袜美腿诱惑在线|