• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    在線商品評論可信性評價方法

    2019-08-01 01:35李超向靜向軍
    計算機應用 2019年1期
    關(guān)鍵詞:可信性質(zhì)量評估一致性

    李超 向靜 向軍

    摘 要:針對現(xiàn)有商品評論存在數(shù)量大、質(zhì)量參差不齊、可信度差,導致用戶難以快速獲取有效信息并制定高效的決策,而現(xiàn)有評論可信性評估主要考慮評論來源和投票形式的支持度等問題,提出了一種從評論內(nèi)在質(zhì)量角度實現(xiàn)評論可信度評估方法,即通過融合評論者等級、評論支持度和評論觀點一致性等實現(xiàn)評論可信性評估。首先基于規(guī)則庫和方法庫完成了評論數(shù)據(jù)的預處理;然后基于商品特征庫、通用詞典、情感詞典以及方法庫,完成了商品特征識別和特征值提取及標準化;最后基于建立的模型完成評論可信度評估。實驗結(jié)果驗證了該方法的可行性,該方法可以應用于其他電商平臺實現(xiàn)商品評論可信性自動評估。

    關(guān)鍵詞:商品評論;評論質(zhì)量;可信性;一致性;質(zhì)量評估

    中圖分類號: TP391.1; TP18

    文獻標志碼:A

    Abstract: Since there are many troubles such as large quantity, uneven quality and poor credibility in getting helpful information and making effective decision for stakeholders, and the existing research work on credibility assessment mainly considers the sources of reviews and the support of reviews in form of votes, an assessment method on review credibility from perspective of intrinsic quality was proposed. That is, the credibility assessment of reviews was realized by integrating the ratings of reviewers, the support degree of reviews and the consistency in reviews, etc. Firstly, the pre-processing of review data was completed based on rule and method libraries. Then, the feature recognition and the feature value extraction and standardization were completed based on product feature library, generic dictionary, sentiment dictionary and method library. Finally, the credibility assessment of reviews was completed based on the established models. The experimental results verify the feasibility of this method, and it can be applied to assess the credibility of product reviews automatically on other e-commerce platforms.

    Key words: product review; review quality; credibility; consistency; quality assessment

    0 引言

    電商平臺如Amazon.com、Taobao.com和JD.com等為消費者提供了分享其所購買商品質(zhì)量及服務體驗的平臺,消費者可以瀏覽他人發(fā)表的評論并對評論進行有用性投票,評論管理系統(tǒng)可以根據(jù)評論發(fā)表時間、有用性和評論者級別等進行排序與展示[1-3]。產(chǎn)品制造商、銷售商、消費者和其他利益相關(guān)人員通過遍歷評論獲取相關(guān)信息,進而實現(xiàn)商品質(zhì)量評估與預測、客戶關(guān)系管理、新產(chǎn)品研發(fā)等[4-6]。在電子商務系統(tǒng)中,評論的價值嚴重依賴于評論質(zhì)量[7-8]。

    商品評論主要涉及消費者及專家發(fā)表的關(guān)于商品質(zhì)量及服務體驗的描述,目前多數(shù)電商平臺都為消費者提供了評價評論“有用性”途徑,然而因為誤操作、廣告宣傳、導向性和欺詐行為等導致許多不可靠、不相關(guān)評論的存在[9-10];同時,因為評論者隨意性和主觀性,評論觀點存在不一致或相互矛盾。相關(guān)人員要獲取有價值信息,往往遍歷很多評論,從而判斷哪些評論更加合理和可靠,并進行綜合分析與決策。在電商平臺中,評論存在數(shù)量大、質(zhì)量參差不齊、可信度差、不及時等問題[11-13],嚴重阻礙了用戶進行有效決策。為了幫助用戶高效地獲取信息,“有用性”投票和評論者等級成為了評價評論有用性和可靠性的主要指標,然而,“有用性”投票往往只能夠反映兩個極端情況,高“支持率”和高等級評論者發(fā)表的評論對商品質(zhì)量及消費體驗描述內(nèi)容側(cè)重點不同,同時可能存在不符合事實的情況甚至商業(yè)欺詐。

    評論質(zhì)量管理是評論排序、觀點與情感識別、評論融合、摘要提取、垃圾評論檢測、產(chǎn)品質(zhì)量評估與預測等工作的基礎??尚判允窃u論質(zhì)量的重要方面,評論的可信性與評論來源(如發(fā)布者類別與級別、發(fā)布平臺等)和評價對象相關(guān),一般而言:1)具有較高等級的評論者發(fā)表的評論,可信度往往比較高,但部分評論也可能存在導向性;2)具有更多支持度的評論,評論觀點往往與多數(shù)用戶一致,可信度往往也比較高,但部分評論也可能被操縱而獲得較多支持;3)各評論者對于相同商品的質(zhì)量及服務消費體驗存在不一致的觀點,如果觀點存在嚴重的不一致問題,那么某些評論的可信度較低,但存在不一致性是合理的。

    1 相關(guān)工作

    評論質(zhì)量被定義為評論滿足用戶使用評論要求的程度[14],Zhang等[15]認為評論質(zhì)量應該從相關(guān)性、真實性、可靠性、主觀性、可理解性和充分性等方面進行度量。評論的數(shù)量、可讀性和文本內(nèi)容的正確性對產(chǎn)品銷售量有重要的影響[16],評論信息不一致可以體現(xiàn)新產(chǎn)品獨特性反而會增強消費者購買意愿[17],但評論不一致在不同產(chǎn)品領(lǐng)域影響產(chǎn)品銷售方面有不同結(jié)論;Lee等[18]認為評論質(zhì)量主要在于可用性,并認為評論有用性主要依賴于評論者的專業(yè)性、寫作風格和評論及時性等因素,并提出了相應的評價方法;Singh等[19]分析了評論語言表達及語義特征等因素對評論有用性的影響;Baek等[20]分析了評論者等級、評論者名稱、評論字符數(shù)、否定詞比例等因素對評論質(zhì)量的影響;針對發(fā)表越早的評論往往會獲得更多關(guān)注及投票,而最新發(fā)表的評論獲得的投票往往較少[21]等問題,Miao等[22]引入了評論新鮮度和相關(guān)性實現(xiàn)評論的排序進而滿足消費者信息需求。

    評論的可信性是評論質(zhì)量的重要方面,可信度是從定量的角度對可信性進行度量。Racherla等[23]從評論者和評論特征信息角度研究了評論者對評論可信度的感知體驗。目前,對于Web數(shù)據(jù)可信性評估主要通過Web數(shù)據(jù)來源以及來源相關(guān)對象的可信性方面直接或間接地完成評估,但來自相同數(shù)據(jù)源的不同類別對象其數(shù)據(jù)值準確和數(shù)據(jù)可信性方面也存在差異[24]。目前對于Web數(shù)據(jù)可信性的研究很多[25-27],評論數(shù)據(jù)屬于一類特殊的Web數(shù)據(jù),現(xiàn)有用于Web數(shù)據(jù)可信性評估的方法對于評論可信性評估具有很好的借鑒意義。針對評論可信性,現(xiàn)有研究主要考慮評論來源和投票形式的支持度,沒有從評論內(nèi)在質(zhì)量角度進行評估,因此,本文提出了一種融合評論者等級、評論支持度和評論觀點一致性的評論可信性評估方法,從評論內(nèi)在質(zhì)量角度實現(xiàn)評論可信度的評估,實驗結(jié)果驗證了該方法的可行性。該方法可以應用于其他電商平臺實現(xiàn)商品評論可信性自動評估。

    2 在線商品評論的可信性評價模型

    2.1 評論可信性評價體系結(jié)構(gòu)

    評論可信度評估,首先基于相關(guān)規(guī)則和方法實現(xiàn)評論數(shù)據(jù)的預處理,然后基于詞典和商品特征庫識別商品特征及取值,最后基于評估模型及方法庫實現(xiàn)評論的可信性評估,體系結(jié)構(gòu)如圖1所示。

    2.2 評論觀點一致性評價

    相關(guān)人員要獲取有價值的信息,往往需要遍歷很多評論從而判斷評論合理和可靠性,進而進行綜合分析以便于決策。商品評論主要涉及消費者及專家發(fā)表的關(guān)于商品質(zhì)量及服務體驗的描述,因評論者強烈的主觀性和隨意性以及商業(yè)宣傳和欺詐等而存在評論觀點不一致甚至相互矛盾等現(xiàn)象,因此對評論一致性進行分析和評估變得十分必要。評論一致性評價(目標)對象可以是任兩個評論間的一致性、任一評論集(如某個評論者或某評論者團體發(fā)表的相關(guān)評論集、某時段發(fā)表的相關(guān)評論集、某商品關(guān)聯(lián)評論集等)特征項取值的一致性,具體分為以下幾種情況。

    1)兩條評論間觀點相似性。

    評論r1和r2的一致性取決于評論在各個特征項上取值的相似性?;贑on(r1,r2)可以用來判定或與給定評論相似的評論集,發(fā)現(xiàn)與給定評論關(guān)聯(lián)的評論者持相似觀點的評論者集。

    2)任一特征項上觀點一致性。

    假定Rp表示任一商品p關(guān)聯(lián)的評論集,Rp={r1,r2,…,rK},這里K商品p相關(guān)聯(lián)的評論數(shù)量,Rp涉及的特征項表示為集合IP={iP1∪iP2∪…∪iPn∪…∪iPN},Val(iPn[j])表示特征項iPn在評論集中第j條評論相應特征上的取值,1≤j≤N1,即評論集中包含特征項iPn的評論數(shù)量為N1。當特征值為非數(shù)值類型時,則基于規(guī)則把特征值統(tǒng)一轉(zhuǎn)換為數(shù)值類型。定義商品p相關(guān)評論集在任一特征項iPn上觀點的一致性表示為取值的一致性Con(iPn):

    其中:Val(iPn)表示特征項iPn在評論集的均值,Val(iPn[j])表示特征項iPn在評論集中第j條評論相應特征上的取值。Con(iPn)的取值越大,則相關(guān)的評論者在信息項iPn上分歧越大,觀點越不一致。

    3)評論集任一評論觀點一致性。

    相似地,假定從任一評論r提取待的信息項表示為集合Ir,Ir=ir1∪ir2∪…∪irn∪…∪irN,評論集Rp在信息項irn上取值的均值為Val(irn),則評論集R中評論r的一致性表示為Con(r):

    2.3 評論支持度評價

    在電子商務平臺中,評論往往會引起消費者的關(guān)注,如果某條評論獲得了較多點擊或支持(如點贊、轉(zhuǎn)發(fā)等形式),則表示該評論的支持度往往高。假定評論r被點擊的次數(shù)為CN(r),其中支持和反對的數(shù)量分別為CNoS(r)和CNoO(r)這兩處(CNoSr和CNoOr)的表達,應該與后面的表達式一致吧?請統(tǒng)一。回復:用紅色邊框框起來的內(nèi)容,分別改為CNoS(r)和CNoO(r),CN(r)=CNoS(r)+CNoO(r);同時,假定評論rΦ獲得了最多的點擊(“支持”和“反對”兩種形式)次數(shù),點擊次數(shù)為CN(rΦ);評論rΘ獲得最多的支持且次數(shù)為CNoS(rΘ),評論r的支持度為Sup(r):

    這里α和β為兩個可調(diào)因子,0≤α≤1,0≤β≤1且α+β=1。相關(guān)取值可以由專家賦初值,由反饋系統(tǒng)調(diào)節(jié)。

    2.4 評論可信性評價

    評價者等級和評論支持度越高,評論往往越可信,但也存在某些評論因為商業(yè)操縱行為而獲得較高支持度的情況。在獲得了相同點擊次數(shù)情況下,如果點擊評論的評論者數(shù)量越多,其可信度越高(即在點擊次數(shù)不變情況下,具有更多評論者的評論或評論集其可信度較高),為此定義評論者覆蓋率。假定任一評論集R(或一條評論),相關(guān)評論者集為Aut(R),NofAut(Aut(R))表示評論集R相關(guān)評論者的數(shù)量,NofC(R)表示評論集R被點擊次數(shù),則評論者覆蓋率定義為Cov(Aut(R)):

    與評論觀點一致性評價相似,評論可信度評價(目標)對象同樣可以是任一評論或評論集。通過對相關(guān)評論集的可信性進行評估,進而為用戶展示在支持度較高、一致性較好的評論。評論者等級經(jīng)過歸一化處理后為Rat(Aut(R)),評論集R的可信度表示為Cre(R):

    對于評論集的可信性評估,首先確定參與一致性評估的特征集,然后完成評論集在相關(guān)特征集上取值一致性評估。

    3 實驗結(jié)果及分析

    3.1 實驗數(shù)據(jù)及環(huán)境設置

    本文所有實驗運行在一個雙核Intel Core i5-4590 CPU 3.3GHz、內(nèi)存8GB的Windows 7 64位操作系統(tǒng),實驗驗證程序采用Java語言編寫,JRE1.7環(huán)境下運行。通過爬蟲從某知名電商平臺上爬取了5個服裝商品相關(guān)聯(lián)的近10萬條評論并識別出了相應的評論者。

    3.2 實驗分析

    基于規(guī)則庫和方法庫完成了評論數(shù)據(jù)的預處理,然后基于商品特征庫、通用詞典、情感詞典以及方法庫,完成了商品特征識別和特征值提取及標準化(商品特征及特征值的提取方法本文不作介紹,可見前期工作[28-29])。通過統(tǒng)計分析與評論挖掘,得到了不同等級評論者發(fā)布評論數(shù)量情況、評論特征集、評論特征值一致性、評論者級別與一致性相關(guān)性以及任一評論或評論集可信度評估結(jié)果。

    從圖2可以看出,多數(shù)評論者處于等級1、2和3;從圖3可以發(fā)現(xiàn),等級為1、2和3的評論者發(fā)表評論的平均次數(shù)要多于其他級別。換句話說,處于中等級別的評論者更樂于分享他們的購買觀念和消費體驗質(zhì)量。

    2)評論特征值的一致性。

    基于用Apriori算法、商品特征庫和SCEPD(中國科學院發(fā)布的“簡化中文情感詞典”),從評論集半自動提取了頻繁信息項并選擇了15個重要的特征項,它們分別是quality、baby、price、size、logistics、color、seller、service、style、packaging、fabric、workmanship、color、dress、odor,分別用ft1到ft15表示。通過計算得到上述評論集在這15個信息項上的一致性結(jié)果如圖4所示。

    從圖4可以看出:a)商品P#A01的評論集中關(guān)于“l(fā)ogistics”和“style”的觀點差別很大,而在“odor”和“price”比較一致;b)商品P#B02的評論集對于“l(fā)ogistics”和“color”也有顯著區(qū)別,但相對于P#A01來說,分歧要小;c)商品P#C03相關(guān)的評論集中,在“service”和“style”上觀點不同,在“price”和“color”趨于一致。同時統(tǒng)計得到了關(guān)于這三個商品一致性取值的平均值,分別為0.569、0.286和0.570,這意味著評論者對于商品P#B02的觀點相對于其他兩種商品更加一致。

    3)評論者級別在不同特征項取值的一致性。

    通過分析不同等級評論者發(fā)表3種商品相關(guān)評論集在上述15個特征項上取值一致性,得到了在每個特征項上的一致性取值結(jié)果,分別如表1所示。表1中間各個單元都表示具有相同等級的評論者發(fā)表的評論在相關(guān)特征項上觀點的一致性取值,最后一列表示相應等級評論者在各個特征觀點一致性取值的均值。

    從表1的結(jié)果可以發(fā)現(xiàn),相同評論者對于相同對象發(fā)表的評論關(guān)于商品的不同特征其一致性存在差異;相同評論者對于不同的評論對象發(fā)表的評論在一致性方面也存在差異;具有較高等級的評論者發(fā)表的評論往往整體上具有較高的一致性,但具有最高等級的評論者發(fā)表的評論總體一致性并不是最高的。

    4)評論可信度評估。

    評論可信度評價(目標)對象可以是任一評論或評論集(如任意選擇的評論子集、評論者相關(guān)的子集、某時段相關(guān)的子集、某商品關(guān)聯(lián)評論集等)。這里模型(3)在不考慮評論發(fā)布者等級及相關(guān)評論支持度差異的情況下(即Sup(r)和Rat(Author(r))都取常量a)和不區(qū)分商品特征項重要情況下,得到了不同等級評論者發(fā)表評論的可信度(a=1時),如圖5所示。

    通過圖5可以看出,處于最高等級發(fā)表的評論其一致性并不是最高的,但總體來說,具有較高等級評論者發(fā)表的評論集其評論觀點具有更高的一致性。在進行可信度評估時,如果融合了評論支持度和評論者等級得到結(jié)果與該結(jié)果總體趨于一致。

    4 結(jié)語

    針對評論可信性,現(xiàn)有研究主要考慮評論的來源和投票形式的支持度,沒有從評論內(nèi)在質(zhì)量角度進行評估,因此,本文提出了一種在考慮評論者等級、評論支持度情況下,融合評論觀點一致性的評論可信性評估方法,通過實驗統(tǒng)計及分析給出了評論者所屬等級、不同等級評論者發(fā)表評論的一致性以及特定評論集可信度評估結(jié)果。實驗結(jié)果表明,高等級的評論者發(fā)表的評論其支持度和一致性往往較高,但來自相同數(shù)據(jù)源的不同類別對象其評論可信性存在差異。

    還有許多工作有待完善:1)本文沒有考慮評論者專業(yè)性等方面不同對發(fā)布評論可信性的影響;2)評論數(shù)據(jù)集的來源局限于特定領(lǐng)域,相關(guān)方法在其他領(lǐng)域的適應性方面還有待改進;3)實驗中涉及的評論集在時間上間隔時間較短,后期工作可以分析較長時間范圍內(nèi)相關(guān)評論者發(fā)表評論在一致性方面的變化,比如驗證具有較長評論發(fā)表歷史的評論者,其發(fā)表的評論是否具有更好的一致性等。

    參考文獻 (References)

    [1] GHOSE A, IPEIROTIS P G. Estimating the helpfulness and economic impact of product reviews: mining text and reviewer characteristics [J]. IEEE Transactions on Knowledge and Data Engineering, 2011, 23(10): 1498-1512.

    [2] HUANG A H, CHEN K, YEN D C, et al. A study of factors that contribute to online review helpfulness [J]. Computers in Human Behavior, 2015, 48: 17-27.

    [3] PAN Y, ZHANG J Q. Born unequal: a study of the helpfulness of user-generated product reviews [J]. Journal of Retailing, 2011, 87(4): 598-612.

    [4] 劉云,孫宇清,李明珠.面向社會化媒體用戶評論行為的屬性推斷[J].計算機學報,2017,40(12):2762-2736.(LIU Y, SUN Y Q, LI M Z. User attributes inference based on reviews on social media [J]. Chinese Journal of Computers, 2017, 40(12): 2762-2736.)

    [5] KWARK Y, CHEN J, RAGHUNATHAN S. Online product reviews: implications for retailers and competing manufacturers [J]. Information Systems Research, 2014, 25(1): 93-110.

    [6] YAN Z, XING M, ZHANG D, et al. EXPRS: an extended PageRank method for product feature extraction from online consumer reviews [J]. Information & Management, 2015, 52(7): 850-858.

    [7] LI M, HUANG L, TAN C H, et al. Helpfulness of online product reviews as seen by consumers: source and content features [J]. International Journal of Electronic Commerce, 2013, 17(4): 101-136.

    [8] NGO-YE T L, SINHA A P. The influence of reviewer engagement characteristics on online review helpfulness: a text regression model [J]. Decision Support Systems, 2014, 61: 47-58.

    [9] LIU L, ZHAO X, WANG H, et al. Research on identification method of anonymous fake reviews in e-commerce [J]. TELKOMNIKA Telecommunication Computing Electronics and Control, 2016, 14(4): 1510-1520.

    [10] SIKORA R T, CHAUHAN K. Estimating sequential bias in online reviews: a Kalman filtering approach [J]. Knowledge-Based Systems, 2012, 27: 314-321.

    [11] HU N, BOSE L, GAO Y, et al. Manipulation in digital word-of-mouth: a reality check for book reviews [J]. Decision Support Systems, 2011, 50(3): 627-635.

    [12] HU N, LIU L, SAMBAMURTHY V. Fraud detection in online consumer reviews [J]. Decision Support Systems, 2011, 50(3): 614-626.

    [13] 李璐旸,秦兵,劉挺.虛假評論檢測研究綜述[J].計算機學報,2018,41(4):946-968.(LI L Y, QIN B, LIU T. Survey on fake review detection research [J]. Chinese Journal of Computers, 2018, 41(4): 946-968.)

    [14] KWON O, LEE N, SHIN B. Data quality management, data usage experience and acquisition intention of big data analytics [J]. International Journal of Information Management, 2014, 34(3): 387-394.

    [15] ZHANG K Z, CHEUNG C M, LEE M K. Examining the moderating effect of inconsistent reviews and its gender differences on consumers online shopping decision [J]. International Journal of Information Management, 2014, 34(2): 89-98.

    [16] DEVI J I. Estimating the helpfulness and economic impact of product reviews [J]. International Journal of Innovative Research and Development, 2012, 1(5): 232-236.

    [17] HE S X, BOND S D. Why is the crowd divided? attribution for dispersion in online word of mouth [J]. Journal of Consumer Research, 2015, 41(6): 1509-1527.

    [18] LEE S, CHOEH J Y. Predicting the helpfulness of online reviews using multilayer perceptron neural networks [J]. Expert Systems with Applications, 2014, 41(6): 3041-3046.

    [19] SINGH J P, IRANI S, RANA N P, et al. Predicting the “helpfulness” of online consumer reviews [J]. Journal of Business Research, 2017, 70: 346-355.

    [20] BAEK H, AHN J, CHOI Y. Helpfulness of online consumer reviews: readers objectives and review cues [J]. International Journal of Electronic Commerce, 2012, 17(2): 99-126.

    [21] LI H, CHEN Z, MUKHERJEE A, et al. Analyzing and detecting opinion spam on a large-scale dataset via temporal and spatial patterns [C]// ICWSM 2015: Proceedings of the Ninth International AAAI Conference on Web and Social Media. Menlo Park, CA: AAAI Press, 2015: 634-637.

    [22] MIAO Q, LI Q, DAI R. AMAZING: a sentiment mining and retrieval system [J]. Expert Systems with Applications, 2009, 36(3): 7192-7198.

    [23] RACHERLA P, FRISKE W. Perceived ‘helpfulness of online consumer reviews: an exploratory investigation across three services categories [J]. Electronic Commerce Research and Applications, 2012, 11(6): 548-559.

    [24] 馬如霞,孟小峰.基于數(shù)據(jù)源分類可信性的真值發(fā)現(xiàn)方法研究[J].計算機研究與發(fā)展,2015,52(9):1931-1940.(MA R X, MENG X F. Truth discovery based credibility of data categories on data sources [J]. Journal of Computer Research and Development, 2015, 52(9): 1931-1940.)

    [25] LU T C, YU T, CHEN S H. Information manipulation and Web credibility [C]// Proceedings of the 2017 International Symposium on Distributed Computing and Artificial Intelligence. Berlin: Springer, 2017: 86-95.

    [26] ABDOLRAHMANI A, KUBER R, EASLEY W. Web search credibility assessment for individuals who are blind [C]// Proceedings of the 17th International ACM SIGACCESS Conference on Computers & Accessibility. New York: ACM, 2012: 369-370.

    [27] FLANAGIN A J, METZGER M J, PURE R, et al. Mitigating risk in ecommerce transactions: perceptions of information credibility and the role of user-generated ratings in product quality and purchase intention [J]. Electronic Commerce Research, 2014, 14(1): 1-23.

    [28] LI C, ZHOU H, ZHOU X F. Design and implement of hydrological data quality assessment system based on business rules [C]// Proceedings of the 2012 IET International Conference on Information Science and Control Engineering. Stevenage, UK: IET, 2012: 925-929.

    [29] LI C, ZHOU H, ZHOU X F. Data quality assessment in hydrological information systems [J]. Journal of Hydroinformatics, 2015, 17(4): 640-661.

    猜你喜歡
    可信性質(zhì)量評估一致性
    離散異構(gòu)線性多智能體系統(tǒng)的輸出一致性
    基于學科核心素養(yǎng)的“教、學、評”一致性教學實踐——以“電解質(zhì)溶液”教學為例
    基于Paxos的分布式一致性算法的實現(xiàn)與優(yōu)化
    會計信息相關(guān)性及可信性
    基于區(qū)塊鏈的電子政務研究
    基于組合分類算法的源代碼注釋質(zhì)量評估方法
    云環(huán)境下基于AIS可信性的會計信息質(zhì)量成本控制
    淺析電子信息系統(tǒng)可信性評估技術(shù)
    中國上市公司會計信息質(zhì)量研究
    澳大利亞研究生課程的外部質(zhì)量評估
    国产美女午夜福利| 大香蕉97超碰在线| 三级国产精品片| 亚洲在线观看片| 少妇高潮的动态图| 欧美日韩精品成人综合77777| 97在线视频观看| 插阴视频在线观看视频| 日本黄色片子视频| 国产又色又爽无遮挡免| 久久久亚洲精品成人影院| 亚洲精品色激情综合| 美女内射精品一级片tv| av黄色大香蕉| 两性午夜刺激爽爽歪歪视频在线观看| 久久国产乱子免费精品| av在线播放精品| a级毛色黄片| av专区在线播放| 日本-黄色视频高清免费观看| 国产成人91sexporn| 丝袜美腿在线中文| 日本黄色片子视频| 亚洲国产精品合色在线| 久久精品夜夜夜夜夜久久蜜豆| 少妇裸体淫交视频免费看高清| 人妻系列 视频| 国产日韩欧美在线精品| 中文天堂在线官网| 九九热线精品视视频播放| 久久久国产成人免费| 国产成人精品一,二区| 国产高清不卡午夜福利| 99久久中文字幕三级久久日本| 嫩草影院入口| 国产综合懂色| 日本免费在线观看一区| 国产黄a三级三级三级人| 国内精品宾馆在线| 夜夜爽夜夜爽视频| 日本免费一区二区三区高清不卡| 亚洲欧洲日产国产| 99热全是精品| 亚洲,欧美,日韩| 国产av在哪里看| 男女国产视频网站| 国产精品国产三级国产专区5o | 欧美一区二区亚洲| 免费看日本二区| 色5月婷婷丁香| 亚洲真实伦在线观看| 综合色av麻豆| 晚上一个人看的免费电影| 亚洲在久久综合| 亚洲精品久久久久久婷婷小说 | 我要看日韩黄色一级片| 精品99又大又爽又粗少妇毛片| 国产淫语在线视频| 国产精品.久久久| 亚洲中文字幕一区二区三区有码在线看| 美女大奶头视频| 久久久久久久久久黄片| 一区二区三区四区激情视频| 中文字幕av在线有码专区| 欧美激情久久久久久爽电影| 亚洲经典国产精华液单| 日本五十路高清| 国产精品一及| 成人漫画全彩无遮挡| 亚洲精品国产av成人精品| 在线免费十八禁| 极品教师在线视频| 欧美成人午夜免费资源| 久久久久久久亚洲中文字幕| 国产免费又黄又爽又色| 亚洲国产日韩欧美精品在线观看| 国产高清不卡午夜福利| 麻豆久久精品国产亚洲av| 亚洲真实伦在线观看| 国产伦精品一区二区三区视频9| 国产精品一区二区三区四区久久| h日本视频在线播放| 伊人久久精品亚洲午夜| 亚洲精品乱码久久久久久按摩| 精华霜和精华液先用哪个| 欧美精品国产亚洲| 美女xxoo啪啪120秒动态图| av女优亚洲男人天堂| 久久久久久久国产电影| 天堂av国产一区二区熟女人妻| 久久精品国产亚洲av涩爱| 国产女主播在线喷水免费视频网站 | 国产精品久久久久久精品电影小说 | 一区二区三区免费毛片| 狂野欧美白嫩少妇大欣赏| 色尼玛亚洲综合影院| 亚洲国产日韩欧美精品在线观看| 成人毛片a级毛片在线播放| eeuss影院久久| 97在线视频观看| 久久久久九九精品影院| 欧美极品一区二区三区四区| 搞女人的毛片| 久久精品人妻少妇| 国产一区二区在线av高清观看| 少妇猛男粗大的猛烈进出视频 | 麻豆国产97在线/欧美| 好男人视频免费观看在线| 免费黄色在线免费观看| 蜜桃亚洲精品一区二区三区| 观看免费一级毛片| 亚洲最大成人中文| 人妻夜夜爽99麻豆av| 精品国产三级普通话版| 我要搜黄色片| 久久久国产成人免费| 国产乱人偷精品视频| 免费av观看视频| 精品一区二区三区人妻视频| 2021天堂中文幕一二区在线观| 亚洲综合色惰| 99九九线精品视频在线观看视频| 春色校园在线视频观看| 国产69精品久久久久777片| 男女那种视频在线观看| 看免费成人av毛片| 婷婷色麻豆天堂久久 | 99热这里只有是精品50| 国产精品一区二区三区四区免费观看| 成年女人看的毛片在线观看| 精品一区二区免费观看| 我要看日韩黄色一级片| 久久久国产成人免费| 国产成人aa在线观看| videos熟女内射| 国产毛片a区久久久久| 久久精品人妻少妇| 美女国产视频在线观看| 日本爱情动作片www.在线观看| 午夜激情福利司机影院| 久久久久久久亚洲中文字幕| 白带黄色成豆腐渣| 自拍偷自拍亚洲精品老妇| 一边亲一边摸免费视频| 欧美成人一区二区免费高清观看| 亚洲不卡免费看| 国产精品乱码一区二三区的特点| 神马国产精品三级电影在线观看| 亚洲欧洲国产日韩| 久久久精品94久久精品| 一区二区三区乱码不卡18| 亚洲av电影不卡..在线观看| 在线播放无遮挡| 男的添女的下面高潮视频| 最近最新中文字幕免费大全7| 少妇猛男粗大的猛烈进出视频 | 一边亲一边摸免费视频| 国产亚洲精品久久久com| 久久久久久久久久久丰满| 久久鲁丝午夜福利片| 国产亚洲5aaaaa淫片| 色综合站精品国产| 国产亚洲av嫩草精品影院| 看黄色毛片网站| 精华霜和精华液先用哪个| 最近手机中文字幕大全| 国产午夜精品一二区理论片| 精品国产三级普通话版| 日韩一区二区三区影片| 国产午夜福利久久久久久| 嫩草影院精品99| 三级毛片av免费| 大又大粗又爽又黄少妇毛片口| 亚洲电影在线观看av| 精品人妻视频免费看| av在线天堂中文字幕| 免费黄色在线免费观看| 国产探花在线观看一区二区| av.在线天堂| 99久久中文字幕三级久久日本| 欧美成人一区二区免费高清观看| 高清在线视频一区二区三区 | 高清日韩中文字幕在线| 99国产精品一区二区蜜桃av| 亚洲一区高清亚洲精品| 欧美日本视频| 在线观看av片永久免费下载| 日本猛色少妇xxxxx猛交久久| 日本欧美国产在线视频| 国产精品麻豆人妻色哟哟久久 | 国产极品天堂在线| 五月玫瑰六月丁香| 午夜福利视频1000在线观看| 久久久a久久爽久久v久久| 国产精品久久久久久久电影| 亚洲一级一片aⅴ在线观看| 日韩欧美精品免费久久| av专区在线播放| 男的添女的下面高潮视频| 高清av免费在线| 成人性生交大片免费视频hd| 成人一区二区视频在线观看| 午夜福利高清视频| 一边亲一边摸免费视频| 午夜爱爱视频在线播放| 午夜视频国产福利| 神马国产精品三级电影在线观看| or卡值多少钱| 久久久久性生活片| 91精品一卡2卡3卡4卡| 久久99蜜桃精品久久| av在线天堂中文字幕| 国产亚洲一区二区精品| 久久久久久久久久成人| av国产免费在线观看| 91在线精品国自产拍蜜月| 免费搜索国产男女视频| 国产探花极品一区二区| 欧美日韩精品成人综合77777| 99国产精品一区二区蜜桃av| 九九爱精品视频在线观看| 亚洲成色77777| av免费在线看不卡| 午夜老司机福利剧场| 国产大屁股一区二区在线视频| 免费观看在线日韩| 国产男人的电影天堂91| 日本欧美国产在线视频| 免费人成在线观看视频色| 日本黄大片高清| 亚洲精品色激情综合| 国产精品熟女久久久久浪| 啦啦啦韩国在线观看视频| ponron亚洲| 亚洲最大成人av| 麻豆av噜噜一区二区三区| 伊人久久精品亚洲午夜| 午夜a级毛片| 久久午夜福利片| 国产色爽女视频免费观看| 在线天堂最新版资源| 国产精品美女特级片免费视频播放器| 天堂影院成人在线观看| av福利片在线观看| 日日撸夜夜添| 亚洲最大成人手机在线| 啦啦啦韩国在线观看视频| 亚洲精品乱码久久久久久按摩| 欧美性猛交╳xxx乱大交人| 免费看日本二区| 99久久九九国产精品国产免费| 亚洲怡红院男人天堂| 亚洲综合精品二区| 成人综合一区亚洲| 亚洲av中文av极速乱| 一级二级三级毛片免费看| 亚洲精品456在线播放app| 国产精品国产高清国产av| 久久久久久久久大av| 欧美高清成人免费视频www| 成人毛片60女人毛片免费| 国产精品一区二区三区四区久久| 国产美女午夜福利| 欧美日韩国产亚洲二区| 只有这里有精品99| 69人妻影院| 亚洲国产精品国产精品| 亚洲第一区二区三区不卡| 国产精品一区二区三区四区久久| 日韩 亚洲 欧美在线| 尾随美女入室| 少妇丰满av| 日本一二三区视频观看| 国产伦精品一区二区三区四那| 日本与韩国留学比较| 久久精品久久精品一区二区三区| 日本三级黄在线观看| av.在线天堂| 亚洲av电影在线观看一区二区三区 | 大话2 男鬼变身卡| 欧美性猛交黑人性爽| 晚上一个人看的免费电影| 熟女电影av网| 欧美人与善性xxx| 国产精品综合久久久久久久免费| 国产精品久久久久久精品电影| 少妇人妻一区二区三区视频| 毛片一级片免费看久久久久| 十八禁国产超污无遮挡网站| 欧美精品一区二区大全| 嫩草影院精品99| 午夜福利成人在线免费观看| 熟女电影av网| 综合色av麻豆| 干丝袜人妻中文字幕| 亚洲av二区三区四区| 天堂√8在线中文| 国产视频内射| 黄色一级大片看看| 免费电影在线观看免费观看| 国产成人aa在线观看| 搞女人的毛片| 亚洲av.av天堂| 精品人妻熟女av久视频| 欧美激情国产日韩精品一区| 日本wwww免费看| 国产片特级美女逼逼视频| 高清在线视频一区二区三区 | 天堂影院成人在线观看| 精品熟女少妇av免费看| 有码 亚洲区| 在线免费观看不下载黄p国产| 熟妇人妻久久中文字幕3abv| 国产成人精品婷婷| 欧美成人午夜免费资源| 婷婷色麻豆天堂久久 | 可以在线观看毛片的网站| 久久久亚洲精品成人影院| 美女xxoo啪啪120秒动态图| 国产高清三级在线| 婷婷色综合大香蕉| 日本爱情动作片www.在线观看| 九九爱精品视频在线观看| 麻豆久久精品国产亚洲av| 国产精品精品国产色婷婷| 免费黄色在线免费观看| 午夜福利成人在线免费观看| 亚洲精品亚洲一区二区| 日韩欧美精品免费久久| 午夜激情欧美在线| 亚洲精品456在线播放app| 欧美一区二区精品小视频在线| 欧美bdsm另类| 非洲黑人性xxxx精品又粗又长| 国产午夜福利久久久久久| 男女视频在线观看网站免费| 日韩成人伦理影院| АⅤ资源中文在线天堂| 久久久久久久久久久丰满| av免费观看日本| 午夜激情欧美在线| 国产精品1区2区在线观看.| 久久久久久久午夜电影| 亚洲图色成人| 日日啪夜夜撸| 18禁在线无遮挡免费观看视频| 97超碰精品成人国产| 精品人妻视频免费看| 亚洲欧美一区二区三区国产| 亚洲电影在线观看av| 免费观看性生交大片5| 国产免费又黄又爽又色| 国产一级毛片七仙女欲春2| av在线观看视频网站免费| 国产精品爽爽va在线观看网站| 乱人视频在线观看| 一级av片app| 高清午夜精品一区二区三区| 两个人视频免费观看高清| 午夜免费男女啪啪视频观看| 亚洲国产欧洲综合997久久,| 亚洲不卡免费看| 午夜福利高清视频| 少妇猛男粗大的猛烈进出视频 | 3wmmmm亚洲av在线观看| 日韩亚洲欧美综合| 日韩在线高清观看一区二区三区| 亚洲成人中文字幕在线播放| 国产成人aa在线观看| 网址你懂的国产日韩在线| 天堂√8在线中文| 久久草成人影院| 岛国毛片在线播放| 在线免费观看的www视频| 亚洲精品国产av成人精品| 美女内射精品一级片tv| 亚洲美女视频黄频| 国产黄色视频一区二区在线观看 | 久久久久久大精品| 国产综合懂色| 国产真实伦视频高清在线观看| 99久久精品国产国产毛片| 成人高潮视频无遮挡免费网站| 国产精品人妻久久久影院| 午夜福利成人在线免费观看| 91午夜精品亚洲一区二区三区| 最后的刺客免费高清国语| 内射极品少妇av片p| 男女边吃奶边做爰视频| 国产在视频线在精品| 中文欧美无线码| 麻豆成人午夜福利视频| 在线观看66精品国产| 偷拍熟女少妇极品色| 一级毛片aaaaaa免费看小| 亚洲欧美成人综合另类久久久 | 日本五十路高清| 麻豆成人午夜福利视频| 人人妻人人澡人人爽人人夜夜 | 色吧在线观看| 99久国产av精品| 中文天堂在线官网| 18禁裸乳无遮挡免费网站照片| 一个人看视频在线观看www免费| 一边亲一边摸免费视频| 在线播放国产精品三级| 国产真实伦视频高清在线观看| 国产真实乱freesex| 亚洲色图av天堂| 成人漫画全彩无遮挡| 午夜精品一区二区三区免费看| www.色视频.com| 18禁动态无遮挡网站| av播播在线观看一区| 美女国产视频在线观看| 成人av在线播放网站| 麻豆久久精品国产亚洲av| 能在线免费看毛片的网站| 成人高潮视频无遮挡免费网站| 国产高清国产精品国产三级 | 日韩成人av中文字幕在线观看| kizo精华| 九九热线精品视视频播放| 天堂网av新在线| 国产精品一及| 99久久成人亚洲精品观看| 欧美日韩精品成人综合77777| 亚洲一区高清亚洲精品| 久久热精品热| 观看美女的网站| 国产午夜精品论理片| 亚洲精品国产成人久久av| 国产单亲对白刺激| 亚洲精品久久久久久婷婷小说 | av在线亚洲专区| 色综合站精品国产| 亚洲三级黄色毛片| 国产精品一及| av线在线观看网站| 国产一区二区在线观看日韩| 人妻系列 视频| 日韩av不卡免费在线播放| 毛片女人毛片| 九九在线视频观看精品| 男女视频在线观看网站免费| 日韩,欧美,国产一区二区三区 | 一个人看视频在线观看www免费| 久久久久久国产a免费观看| 亚洲在线自拍视频| 国产精品,欧美在线| 99久久人妻综合| 少妇被粗大猛烈的视频| 桃色一区二区三区在线观看| 精品一区二区三区人妻视频| 插阴视频在线观看视频| 网址你懂的国产日韩在线| av视频在线观看入口| 亚洲无线观看免费| 国产高清国产精品国产三级 | 国产精品国产三级专区第一集| 日本欧美国产在线视频| 欧美最新免费一区二区三区| 国产一区二区在线av高清观看| 日韩大片免费观看网站 | 久久久久久久久久久丰满| 免费观看a级毛片全部| 麻豆乱淫一区二区| 国产精品综合久久久久久久免费| 国产精华一区二区三区| 一级黄色大片毛片| 午夜福利在线观看吧| 三级经典国产精品| 成人午夜高清在线视频| 91狼人影院| 亚洲av电影在线观看一区二区三区 | av国产免费在线观看| 99热全是精品| 亚洲精品自拍成人| 亚洲国产色片| 国产高潮美女av| 亚洲四区av| 成年女人看的毛片在线观看| 一区二区三区乱码不卡18| .国产精品久久| 91久久精品国产一区二区成人| 久久久久免费精品人妻一区二区| 91久久精品国产一区二区三区| 看片在线看免费视频| 日本猛色少妇xxxxx猛交久久| 日本一本二区三区精品| 色吧在线观看| 天堂影院成人在线观看| 久久婷婷人人爽人人干人人爱| 欧美极品一区二区三区四区| 亚洲欧美精品专区久久| 国产视频内射| 免费看a级黄色片| 国产亚洲一区二区精品| 2021天堂中文幕一二区在线观| 人妻系列 视频| 国产极品天堂在线| 久久久久性生活片| 日本五十路高清| 久久99热6这里只有精品| 亚洲精品日韩在线中文字幕| 久久人人爽人人片av| 欧美又色又爽又黄视频| 青春草国产在线视频| 村上凉子中文字幕在线| 成人鲁丝片一二三区免费| 黄片无遮挡物在线观看| 国产69精品久久久久777片| 中文欧美无线码| 免费在线观看成人毛片| 22中文网久久字幕| 成人av在线播放网站| 男的添女的下面高潮视频| 久99久视频精品免费| 久久热精品热| 少妇熟女欧美另类| 午夜日本视频在线| 少妇人妻精品综合一区二区| 欧美又色又爽又黄视频| 韩国高清视频一区二区三区| av播播在线观看一区| 啦啦啦啦在线视频资源| 国产极品精品免费视频能看的| 久久久色成人| 国产精品综合久久久久久久免费| 成人av在线播放网站| 边亲边吃奶的免费视频| 日韩 亚洲 欧美在线| 波多野结衣高清无吗| 欧美3d第一页| 国产不卡一卡二| 色尼玛亚洲综合影院| 高清日韩中文字幕在线| 亚洲av成人精品一区久久| 国产精品人妻久久久影院| 大又大粗又爽又黄少妇毛片口| 国产亚洲午夜精品一区二区久久 | 欧美成人一区二区免费高清观看| 国产av码专区亚洲av| 99久国产av精品国产电影| 两个人的视频大全免费| 国产精品美女特级片免费视频播放器| 汤姆久久久久久久影院中文字幕 | 日本一二三区视频观看| 国产免费一级a男人的天堂| 欧美xxxx性猛交bbbb| 日韩制服骚丝袜av| 亚洲精华国产精华液的使用体验| 最后的刺客免费高清国语| 国产三级在线视频| 天堂网av新在线| 亚洲av熟女| 久久久亚洲精品成人影院| 久久精品国产鲁丝片午夜精品| 舔av片在线| 中文亚洲av片在线观看爽| 国产精品国产三级国产专区5o | 欧美日本视频| 一本久久精品| 亚洲成人中文字幕在线播放| 秋霞伦理黄片| 能在线免费看毛片的网站| 日本与韩国留学比较| 久久久精品大字幕| 日日摸夜夜添夜夜爱| 22中文网久久字幕| 99久久成人亚洲精品观看| 18禁在线播放成人免费| 精品一区二区三区人妻视频| 亚洲人成网站在线播| 久久久精品94久久精品| 色网站视频免费| 国产视频内射| 久久亚洲精品不卡| 国产高清三级在线| 国产国拍精品亚洲av在线观看| 赤兔流量卡办理| 国产精品女同一区二区软件| 久久精品国产亚洲av涩爱| 天天躁日日操中文字幕| 免费观看在线日韩| 99久国产av精品| 久久久精品94久久精品| 夜夜看夜夜爽夜夜摸| 免费看日本二区| 国产精品日韩av在线免费观看| 欧美区成人在线视频| 免费看av在线观看网站| 久久久久久久久久黄片| 少妇高潮的动态图| 免费黄色在线免费观看| 国产私拍福利视频在线观看| 欧美激情国产日韩精品一区| 国产精品一区www在线观看| 久久久久久久久大av| 亚洲,欧美,日韩| 久久久国产成人免费| 精品久久久久久电影网 | 国语对白做爰xxxⅹ性视频网站| 国产 一区精品| 亚洲丝袜综合中文字幕| 亚洲五月天丁香| 国产三级在线视频| 一级毛片aaaaaa免费看小| 性色avwww在线观看| eeuss影院久久| 国产精品不卡视频一区二区| 精品一区二区三区视频在线| 亚洲综合色惰| 亚洲国产精品合色在线| 国产中年淑女户外野战色|