• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于用戶視角的我國眾包網(wǎng)站質(zhì)量評價研究

    2017-11-22 19:47:51沈洪洲袁勤儉肖國豐
    現(xiàn)代情報 2017年11期
    關(guān)鍵詞:質(zhì)量評價

    沈洪洲+袁勤儉+肖國豐

    〔摘 要〕眾包網(wǎng)站在眾包實施過程中發(fā)揮著關(guān)鍵的中堅作用,基于用戶的視角對我國眾包網(wǎng)站的質(zhì)量進行綜合評價具有現(xiàn)實意義。以WebQual 4.0模型為基礎(chǔ)構(gòu)建眾包網(wǎng)站的質(zhì)量評價指標(biāo)體系,并利用網(wǎng)絡(luò)層次分析法確定各評價指標(biāo)的權(quán)重值,最后依據(jù)該質(zhì)量評價指標(biāo)體系,通過真實的用戶對我國代表性的三家眾包網(wǎng)站(豬八戒網(wǎng)、威客中國網(wǎng)、小魚兒網(wǎng))的質(zhì)量進行全面的評價分析。從評價結(jié)果中總結(jié)出提升我國眾包網(wǎng)站質(zhì)量的啟示,也驗證了本研究構(gòu)建的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系的適用性和可操作性。

    〔關(guān)鍵詞〕眾包網(wǎng)站;質(zhì)量評價;用戶視角;WebQual;網(wǎng)絡(luò)層次分析法

    DOI:10.3969/j.issn.1008-0821.2017.11.002

    〔中圖分類號〕G203 〔文獻標(biāo)識碼〕A 〔文章編號〕1008-0821(2017)11-0010-07

    Research on the Quality Evaluation of Crowdsourcing Websites of China from the Perspective of Users

    Shen Hongzhou1,2 Yuan Qinjian3 Xiao Guofeng1

    (1.School of Management,Nanjing University of Posts and Telecommunications,Nanjing 210003,China;

    2.Jiangsu Modern Information Service Industry Decision Consulting Research Base,Nanjing University of

    Posts and Telecommunications,Nanjing 210003,China;

    3.School of Information Management,Nanjing University,Nanjing 210023,China)

    〔Abstract〕Crowdsourcing website plays a key role in the crowdsourcing process,a comprehensive quality evaluation of crowdsourcing websites in China,from the perspective of users,has practical significance.A quality evaluation index system for crowdsourcing websites was constructed based on WebQual 4.0,and the weight of each index was determined by the method of Analytical Network Process.According to the evaluation index system,real users was invited to give a comprehensive evaluation of the quality of China's 3 typical crowdsourcing websites,including zhubajie.com,vikecn.com and xiaoyuer.com.The evaluation results gave us some enlightenments about how to improve the quality of crowdsourcing websites in China,and also proved the applicability and operability of the quality evaluation index system of crowdsourcing websites.

    〔Key words〕crowdsourcing website;quality evaluation;user perspective;WebQual;analytical network process

    自從Jeff Howe于2006年首次提出眾包(Crowdsourcing)的概念,眾包便成為了國內(nèi)外業(yè)界和學(xué)術(shù)界持續(xù)關(guān)注的熱點。Howe最初從外包(Outsourcing)的概念引出眾包,旨在描述企業(yè)、機構(gòu)或個人利用互聯(lián)網(wǎng)將工作外包給一群非特定的“眾人”,以發(fā)現(xiàn)新創(chuàng)意或解決技術(shù)難題[1]。這與幾乎同時期由中國學(xué)者劉峰提出的“威客”模式擁有相同的基本內(nèi)涵。完整的眾包過程有清晰的構(gòu)成要素,主要包括發(fā)包方、接包方和眾包中介[2]。其中,發(fā)包方即為提出任務(wù)需求的企業(yè)、機構(gòu)或個人,他們也需要批準(zhǔn)任務(wù)結(jié)束并支付報酬;接包方即任務(wù)承擔(dān)者,他們既可以是專業(yè)人士,也可以是非專業(yè)的興趣愛好者,他們的主要目的是投標(biāo)參與、執(zhí)行任務(wù)和獲取回報;眾包中介則是溝通發(fā)包方和接包方的橋梁,他們的作用主要是協(xié)調(diào)、代理和釋疑等。發(fā)包方可以自己構(gòu)建網(wǎng)站組織眾包過程(如Dell公司的IdeaStorm,寶潔公司的Connect+Develop平臺等),但更多情況下都是由第三方運營的眾包網(wǎng)站來提供眾包中介的服務(wù)。國外比較著名的眾包網(wǎng)站有Mechanical Turk,InnoCentive等,我國比較知名的眾包網(wǎng)站有豬八戒網(wǎng),威客中國網(wǎng)等。

    不難發(fā)現(xiàn),作為眾包中介的眾包網(wǎng)站在整個眾包過程中起著非常關(guān)鍵的中間作用,其質(zhì)量的優(yōu)劣對于眾包的順利開展有著重大的影響。優(yōu)秀的眾包網(wǎng)站應(yīng)該能夠引導(dǎo)發(fā)包方全面且清晰地提交任務(wù)需求,能夠讓發(fā)包方順利地接收到任務(wù)結(jié)果,并快速安全地支付報酬以終結(jié)眾包任務(wù)。同時,也應(yīng)能夠讓接包方快速地找到他們感興趣的眾包任務(wù),能讓接包方理解任務(wù)的具體需求并順利提交任務(wù)結(jié)果以獲得相應(yīng)的回報。高質(zhì)量的眾包網(wǎng)站更應(yīng)該提供相應(yīng)的溝通協(xié)調(diào)機制和保障措施,以保證發(fā)包方和接包方在透明、融洽、安全的環(huán)境下完成交易。所以,對眾包網(wǎng)站質(zhì)量的評價研究具有十分重要的現(xiàn)實意義,本文研究即以我國代表性的眾包網(wǎng)站為對象,從用戶的視角對它們的質(zhì)量評價問題進行深入地探討。endprint

    1 相關(guān)研究綜述

    目前有關(guān)眾包的研究大部分都關(guān)注于發(fā)包方和接包方,例如如何激勵接包方更積極地參與和更好地完成眾包任務(wù),而有關(guān)眾包網(wǎng)站本身的研究卻并不多見。有少數(shù)研究者專注于眾包網(wǎng)站的分類體系研究,分類的角度也各不相同。Geiger等人從接包方貢獻的同質(zhì)性或異質(zhì)性,以及眾包結(jié)果形成的獨立性和非獨立性的角度將眾包網(wǎng)站分為事務(wù)處理類、評估評級類、問題解決類和創(chuàng)新創(chuàng)造類[3]。Zhao等在一份有關(guān)眾包研究現(xiàn)狀的評述中將眾包網(wǎng)站按照功能的不同劃分為設(shè)計開發(fā)類、創(chuàng)意咨詢類、測試評估類和其他類[4]。Mourelatos等人則專門對現(xiàn)有的眾包網(wǎng)站進行了更為全面的評述,發(fā)現(xiàn)絕大多數(shù)眾包網(wǎng)站都設(shè)立在美國,并且大部分是提供微型工作和眾籌服務(wù)的網(wǎng)站,并且只有大約一半的網(wǎng)站提供了針對眾包任務(wù)的質(zhì)量控制機制[5]。還有一些研究者關(guān)注眾包網(wǎng)站的設(shè)計和建設(shè),黃辰提出了基于LAMP的眾包網(wǎng)站的詳細(xì)建設(shè)方案[6],Geiger等人也從社會技術(shù)系統(tǒng)的視角對眾包平臺的設(shè)計需求進行了探討[3]。

    有關(guān)網(wǎng)站質(zhì)量評價的研究工作則要豐富得多,最早可以追溯至20世紀(jì)90年代,近20多年來一直是較為熱門的研究主題,主要由大學(xué)等科研機構(gòu)的研究者們主導(dǎo)。由于不同類型網(wǎng)站的建站目的各不相同,它們在功能布局、信息呈現(xiàn)和服務(wù)交互等方面的要求也不盡相同,所以,對于不同類型網(wǎng)站質(zhì)量的評價內(nèi)容和評價方法也較為多樣化。以公司宣傳和在線商務(wù)等為目的的商業(yè)性網(wǎng)站的質(zhì)量評價受到了較多的關(guān)注。例如,Cebi在評價在線購物網(wǎng)站質(zhì)量的研究中將模糊集理論和決策試驗與評價實驗等方法結(jié)合起來,形成了一種新型的網(wǎng)站質(zhì)量評價模型[7]。Sun等人則從消費者使用體驗的角度對影響中國旅游網(wǎng)站質(zhì)量的關(guān)鍵屬性進行了研究,通過決策樹算法判斷8個評價屬性的重要性,結(jié)果發(fā)現(xiàn)信息質(zhì)量、易用性、個性化、產(chǎn)品預(yù)訂的靈活性均是消費者在評價旅游網(wǎng)站質(zhì)量時較為看重的屬性[8]。各種科技學(xué)術(shù)類網(wǎng)站的質(zhì)量也是研究者們評價的重要目標(biāo)。范佳佳和葉繼元將顧客滿意理論和“全評價”體系框架相結(jié)合,運用結(jié)構(gòu)方程模型構(gòu)建并驗證了針對科技網(wǎng)站的信息質(zhì)量評價模型,涵蓋了信息內(nèi)容質(zhì)量、信息效用質(zhì)量和用戶滿意度[9]。段宇鋒等利用網(wǎng)絡(luò)信息計量學(xué)的方法從網(wǎng)站規(guī)模、連接特征和影響力3個方面對中美財經(jīng)類院校的網(wǎng)站進行了對比研究,并形成了一套較為穩(wěn)定的網(wǎng)站定量評價體系[10]。萬立軍等人則借鑒SERVQUAL模型構(gòu)建了針對我國高校網(wǎng)站信息服務(wù)質(zhì)量的評價指標(biāo)體系,確定了各指標(biāo)的權(quán)重值,并進一步驗證了評價體系的適用性和可操作性[11]。Thowfeek等則基于可用性模型抽取在線學(xué)習(xí)網(wǎng)站的可用性評價指標(biāo),并從有使用經(jīng)驗和無使用經(jīng)驗兩類學(xué)生群體的角度同時去評價可用性對于在線學(xué)習(xí)網(wǎng)站的重要作用[12]。政府及醫(yī)療機構(gòu)的網(wǎng)站質(zhì)量也經(jīng)常被研究者們評價。張發(fā)明等將層次分析法和序關(guān)系分析法想結(jié)合,并基于信息架構(gòu)理論對政府應(yīng)急管理網(wǎng)站進行了定性和定量的綜合評價[13]。Leite等人通過文獻調(diào)研設(shè)計出一套評價醫(yī)療單位網(wǎng)站內(nèi)容質(zhì)量的模型,并且運用德爾菲法對評價模型進行了精簡,還進一步確定了模型中不同評價指標(biāo)的權(quán)重[14]。

    從相關(guān)研究的調(diào)研和分析中不難發(fā)現(xiàn),目前有關(guān)眾包網(wǎng)站自身的研究相對較少,更鮮有研究者對眾包網(wǎng)站的質(zhì)量評價問題進行探討。本研究將基于用戶的視角,以較為成熟的網(wǎng)站質(zhì)量評價模型WebQual 4.0為基礎(chǔ),構(gòu)建眾包網(wǎng)站的質(zhì)量評價指標(biāo)體系,并利用網(wǎng)絡(luò)層次分析法(Analytical Network Process,ANP)確定各評價指標(biāo)的權(quán)重值。最后,利用所得的質(zhì)量評價指標(biāo)體系對我國代表性的眾包網(wǎng)站進行全面的質(zhì)量評價,形成有參考價值的啟示。

    2 眾包網(wǎng)站質(zhì)量評價指標(biāo)體系構(gòu)建

    2.1 指標(biāo)體系的構(gòu)建基礎(chǔ)

    眾包網(wǎng)站的核心用戶群可以劃分為發(fā)包方和接包方兩大類,這兩類用戶在眾包網(wǎng)站上圍繞眾包任務(wù)展開了包括信息提交、信息查詢、資金支付、溝通互動等線上活動。此外,眾包網(wǎng)站也為這兩類用戶提供了信息推廣、決策咨詢、資金保障、糾紛磋商和誠信管理等服務(wù)功能??梢?,眾包網(wǎng)站具有較明顯的商務(wù)性特點,且網(wǎng)站用戶對于其質(zhì)量的判斷至關(guān)重要,會直接影響用戶的使用意愿。有鑒于此,本文研究選擇擅長從用戶視角評價商務(wù)型網(wǎng)站質(zhì)量的評價模型WebQual 4.0為眾包網(wǎng)站質(zhì)量評價指標(biāo)體系的構(gòu)建基礎(chǔ)。

    WebQual模型由Barnes等首先提出,其形成基礎(chǔ)為質(zhì)量功能開發(fā)(Quality Function Deployment)的概念。質(zhì)量功能開發(fā)強調(diào)了一種傾聽客戶聲音的產(chǎn)品或服務(wù)的開發(fā)實現(xiàn)過程,因此,WebQual模型的構(gòu)建非常看重最終用戶對于網(wǎng)站的感知,強調(diào)從用戶的視角全面評價網(wǎng)站的質(zhì)量。WebQual模型已經(jīng)發(fā)展至4.0版本,最新版本的開發(fā)依主要托于信息系統(tǒng)領(lǐng)域的信息質(zhì)量、市場營銷領(lǐng)域的服務(wù)質(zhì)量和人機交互領(lǐng)域的可用性等[15]。相比于前面的版本,WebQual 4.0最大的變化在于以可用性取代了部分站點設(shè)計質(zhì)量,因為它更加強調(diào)用戶及其對網(wǎng)站的感知,而不是設(shè)計師??梢姡琖ebQual 4.0更加全面地考慮了不同方面的網(wǎng)站表征,是一個相對綜合的網(wǎng)站質(zhì)量評價工具。該模型已被廣泛應(yīng)用于各類網(wǎng)站的質(zhì)量評價中,并被證明特別適合對商務(wù)型網(wǎng)站進行評價[16-17]。

    2.2 指標(biāo)體系的構(gòu)建分析

    本研究細(xì)化了WebQual 4.0模型,并結(jié)合眾包網(wǎng)站在功能布局和設(shè)計、信息展示和交互服務(wù)上的特點,構(gòu)建出包含可用性、設(shè)計、信息質(zhì)量、信任和互動質(zhì)量這5個維度共22項眾包網(wǎng)站的質(zhì)量評價指標(biāo),具體如下:

    2.2.1 可用性(C1)

    可用性是交互式信息技術(shù)產(chǎn)品和系統(tǒng)的重要質(zhì)量指標(biāo),它主要反映產(chǎn)品或系統(tǒng)功能的易學(xué)易用程度。在本研究的情境下,可用性可以表現(xiàn)為:眾包網(wǎng)站功能的操作步驟是否很容易讓用戶學(xué)會(功能的易學(xué)性C11);用戶與眾包網(wǎng)站的互動操作是否很明確也很容易理解(交互的清晰性C12);眾包網(wǎng)站的功能分布是否容易瀏覽導(dǎo)航,用戶能否很快找到目標(biāo)功能(功能的易瀏覽性C13);眾包網(wǎng)站功能的操作是否簡單,用戶能否容易地使用(功能的易用性C14)。endprint

    2.2.2 設(shè)計(C2)

    設(shè)計是網(wǎng)站建設(shè)過程中的關(guān)鍵環(huán)節(jié),良好的外觀設(shè)計和功能設(shè)計有助于快速吸引用戶的注意力,并讓用戶更加充分地使用網(wǎng)站提供的功能服務(wù)。在本研究的情境下,設(shè)計可以表現(xiàn)為:眾包網(wǎng)站的外觀是否漂亮且具有吸引力(外表的美觀性C21);眾包網(wǎng)站的功能設(shè)計是否適用于眾包的應(yīng)用場景(功能的適用性C22);眾包網(wǎng)站能否顯示出它足以勝任并能滿足用戶的需求(功能的勝任性C23);眾包網(wǎng)站能否給用戶提供積極成功的使用體驗(體驗的積極性C24)。

    2.2.3 信息質(zhì)量(C3)

    信息質(zhì)量反映了信息系統(tǒng)或網(wǎng)站的內(nèi)容質(zhì)量,本文研究中可將其描述為眾包網(wǎng)站所提供信息的適用性。具體而言包括眾包網(wǎng)站提供的內(nèi)容信息是否準(zhǔn)確(信息的準(zhǔn)確性C31);眾包網(wǎng)站提供的內(nèi)容信息是否可以信賴(信息的可信性C32);眾包網(wǎng)站提供的內(nèi)容信息是否及時(信息的及時性C33);眾包網(wǎng)站提供的內(nèi)容信息是否與眾包任務(wù)相關(guān)(信息的相關(guān)性C34);眾包網(wǎng)站提供的內(nèi)容信息是否易于理解(信息的易理解性C35);眾包網(wǎng)站提供的內(nèi)容信息是否具有該有的細(xì)節(jié)(信息的詳細(xì)性C36);眾包網(wǎng)站提供的內(nèi)容信息是否以合理的格式(如圖文聲像)呈現(xiàn)(信息呈現(xiàn)的合理性C37)。

    2.2.4 信任(C4)

    當(dāng)用戶認(rèn)為網(wǎng)站值得信任時,他們在使用網(wǎng)站時的顧慮就會更少,也能更加深入地使用網(wǎng)站提供的功能和服務(wù)。本研究中,用戶對眾包網(wǎng)站的信任主要體現(xiàn)在眾包網(wǎng)站是否擁有良好的聲譽(聲譽的良好性C41);眾包網(wǎng)站的任務(wù)交易過程是否讓用戶感到很安全(交易的安全性C42);眾包網(wǎng)站是否能夠讓用戶感到自己的個人信息不會被泄露(個人信息的安全性C43);眾包網(wǎng)站能否讓用戶相信他們可以獲得預(yù)期的任務(wù)結(jié)果或報酬(結(jié)果或報酬的信心C44)。

    2.2.5 互動質(zhì)量(C5)

    用戶與網(wǎng)站之間或用戶與用戶之間良好的互動能夠促進多向交流,可增強網(wǎng)站的用戶粘性。越來越多的網(wǎng)站開始重視以個性化的方式為用戶提供互動功能,并著力增強其對用戶的服務(wù)。在本研究中,眾包網(wǎng)站的互動質(zhì)量主要體現(xiàn)在眾包網(wǎng)站是否提供了針對用戶個人情況和需求的服務(wù)(服務(wù)的個性化C51);眾包網(wǎng)站能否讓用戶感覺到該網(wǎng)站是一個可以實現(xiàn)相互交流的社區(qū)(互動的社區(qū)性C52);眾包網(wǎng)站是否提供了便捷的渠道,以幫助用戶與網(wǎng)站的運營者順暢溝通(溝通的便利性C53)。

    3 眾包網(wǎng)站質(zhì)量評價指標(biāo)權(quán)重計算

    在上文構(gòu)建的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系中,各個評價指標(biāo)對于眾包網(wǎng)站質(zhì)量的影響能力各不相同,因此需要計算各個評價指標(biāo)的權(quán)重。以往許多研究者選擇層次分析法(Analytic Hierarchy Process,AHP)來計算指標(biāo)權(quán)重,該方法根據(jù)專家知識和經(jīng)驗對已經(jīng)形成的評價指標(biāo)進行比較判斷,進而構(gòu)建比較矩陣以計算指標(biāo)權(quán)重。但是,AHP方法要求各層次的元素之間相互獨立,且底層元素完全受高層元素支配,這在現(xiàn)實的復(fù)雜決策場景下很難完全滿足。本研究中眾包網(wǎng)站質(zhì)量評價指標(biāo)體系的構(gòu)建基礎(chǔ)是WebQual 4.0模型,該模型的最終目的是對網(wǎng)站質(zhì)量進行全面綜合的評價,模型中各項指標(biāo)之間并不相互獨立,具有較強的相關(guān)性[15],這決定了本文并不宜直接運用AHP方法計算指標(biāo)權(quán)重。因此,決定采用充分考慮了元素間相關(guān)關(guān)系的ANP方法并借助Super Decisions軟件來計算各指標(biāo)的權(quán)重。

    ANP方法是在AHP方法的基礎(chǔ)上發(fā)展形成的一種新的實用決策方法,其最大的特點在于充分考慮了各個指標(biāo)元素及相鄰層次之間相互的依存和反饋關(guān)系。ANP方法因為這些優(yōu)勢已經(jīng)在營銷、醫(yī)療、政治、軍事等領(lǐng)域得到了廣泛的應(yīng)用[18]。在本文研究中,對眾包網(wǎng)站的質(zhì)量進行評價是ANP控制層中的目標(biāo),上文構(gòu)建的評價指標(biāo)體系中的5個維度(可稱為一級指標(biāo))形成了ANP網(wǎng)絡(luò)層中的元素集,而各維度下的具體評價指標(biāo)(可稱為二級指標(biāo))則是各個元素集中的具體元素。

    為確定各元素集及元素之間的相互影響關(guān)系,筆者邀請了來自互聯(lián)網(wǎng)公司和高校信息系統(tǒng)研究領(lǐng)域內(nèi)的專家各兩名進行了小組討論。最終確定了各元素集及元素之間的關(guān)聯(lián)關(guān)系,并用Super Decisions軟件繪制成眾包網(wǎng)站質(zhì)量評價指標(biāo)體系的ANP網(wǎng)絡(luò)結(jié)構(gòu)圖(見圖1)。

    研究依據(jù)各元素集及元素之間的關(guān)聯(lián)關(guān)系,通過兩兩比較矩陣來確定元素間的相對重要程度。為此,筆者邀請了10位專家(6位專家為來自不同互聯(lián)網(wǎng)公司的高級產(chǎn)品經(jīng)理,4位專家為來自不同高校的信息系統(tǒng)研究領(lǐng)域的教授或副教授)依據(jù)他們的知識和經(jīng)驗分別對所有的兩兩比較矩陣進行賦值。賦值的依據(jù)為元素集或元素之間重要程度的比較,賦值方式采用1~9標(biāo)度法。將10位專家給出的兩兩比較矩陣數(shù)值的均值輸入Super Decisions軟件,依次計算未加權(quán)超級矩陣(Unweighted Super Matrix)、加權(quán)超級矩陣(Weighted Super Matrix)和極限矩陣(Limit Matrix)。最終得出如表1所示的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系中各指標(biāo)的權(quán)重值。其中,局部權(quán)重值代表該指標(biāo)在所屬維度范圍下?lián)碛械臋?quán)重,而全局權(quán)重值則代表該指標(biāo)在整個評價體系中擁有的權(quán)重值。

    從表1中的權(quán)重數(shù)據(jù)不難發(fā)現(xiàn),眾包網(wǎng)站能否讓用戶擁有獲取結(jié)果或報酬的信心(C44),能否讓用戶擁有積極成功的使用體驗(C24),為用戶提供的功能操作是否簡單易用(C14),以及能否給用戶間的任務(wù)交易提供安全保障(C42)擁有較高的全局權(quán)重值,是用戶評價眾包網(wǎng)站質(zhì)量時相對重要的指標(biāo)。而眾包網(wǎng)站是否為用戶提供了相互交流的社區(qū)(C52),提供的內(nèi)容信息是否及時(C33),以及網(wǎng)站的外觀是否漂亮且有吸引力(C21)等則擁有較低的全局權(quán)重值,是重要性相對較低的評價指標(biāo)。事實上,眾包網(wǎng)站的核心目標(biāo)是促成眾包任務(wù)的提出、分配和完成,因此,其建站目的較為強調(diào)功能性和實用性,與信息發(fā)布型、社區(qū)交流型網(wǎng)站有很大的區(qū)別。由此可見,在對眾包網(wǎng)站質(zhì)量的評價指標(biāo)體系中更加看重結(jié)果的可獲得性、功能的使用感受以及交易的安全性符合用戶的工作需求和實際情況,反映出本研究所確定的指標(biāo)權(quán)重具有一定的科學(xué)性和合理性。endprint

    4 我國眾包網(wǎng)站質(zhì)量評價實踐

    依據(jù)上文得出的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系及各指標(biāo)的權(quán)重值,本研究對我國3家較為典型的眾包網(wǎng)站進行了全面的質(zhì)量評價,以了解我國眾包網(wǎng)站的質(zhì)量水平,也可進一步檢驗該眾包網(wǎng)站質(zhì)量評價指標(biāo)體系的適用性和可操作性。被評價的3家眾包網(wǎng)站分別是豬八戒網(wǎng)(www.zbj.com)、威客中國網(wǎng)(原網(wǎng)址為www.vikecn.com,后升級為www.680.com)和小魚兒網(wǎng)(www.xiaoyuer.com)。其中,豬八戒網(wǎng)和威客中國網(wǎng)是我國創(chuàng)立較早的眾包網(wǎng)站,他們的知名度相對較高,在我國的Alexa網(wǎng)站排名中分別為338位和d4 565位(2017年6月7日數(shù)據(jù),下同)。小魚兒網(wǎng)則是一家創(chuàng)立較晚的眾包網(wǎng)站,它目前的知名度還不夠高,在我國的Alexa網(wǎng)站排名為39 446位,但代表了我國眾包網(wǎng)站的新生力量。

    4.1 質(zhì)量評價過程

    本次眾包網(wǎng)站質(zhì)量評價的過程也以眾包的方式實施,即由各眾包網(wǎng)站的真實用戶對網(wǎng)站的質(zhì)量進行評價,符合用戶的評價視角,也可確保評價結(jié)果的客觀性和準(zhǔn)確性。首先,依據(jù)已構(gòu)建的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系設(shè)計了在線評價表,并邀請了10位眾包網(wǎng)站的用戶對評價表中各評價選項的表述提出修改建議,以確保表述的準(zhǔn)確性。接著,將評價表的填寫任務(wù)分別提交至待評價的3家眾包網(wǎng)站,認(rèn)真完成評價任務(wù)且驗收合格的用戶會得到3元人民幣的報酬。最終,每家眾包網(wǎng)站回收到有效評價數(shù)據(jù)30組,共計90組有效評價數(shù)據(jù)。參與各眾包網(wǎng)站質(zhì)量評價的用戶基本信息如表2所示。

    綜合表2中各眾包網(wǎng)站質(zhì)量評價用戶的個人信息可知,參與網(wǎng)站質(zhì)量評價的用戶中男性比女性人數(shù)稍多,他們所處的年齡段大多在21~30歲之間,他們的學(xué)歷分布以大學(xué)??苹虮究茷橹鳌钠湓诒姲W(wǎng)站中的主要身份類型來看,大部分評價用戶的主要身份為純粹的承接眾包任務(wù)的接包方,只有極少部分的評價用戶的主要身份是單純的提出眾包任務(wù)需求的發(fā)包方,也有一部分的評價用戶兼具接包方和發(fā)包方的雙重身份。

    對于某個被評價的眾包網(wǎng)站而言,研究分別計算其每一組評價數(shù)據(jù)形成的網(wǎng)站質(zhì)量得分,計算依據(jù)為每個二級評價指標(biāo)的質(zhì)量得分乘以自身全局權(quán)重值之后再求和。具體公式可表示為:

    其中,T表示該組數(shù)據(jù)形成的網(wǎng)站質(zhì)量得分,Si表示該組數(shù)據(jù)中在第i個指標(biāo)上的質(zhì)量得分,Pi為第i個指標(biāo)的全局權(quán)重值。在分別計算出每組評價數(shù)據(jù)的網(wǎng)站質(zhì)量得分后,再取它們的平均值作為對被評價眾包網(wǎng)站總體質(zhì)量的最終衡量。根據(jù)評價數(shù)據(jù)計算,最后得出豬八戒網(wǎng)的總體質(zhì)量得分均值為8.01分,威客中國網(wǎng)的總體質(zhì)量得分均值為7.68分,小魚兒網(wǎng)的總體質(zhì)量得分均值為7.44分。說明在被評價的3家眾包網(wǎng)站中豬八戒網(wǎng)的網(wǎng)站總體質(zhì)量最高,小魚兒網(wǎng)的網(wǎng)站總體質(zhì)量最低,而威客中國網(wǎng)的網(wǎng)站總體質(zhì)量介于前兩者之間。

    除了各眾包網(wǎng)站的總體質(zhì)量得分,研究還分別計算了各網(wǎng)站在可用性、設(shè)計、信息質(zhì)量、信任和互動質(zhì)量這5個維度上的質(zhì)量得分,以進一步分析被評價眾包網(wǎng)站在不同維度上的優(yōu)劣勢。其計算方法類似于上述網(wǎng)站總體質(zhì)量得分的計算方法,只是二級指標(biāo)限定為各個維度之內(nèi),且指標(biāo)的權(quán)重值更換為局部權(quán)重值。根據(jù)評價數(shù)據(jù)計算得出的各眾包網(wǎng)站在不同維度上的質(zhì)量得分分布如圖2所示。

    圖2 各眾包網(wǎng)站在不同維度上的質(zhì)量得分分布

    由圖2可知,盡管豬八戒網(wǎng)的網(wǎng)站總體質(zhì)量最高,但它并非沒有不足,其互動質(zhì)量(7.37分)是一個比較明顯的短板,需要網(wǎng)站運營商更加關(guān)注。而在另外4個維度的質(zhì)量得分上,豬八戒網(wǎng)均具有較為明顯的優(yōu)勢。威客中國網(wǎng)需要在設(shè)計(7.35分)和信息質(zhì)量(7.65分)這兩個維度上投入更多的力量,以進一步提升其網(wǎng)站的總體質(zhì)量。作為后來者的小魚兒網(wǎng)則需要努力增強其可用性(7.61分)和信任(6.96分)這兩個方面的質(zhì)量。值得特別注意的是,被評價的3個眾包網(wǎng)站在互動質(zhì)量上的得分都不理想,最高分是小魚兒網(wǎng)的7.51分,可見,我國的這些眾包網(wǎng)站對于用戶個性化的互動服務(wù)都不夠重視。

    4.2 評價結(jié)果的啟示

    綜合本研究中對我國代表性的眾包網(wǎng)站進行的總體質(zhì)量評價和不同維度的質(zhì)量評價,可以得出如下啟示:

    1)作為我國眾包網(wǎng)站的先行者,豬八戒網(wǎng)的總體質(zhì)量優(yōu)勢較為明顯,這主要歸功于其合理的功能設(shè)置、良好的功能可用性和較高的網(wǎng)站信任度。而上述這些關(guān)鍵優(yōu)勢點恰恰對眾包網(wǎng)站的總體質(zhì)量擁有更大的影響能力,也是其他眾包網(wǎng)站在提升自身總體質(zhì)量時應(yīng)該重點投入的方向。

    2)作為我國眾包網(wǎng)站的新生力量,小魚兒網(wǎng)在可用性和信任維度上有較大的劣勢,直接影響了其總體質(zhì)量。新興的眾包網(wǎng)站也許擁有較為先進的網(wǎng)站設(shè)計理念和開發(fā)技術(shù),但是它們對眾包過程及眾包用戶的研究需要深入和加強,只有這樣才能增強其核心功能的可用性。更為重要的是,新興的眾包網(wǎng)站應(yīng)該通過新穎的網(wǎng)站運營策略和完善的安全技術(shù)手段,快速地吸引新用戶并打消新用戶的顧慮,以提升用戶對網(wǎng)站的信心。

    3)眾包網(wǎng)站的互動質(zhì)量并未受到充分重視,這不僅反映在上述眾包網(wǎng)站的質(zhì)量評價結(jié)果中,也反映在眾包網(wǎng)站質(zhì)量評價指標(biāo)的權(quán)重值上。然而,最新的研究顯示眾包網(wǎng)站上開放性的互動溝通功能可避免眾包參與者的邊緣化問題[19]。因此,我國眾包網(wǎng)站應(yīng)該考慮增加或增強諸如在線即時通信或在線社區(qū)等互動功能,以便于多方的溝通并提升眾包效率。

    4)本研究對我國3家代表性眾包網(wǎng)站的質(zhì)量評價結(jié)果符合這3家眾包網(wǎng)站目前的運營現(xiàn)狀和知名度,并且不同維度上的質(zhì)量評價也客觀地揭示出了各眾包網(wǎng)站的優(yōu)劣勢,充分證明了研究構(gòu)建的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系具有一定的適用性和可操作性。

    5 結(jié) 語

    在眾包模式日益興盛的背景下,眾包網(wǎng)站的橋梁作用已十分明確,其質(zhì)量的高低又直接影響了其作用的發(fā)揮。然而,對眾包網(wǎng)站質(zhì)量的評價研究卻較為缺乏。本文研究從用戶視角出發(fā),以WebQual 4.0模型為基礎(chǔ),構(gòu)建了包含可用性、設(shè)計、信息質(zhì)量、信任和互動質(zhì)量5個維度的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系,并利用ANP方法計算出各評價指標(biāo)的局部權(quán)重值和全局權(quán)重值。依據(jù)該質(zhì)量評價指標(biāo)體系,研究通過真實的用戶對我國代表性的3家眾包網(wǎng)站(豬八戒網(wǎng)、威客中國網(wǎng)、小魚兒網(wǎng))的總體質(zhì)量及各維度的質(zhì)量進行了全面的評價分析,并從評價結(jié)果中得出了一些提升我國眾包網(wǎng)站質(zhì)量的啟示,也驗證了本研究構(gòu)建的眾包網(wǎng)站質(zhì)量評價指標(biāo)體系的適用性和可操作性。本文研究是對眾包網(wǎng)站質(zhì)量評價的初步探索,形成的質(zhì)量評價體系、評價結(jié)果及啟示可為我國眾包網(wǎng)站運營商提供參考。需要指出的是,本次研究主要基于眾包網(wǎng)站用戶的視角,評價角度較為單一,下一步研究工作可將用戶評價視角與專業(yè)設(shè)計人員評價視角相結(jié)合,以形成更加全面立體的眾包網(wǎng)站質(zhì)量評價研究。endprint

    參考文獻

    [1] Howe J.The rise of crowdsourcing[EB/OL].http://archive.wired.com/wired/archive/14.06/crowds.html,2017-04-15.

    [2]Vukovic M.Crowdsourcing for enterprise[C]//Proceedings of Congress on Web Services,2009:686-692.

    [3]Geiger D,Rosemann M,F(xiàn)ielt E,et al.Crowdsourcing information systems:definition,typology,and design[EB/OL].https://ub-madoc.bib.uni-mannheim.de/32631/1/Geiger_et_al._-_2012_-_Crowdsourcing_Information_Systems_-_Definition,_Typology,_and_Design.pdf,2017-04-15.

    [4]Zhao Y,Zhu Q.Evaluation on crowdsourcing research:current status and future direction[J].Information Systems Frontiers,2014,16(3):417-434.

    [5]Mourelatos E,Tzagarakis M,Dimara E.A review of online crowdsourcing platforms[J].South-Eastern Europe Journal of Economics,2016,14(1):59-74.

    [6]黃辰.基于LAMP的眾包型網(wǎng)站的分析與設(shè)計[D].南京:南京大學(xué),2013.

    [7]Cebi S.A quality evaluation model for the design quality of online shopping websites[J].Electronic Commerce Research and Applications,2013,12(2):124–135.

    [8]Sun P,Ca?rdenas D A,Harrill R.Chinese customers' evaluation of travel website quality:a decision-tree analysis[J].Journal of Hospitality Marketing & Management,2016,25(4):476-497.

    [9]范佳佳,葉繼元.基于結(jié)構(gòu)方程的科技網(wǎng)站信息質(zhì)量評價模型構(gòu)建及應(yīng)用[J].圖書館雜志,2016,35(9):66-75.

    [10]段宇鋒,邱均平.中美大學(xué)網(wǎng)站評價的比較研究[J].中國圖書館學(xué)報,2005,(5):22-28.

    [11]萬立軍,羅廷,馬書琴.我國高校網(wǎng)站信息服務(wù)質(zhì)量評價指標(biāo)體系研究[J].情報科學(xué),2016,34(5):114-117.

    [12]Thowfeek M H,Salam M N A.Students' assessment on the usability of e-learning websites[J].Procedia Social and Behavioral Sciences,2014,141(25):916-922.

    [13]張發(fā)明,李論.基于層次序關(guān)系分析法的政府應(yīng)急管理網(wǎng)站優(yōu)化評估[J].現(xiàn)代情報,2016,36(5):57-62,93.

    [14]Leite P,Gon?alves J,Teixeira P,et al.A model for the evaluation of data quality in health unit websites[J].Health Informatics Journal,2016,22(3):479–495.

    [15]Barnes S J,Vidgen R T.An integrative approach to the assessment of e-commerce quality[J].Journal of Electronic Commerce Research,2002,3(3):114-127.

    [16]Shia B C,Chen M,Ramdansyah A D,et al.Measuring customer satisfaction toward localization website by webqual and importance performance analysis(case study on aliexpress site in Indonesia)[J].American Journal of Industrial and Business Management,2016,6(2):117-128.

    [17]Chen J V,Rungruengsamrit D,Rajkumar T M,et al.Success of electronic commerce web sites:a comparative study in two countries[J].Information & Management,2013,50(6):344–355.

    [18]Saaty T L.網(wǎng)絡(luò)層次分析法原理及其應(yīng)用[M].鞠彥兵,劉建昌,譯.北京:北京理工大學(xué)出版社,2015.

    [19]Deng X,Joshi K D,Galliers R D.The duality of empowerment and marginalization in microtask crowdsourcing:giving voice to the less powerful through value sensitive design[J].MIS Quarterly,2016,40(2):279-302.endprint

    猜你喜歡
    質(zhì)量評價
    中醫(yī)健康教育相關(guān)的護理研究現(xiàn)狀分析與思考
    機載設(shè)備課程綜合性教學(xué)考核體系研究
    工科類專業(yè)畢業(yè)設(shè)計質(zhì)量評價體系的構(gòu)建淺議
    科技視界(2016年26期)2016-12-17 16:19:14
    本科生畢業(yè)設(shè)計(論文)質(zhì)量評價體系研究
    低碳生態(tài)小城鎮(zhèn)建設(shè)指標(biāo)體系研究
    實驗室水質(zhì)分析質(zhì)量評價方法分析
    水泥混凝土灌注樁質(zhì)量監(jiān)督檢驗及缺陷防治
    價值工程(2016年30期)2016-11-24 13:48:02
    不同栽培措施對黨參藥材化學(xué)質(zhì)量的影響
    BP神經(jīng)網(wǎng)絡(luò)在軟件質(zhì)量評價中的應(yīng)用研究 
    基于AHP的大學(xué)生畢業(yè)論文質(zhì)量評價體系研究
    日本欧美国产在线视频| 国产成人午夜福利电影在线观看| 我要看日韩黄色一级片| 亚洲国产av新网站| 免费人妻精品一区二区三区视频| 黑丝袜美女国产一区| 高清视频免费观看一区二区| tube8黄色片| 国产无遮挡羞羞视频在线观看| av不卡在线播放| 久久韩国三级中文字幕| 国产精品欧美亚洲77777| 少妇丰满av| 一区在线观看完整版| 边亲边吃奶的免费视频| 久久女婷五月综合色啪小说| 麻豆成人av视频| 99久久精品一区二区三区| 亚洲国产毛片av蜜桃av| 丝瓜视频免费看黄片| 欧美日韩亚洲高清精品| 国产精品久久久久久精品古装| 日本欧美国产在线视频| 日日摸夜夜添夜夜爱| 色视频在线一区二区三区| 国产一区亚洲一区在线观看| 欧美日韩在线观看h| 中文天堂在线官网| 三级经典国产精品| 亚洲欧美成人精品一区二区| 日韩视频在线欧美| 亚洲av综合色区一区| 少妇熟女欧美另类| 水蜜桃什么品种好| 六月丁香七月| 黑人猛操日本美女一级片| 久久精品久久久久久噜噜老黄| 亚洲av中文av极速乱| 亚洲电影在线观看av| av有码第一页| 高清视频免费观看一区二区| 午夜免费观看性视频| 涩涩av久久男人的天堂| 亚洲不卡免费看| 国产69精品久久久久777片| 美女cb高潮喷水在线观看| 综合色丁香网| 啦啦啦在线观看免费高清www| 人人妻人人澡人人看| 欧美日韩精品成人综合77777| 自拍偷自拍亚洲精品老妇| 黑丝袜美女国产一区| 国产黄片美女视频| 乱系列少妇在线播放| 国产精品国产三级专区第一集| 免费观看在线日韩| 美女脱内裤让男人舔精品视频| 亚洲经典国产精华液单| 欧美+日韩+精品| 亚洲性久久影院| 97超碰精品成人国产| 午夜免费男女啪啪视频观看| 国产一区有黄有色的免费视频| 欧美日韩亚洲高清精品| 秋霞在线观看毛片| 亚洲精品日本国产第一区| 国产精品一区www在线观看| 99久国产av精品国产电影| 久久午夜福利片| 大片免费播放器 马上看| 免费观看性生交大片5| 嫩草影院新地址| 中文字幕av电影在线播放| 99久久精品国产国产毛片| av卡一久久| 嫩草影院新地址| 嫩草影院新地址| 日韩成人av中文字幕在线观看| 久久久精品94久久精品| 99久久中文字幕三级久久日本| 精品一区二区免费观看| 国产伦精品一区二区三区视频9| 久久免费观看电影| 亚洲欧美一区二区三区黑人 | 人妻少妇偷人精品九色| 国产精品一二三区在线看| 晚上一个人看的免费电影| 久久精品久久久久久久性| 午夜老司机福利剧场| 午夜福利视频精品| 人人澡人人妻人| 一级片'在线观看视频| 极品人妻少妇av视频| 国产熟女午夜一区二区三区 | 中文天堂在线官网| 日本黄大片高清| 肉色欧美久久久久久久蜜桃| 国产黄片美女视频| 纵有疾风起免费观看全集完整版| 欧美xxⅹ黑人| av福利片在线观看| 国产av一区二区精品久久| 久热这里只有精品99| 久久久久久久亚洲中文字幕| 中文字幕人妻熟人妻熟丝袜美| 如何舔出高潮| 蜜桃久久精品国产亚洲av| 亚洲国产成人一精品久久久| 韩国高清视频一区二区三区| 最近的中文字幕免费完整| 免费黄色在线免费观看| 一级黄片播放器| 最近的中文字幕免费完整| 亚洲人与动物交配视频| 在现免费观看毛片| 黄色视频在线播放观看不卡| 人妻系列 视频| 国产 精品1| 国产精品熟女久久久久浪| 一本大道久久a久久精品| 最近手机中文字幕大全| 大片免费播放器 马上看| 好男人视频免费观看在线| 久久 成人 亚洲| 一二三四中文在线观看免费高清| 在线观看免费高清a一片| 男男h啪啪无遮挡| 精品少妇内射三级| 精品卡一卡二卡四卡免费| 中文字幕精品免费在线观看视频 | 黄色一级大片看看| 亚洲国产日韩一区二区| 亚洲欧美成人精品一区二区| 国产精品人妻久久久久久| 日本黄色日本黄色录像| 亚洲欧美日韩东京热| 精品酒店卫生间| 色94色欧美一区二区| 久久久久久久久久人人人人人人| 欧美日韩一区二区视频在线观看视频在线| 你懂的网址亚洲精品在线观看| 美女脱内裤让男人舔精品视频| 中文字幕人妻丝袜制服| 国产永久视频网站| 国产精品福利在线免费观看| 少妇人妻 视频| www.av在线官网国产| 人妻一区二区av| 午夜免费男女啪啪视频观看| 在线播放无遮挡| 人妻一区二区av| 欧美激情极品国产一区二区三区 | 国产精品一区二区在线不卡| 欧美日韩视频高清一区二区三区二| 久久精品久久精品一区二区三区| 高清不卡的av网站| 亚洲综合精品二区| 国产老妇伦熟女老妇高清| 啦啦啦啦在线视频资源| 亚洲av在线观看美女高潮| 男女无遮挡免费网站观看| 色5月婷婷丁香| 性高湖久久久久久久久免费观看| 国产黄片美女视频| 久久毛片免费看一区二区三区| 欧美日本中文国产一区发布| av专区在线播放| 欧美成人午夜免费资源| 国产欧美日韩一区二区三区在线 | 欧美日韩亚洲高清精品| 18禁动态无遮挡网站| tube8黄色片| 亚洲欧美成人精品一区二区| 亚洲国产日韩一区二区| 一级毛片黄色毛片免费观看视频| 久久久亚洲精品成人影院| 街头女战士在线观看网站| 欧美精品一区二区免费开放| 国产极品粉嫩免费观看在线 | 欧美日本中文国产一区发布| 国产黄片美女视频| 午夜福利网站1000一区二区三区| 国产一区二区三区av在线| 亚洲欧洲国产日韩| 午夜激情久久久久久久| 久久人人爽av亚洲精品天堂| 美女福利国产在线| 人妻人人澡人人爽人人| 亚洲欧美日韩另类电影网站| 少妇的逼水好多| 国产av精品麻豆| 桃花免费在线播放| 精品国产国语对白av| 自线自在国产av| 一个人看视频在线观看www免费| 日日啪夜夜撸| a级毛片免费高清观看在线播放| 亚洲综合精品二区| 国产欧美日韩一区二区三区在线 | 天堂俺去俺来也www色官网| 在线观看人妻少妇| 日韩熟女老妇一区二区性免费视频| 久久国产精品大桥未久av | 日日爽夜夜爽网站| 在现免费观看毛片| 人妻系列 视频| 亚洲欧美一区二区三区国产| 亚洲av不卡在线观看| 欧美一级a爱片免费观看看| 久久这里有精品视频免费| 国产在线视频一区二区| 制服丝袜香蕉在线| 美女主播在线视频| 国产男女内射视频| 一二三四中文在线观看免费高清| av不卡在线播放| 熟女人妻精品中文字幕| 一级av片app| 纯流量卡能插随身wifi吗| 久久av网站| 我的老师免费观看完整版| 搡女人真爽免费视频火全软件| 国产亚洲欧美精品永久| 精品一区在线观看国产| 免费观看无遮挡的男女| 欧美 亚洲 国产 日韩一| 精品人妻熟女av久视频| 青春草国产在线视频| 欧美97在线视频| 久久久久久久久久人人人人人人| 中文字幕人妻丝袜制服| 日本午夜av视频| 啦啦啦在线观看免费高清www| 成人黄色视频免费在线看| 日韩精品有码人妻一区| 丰满迷人的少妇在线观看| 男男h啪啪无遮挡| 亚洲精品久久午夜乱码| 国产成人免费无遮挡视频| 中文乱码字字幕精品一区二区三区| 性色av一级| 日韩精品免费视频一区二区三区 | 欧美最新免费一区二区三区| 日韩人妻高清精品专区| 精品一区二区免费观看| 嫩草影院新地址| 国产精品久久久久久精品电影小说| 女的被弄到高潮叫床怎么办| 亚洲第一区二区三区不卡| 深夜a级毛片| av又黄又爽大尺度在线免费看| 国产亚洲午夜精品一区二区久久| 黄色怎么调成土黄色| 最近的中文字幕免费完整| 欧美一级a爱片免费观看看| 亚洲经典国产精华液单| 汤姆久久久久久久影院中文字幕| 亚洲精品乱久久久久久| 丰满乱子伦码专区| 好男人视频免费观看在线| 99热这里只有是精品在线观看| 欧美97在线视频| 熟女电影av网| 深夜a级毛片| 日韩强制内射视频| 乱系列少妇在线播放| 午夜影院在线不卡| 免费观看av网站的网址| 日韩不卡一区二区三区视频在线| 国产亚洲欧美精品永久| 91精品国产国语对白视频| 秋霞在线观看毛片| 久久亚洲国产成人精品v| 在线观看av片永久免费下载| 欧美日韩精品成人综合77777| 国产精品欧美亚洲77777| 高清欧美精品videossex| 高清在线视频一区二区三区| 成年人免费黄色播放视频 | 3wmmmm亚洲av在线观看| 视频中文字幕在线观看| 久久99热6这里只有精品| 大又大粗又爽又黄少妇毛片口| 日本免费在线观看一区| 国产一区二区在线观看日韩| 欧美少妇被猛烈插入视频| 99九九在线精品视频 | 免费观看av网站的网址| 亚洲欧美精品专区久久| 久久综合国产亚洲精品| 国产黄色视频一区二区在线观看| 久久狼人影院| 全区人妻精品视频| 各种免费的搞黄视频| 国产av国产精品国产| 亚洲国产成人一精品久久久| 国产男女超爽视频在线观看| 色婷婷av一区二区三区视频| 美女福利国产在线| 成人二区视频| 国产毛片在线视频| 免费人妻精品一区二区三区视频| 亚洲情色 制服丝袜| 免费黄色在线免费观看| 国产免费又黄又爽又色| 夜夜看夜夜爽夜夜摸| 亚洲天堂av无毛| 欧美少妇被猛烈插入视频| 一本大道久久a久久精品| 91精品国产九色| 欧美高清成人免费视频www| 国产一区二区三区av在线| 青春草亚洲视频在线观看| 麻豆精品久久久久久蜜桃| 免费人成在线观看视频色| 寂寞人妻少妇视频99o| 日韩三级伦理在线观看| 日韩免费高清中文字幕av| 极品少妇高潮喷水抽搐| h日本视频在线播放| 亚洲精品日韩av片在线观看| 人人妻人人添人人爽欧美一区卜| 国产亚洲一区二区精品| 在线观看免费视频网站a站| 大话2 男鬼变身卡| 亚洲精品国产色婷婷电影| 亚洲人与动物交配视频| 国产淫语在线视频| 国产精品久久久久久久电影| 亚洲怡红院男人天堂| 高清欧美精品videossex| tube8黄色片| 亚洲第一区二区三区不卡| 国产欧美日韩综合在线一区二区 | 国内精品宾馆在线| 熟妇人妻不卡中文字幕| 亚洲欧美日韩东京热| 午夜福利在线观看免费完整高清在| 黄片无遮挡物在线观看| 在线观看国产h片| 在线 av 中文字幕| 99久久精品一区二区三区| 一级,二级,三级黄色视频| 91久久精品国产一区二区三区| 日韩 亚洲 欧美在线| 久久婷婷青草| 日韩一本色道免费dvd| 桃花免费在线播放| 美女内射精品一级片tv| 精品亚洲成a人片在线观看| h日本视频在线播放| 免费播放大片免费观看视频在线观看| 午夜福利视频精品| 日韩一区二区三区影片| 日韩成人伦理影院| 在线观看免费日韩欧美大片 | av免费在线看不卡| 国产精品久久久久成人av| 一级爰片在线观看| 日韩一本色道免费dvd| 国产亚洲最大av| 欧美精品亚洲一区二区| 熟女av电影| 日韩av在线免费看完整版不卡| 97在线视频观看| 最近2019中文字幕mv第一页| 国产午夜精品一二区理论片| 天天操日日干夜夜撸| 一级毛片电影观看| 女的被弄到高潮叫床怎么办| 99久久中文字幕三级久久日本| 青春草亚洲视频在线观看| 97精品久久久久久久久久精品| 国产成人午夜福利电影在线观看| 亚洲激情五月婷婷啪啪| 免费观看性生交大片5| 丁香六月天网| 亚洲成人av在线免费| 九色成人免费人妻av| 国产淫片久久久久久久久| 少妇的逼水好多| 国内揄拍国产精品人妻在线| 好男人视频免费观看在线| 赤兔流量卡办理| av网站免费在线观看视频| 国产精品三级大全| 人妻系列 视频| 欧美人与善性xxx| 最新中文字幕久久久久| 好男人视频免费观看在线| 国产色婷婷99| 久久免费观看电影| 久久人人爽av亚洲精品天堂| 丝瓜视频免费看黄片| 熟女电影av网| 欧美另类一区| 欧美丝袜亚洲另类| 亚洲经典国产精华液单| 我的女老师完整版在线观看| 99热全是精品| av天堂中文字幕网| 亚洲精品乱久久久久久| 18禁动态无遮挡网站| 国产在线免费精品| 18禁裸乳无遮挡动漫免费视频| 亚洲欧美日韩另类电影网站| 欧美+日韩+精品| 亚洲av日韩在线播放| 日韩制服骚丝袜av| 啦啦啦视频在线资源免费观看| 日日啪夜夜爽| 边亲边吃奶的免费视频| 久久人人爽av亚洲精品天堂| 亚洲精品一区蜜桃| a级毛片在线看网站| av天堂久久9| 欧美成人午夜免费资源| 亚洲欧美一区二区三区黑人 | 一级a做视频免费观看| 内地一区二区视频在线| 汤姆久久久久久久影院中文字幕| 2021少妇久久久久久久久久久| 99视频精品全部免费 在线| 中文字幕av电影在线播放| 国产成人freesex在线| 一级a做视频免费观看| 在线观看人妻少妇| 亚洲av.av天堂| 午夜精品国产一区二区电影| 久久久午夜欧美精品| 日韩免费高清中文字幕av| 欧美日本中文国产一区发布| 高清av免费在线| av在线app专区| 日韩中字成人| 欧美丝袜亚洲另类| 亚洲一区二区三区欧美精品| 欧美 亚洲 国产 日韩一| 国产男女超爽视频在线观看| 国产日韩一区二区三区精品不卡 | 少妇的逼好多水| 国产爽快片一区二区三区| 少妇被粗大猛烈的视频| 韩国高清视频一区二区三区| 成人毛片a级毛片在线播放| 日韩免费高清中文字幕av| 日韩一区二区三区影片| 日本黄色片子视频| 久久久久久久久久成人| 日日撸夜夜添| 99热这里只有是精品在线观看| 黄色日韩在线| 久久ye,这里只有精品| 国产亚洲一区二区精品| 大陆偷拍与自拍| 在线观看国产h片| 极品少妇高潮喷水抽搐| 亚洲精品视频女| av卡一久久| 另类亚洲欧美激情| 亚洲综合色惰| 中文字幕亚洲精品专区| 天天操日日干夜夜撸| 精品卡一卡二卡四卡免费| 人人妻人人看人人澡| 国产一区二区在线观看av| 国产中年淑女户外野战色| 老司机影院毛片| 久久久久久久精品精品| 不卡视频在线观看欧美| 亚洲国产欧美在线一区| 一级av片app| 91午夜精品亚洲一区二区三区| 精品国产国语对白av| 99re6热这里在线精品视频| 亚洲国产精品一区三区| 国产精品人妻久久久久久| 欧美另类一区| 精品一区二区三卡| 免费观看a级毛片全部| 久久久久国产精品人妻一区二区| av网站免费在线观看视频| 王馨瑶露胸无遮挡在线观看| 三级经典国产精品| 校园人妻丝袜中文字幕| 一级毛片aaaaaa免费看小| 大码成人一级视频| 国产在线一区二区三区精| 观看av在线不卡| 99热这里只有是精品在线观看| 日本黄大片高清| 久久韩国三级中文字幕| 国产精品不卡视频一区二区| 午夜激情久久久久久久| 丝瓜视频免费看黄片| 日本午夜av视频| 国产精品国产三级国产专区5o| 亚洲精品自拍成人| 少妇 在线观看| 久久免费观看电影| 日韩免费高清中文字幕av| 精品国产一区二区三区久久久樱花| 黄色怎么调成土黄色| 亚洲丝袜综合中文字幕| 亚洲综合色惰| kizo精华| 2018国产大陆天天弄谢| av在线app专区| 欧美bdsm另类| 亚洲人成网站在线播| 免费人妻精品一区二区三区视频| 国产精品99久久99久久久不卡 | 人人妻人人添人人爽欧美一区卜| 久久这里有精品视频免费| 日本猛色少妇xxxxx猛交久久| 一个人免费看片子| 亚洲怡红院男人天堂| 晚上一个人看的免费电影| 日产精品乱码卡一卡2卡三| 水蜜桃什么品种好| 交换朋友夫妻互换小说| 麻豆成人午夜福利视频| av.在线天堂| 一级毛片我不卡| 免费av不卡在线播放| 亚洲欧洲精品一区二区精品久久久 | 久久人人爽av亚洲精品天堂| 精品一区二区三卡| 草草在线视频免费看| 嘟嘟电影网在线观看| 国产午夜精品久久久久久一区二区三区| 啦啦啦啦在线视频资源| 久久99精品国语久久久| 久久精品国产亚洲网站| 男女免费视频国产| 丰满少妇做爰视频| 国产白丝娇喘喷水9色精品| av在线播放精品| 内射极品少妇av片p| 日韩成人av中文字幕在线观看| 久久亚洲国产成人精品v| √禁漫天堂资源中文www| 日韩视频在线欧美| 十分钟在线观看高清视频www | 久久久久久久亚洲中文字幕| 日韩中字成人| 中文字幕制服av| 如日韩欧美国产精品一区二区三区 | 日韩欧美 国产精品| 久久国内精品自在自线图片| 国产精品一区二区在线观看99| 激情五月婷婷亚洲| 国产成人精品一,二区| 中文精品一卡2卡3卡4更新| av线在线观看网站| 99热国产这里只有精品6| 成人二区视频| 亚洲精品久久久久久婷婷小说| 人妻少妇偷人精品九色| 我的老师免费观看完整版| 国产亚洲精品久久久com| 老司机影院毛片| 黄色怎么调成土黄色| 人人妻人人看人人澡| 欧美少妇被猛烈插入视频| 美女中出高潮动态图| 欧美精品国产亚洲| 极品少妇高潮喷水抽搐| 草草在线视频免费看| 狠狠精品人妻久久久久久综合| 久久国产乱子免费精品| 国产无遮挡羞羞视频在线观看| 欧美日韩视频精品一区| 丝袜脚勾引网站| 91久久精品电影网| 国产 精品1| 婷婷色麻豆天堂久久| 久久久久国产精品人妻一区二区| 人妻夜夜爽99麻豆av| 少妇 在线观看| 国产永久视频网站| 久久久久精品性色| 日韩欧美 国产精品| 欧美 亚洲 国产 日韩一| 久久人妻熟女aⅴ| 亚洲欧美清纯卡通| 久久久久久久久久人人人人人人| 18禁在线无遮挡免费观看视频| 黄色日韩在线| 能在线免费看毛片的网站| 插逼视频在线观看| 国产免费视频播放在线视频| 免费av不卡在线播放| 能在线免费看毛片的网站| 性高湖久久久久久久久免费观看| 美女内射精品一级片tv| 天天操日日干夜夜撸| 日本黄色片子视频| 国产精品秋霞免费鲁丝片| 国产91av在线免费观看| 99久久精品热视频| 国产一区有黄有色的免费视频| 亚洲一级一片aⅴ在线观看| 99久久人妻综合| 丰满人妻一区二区三区视频av| 免费人成在线观看视频色| 9色porny在线观看| 久久女婷五月综合色啪小说| 精品国产国语对白av| 精品国产一区二区三区久久久樱花| 大香蕉97超碰在线| 亚洲精品视频女| 亚洲精品中文字幕在线视频 | 国产国拍精品亚洲av在线观看| av视频免费观看在线观看|