• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    數(shù)字人文類眾包抄錄平臺中任務(wù)績效的影響因素研究

    2019-09-24 01:43韓文婷宋士杰趙宇翔朱慶華
    圖書與情報 2019年3期
    關(guān)鍵詞:數(shù)字人文

    韓文婷 宋士杰 趙宇翔 朱慶華

    摘? ?要:數(shù)字人文類眾包抄錄項目對文化遺產(chǎn)的轉(zhuǎn)錄、存儲、傳播和發(fā)展而言具有重要意義。由于該類型的項目具有專業(yè)性高、任務(wù)量大等特點,因此保證抄錄質(zhì)量、提高任務(wù)績效是優(yōu)化眾包抄錄的主要任務(wù)之一。本文以國內(nèi)具有代表性的數(shù)字人文類眾包抄錄平臺--盛宣懷檔案眾包抄錄項目為例,選擇了準(zhǔn)實驗的研究方法,探討不同任務(wù)復(fù)雜度和領(lǐng)域知識水平下,眾包抄錄任務(wù)的績效差異。研究結(jié)果表明,任務(wù)復(fù)雜度和領(lǐng)域知識水平及兩者之間的交互作用均影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效。研究結(jié)論為國內(nèi)數(shù)字人文類眾包平臺的建設(shè)提供了任務(wù)設(shè)計、參與者招募及任務(wù)匹配等方面的實踐建議。

    關(guān)鍵詞:數(shù)字人文;科研眾包;任務(wù)績效;任務(wù)復(fù)雜度;領(lǐng)域知識

    中圖分類號:G315? ?文獻(xiàn)標(biāo)識碼:A? ?DOI:10.11968/tsyqb.1003-6938.2019044

    Influence Factors of Task Performance on Crowdsourcing Transcription Platform in Digital Humanity Domain: Perspectives of Task Complexity and Domain Knowledge

    Abstract Crowdsourcing transcription projects in digital humanity domain are of great significance to the transcription, storage, disseminate and development of cultural heritage. However, because of the heavy workload and the high-level professionalism in the crowdsourcing projects, it becomes necessary to ensure the performance of crowdsourcing tasks. This paper adopts Transcribe-Sheng Project, one of the typical crowdsourcing projects in digital humanity domain in China, as a case. We conduct a quasi-experiment to explore the difference of task performance in the crowdsourcing transcription projects from two perspectives-task complexity and domain knowledge. Our findings reveal that both task complexity and domain knowledge significantly influence task performance. What's more, there is an interaction effect exists between task complexity and domain knowledge on task performance. Based on these findings, we provide some practical suggestions on task design, participants' recruitment and task fit for the crowdsourcing transcription projects in digital humanity domain in China.

    Key words digital humanity; scientific crowdsourcing; task performance; task complexity; domain knowledge

    1? ?引言

    近年來,文化產(chǎn)業(yè)在我國國民經(jīng)濟(jì)中所占比重不斷上升,已成為黨和國家高度重視的產(chǎn)業(yè)之一:從十七大開始,國家就提出了“文化大發(fā)展大繁榮”的戰(zhàn)略;十八大提出的“建設(shè)文化強(qiáng)國”已成為我國發(fā)展的重要目標(biāo);日前,十九大再次強(qiáng)調(diào),要“堅定文化自信”,推動社會主義文化的發(fā)展與繁榮。我國作為歷史文化悠久的四大文明古國之一,豐富的文化遺產(chǎn)的保存、傳播與發(fā)展是發(fā)展文化產(chǎn)業(yè)中非常重要的一環(huán)?,F(xiàn)今,在新一代的互聯(lián)網(wǎng)環(huán)境下,如何將豐富的文化遺產(chǎn)數(shù)字化,成為社會各界需要迫切關(guān)注的問題。首先,數(shù)字化技術(shù)在文化遺產(chǎn)的保存、傳播、發(fā)展過程中發(fā)揮著越來越重要的作用。早在20世紀(jì)50年代,計算機(jī)相關(guān)技術(shù)就已經(jīng)開始應(yīng)用于人文學(xué)科[1]。近年來,計算機(jī)等信息技術(shù)的迅速發(fā)展,為數(shù)字化技術(shù)在人文領(lǐng)域的大規(guī)模使用提供了條件,許多數(shù)字化工具也應(yīng)運(yùn)而生,如數(shù)碼相機(jī)、OCR識別技術(shù)、數(shù)據(jù)庫、云存儲等。但是,這些數(shù)字化技術(shù)與工具也存在著一定的缺陷,如功能單一,缺少集捕獲、識別、上傳、存儲等功能于一身的工具等[2]。更重要的是,我國的文化遺產(chǎn)資源具有其特殊性,不同時代、不同地域的文化資源會受到不同的歷史背景與風(fēng)俗習(xí)慣的影響,這種特殊性使得我國的文化遺產(chǎn)很難通過計算機(jī)技術(shù)進(jìn)行采集與識別[3],如在古籍的抄錄工作中,不同書法風(fēng)格的手稿以及模糊、破損的文件等很難進(jìn)行自動識別,仍需利用眾包的方式,招募志愿者進(jìn)行手工抄錄。

    近年來,眾包在GLAMs(展覽館、圖書館、檔案館、博物館)項目的應(yīng)用越發(fā)廣泛,如“Transcribe Bentham Project” “Old Weather” “Australia Newspaper Digitization Program” 等[3]。在這些科研眾包項目中,如何吸引大量參與者并激勵其進(jìn)行持續(xù)參與,成為學(xué)者普遍關(guān)注的話題,包括對志愿者前期參與動機(jī)的探索及后期持續(xù)參與意愿的研究[4-7]。然而,在鼓勵志愿者參與之外,如何提高志愿者完成任務(wù)時的任務(wù)績效,也是一個值得探究的問題。鑒于此,本文選取了具有代表性的中國數(shù)字人文類眾包平臺——上海圖書館盛宣懷檔案抄錄平臺,從任務(wù)復(fù)雜度和領(lǐng)域知識的視角,利用準(zhǔn)實驗的研究方法,探索了影響數(shù)字人文類眾包項目中志愿者任務(wù)績效的相關(guān)因素。本文的研究結(jié)論為數(shù)字人文類眾包平臺優(yōu)化任務(wù)設(shè)計、提高志愿者的任務(wù)績效等提供了一定參考。

    2? ?相關(guān)概念

    2.1? ? 任務(wù)復(fù)雜度

    隨著技術(shù)的發(fā)展與進(jìn)步,人們?yōu)榱斯ぷ髋c生活所需完成的各項任務(wù)也變得越來越復(fù)雜。任務(wù)復(fù)雜度作為影響和預(yù)測人們行為和績效的重要任務(wù)特征之一,已被廣泛應(yīng)用于心理學(xué)、教育學(xué)以及管理學(xué)等多個領(lǐng)域的研究之中。在眾包領(lǐng)域,現(xiàn)有許多研究將任務(wù)視為一個重要的影響因素[8],相應(yīng)的,任務(wù)的一些概念、屬性和特征,如任務(wù)復(fù)雜度等,也經(jīng)常作為影響因素或前置變量,被應(yīng)用于眾包相關(guān)的研究中。

    對任務(wù)復(fù)雜度這一概念的理解,許多學(xué)者從不同維度進(jìn)行了定義和解釋。一種觀點是從資源需求的角度來解讀任務(wù),將任務(wù)復(fù)雜度定義為完成一項任務(wù)所需的資源總量。已有文獻(xiàn)中提及的任務(wù)處理所需資源類型包括認(rèn)知資源、短期記憶資源、身體和心理資源、視聽資源等[9-13]。Liu和Li[14]認(rèn)為完成任務(wù)所需的資源數(shù)量可作為任務(wù)復(fù)雜度的一種度量,相關(guān)的資源類型包括視覺資源、聽覺資源、認(rèn)知資源及精神運(yùn)動資源等注意力資源[15],以及知識、技能等方面的資源。還有一些學(xué)者從任務(wù)的客觀屬性角度對任務(wù)復(fù)雜度進(jìn)行了定義,Vande Ven等[16]認(rèn)為任務(wù)復(fù)雜度主要基于任務(wù)的不確定性,包括任務(wù)在輸入、處理、輸出三個過程中的不確定性;Campbell在總結(jié)前人的研究成果的基礎(chǔ)上,認(rèn)為任務(wù)復(fù)雜度的基本屬性包括完成路徑的多樣性、路徑之間的沖突性、產(chǎn)出結(jié)果的多樣性以及路徑與結(jié)果之間的不確定性[9]。除此之外,已有研究在對任務(wù)復(fù)雜度的定義中還提及了任務(wù)要素數(shù)量、子任務(wù)數(shù)量、任務(wù)并發(fā)性、動態(tài)性、隨機(jī)性、歧義、時間壓力等屬性[17-21]。

    除了上述任務(wù)的客觀屬性,研究者還從主客觀維度將任務(wù)復(fù)雜度劃分為主觀任務(wù)復(fù)雜度與客觀任務(wù)復(fù)雜度??陀^任務(wù)復(fù)雜度僅關(guān)注任務(wù)的客觀屬性,認(rèn)為任務(wù)復(fù)雜度與任務(wù)執(zhí)行者無關(guān)[22];而主觀任務(wù)復(fù)雜度則考慮任務(wù)與任務(wù)執(zhí)行者之間的聯(lián)合屬性[23],將任務(wù)復(fù)雜度定義為人與任務(wù)特征之間進(jìn)行交互作用的產(chǎn)物[14]。在主觀任務(wù)復(fù)雜度的視角下,任務(wù)復(fù)雜度更偏向于任務(wù)執(zhí)行者的感知復(fù)雜度,因此影響感知復(fù)雜度的因素主要包括:經(jīng)驗、任務(wù)動力、認(rèn)知能力、先驗確定性、自信、自我效能等[20,24]。

    如前所述,由于任務(wù)復(fù)雜度的定義涉及了多個角度,因此對任務(wù)復(fù)雜度的度量也有不同的方式。對任務(wù)復(fù)雜度某一項內(nèi)在特征的度量結(jié)果或某幾項特征的度量結(jié)果之和均可視為任務(wù)復(fù)雜度水平的一部分。比較常見的任務(wù)復(fù)雜度測量方法是從子任務(wù)數(shù)量的屬性出發(fā),如子任務(wù)的數(shù)量、關(guān)系和變化等特征均可作為任務(wù)復(fù)雜度的衡量指標(biāo)之一,甚至某些研究中直接以子任務(wù)的數(shù)量來定義任務(wù)復(fù)雜度[14];Campbell[9]認(rèn)為,任何能夠增加信息負(fù)荷、多樣性或變化率的任務(wù)特征都可用來衡量任務(wù)復(fù)雜度。但從資源需求的角度而言,完成任務(wù)的資源需求量越高,任務(wù)復(fù)雜度水平也就越高。在本文中,為符合實驗設(shè)置要求,筆者將從客觀評估的角度來衡量任務(wù)復(fù)雜度,而不考慮主觀評估。在任務(wù)特征的選取中,筆者將結(jié)合任務(wù)屬性和資源需求兩種角度,選取子任務(wù)的任務(wù)數(shù)量、以及完成任務(wù)的資源需求量這兩個任務(wù)特征,作為衡量任務(wù)復(fù)雜度水平的兩個指標(biāo)。某項任務(wù)的子任務(wù)數(shù)量越多,完成任務(wù)的資源需求量越高,該項任務(wù)的任務(wù)復(fù)雜度水平就越高。

    2.2? ? 領(lǐng)域知識

    領(lǐng)域知識(Domain Knowledge),顧名思義,指的是個體對某一領(lǐng)域或某一主題的知識的理解,包括對相關(guān)概念、目標(biāo)、規(guī)則或者原則等的理解[25]。實際上,學(xué)界對領(lǐng)域知識的定義尚未統(tǒng)一,盡管先前的研究中涉及到了知識的分類,如將知識分為顯性知識和隱形知識[26],但是目前還未提出一個將知識分類為某些特定領(lǐng)域的系統(tǒng)方法。

    目前,領(lǐng)域知識主要被應(yīng)用于信息檢索的相關(guān)研究中,在信息檢索的情境下,領(lǐng)域知識被定義為與檢索主題本身相關(guān)的知識,而非檢索技術(shù)相關(guān)[27],且領(lǐng)域知識已被確定為影響信息檢索結(jié)果、信息檢索行為、信息檢索策略以及用戶與信息系統(tǒng)交互行為的因素之一。在不同的研究中,根據(jù)研究情境的不同,研究者所選取的知識的具體領(lǐng)域也有所區(qū)別。比如在微生物學(xué)相關(guān)的數(shù)據(jù)庫進(jìn)行檢索的情境下,研究者選取的領(lǐng)域知識即為微生物學(xué)領(lǐng)域的專業(yè)知識,并驗證其對用戶的檢索模式的影響[27]。除此之外,還有學(xué)者選擇了經(jīng)濟(jì)學(xué)專業(yè)知識[28]、心理學(xué)專業(yè)知識[29]、醫(yī)學(xué)專業(yè)知識[30]、圖書館學(xué)專業(yè)知識[31]等不同領(lǐng)域知識,探索這些不同領(lǐng)域的領(lǐng)域知識對用戶檢索行為的影響。

    綜上所述,領(lǐng)域知識在具體領(lǐng)域的選擇,需符合具體研究的研究主題。在本研究中,數(shù)字人文類的眾包抄錄任務(wù),具體而言是對盛宣懷檔案的手工抄錄任務(wù)。其所需的專業(yè)知識可細(xì)分為兩類:一類是與盛宣懷及其時代背景相關(guān)的專業(yè)歷史知識,一類是識別繁體字與閱讀文言文所需的泛在文化知識。因此,在本文的研究情境下,領(lǐng)域知識涵蓋了上述兩類,即包括歷史背景的專業(yè)知識與古漢語文字識別的泛在文化知識。

    2.3? ? 任務(wù)績效

    績效是組織管理中常用的一個概念,不同研究對績效概念在層次與維度上的解讀各有差異。首先,對績效不同層次的理解可分為三層:個體層面、團(tuán)隊層面和組織層面。在本文中,由于眾包抄錄任務(wù)的參與者為個體,因此更傾向于從個體層面來理解績效。個體層面的績效概念界定,不同學(xué)者有不同的看法。部分學(xué)者認(rèn)為績效是一種目標(biāo)導(dǎo)向的行為,Murphy[32]和Campbell[33]均支持這一觀點。在這種觀點下,個體為了達(dá)成組織設(shè)定的目標(biāo)而進(jìn)行的一系列行為,均可視為個體的績效。這種行為績效由個體直接表現(xiàn)出來,更容易被觀測。另一種觀點認(rèn)為績效更應(yīng)當(dāng)被定義為工作的結(jié)果[34]。因為工作結(jié)果與組織目標(biāo)實現(xiàn)與否間的關(guān)系更為直接,且更能夠直觀反映出個體在組織中的貢獻(xiàn)程度。

    在對績效的不同維度的理解上,Borman和Motowidlo[35]提出的績效的二維模型最被大家所接受,該模型從任務(wù)績效和關(guān)系績效兩個維度來理解績效這一概念。任務(wù)績效指的是個體應(yīng)當(dāng)承擔(dān)的工作的完成情況和結(jié)果,與個體被規(guī)定的工作范圍、個體的工作能力等有關(guān);而關(guān)系績效更多指的是個體在工作范圍之外的貢獻(xiàn)程度,如人際關(guān)系促進(jìn)等,關(guān)系績效更多的受到個體的人格、態(tài)度等因素的影響。目前,已有學(xué)者在中國的文化背景下驗證了績效的二維模型,并證明了該模型在中國背景下依舊適用[36]。

    在本文的研究情境下,由于本文設(shè)計的實驗中參與者均為單個個體。因此,本文中的績效更多的偏向于個體層面以及任務(wù)績效維度,任務(wù)績效是與個體的工作產(chǎn)出直接相關(guān)的,并且可以被直接評價[37]。因此,本文將邀請古漢語專業(yè)的專家來對參與者完成的眾包抄錄任務(wù)進(jìn)行評價,并將評價結(jié)果作為參與者的任務(wù)績效。

    3? ?研究假設(shè)

    3.1? ? 任務(wù)復(fù)雜度對任務(wù)績效的影響

    已有大量文獻(xiàn)在不同情境下探索了任務(wù)復(fù)雜度與任務(wù)績效之間的關(guān)系,在總結(jié)已有研究的基礎(chǔ)上,Liu和Li[38]將任務(wù)復(fù)雜性與任務(wù)績效的關(guān)系歸結(jié)為了四類:

    (1)任務(wù)復(fù)雜度與任務(wù)績效負(fù)相關(guān)。大多數(shù)任務(wù)復(fù)雜度的研究都支持了任務(wù)復(fù)雜度與任務(wù)績效之間的負(fù)相關(guān)關(guān)系。因為低復(fù)雜度的任務(wù)意味著較低的資源需求量,對認(rèn)知、短期記憶、心理等方面的要求要低于高復(fù)雜度的任務(wù)[11],且有學(xué)者認(rèn)為低復(fù)雜度的情況下,人們的決策和執(zhí)行能力更加準(zhǔn)確[39],因此低復(fù)雜度任務(wù)的任務(wù)績效一般會高于高復(fù)雜度任務(wù)的任務(wù)績效。

    (2)任務(wù)復(fù)雜度與任務(wù)績效正相關(guān)。部分學(xué)者在實證研究中發(fā)現(xiàn),任務(wù)復(fù)雜度有可能會正向激勵任務(wù)績效的提高。如在學(xué)習(xí)任務(wù)中,任務(wù)復(fù)雜度可以激發(fā)潛力,提高學(xué)習(xí)績效[40];在一些重復(fù)性比較高的工作中,任務(wù)復(fù)雜度可以通過提高工作興趣而提升任務(wù)績效[41]。

    (3)任務(wù)復(fù)雜度對任務(wù)績效的影響會受到其他因素的調(diào)節(jié)作用。在這種觀點下,任務(wù)復(fù)雜度與任務(wù)績效的關(guān)系會受到其他因素的調(diào)節(jié)與制約。

    (4)任務(wù)復(fù)雜度與任務(wù)績效的關(guān)系呈倒Y型。有些學(xué)者認(rèn)為,在一定閾值范圍內(nèi),任務(wù)復(fù)雜度水平的增加會促進(jìn)任務(wù)績效的提升,但當(dāng)任務(wù)復(fù)雜度水平超過任務(wù)執(zhí)行者的能力范圍之后,過高的任務(wù)復(fù)雜度反而會降低任務(wù)績效[18]。

    綜上所述,任務(wù)復(fù)雜度的變化確實會影響任務(wù)績效的高低。在本文的研究中,由于筆者選取了資源需求量和子任務(wù)數(shù)量作為任務(wù)復(fù)雜度的兩個測量維度,即任務(wù)復(fù)雜度水平越高的任務(wù),對資源的需求越高,子任務(wù)的數(shù)量也越多,相應(yīng)的,對任務(wù)執(zhí)行者的能力和時間的要求也就越高;且本文所選取的任務(wù)為數(shù)字人文類眾包平臺中的手稿抄錄任務(wù),該類任務(wù)本身具有一定的難度和挑戰(zhàn)性,并非枯燥的重復(fù)性工作和學(xué)習(xí)任務(wù),筆者認(rèn)為抄錄任務(wù)中任務(wù)復(fù)雜度的增加對參與者的激勵作用不大。因此,在上述分析的基礎(chǔ)上,本文提出了如下假設(shè):

    H1:任務(wù)復(fù)雜度的高低會影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效,且隨著任務(wù)復(fù)雜度的增高,任務(wù)績效反而會降低。

    3.2? ? 領(lǐng)域知識對任務(wù)績效的影響

    如前所述,現(xiàn)有研究關(guān)于領(lǐng)域知識的研究主要集中在信息檢索領(lǐng)域。研究者對領(lǐng)域知識與檢索策略、行為與結(jié)果之間的關(guān)系進(jìn)行了一系列的探索,并從不同的角度得出了不同的結(jié)果。有學(xué)者認(rèn)為,領(lǐng)域知識水平較高的檢索者與領(lǐng)域知識水平較低的檢索者相比,檢索過程更高效,檢索結(jié)果也更準(zhǔn)確。但是在領(lǐng)域知識的作用機(jī)制方面,不同學(xué)者有不同看法,Hoelscher和Strube[28]認(rèn)為,領(lǐng)域知識水平高的檢索者可以得到更多相關(guān)的檢索結(jié)果,進(jìn)而得到較好的搜索結(jié)果;Tabatabai和Shore[42]則認(rèn)為,領(lǐng)域知識水平高的檢索者檢索結(jié)果更好是因為領(lǐng)域知識可以幫助他們更好地區(qū)分相關(guān)與不相關(guān)的檢索結(jié)果;Xie和Cool[43]認(rèn)為,領(lǐng)域知識水平高的檢索者可以更好的尋求檢索環(huán)境中的各類幫助,從而更順暢的進(jìn)行搜索過程;除此之外,Allen[44]發(fā)現(xiàn),領(lǐng)域知識水平高的檢索者可利用更多的關(guān)鍵詞進(jìn)行檢索,制定更加精確的檢索式來找到想要的結(jié)果。在學(xué)術(shù)信息搜索的情境下,Wu等[45]利用實驗的方法,探索了領(lǐng)域知識與協(xié)同經(jīng)驗對協(xié)同學(xué)術(shù)信息搜尋行為的影響,研究結(jié)果發(fā)現(xiàn),領(lǐng)域知識與協(xié)同經(jīng)驗均能提高群體的協(xié)同學(xué)術(shù)信息搜尋行為,且領(lǐng)域知識的影響要高于協(xié)同經(jīng)驗。上述所有研究結(jié)果均顯示,領(lǐng)域知識正向影響檢索結(jié)果。然而,還有部分研究并沒有發(fā)現(xiàn)領(lǐng)域知識與檢索結(jié)果之間的顯著關(guān)系。如Campbell[33]發(fā)現(xiàn),在檢索經(jīng)驗一致的情況下,領(lǐng)域知識對檢索結(jié)果的影響并不顯著[33]。

    綜上所述,在本文的研究情境下,筆者認(rèn)為領(lǐng)域知識水平高的參與者完成的抄錄任務(wù)績效會更高。首先,領(lǐng)域知識水平高的參與者,其識別繁體字、閱讀文言文的能力更強(qiáng);其次,在抄錄過程中遇到超越自身能力的困難時,領(lǐng)域知識水平高的參與者也可以更迅速、精確地找到與之相關(guān)的資料來完成抄錄,并保證抄錄的質(zhì)量?;谏鲜龇治?,本文提出了第二個假設(shè):

    H2:參與者領(lǐng)域知識的豐富度會影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效。

    3.3? ? 任務(wù)復(fù)雜度與領(lǐng)域知識對任務(wù)績效的交互影響

    人們普遍認(rèn)為,個體的績效取決于任務(wù)特征(如復(fù)雜性和緊迫性)、任務(wù)執(zhí)行者特征(如知識和技能)和環(huán)境特征(如噪音和溫度)之間的相互作用[14]。在本文的實驗設(shè)計中,由于采取了準(zhǔn)實驗的研究方法,在自然的情況下進(jìn)行實驗處理,不會像實驗室實驗一樣控制環(huán)境等無關(guān)變量,因此本文探究的是任務(wù)特征(任務(wù)復(fù)雜性)與任務(wù)執(zhí)行者特征(領(lǐng)域知識)之間的相互作用對眾包抄錄任務(wù)的任務(wù)績效的影響。如前所述,任務(wù)復(fù)雜度越高,其子任務(wù)數(shù)量就越多,對參與者認(rèn)知等資源需求的要求也就越高;而領(lǐng)域知識水平較高的參與者,其獲取相關(guān)資料的能力較強(qiáng),因此面對任務(wù)復(fù)雜度較高的任務(wù)時,領(lǐng)域知識水平較高的參與者,其認(rèn)知資源需求會低于領(lǐng)域知識水平較低的參與者。因此,本文假設(shè),任務(wù)復(fù)雜度與領(lǐng)域知識間的交互作用會影響眾包抄錄中的任務(wù)績效。

    H3:任務(wù)復(fù)雜度與參與者領(lǐng)域知識,對數(shù)字人文類眾包抄錄平臺中的任務(wù)績效存在交互影響。

    4? ?實驗設(shè)計

    4.1? ? 實驗背景

    本文的實驗設(shè)計依托于上海圖書館的盛宣懷檔案抄錄項目,該項目是我國目前較為典型的大型數(shù)字人文類眾包抄錄項目之一。選擇該項目的理由如下:

    (1)豐富的史料資源:收藏于上海圖書館的盛宣懷檔案收錄了盛宣懷家族自1850至1936年間共計17萬余件的檔案記錄,檔案內(nèi)容涉及到清朝末年的政治、經(jīng)濟(jì)、社會、軍事、外交、金融、貿(mào)易、教育等各個方面,史料類型涵蓋日記、文稿、信札、電報、賬冊、電文、合同、章程等多種形式。由此,盛宣懷檔案被譽(yù)為“中國私人檔案第一藏”。

    (2)珍貴的歷史價值:盛宣懷檔案眾包抄錄項目對研究中國清末到近現(xiàn)代歷史而言具有重要意義。盛宣懷(1844-1916)是清朝末年重要的政治家與企業(yè)家,曾參與過洋務(wù)運(yùn)動、辛亥革命等重大歷史事件。因而盛宣懷檔案被視為研究“中國近代史的第一手史料寶庫”,對該檔案的抄錄具有重要的歷史價值。

    (3)完善的眾包平臺:由于盛宣懷檔案存在著數(shù)量巨大、識別困難(如手寫繁體、字跡模糊、紙張損壞)等問題,因此除了依靠有限的專業(yè)人員進(jìn)行數(shù)字化之外,招募大量參與者進(jìn)行眾包抄錄顯得極為重要。為此,上海圖書館于2016年發(fā)布了一個線上眾包抄錄平臺,并經(jīng)過測試與修改,于2017年正式啟動了該在線平臺[46]。該平臺持續(xù)發(fā)布盛宣懷檔案抄錄任務(wù),并支持專業(yè)人員與業(yè)余愛好者對盛宣懷檔案進(jìn)行在線抄錄。

    4.2? ? 變量設(shè)定

    在實驗研究中,較為常見的變量設(shè)置方式即為二分變量設(shè)置法,很多研究都采用了2×2的實驗組設(shè)計來探究兩個自變量及其交互作用對因變量的影響[47-48]。在本文的實驗研究中,也將兩個自變量——任務(wù)復(fù)雜度與領(lǐng)域知識,均設(shè)置為了二分變量(形成的2×2實驗組見圖1)。

    具體到單個變量的測定,本文將結(jié)合每個變量的內(nèi)在特征與實際的抄錄任務(wù)特征,來對具體變量進(jìn)行測定。首先,在對任務(wù)復(fù)雜度的測定中,如本文所述,將采取子任務(wù)數(shù)量及完成任務(wù)所需的資源總量兩個指標(biāo)來衡量任務(wù)復(fù)雜度水平。子任務(wù)數(shù)量,反映到具體的眾包抄錄任務(wù)特征中,即為抄錄任務(wù)中的圖片數(shù)量。在盛宣懷檔案眾包抄錄平臺中,每一個抄錄任務(wù)會提供不同數(shù)量的任務(wù)圖片,數(shù)量在一張到幾十張不等(見圖2),圖中所示的抄錄任務(wù)為信函抄錄任務(wù)(施亦爵致盛宣懷函),其中,“頁數(shù)”表示的是該任務(wù)的任務(wù)圖片張數(shù),在該任務(wù)中,任務(wù)圖片數(shù)量為7張。在本次實驗中,筆者所選取的抄錄任務(wù)的任務(wù)圖片數(shù)量均在10張及以內(nèi)。因此,任務(wù)圖片數(shù)量多于5張即代表子任務(wù)數(shù)量較多,任務(wù)圖片數(shù)量低于5張(含5張)即為子任務(wù)數(shù)量較少的任務(wù)。

    至于完成任務(wù)的資源需求量,由于完成盛宣懷檔案的抄錄任務(wù)需翻閱大量歷史資料,以確定相應(yīng)的地名與人名,同時,還需查找相應(yīng)的字體資料(如簡繁體對應(yīng)、楷書、行書、草書等不同字體的演變情況等),以確保抄錄內(nèi)容的準(zhǔn)確無誤。該過程需要大量的注意力資源(如視聽、認(rèn)知、精神資源等)、身體心理資源及短期記憶資源的投入。因此本文認(rèn)為,任務(wù)圖片中字體為楷體且圖片保存完好的抄錄任務(wù),在完成過程中所需的資源總量較少,與之相對的,任務(wù)圖片字體為行書或草書且存在破損、模糊等問題的抄錄任務(wù),完成過程中的資源需求量較多(見圖3)。如圖中所示的兩張任務(wù)圖片中,抄錄左圖所示的任務(wù)圖片所需的資源總量,明顯少于抄錄右圖所示任務(wù)圖片所需的資源總量。

    在對領(lǐng)域知識的測量中,本研究所涉及的領(lǐng)域知識主要包括歷史背景和古漢語識別兩方面的專業(yè)知識。在此基礎(chǔ)上,本文設(shè)計了相應(yīng)問卷來量化參與者的領(lǐng)域知識水平,問卷共包含6個問題,前4個問題測量的是參與者對盛宣懷及其時代背景等相關(guān)史實的了解水平,包括對清朝末年相關(guān)歷史、洋務(wù)運(yùn)動相關(guān)歷史、辛亥革命相關(guān)歷史以及盛宣懷本人生平的了解程度;后2個問題測量的是參與者對古漢語及文言文的了解程度,包括對古漢語中繁體字的識別能力和文言文的閱讀理解能力。所有問題均通過李克特5級量表進(jìn)行測量,分?jǐn)?shù)越高,說明參與者對歷史背景和古漢語的了解程度越高。在進(jìn)行實驗之前,參與者需先完成該問卷,報告其領(lǐng)域知識水平。筆者根據(jù)參與者的自我報告情況,計算6個問題的平均分作為該參與者的領(lǐng)域知識水平。最后計算所有參與者的領(lǐng)域知識水平的平均分,并將領(lǐng)域知識水平高于平均分的參與者歸為高領(lǐng)域知識水平組,領(lǐng)域知識水平低于平均分的參與者歸為低領(lǐng)域知識水平組。

    在對任務(wù)績效的測量中,筆者邀請了3位古漢語專業(yè)的專家,來對參與者提交的40個任務(wù)進(jìn)行打分。3位專家將根據(jù)任務(wù)的完成情況、抄錄準(zhǔn)確度等進(jìn)行打分。專家將通過盛宣懷檔案抄錄平臺進(jìn)行評分(見圖4),抄錄基本無誤為5星,記作5分,抄錄錯誤率在80%以上為1星,記作1分。星數(shù)越多,分值越高,說明任務(wù)的績效越高。

    4.3? ? 實驗步驟

    數(shù)字人文類眾包抄錄平臺中任務(wù)績效差異的實驗步驟如下:

    (1)實驗對象招募:為招募本次實驗的實驗對象,本文通過張貼海報、線上宣傳等方式,招募了40位對盛宣懷檔案抄錄項目感興趣的參與者。其中,被試者來自于不同專業(yè),學(xué)歷基本在本科及以上。在被試進(jìn)行實驗之前,筆者先通過網(wǎng)絡(luò)問卷測試了被試者的領(lǐng)域知識水平。通過計算所有問項的平均分,得到被試者領(lǐng)域知識水平的最終得分。通過對領(lǐng)域知識水平得分進(jìn)行平均分割,將40位被試分為高領(lǐng)域知識水平組與低領(lǐng)域知識水平組。每組均包括20位被試者。

    (2)實驗材料準(zhǔn)備:本文從盛宣懷檔案眾包抄錄平臺中選取了任務(wù)圖片數(shù)量與資源需求總量不同的40個任務(wù)。其中包括檔案頁數(shù)在5頁及以下、字體為正楷體、保存完好的低復(fù)雜度任務(wù)20個,以及檔案頁數(shù)在6-10頁、字體為草書或行書、紙張有破損的高復(fù)雜度任務(wù)20個。

    (3)試驗任務(wù)分配:將10個低復(fù)雜度任務(wù)與10個高復(fù)雜度任務(wù)隨機(jī)分配給高領(lǐng)域知識水平組的20位被試者,同理,將剩余的10個低復(fù)雜度任務(wù)與10個高復(fù)雜度任務(wù)也隨機(jī)分配給低領(lǐng)域知識水平組的20位被試者。保證每個組別中均包含10位被試者。任務(wù)分配結(jié)束之后給予被試者足夠的時間進(jìn)行任務(wù)抄錄,直至被試者在平臺上提交任務(wù)為止。

    (4)任務(wù)評估:在所有被試者提交抄錄任務(wù)之后,古漢語專業(yè)的三位專家將在平臺中對被試者提交的40個任務(wù)進(jìn)行評估。專家們將根據(jù)被試者的任務(wù)完成情況及抄錄準(zhǔn)確率進(jìn)行打分。分值為1-5分,分?jǐn)?shù)越高,說明任務(wù)的完成績效越高。

    (5)數(shù)據(jù)分析:為探究任務(wù)復(fù)雜度與領(lǐng)域知識對任務(wù)績效的影響,本文擬選取方差分析(ANOVA)的研究方法,即分別采取單因素方差分析(One Way ANOVA)和雙因素方差分析(Two Way ANOVA)的方法來研究任務(wù)復(fù)雜度和領(lǐng)域知識對任務(wù)績效的單獨(dú)影響和交互影響。數(shù)據(jù)處理方面,本文采用了SPSS 19.0軟件中的ANOVA和GLM方法,來實現(xiàn)對實驗數(shù)據(jù)的處理。

    5? ?實驗結(jié)果分析

    5.1? ? 任務(wù)復(fù)雜度對任務(wù)績效的影響分析

    假設(shè)1探討的是任務(wù)復(fù)雜度的高低對任務(wù)績效的差異化影響。根據(jù)描述性統(tǒng)計分析的結(jié)果可知,本次實驗的全部有效觀察值為40個,包括20個低任務(wù)復(fù)雜度觀察值與20個高任務(wù)復(fù)雜度觀察值,且低任務(wù)復(fù)雜度組(M=4.75,SD=0.444)與高任務(wù)復(fù)雜度組(M=2.90,SD=1.021)的任務(wù)績效均值存在明顯差異。

    為進(jìn)一步檢驗不同任務(wù)復(fù)雜度水平之間的任務(wù)績效是否有顯著差異,本文采取了單因素方差分析的方法來對實驗結(jié)果進(jìn)行分析(分析結(jié)果見表1)。

    由ANOVA摘要表可知,不同任務(wù)復(fù)雜度組間的任務(wù)績效得分差異具有統(tǒng)計學(xué)意義(F(1,38)=55.225,P<0.001)。為進(jìn)一步探討任務(wù)復(fù)雜度高低與任務(wù)績效得分之間的關(guān)系,本文以任務(wù)復(fù)雜度為自變量、任務(wù)績效均值為因變量繪制了柱狀圖(見圖5),低任務(wù)復(fù)雜度組的平均任務(wù)績效(M=4.75,SD=0.444)明顯高于高任務(wù)復(fù)雜度組的平均任務(wù)績效(M=2.90,SD=1.021)。即數(shù)字人文類眾包抄錄平臺中任務(wù)的復(fù)雜度會影響任務(wù)績效,且任務(wù)的復(fù)雜度較低時,完成任務(wù)的績效比較高。

    5.2? ? 領(lǐng)域知識對任務(wù)績效的影響分析

    假設(shè)2探討的是領(lǐng)域知識水平的高低對任務(wù)績效的差異化影響。首先,由描述性統(tǒng)計分析的結(jié)果可知,實驗的全部有效觀察值為40個,包括20個高領(lǐng)域知識水平觀察值與20個低領(lǐng)域知識水平觀察值,且高領(lǐng)域知識水平組的平均任務(wù)績效(M=4.25,SD=0.91)與低領(lǐng)域知識水平組的平均任務(wù)績效(M=3.40,SD=1.353)之間也存在差異。

    為進(jìn)一步檢驗不同領(lǐng)域知識水平之間的任務(wù)績效是否有顯著差異,本文繼續(xù)采用單因素方差分析的方法來分析實驗結(jié)果(見表2)。

    由不同領(lǐng)域知識水平分析結(jié)果表可知,不同領(lǐng)域知識水平小組的組間任務(wù)績效得分差異具有統(tǒng)計學(xué)意義(F(1,38)=5.431,P<0.05)。為進(jìn)一步探討領(lǐng)域知識水平高低與任務(wù)績效得分之間的關(guān)系,本文以領(lǐng)域知識水平為自變量、任務(wù)績效均值為因變量繪制了柱狀圖(見圖6),高領(lǐng)域知識水平組的平均任務(wù)績效(M=4.25,SD=0.91)要高于低領(lǐng)域知識水平組的平均任務(wù)績效(M=3.40,SD=1.353)。即數(shù)字人文類眾包抄錄平臺中參與者的領(lǐng)域知識水平會影響任務(wù)績效,且領(lǐng)域知識水平較高的參與者,其完成任務(wù)的績效比較高。

    5.3? ? 任務(wù)復(fù)雜度和領(lǐng)域知識對任務(wù)績效的交互作用分析

    假設(shè)3探究的是任務(wù)的復(fù)雜度與參與者的領(lǐng)域知識水平,是否會對任務(wù)績效產(chǎn)生交互影響。在進(jìn)行雙因素方差分析之前,首先需對自變量之間(即任務(wù)復(fù)雜度與領(lǐng)域知識之間)是否存在交互作用進(jìn)行一個判斷,在進(jìn)行統(tǒng)計檢驗之前,可先通過任務(wù)復(fù)雜度與領(lǐng)域知識之間的變量均值圖進(jìn)行直觀判斷。

    一般來說,如果自變量均值圖中的兩條線平行,則可以初步判定自變量之間不存在交互作用;但如果兩條線相交或者延長后可能相交,則可認(rèn)為自變量之間可能存在交互作用(見圖7),圖中兩張自變量均值圖中的線均可能相交,所以可以初步判定自變量——任務(wù)復(fù)雜度和領(lǐng)域知識之間,很大可能上存在交互作用。

    雖然變量均值圖展示了任務(wù)復(fù)雜度和領(lǐng)域知識之間的交互作用的直觀結(jié)果,但由于圖形結(jié)果可能存在抽樣誤差,所以還需要通過統(tǒng)計檢驗來判斷交互作用是否存在。

    采用SPSS 19.0軟件中的GLM方法,來對實驗數(shù)據(jù)進(jìn)行雙因素方差分析(分析結(jié)果見表3)。

    由表可知,任務(wù)復(fù)雜度與領(lǐng)域知識對任務(wù)績效的交互作用顯著(F(1,36)=8.188,P<0.01,Partial Eta2=0.185),即復(fù)雜度較低的任務(wù)的完成績效要高于任務(wù)復(fù)雜度高的任務(wù)績效,且這種差異在領(lǐng)域知識水平較低的參與者身上,比在領(lǐng)域知識水平較高的參與者身上表現(xiàn)得更明顯;且高領(lǐng)域知識水平的參與者完成的任務(wù)績效要高于低領(lǐng)域知識水平參與者的任務(wù)績效,且這種差異在高任務(wù)復(fù)雜度組中,比在低任務(wù)復(fù)雜度組中表現(xiàn)得更加明顯。假設(shè)3得以驗證。且任務(wù)復(fù)雜度(F(1,36)=92.639,P<0.001,Partial Eta2=0.720)和領(lǐng)域知識(F(1,36)=19.556,P<0.001,Partial Eta2=0. 352)的主效應(yīng)均顯著。進(jìn)一步進(jìn)行簡單主效應(yīng)分析,得出分析結(jié)果(見表4)。

    由表可知,就數(shù)字人文類眾包抄錄平臺中的任務(wù)績效而言,低任務(wù)復(fù)雜度-高領(lǐng)域知識水平>低任務(wù)復(fù)雜度-低領(lǐng)域知識水平>高任務(wù)復(fù)雜度-高領(lǐng)域知識水平>高任務(wù)復(fù)雜度-低領(lǐng)域知識水平。

    6? ?結(jié)果討論與啟示

    6.1? ? 研究結(jié)論

    本文利用準(zhǔn)實驗的研究方法,探究了在數(shù)字人文類眾包抄錄平臺中,任務(wù)復(fù)雜度與領(lǐng)域知識及其交互作用對任務(wù)績效的影響。研究結(jié)果發(fā)現(xiàn):

    (1)任務(wù)復(fù)雜度會對影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效,且兩者之間為負(fù)相關(guān)的關(guān)系,即任務(wù)復(fù)雜度越高,任務(wù)績效反而越低。

    (2)領(lǐng)域知識也會影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效。兩者之間為正相關(guān)關(guān)系,即領(lǐng)域知識水平越高的參與者,任務(wù)績效也會越高。

    (3)任務(wù)復(fù)雜度與領(lǐng)域知識之間的交互作用會對數(shù)字人文類眾包抄錄平臺中的任務(wù)績效產(chǎn)生影響。任務(wù)復(fù)雜度會影響領(lǐng)域知識與任務(wù)績效之間的關(guān)系,在低任務(wù)復(fù)雜度水平下,領(lǐng)域知識對任務(wù)績效的影響較小,而在高任務(wù)復(fù)雜度水平下,領(lǐng)域知識對任務(wù)績效的影響非常大;領(lǐng)域知識也會影響任務(wù)復(fù)雜度與任務(wù)績效之間的關(guān)系,對于高領(lǐng)域知識水平的參與者,任務(wù)復(fù)雜度對任務(wù)績效的影響并不大,而對于低領(lǐng)域知識水平的參與者,不同任務(wù)復(fù)雜度水平下的任務(wù)績效有較大差異。

    6.2? ? 研究啟示

    本文的研究結(jié)論對于提高眾包抄錄平臺中的任務(wù)績效而言有一定的參考價值。

    (1)對眾包抄錄任務(wù)進(jìn)行細(xì)粒度劃分,考慮任務(wù)復(fù)雜度因素。在當(dāng)前的眾包抄錄任務(wù)劃分中,大部分任務(wù)是根據(jù)內(nèi)容或時間劃分的,如將某一封完整信函作為一個任務(wù),或者將時間相近的一組圖片作為一個任務(wù)。但是這種劃分方式對任務(wù)復(fù)雜度的考慮較少,如包含一封完整信函的任務(wù)圖片可能會超過二十張。參與者在認(rèn)領(lǐng)這樣一組任務(wù)之后,很容易會因為任務(wù)復(fù)雜度過高而中途放棄或者索性提交質(zhì)量較差的抄錄結(jié)果。本文的研究結(jié)論表明,任務(wù)復(fù)雜度會顯著影響任務(wù)績效,因此,筆者建議數(shù)字人文類眾包抄錄平臺在進(jìn)行任務(wù)劃分時,充分考慮任務(wù)復(fù)雜度因素,如保證每個任務(wù)的圖片數(shù)量適中,一個任務(wù)中不要包含太多破損或者字體難以辨認(rèn)的任務(wù)圖片等,這種細(xì)粒度劃分有利于降低整體的任務(wù)復(fù)雜度,從而提高平臺中的任務(wù)績效。

    (2)參與者的招募過程需重“質(zhì)”而非重“量”。與其他眾包平臺不同,數(shù)字人文類眾包平臺對參與者的領(lǐng)域知識要求比較高,很多眾包抄錄任務(wù)適合交給高領(lǐng)域知識水平的參與者,而非所有的參與者均可勝任。以往就有學(xué)者提出在招募志愿者時,選擇興趣較高且具有扎實基礎(chǔ)知識的參與者往往優(yōu)于招募普通的參與者[49]。因此,本文建議數(shù)字人文類眾包抄錄平臺在進(jìn)行參與者招募時,需考慮領(lǐng)域知識的影響,對參與者的知識水平進(jìn)行一定程度的審核,盡量選擇領(lǐng)域知識水平較高的參與者來完成抄錄任務(wù)。

    (3)在平臺設(shè)計中增加任務(wù)匹配機(jī)制,實現(xiàn)任務(wù)與參與者的匹配。以往已有研究設(shè)計了科研眾包平臺下的任務(wù)匹配機(jī)制[50],筆者認(rèn)為,在數(shù)字人文類眾包平臺中,考慮任務(wù)匹配機(jī)制的設(shè)計也非常重要,因為任務(wù)復(fù)雜度與領(lǐng)域知識水平的匹配是影響眾包任務(wù)績效的重要因素。對于數(shù)字人文類眾包抄錄平臺而言,在低任務(wù)復(fù)雜度水平下,高領(lǐng)域知識與低領(lǐng)域知識參與者之間的任務(wù)績效差異不大,而在高任務(wù)復(fù)雜度水平下,不同領(lǐng)域知識水平的參與者之間的任務(wù)績效就有明顯差異。因此,本文建議,在數(shù)字人文類眾包抄錄平臺中設(shè)計任務(wù)匹配機(jī)制,將任務(wù)復(fù)雜度較低的任務(wù)分配給領(lǐng)域知識水平一般的參與者,鼓勵領(lǐng)域知識水平較高的用戶接收任務(wù)復(fù)雜度較高的任務(wù),實現(xiàn)任務(wù)與接包方的匹配。

    7? ?結(jié)語

    本文基于我國較為典型的數(shù)字人文類眾包抄錄平臺,利用準(zhǔn)實驗的研究方法,對影響數(shù)字人文類眾包抄錄平臺中的任務(wù)績效的影響因素進(jìn)行了探索。研究發(fā)現(xiàn),任務(wù)復(fù)雜度、參與者的領(lǐng)域知識及兩者之間的相互作用均會對任務(wù)績效產(chǎn)生影響?;谏鲜霭l(fā)現(xiàn),本文在平臺的任務(wù)劃分、參與者招募與任務(wù)匹配角度提出了一定的實踐建議。文章還存在著一些研究局限,如鑒于國內(nèi)目前數(shù)字人文類眾包抄錄平臺數(shù)量不多,本研究僅基于盛宣懷檔案眾包抄錄平臺,可能導(dǎo)致研究結(jié)論的代表性不高。另外,在被試者數(shù)量、以及變量的測量方面也存在一定的缺陷,未來的研究將在本研究的基礎(chǔ)上,擴(kuò)大樣本量,細(xì)化研究變量,進(jìn)一步探討影響數(shù)字人文類眾包抄錄平臺中任務(wù)績效的因素與作用機(jī)制。

    參考文獻(xiàn):

    [1]? Toms E G,O"Brien H L.Understanding the information and communication technology needs of the e-humanist[J].Journal of Documentation,2008,64(1):102-130.

    [2]? Trace C B,Karadkar U P.Information management in the humanities:Scholarly processes,tools,and the construction of personal collections[J].Journal of the Association for Information Science and Technology,2017,68(2):491-507.

    [3]? 趙宇翔.科研眾包視角下公眾科學(xué)項目芻議:概念解析、模式探索及學(xué)科機(jī)遇[J].中國圖書館學(xué)報,2017,43(5):42-56.

    [4]? 張軒慧,趙宇翔,宋小康.數(shù)字人文類公眾科學(xué)項目持續(xù)發(fā)展階段的公眾參與動因探索——基于盛宣懷檔案抄錄案例的扎根分析[J].圖書情報知識,2018(3):16-25,77.

    [5]? Alam S L,Campbell J.Crowdsourcing Motivations in a not-for-profit GLAM context:The Australian Newspapers Digitisation Program[C].In:Proceedings of the 23rd Australasian Conference on Information System.Victoria,Australia,2012:1-11.

    [6]? Rotman D,Preece J,Hammock J,Lewis D,et al.Dynamic changes in motivation in collaborative citizen-science projects[C].In:Proceedings of the ACM conference on computer supported cooperative work.Seattle,WA,2012:217-226.

    [7]? Laut J,Cappa F,Nov O,et al.Increasing citizen science contribution using a virtual peer[J].Journal of the Association for Information Science and Technology,2017,68(3):583-593.

    [8]? Zhao Y,Zhu Q.Conceptualizing task affordance in online crowdsourcing context[J].Online Information Review,2016,40(7):938-958.

    [9]? Campbell D J.Task complexity:A review and analysis[J].Academy of management review,1988,13(1):40-52.

    [10]? Park J.The Complexity of Proceduralized Tasks[M].London:Springer,2009.

    [11]? Jacko J A,Ward K G.Toward establishing a link between psychomotor task complexity and human information processing[J].Computers & Industrial Engineering,1996,31(1-2):533-536.

    [12]? Li K,Wieringa P A.Understanding Perceived Complexity in Human Supervisory Control[J].Cognition,Technology & Work,2000,2(2):75-88.

    [13]? Bettman J R,Johnson E J,Payne J W.A Componential Analysis of Cognitive Effort in Choice[J].Organizational Behavior & Human Decision Processes,1990,45(1):111-139.

    [14]? Liu P,Li Z.Task complexity:A review and conceptualization framework[J].International Journal of Industrial Ergonomics,2012,42(6):553-568.

    [15]? McCracken J H,Aldrich T B.Analyses of selected LHX mission functions:Implications for operator workload and system automation goals[R].ANACAPA SCIENCES INC FORT RUCKER AL,1984.

    [16]? Vande Ven,F(xiàn)erry.Measuring and assessing organizations[M].New York:Wiley,1980.

    [17]? Brown T M,Miller C E.Communication Networks in Task-Performing Groups:Effects of Task Complexity,Time Pressure,and Interpersonal Dominance[J].Small Group Research,2000,31(2):131-157.

    [18]? Wood R E.Task complexity:Definition of the construct[J].Organizational Behavior & Human Decision Processes,1986,37(1):60-82.

    [19]? Zhang Y,Li Z,Wu B,et al.A spaceflight operation complexity measure and its experimental validation[J].International Journal of Industrial Ergonomics,2009,39(5):756-765.

    [20]? Katriina Bystr?觟m,Murtonen K,Kalervo J?覿rvelin,et al.Task Complexity Affects Information Seeking and Use[J].Information Processing & Management,1995,31(2):191-213.

    [21]? Woods D D.Coping with complexity:the psychology of human behaviour in complex systems[M].Tasks,errors,and mental models.Taylor & Francis,Inc,1988.

    [22]? Schwab D P,Cummings L L.A Theoretical Analysis of the Impact of Task Scope on Employee Performance[J].Academy of Management Review,1976,1(2):23-35.

    [23]? Ham D H,Park J,Jung W.Model-based identification and use of task complexity factors of human integrated systems[J].Reliability Engineering & System Safety,2012,100(none):33-47.

    [24]? Maynard D C,Hakel M D.Effects of objective and subjective task complexity on performance[J].Human Performance,1997,

    10(4):303-330.

    [25]? Chiesi H L,Spilich G J,Voss J F.Acquisition of domain-related information in relation to high and low domain knowledge[J].Journal of Verbal Learning and Verbal Behavior,1979,18(3):257-273.

    [26]? Polanyi M.The Tacit Dimension[M].Garden City,New York,Doubleday,1966.

    [27]? Wildemuth B M.The effects of domain knowledge on search tactic formulation[J].Journal of the Association for Information Science & Technology,2004,55(3):246-258.

    [28]? Hoelscher C,Strube G.Web search behavior of Internet experts and newbies[J].Computer Networks,2000,33(1-6):337-346.

    [29]? Vakkari P,Pennanen M,Serola S.Changes of search terms and tactics while writing a research proposal:A longitudinal case study[J].Information Processing & Management,2003,39(3):445-463.

    [30]? De Bliek R,F(xiàn)riedman C P,Wildemuth B M,et al.Information Retrieved from a Database and the Augmentation of Personal Knowledge[J].Journal of the American Medical Informatics Association,1994,1(4):328-338.

    [31]? Hsieh-Yee I.Effects of search experience and subject knowledge on the search tactics of novice and experienced searchers[J].Journal of the Association for Information Science & Technology,1993,44(3):161-174.

    [32]? Jensen M C,Murphy K J.Performance Pay and Top-Management Incentives[J].Journal of Political Economy,1990,98(2):225-264.

    [33]? Campbell J P.An Overview of the Army Selection and Classification Project (Project A)[J].Personnel Psychology,1990,43(2):231-239.

    [34]? Borman W C,Motowidlo S J.Expanding the criterion domain to include elements of contextual performance[C].In N.Schmitt,W.C.Borman & Associates (Eds.),Personnel selection in organizations.San Francisco:Jossey-Bass,1993:22-27.

    [35]? Borman W C,Motowidlo S J.Task Performance and Contextual Performance:The Meaning for Personnel Selection Research[J].Human Performance,1997,10(2):99-109.

    [36]? 王輝,李曉軒,羅勝強(qiáng).任務(wù)績效與情境績效二因素績效模型的驗證[J].中國管理科學(xué),2003(4):79-84.

    [37]? 薛金紅.領(lǐng)導(dǎo)-成員交換與組織公民行為及任務(wù)績效關(guān)系的實證研究[D].上海:上海交通大學(xué),2011.

    [38]? Liu P,Li Z.Toward understanding the relationship between task complexity and task performance[C].International Conference on Internationalization.Springer-Verlag,2011.

    [39]? Jacko J A,Salvendy G,Koubek R J.Modelling of menu design in computerized work[J].Interacting with Computers,1995,7(3):304-330.

    [40]? Mascha M F.The Effect of Task Complexity and Expert System Type on the Acquisition of Procedural Knowledge:Some New Evidence[J].International Journal of Accounting Information Systems,2001(2):103-124.

    [41]? Pepinsky P N,Pepinsky H B,Pavlik W B.The effects of task complexity and time pressure upon team productivity[J].Journal of Applied Psychology,1960,44(1):34-38.

    [42]? Tabatabai D,Shore B M.How experts and novices search the Web[J].Library & Information Science Research,2005,27(2):222-248.

    [43]? Xie I,Cool C.Understanding help seeking within the context of searching digital libraries[J].Journal of the American Society for Information Science and Technology,2009,60(3):477-494.

    [44]? Allen Bryce.Topic Knowledge and Online Catalog Search Formulation[J].The Library Quarterly,1991,61(2):188-213.

    [45]? Wu D,Liang S,Xiang X.The Impacts of Mutual Collaboration Experience and Domain Knowledge Levels on CAIS Behavior:An Experimental Study[J].International Journal of Libraries and Information Services,2017,67(1):51-64.

    [46]? 上海圖書館.盛宣杯檔案抄錄平臺[EB/OL].[2019-01-01].http://zb.library.sh.cn.

    [47]? Jung W,Olfman L,Ryan T,et al.An experimental study of the effects of contextual data quality and task complexity on decision performance[C].IRI -2005 IEEE International Conference on Information Reuse and Integration,Conf,2005.IEEE,2005.

    [48]? Fehrenbacher D D,Palit I.A Quasi-Experimental Analysis on the Influence of Satisfaction and Complexity on Information Quality Outcomes[J].Journal of Information Systems,2013,27(2):65-86.

    [49]? Terras M M.Crowdsourcing in the digital humanities[A].Schreibman,S.,Siemens,R.,Unsworth,J.(eds.)A New Companion to Digital Humanities.Wiley-Blackwell,2016:420-439.

    [50]? 陳英奇,趙宇翔,朱慶華.科研眾包視角下公眾科學(xué)項目的任務(wù)匹配模型研究[J].圖書情報知識,2018(3):6-17.

    猜你喜歡
    數(shù)字人文
    圖書館未來的技術(shù)應(yīng)用與發(fā)展
    數(shù)據(jù)驅(qū)動下的高校圖書館數(shù)字人文服務(wù)研究
    漢傳佛教文化遺產(chǎn)數(shù)字化建設(shè)現(xiàn)狀調(diào)查與特征分析
    數(shù)字人文2011—2016年研究綜述
    數(shù)字人文時代公共圖書館經(jīng)典閱讀推廣研究
    數(shù)字人文時代公共圖書館經(jīng)典閱讀推廣研究
    數(shù)字人文目標(biāo)下圖書館信息服務(wù)模式研究
    數(shù)字學(xué)術(shù)與公眾科學(xué):數(shù)字圖書館新生態(tài)
    跨界與融合:全球視野下的數(shù)字人文
    跨界與融合:全球視野下的數(shù)字人文
    日韩制服骚丝袜av| 人人澡人人妻人| 日本av免费视频播放| 最新的欧美精品一区二区| 国产有黄有色有爽视频| 欧美日韩一区二区视频在线观看视频在线| 捣出白浆h1v1| 欧美97在线视频| 新久久久久国产一级毛片| 自线自在国产av| 日韩制服丝袜自拍偷拍| 国产成人av激情在线播放| 成人影院久久| 一级毛片我不卡| 国产一区二区 视频在线| av电影中文网址| 欧美亚洲 丝袜 人妻 在线| 国产成人精品久久久久久| 你懂的网址亚洲精品在线观看| 精品国产一区二区三区久久久樱花| 日韩熟女老妇一区二区性免费视频| 国产精品.久久久| 欧美老熟妇乱子伦牲交| 精品人妻在线不人妻| 在线观看免费视频网站a站| av视频免费观看在线观看| 国产亚洲精品第一综合不卡| 在线亚洲精品国产二区图片欧美| 嫩草影视91久久| 免费黄网站久久成人精品| 一区二区三区激情视频| 老汉色∧v一级毛片| 男人舔女人的私密视频| 少妇人妻精品综合一区二区| a 毛片基地| 一本久久精品| 亚洲第一青青草原| 999久久久国产精品视频| 一本大道久久a久久精品| 女人爽到高潮嗷嗷叫在线视频| 久久 成人 亚洲| 美女主播在线视频| 欧美变态另类bdsm刘玥| 精品亚洲乱码少妇综合久久| 天天躁夜夜躁狠狠躁躁| 国产精品蜜桃在线观看| 国产精品久久久人人做人人爽| a级片在线免费高清观看视频| 久久精品人人爽人人爽视色| 观看av在线不卡| 伦理电影免费视频| www日本在线高清视频| 男人舔女人的私密视频| 日韩熟女老妇一区二区性免费视频| 交换朋友夫妻互换小说| 精品一区二区免费观看| 日日摸夜夜添夜夜爱| 亚洲欧美激情在线| 青春草视频在线免费观看| 大香蕉久久网| 制服诱惑二区| 校园人妻丝袜中文字幕| 一区二区三区激情视频| kizo精华| 久久精品亚洲av国产电影网| 久久综合国产亚洲精品| 热re99久久精品国产66热6| 久久国产精品男人的天堂亚洲| 波野结衣二区三区在线| 亚洲欧美成人综合另类久久久| 91老司机精品| 亚洲成人一二三区av| 另类亚洲欧美激情| 久久99一区二区三区| 色婷婷av一区二区三区视频| 国产成人免费无遮挡视频| 性色av一级| 另类亚洲欧美激情| 黄片无遮挡物在线观看| 青春草亚洲视频在线观看| 欧美国产精品va在线观看不卡| 亚洲伊人色综图| 国产欧美亚洲国产| 日韩不卡一区二区三区视频在线| 亚洲成人手机| 成人18禁高潮啪啪吃奶动态图| 精品人妻一区二区三区麻豆| 啦啦啦 在线观看视频| 久久韩国三级中文字幕| 亚洲人成网站在线观看播放| 精品午夜福利在线看| 亚洲精品中文字幕在线视频| 青春草亚洲视频在线观看| 老鸭窝网址在线观看| 亚洲伊人色综图| 在现免费观看毛片| 国产视频首页在线观看| 91精品伊人久久大香线蕉| 又粗又硬又长又爽又黄的视频| 久久精品亚洲av国产电影网| 久久99精品国语久久久| 多毛熟女@视频| 毛片一级片免费看久久久久| 午夜激情av网站| 亚洲国产毛片av蜜桃av| 亚洲,欧美精品.| 天天操日日干夜夜撸| 中文精品一卡2卡3卡4更新| 国产免费一区二区三区四区乱码| 亚洲美女搞黄在线观看| 欧美激情高清一区二区三区 | 国产片内射在线| 777久久人妻少妇嫩草av网站| 久久国产精品男人的天堂亚洲| 亚洲国产精品一区二区三区在线| 欧美少妇被猛烈插入视频| 女性被躁到高潮视频| 国产xxxxx性猛交| 大话2 男鬼变身卡| 国产av一区二区精品久久| 精品免费久久久久久久清纯 | 一区二区三区乱码不卡18| 嫩草影视91久久| videosex国产| 国产成人欧美在线观看 | 少妇精品久久久久久久| 老鸭窝网址在线观看| 男女边吃奶边做爰视频| 久久精品久久久久久久性| 免费在线观看完整版高清| 亚洲人成电影观看| 久久国产亚洲av麻豆专区| 中文字幕亚洲精品专区| 99国产综合亚洲精品| 七月丁香在线播放| 午夜激情av网站| 久久毛片免费看一区二区三区| 1024视频免费在线观看| xxxhd国产人妻xxx| 精品人妻一区二区三区麻豆| 国产精品久久久久久人妻精品电影 | 亚洲精品av麻豆狂野| 女的被弄到高潮叫床怎么办| 国产男女超爽视频在线观看| 亚洲国产中文字幕在线视频| 免费看av在线观看网站| 亚洲人成77777在线视频| 一区二区av电影网| 美国免费a级毛片| 欧美精品高潮呻吟av久久| 在线看a的网站| 亚洲欧洲日产国产| 在线亚洲精品国产二区图片欧美| 在线天堂最新版资源| 中文字幕色久视频| 黄网站色视频无遮挡免费观看| 中文字幕人妻丝袜一区二区 | 搡老岳熟女国产| 男女下面插进去视频免费观看| 国产精品免费大片| 欧美亚洲日本最大视频资源| 香蕉丝袜av| 午夜激情久久久久久久| 久久久久久免费高清国产稀缺| 欧美激情极品国产一区二区三区| 少妇人妻 视频| 日韩欧美精品免费久久| 久久久精品免费免费高清| 这个男人来自地球电影免费观看 | 欧美最新免费一区二区三区| 午夜日本视频在线| 婷婷成人精品国产| 只有这里有精品99| 无遮挡黄片免费观看| 最近的中文字幕免费完整| 国产成人av激情在线播放| 麻豆av在线久日| 久久久久久久国产电影| xxx大片免费视频| 在线免费观看不下载黄p国产| 中文字幕人妻熟女乱码| h视频一区二区三区| 日韩 亚洲 欧美在线| 亚洲色图综合在线观看| 成人影院久久| 国产亚洲最大av| 婷婷色综合大香蕉| 国产黄频视频在线观看| 精品福利永久在线观看| av有码第一页| 欧美黑人欧美精品刺激| 亚洲人成网站在线观看播放| 欧美黑人精品巨大| 亚洲三区欧美一区| 国产亚洲午夜精品一区二区久久| 亚洲国产日韩一区二区| 亚洲五月色婷婷综合| 久久韩国三级中文字幕| 一本—道久久a久久精品蜜桃钙片| 欧美最新免费一区二区三区| 国产精品国产av在线观看| 亚洲图色成人| 欧美 日韩 精品 国产| 免费观看人在逋| 中国三级夫妇交换| 亚洲欧美日韩另类电影网站| 成人亚洲精品一区在线观看| av福利片在线| 午夜91福利影院| 天天躁狠狠躁夜夜躁狠狠躁| 久久精品熟女亚洲av麻豆精品| 色婷婷av一区二区三区视频| 国产日韩欧美在线精品| 18禁动态无遮挡网站| 自线自在国产av| 欧美国产精品va在线观看不卡| 久久久久人妻精品一区果冻| 国产一区二区在线观看av| 精品一区二区免费观看| 一级毛片电影观看| 啦啦啦在线免费观看视频4| 在线观看免费高清a一片| 又黄又粗又硬又大视频| 最近的中文字幕免费完整| 激情视频va一区二区三区| 另类精品久久| 久久久国产欧美日韩av| 大陆偷拍与自拍| 国产精品秋霞免费鲁丝片| netflix在线观看网站| 老熟女久久久| 国产av码专区亚洲av| 一区二区av电影网| 中文字幕高清在线视频| 亚洲国产精品一区二区三区在线| 中文字幕另类日韩欧美亚洲嫩草| 日日撸夜夜添| 咕卡用的链子| 伊人久久大香线蕉亚洲五| 香蕉丝袜av| av又黄又爽大尺度在线免费看| 一本久久精品| 国产精品久久久久久精品古装| 欧美日韩av久久| 日韩电影二区| 天堂中文最新版在线下载| 国产精品亚洲av一区麻豆 | 免费少妇av软件| 一级毛片黄色毛片免费观看视频| 精品国产乱码久久久久久小说| 9色porny在线观看| 老汉色∧v一级毛片| 国产av一区二区精品久久| 亚洲精品aⅴ在线观看| 午夜激情久久久久久久| 欧美国产精品va在线观看不卡| 午夜影院在线不卡| 免费观看av网站的网址| 国产精品秋霞免费鲁丝片| 99久久99久久久精品蜜桃| 天天躁夜夜躁狠狠躁躁| 国产在线免费精品| 在线观看免费午夜福利视频| 亚洲 欧美一区二区三区| 国产成人欧美| 蜜桃在线观看..| 国产精品成人在线| 人人妻人人添人人爽欧美一区卜| 亚洲国产欧美日韩在线播放| 久久国产精品大桥未久av| 一级片'在线观看视频| a 毛片基地| 欧美 日韩 精品 国产| 熟妇人妻不卡中文字幕| videosex国产| 国产成人啪精品午夜网站| 999久久久国产精品视频| 亚洲第一区二区三区不卡| av天堂久久9| 九九爱精品视频在线观看| 亚洲一码二码三码区别大吗| 伦理电影免费视频| 国产爽快片一区二区三区| 在线天堂最新版资源| 2018国产大陆天天弄谢| 晚上一个人看的免费电影| 日韩熟女老妇一区二区性免费视频| 777米奇影视久久| 妹子高潮喷水视频| 欧美日韩亚洲综合一区二区三区_| av福利片在线| 色视频在线一区二区三区| 美女福利国产在线| 亚洲国产最新在线播放| 一级黄片播放器| 亚洲av日韩精品久久久久久密 | 欧美精品人与动牲交sv欧美| 青青草视频在线视频观看| 精品人妻一区二区三区麻豆| 国产福利在线免费观看视频| 男女高潮啪啪啪动态图| 我要看黄色一级片免费的| 亚洲人成网站在线观看播放| 日本wwww免费看| 久久久久国产精品人妻一区二区| 在线天堂中文资源库| 午夜激情久久久久久久| 国产精品蜜桃在线观看| 久久人妻熟女aⅴ| 欧美中文综合在线视频| 亚洲国产欧美日韩在线播放| 丝袜美腿诱惑在线| 久久久精品94久久精品| 嫩草影视91久久| www.av在线官网国产| 日本wwww免费看| 国产在视频线精品| 国产日韩欧美在线精品| 欧美精品一区二区大全| 欧美国产精品一级二级三级| 青春草国产在线视频| 久久精品国产亚洲av涩爱| 欧美日韩福利视频一区二区| 王馨瑶露胸无遮挡在线观看| 欧美av亚洲av综合av国产av | 亚洲国产欧美网| 极品少妇高潮喷水抽搐| 最近中文字幕2019免费版| 777米奇影视久久| 一二三四在线观看免费中文在| a级片在线免费高清观看视频| 国产精品一国产av| 啦啦啦视频在线资源免费观看| 亚洲精品一区蜜桃| 老司机影院毛片| 欧美日韩成人在线一区二区| 欧美日韩视频高清一区二区三区二| 中文字幕制服av| 国产在线免费精品| 色吧在线观看| 男人爽女人下面视频在线观看| 国产精品久久久人人做人人爽| 国产一区二区三区av在线| 久久韩国三级中文字幕| 亚洲第一av免费看| 婷婷色麻豆天堂久久| 久久99热这里只频精品6学生| 伊人久久国产一区二区| 久久精品国产亚洲av高清一级| 日本猛色少妇xxxxx猛交久久| 韩国高清视频一区二区三区| 看十八女毛片水多多多| 亚洲精品乱久久久久久| 一二三四在线观看免费中文在| 99国产精品免费福利视频| 日本一区二区免费在线视频| 国产在视频线精品| 热99久久久久精品小说推荐| 午夜老司机福利片| 超碰成人久久| 18禁国产床啪视频网站| 国产精品秋霞免费鲁丝片| 超碰成人久久| 亚洲成人国产一区在线观看 | 精品国产一区二区久久| 我要看黄色一级片免费的| 亚洲精品一二三| 日韩精品有码人妻一区| 亚洲欧美清纯卡通| 精品人妻在线不人妻| 国产熟女午夜一区二区三区| 欧美乱码精品一区二区三区| 精品一区二区三卡| 午夜av观看不卡| 夜夜骑夜夜射夜夜干| 久久久欧美国产精品| 日本一区二区免费在线视频| 亚洲自偷自拍图片 自拍| 国产又色又爽无遮挡免| 性少妇av在线| 最近的中文字幕免费完整| 成人亚洲精品一区在线观看| 国产片内射在线| 久久人人97超碰香蕉20202| 最近最新中文字幕大全免费视频 | 校园人妻丝袜中文字幕| 男女午夜视频在线观看| 午夜日本视频在线| 大片免费播放器 马上看| 人妻 亚洲 视频| 国产欧美日韩综合在线一区二区| 色婷婷久久久亚洲欧美| 蜜桃在线观看..| 一级毛片 在线播放| 亚洲三区欧美一区| 99国产综合亚洲精品| 欧美少妇被猛烈插入视频| 欧美 日韩 精品 国产| 亚洲国产精品一区二区三区在线| 黑人欧美特级aaaaaa片| av在线老鸭窝| 又大又爽又粗| 色播在线永久视频| 欧美黑人精品巨大| 亚洲欧美成人综合另类久久久| 久久久久精品性色| 岛国毛片在线播放| 国产亚洲午夜精品一区二区久久| 亚洲av在线观看美女高潮| 视频在线观看一区二区三区| netflix在线观看网站| 国产一卡二卡三卡精品 | netflix在线观看网站| 国产又色又爽无遮挡免| 桃花免费在线播放| 国产精品一二三区在线看| 欧美日韩一区二区视频在线观看视频在线| 丰满迷人的少妇在线观看| 精品亚洲成国产av| 欧美亚洲 丝袜 人妻 在线| 午夜福利影视在线免费观看| 人人妻人人爽人人添夜夜欢视频| 成人国产av品久久久| 成年人午夜在线观看视频| 久久鲁丝午夜福利片| av网站在线播放免费| 飞空精品影院首页| 亚洲国产欧美一区二区综合| 亚洲欧美一区二区三区久久| 亚洲,欧美精品.| 精品午夜福利在线看| 亚洲精品国产av蜜桃| 日韩大码丰满熟妇| 女人爽到高潮嗷嗷叫在线视频| 另类亚洲欧美激情| 精品一区二区免费观看| 妹子高潮喷水视频| 久久久亚洲精品成人影院| 美国免费a级毛片| 久久久久久免费高清国产稀缺| 人妻 亚洲 视频| 少妇人妻久久综合中文| a级毛片黄视频| 免费在线观看完整版高清| 国产成人午夜福利电影在线观看| 欧美亚洲 丝袜 人妻 在线| av不卡在线播放| 国产一区有黄有色的免费视频| 侵犯人妻中文字幕一二三四区| 观看美女的网站| tube8黄色片| 99香蕉大伊视频| 国产乱来视频区| 国产免费福利视频在线观看| av在线播放精品| 蜜桃在线观看..| 色综合欧美亚洲国产小说| 国产深夜福利视频在线观看| 久久性视频一级片| 高清欧美精品videossex| 女人久久www免费人成看片| 精品第一国产精品| 免费少妇av软件| 精品一区二区三区四区五区乱码 | bbb黄色大片| 性色av一级| 日韩av不卡免费在线播放| 亚洲综合精品二区| 欧美激情极品国产一区二区三区| 久久久久人妻精品一区果冻| 美女中出高潮动态图| 日本vs欧美在线观看视频| 国产欧美日韩一区二区三区在线| 亚洲精品,欧美精品| 一边摸一边抽搐一进一出视频| 人人妻人人澡人人爽人人夜夜| 我的亚洲天堂| 亚洲第一青青草原| 国产亚洲午夜精品一区二区久久| 国产xxxxx性猛交| 一级毛片 在线播放| 999久久久国产精品视频| 91国产中文字幕| 九色亚洲精品在线播放| 久久99一区二区三区| 亚洲精品国产av成人精品| 久久久久精品人妻al黑| 久久影院123| 宅男免费午夜| 亚洲精品国产色婷婷电影| 午夜免费观看性视频| 2018国产大陆天天弄谢| 国产淫语在线视频| 免费久久久久久久精品成人欧美视频| 80岁老熟妇乱子伦牲交| 大片电影免费在线观看免费| 精品一品国产午夜福利视频| 免费久久久久久久精品成人欧美视频| 国产精品久久久人人做人人爽| 欧美久久黑人一区二区| 99国产精品免费福利视频| 午夜福利视频精品| 大陆偷拍与自拍| 中文乱码字字幕精品一区二区三区| 一级,二级,三级黄色视频| 热re99久久精品国产66热6| 免费观看a级毛片全部| 老熟女久久久| 精品午夜福利在线看| av视频免费观看在线观看| www.熟女人妻精品国产| a级片在线免费高清观看视频| 久久青草综合色| 国产高清不卡午夜福利| 高清欧美精品videossex| 美女大奶头黄色视频| 亚洲精品在线美女| bbb黄色大片| 午夜影院在线不卡| 久久久精品94久久精品| 精品一区二区三卡| 熟女少妇亚洲综合色aaa.| 秋霞伦理黄片| 欧美少妇被猛烈插入视频| 亚洲在久久综合| 人人澡人人妻人| 成年人免费黄色播放视频| 男男h啪啪无遮挡| 欧美最新免费一区二区三区| 日本欧美国产在线视频| 欧美精品一区二区大全| 亚洲熟女毛片儿| 欧美日韩福利视频一区二区| av线在线观看网站| 国产成人91sexporn| 精品久久久精品久久久| 国产高清不卡午夜福利| 夜夜骑夜夜射夜夜干| 国产女主播在线喷水免费视频网站| 人妻人人澡人人爽人人| 日本黄色日本黄色录像| 久久久久久久精品精品| 99re6热这里在线精品视频| 看免费av毛片| 性高湖久久久久久久久免费观看| 精品少妇内射三级| 欧美日韩综合久久久久久| 精品卡一卡二卡四卡免费| 国产熟女欧美一区二区| 日韩免费高清中文字幕av| 99精国产麻豆久久婷婷| av国产久精品久网站免费入址| 你懂的网址亚洲精品在线观看| 又黄又粗又硬又大视频| 男女免费视频国产| 曰老女人黄片| 久久天躁狠狠躁夜夜2o2o | 欧美人与性动交α欧美软件| 日本黄色日本黄色录像| 亚洲精品av麻豆狂野| 黄色一级大片看看| 精品卡一卡二卡四卡免费| 99精国产麻豆久久婷婷| 热99国产精品久久久久久7| 人成视频在线观看免费观看| 国产精品久久久久成人av| 国产成人精品久久二区二区91 | 日韩 欧美 亚洲 中文字幕| 国产男人的电影天堂91| 成年动漫av网址| 中文字幕最新亚洲高清| 99国产精品免费福利视频| 午夜91福利影院| 美女大奶头黄色视频| 热re99久久精品国产66热6| 日韩伦理黄色片| 日日啪夜夜爽| 一边亲一边摸免费视频| 18禁国产床啪视频网站| 毛片一级片免费看久久久久| 午夜福利网站1000一区二区三区| 秋霞在线观看毛片| 日本wwww免费看| 亚洲欧美色中文字幕在线| 青春草亚洲视频在线观看| 精品人妻熟女毛片av久久网站| 热re99久久国产66热| 欧美在线一区亚洲| 国产日韩欧美视频二区| 精品国产乱码久久久久久小说| 一个人免费看片子| www.熟女人妻精品国产| 国产一区二区激情短视频 | 精品一区二区三区四区五区乱码 | 99久久人妻综合| 日本猛色少妇xxxxx猛交久久| 老汉色av国产亚洲站长工具| 天天躁日日躁夜夜躁夜夜| 久久免费观看电影| 老汉色∧v一级毛片| 日韩大片免费观看网站| 免费看不卡的av| 丁香六月欧美| 亚洲一码二码三码区别大吗| 亚洲av综合色区一区| 色婷婷av一区二区三区视频| 在线观看一区二区三区激情| 国产精品一区二区在线不卡| 美女高潮到喷水免费观看| 成年人午夜在线观看视频| 亚洲天堂av无毛| 丝袜喷水一区| 亚洲情色 制服丝袜| 天天添夜夜摸| 欧美成人午夜精品|