• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    問卷是否可信
    ——基于體育核心期刊論文(2010—2018年)的系統(tǒng)分析

    2020-04-09 01:19:16柯友枝孫建剛張業(yè)安
    體育科學(xué) 2020年2期
    關(guān)鍵詞:一致性體育方法

    柯友枝,孫建剛,張業(yè)安,李 博,劉 陽,3*

    (1.上海體育學(xué)院 體育教育訓(xùn)練學(xué)院,上海 200438;2.上海體育學(xué)院 期刊中心,上海 200438;3.上海市學(xué)生體質(zhì)健康研究中心,上海 200438)

    0 前言

    問卷是指研究者為了收集調(diào)查對(duì)象的行為、態(tài)度及觀念等社會(huì)資料或信息,將所要調(diào)查的內(nèi)容和問題編排成統(tǒng)一形式,從而用以解釋所研究的問題和驗(yàn)證所提出的研究假設(shè)的一種測(cè)量工具(徐建華等,2015)。問卷調(diào)查法,即以問卷為測(cè)量工具來收集資料的一種調(diào)查方法,在體育人文社會(huì)調(diào)查、運(yùn)動(dòng)心理測(cè)量等體育學(xué)研究中得到了廣泛的應(yīng)用(黃漢升等,2009)。在體育科學(xué)研究中,問卷調(diào)查研究最為重要的前提是確保問卷的可靠性和準(zhǔn)確性,即信度和效度(曾五一等,2005)。作為評(píng)價(jià)調(diào)查問卷的兩個(gè)重要指標(biāo),信度和效度的高低既是一個(gè)問卷的基本特征,也是衡量問卷的關(guān)鍵指標(biāo)。一個(gè)信度和效度較好的問卷是調(diào)查研究結(jié)果可信可靠、準(zhǔn)確真實(shí)的重要前提,對(duì)研究的整體質(zhì)量有著至關(guān)重要的作用,因此,提高信度和效度是研究者追求的目標(biāo)。在這兩個(gè)基本特征中,信度是效度的基礎(chǔ),好的問卷首先應(yīng)具備較高的信度,如果信度低,效度必然低(張力為,2002a)。因此,調(diào)查問卷的信度往往是研究者重視的首要問題。

    信度(reliability)是指測(cè)驗(yàn)的可靠程度,它表現(xiàn)為測(cè)驗(yàn)結(jié)果的穩(wěn)定性和一致性(Carmines et al.,2009),是表明問卷調(diào)查科學(xué)性的一個(gè)重要因素(李燦等,2008)。對(duì)于使用問卷法的研究者來說,對(duì)所使用的問卷進(jìn)行信度檢驗(yàn)是保障研究結(jié)果科學(xué)性的重要前提(方千華,2008;齊紅梅等,2013)。另外,進(jìn)行正確的信度分析可以幫助研究者識(shí)別與整個(gè)問卷關(guān)聯(lián)性不大的題項(xiàng),為進(jìn)一步修改問卷提供理論依據(jù)(張虎等,2007)。因此,體育科學(xué)研究人員掌握體育研究調(diào)查問卷信度檢驗(yàn)的一般流程,了解不同信度檢驗(yàn)方法并進(jìn)行合理選擇與應(yīng)用是極有必要的。本研究檢索了2010—2018年體育科學(xué)研究領(lǐng)域《中文社會(huì)科學(xué)引文索引》(CSSCI)刊發(fā)的使用問卷調(diào)查法的學(xué)術(shù)論文,對(duì)其中信度測(cè)評(píng)情況進(jìn)行總結(jié)與分析。

    1 研究對(duì)象與方法

    1.1 研究對(duì)象

    以問卷信度測(cè)評(píng)方法在我國體育研究領(lǐng)域中的應(yīng)用情況為研究對(duì)象,以2010—2018年CSSCI收錄的9本體育類期刊①本研究納入的9本期刊2010—2018年均被評(píng)為體育類核心期刊。采用問卷調(diào)查法的學(xué)術(shù)論文為調(diào)查對(duì)象,納入研究的9本期刊分別是《體育科學(xué)》《中國體育科技》《北京體育大學(xué)報(bào)》《上海體育學(xué)院學(xué)報(bào)》《體育學(xué)刊》《體育與科學(xué)》《天津體育學(xué)院學(xué)報(bào)》《武漢體育學(xué)院學(xué)報(bào)》《西安體育學(xué)院學(xué)報(bào)》。

    1.2 研究方法

    通過文獻(xiàn)資料調(diào)研收集相關(guān)文獻(xiàn),運(yùn)用數(shù)理統(tǒng)計(jì)法對(duì)研究信息進(jìn)行統(tǒng)計(jì)與分析。以中國知網(wǎng)(CNKI)高級(jí)檢索程序?yàn)闄z索工具,以中國社會(huì)科學(xué)索引(CSSCI)收錄的9本體育類期刊為論文來源,論文的刊發(fā)時(shí)間段為2010年1月1日—2018年12月31日。在精確論文來源期刊和刊發(fā)時(shí)間的基礎(chǔ)上,將符合研究條件的各期刊所有論文導(dǎo)入文獻(xiàn)閱讀與管理軟件,通過對(duì)文獻(xiàn)題目、摘要和全文閱讀的方式進(jìn)行人工篩選,檢索流程如圖1所示,最終納入1 221篇研究論文。以數(shù)理統(tǒng)計(jì)法對(duì)納入文獻(xiàn)進(jìn)行信息提取與整理分析。

    圖1 納入分析論文的檢索流程Figure 1. Process of Document Retrieval

    1.3 納入與排除標(biāo)準(zhǔn)

    納入標(biāo)準(zhǔn):納入2010年1月1日—2018年12月31日,在9本指定刊物上刊發(fā)的論文,其中運(yùn)用問卷調(diào)查法(包括使用各類量表)的全部納入。

    剔除標(biāo)準(zhǔn):未采用問卷調(diào)查法的論文;僅采用由詢問事實(shí)性問題組成問卷的論文;所有作者均為國外研究者的論文;非定量研究范式的論文;會(huì)議論文、刊訊、題錄、通知等。

    2 結(jié)果與分析

    2.1 運(yùn)用問卷法的期刊概況

    問卷調(diào)查法是當(dāng)前體育研究領(lǐng)域常用的研究方法之一,在體育科學(xué)研究中占有重要地位(黃漢升等,2009)。由表1可知,2010—2018年采用問卷法的論文總數(shù)有所下降,一方面說明我國體育科學(xué)研究條件逐漸提升、研究方法逐漸充盈;另一方面,從運(yùn)用問卷法作為研究方法的論文占比可以看出,問卷調(diào)查法仍然是體育研究領(lǐng)域中不可忽視的一種重要的研究方法。使用問卷調(diào)查法的論文數(shù)目最多的刊物是《北京體育大學(xué)學(xué)報(bào)》(349篇),其次是《武漢體育學(xué)院學(xué)報(bào)》(208篇),兩者數(shù)量相差較大且明顯多于其他刊物,比排在第3位的《上海體育學(xué)院學(xué)報(bào)》多出75篇。問卷法論文刊登數(shù)量最少的是《體育與科學(xué)》(75篇),其次是《體育科學(xué)》與《體育學(xué)刊》(78篇),兩者差別較小。從各刊物發(fā)表問卷調(diào)查論文數(shù)量占本刊物所有論文總數(shù)的百分比來看,《上海體育學(xué)院學(xué)報(bào)》《北京體育大學(xué)學(xué)報(bào)》《武漢體育學(xué)院學(xué)報(bào)》所刊發(fā)的論文中問卷調(diào)查研究論文所占權(quán)重相對(duì)較高,《體育學(xué)刊》《體育科學(xué)》《體育與科學(xué)》所刊發(fā)的論文中問卷調(diào)查研究論文所占權(quán)重相對(duì)較低??傮w而言,問卷調(diào)查法在體育研究領(lǐng)域體現(xiàn)出了運(yùn)用的廣泛性和實(shí)用性,體現(xiàn)了體育學(xué)科研究的定量化趨勢(shì),符合體育科學(xué)研究發(fā)展的要求。

    2.2 應(yīng)用問卷法的規(guī)范性

    2.2.1 問卷名稱的報(bào)告

    近年來,問卷的編制逐漸引起了體育科學(xué)工作者的關(guān)注,其編制方法的科學(xué)性、規(guī)范性和合理性不僅影響到各種測(cè)量的準(zhǔn)確性,更彰顯了體育學(xué)科的發(fā)展水平(戴儉慧等,2014)。問卷具備清晰明確的名稱是問卷規(guī)范性的標(biāo)志之一,其對(duì)于研究目的的表達(dá)以及研究方法的展現(xiàn)具有重要作用。而在本研究中卻發(fā)現(xiàn),納入的1 221篇使用問卷調(diào)查法的論文中,具有(或提到)所使用問卷名稱的比例僅為56.8%(693篇),有43.2%(528篇)的論文沒有或沒有說明問卷的名稱,不但給閱讀者帶來了諸多不便,同時(shí)也對(duì)于研究者之間的學(xué)習(xí)交流造成了阻礙。

    從數(shù)據(jù)上看,問卷法應(yīng)用的規(guī)范性問題仍然存在改進(jìn)空間。使用問卷調(diào)查法對(duì)研究對(duì)象進(jìn)行調(diào)查之前,對(duì)所使用的問卷進(jìn)行基本情況的介紹是研究規(guī)范性的一種體現(xiàn)。本研究發(fā)現(xiàn),部分研究者對(duì)問卷信息交代不全或者不夠重視的情況,反映出研究者在研究方法運(yùn)用過程中對(duì)一些細(xì)節(jié)問題的輕視或者認(rèn)識(shí)不到位。張力為(2006)對(duì)91篇采用問卷調(diào)查為主要方法的碩士論文進(jìn)行分析,發(fā)現(xiàn)問卷調(diào)查法在運(yùn)用過程中缺乏科學(xué)的系統(tǒng)性和繼承性。事實(shí)上,問卷法與其他方法一樣,是一種嚴(yán)謹(jǐn)?shù)难芯糠椒?,各環(huán)節(jié)都應(yīng)體現(xiàn)出研究的科學(xué)性與規(guī)范性(劉朝杰,1997)。反之,研究者對(duì)學(xué)術(shù)的怠慢會(huì)影響到公眾對(duì)科學(xué)研究的學(xué)術(shù)尊重。人既作為研究的主體和客體,制約和影響著問卷調(diào)查的可靠性和適用性,作為一種具體的社會(huì)調(diào)查方法,問卷調(diào)查法有著特定的方法學(xué)范式(徐建華等,2015)。事實(shí)證明,只要研究者們規(guī)范科學(xué)地運(yùn)用問卷調(diào)查法,保證問卷調(diào)查的質(zhì)量,更易于獲得有價(jià)值的研究成果(徐建華等,2019)。

    表1 各期刊每年發(fā)表采用問卷法論文總數(shù)及占總論文數(shù)比率Table 1 The Number of Articles Published by Each Journal in Each Year Using Questionnaires and the Ratio of Total Articles

    2.2.2 問卷類型的選擇

    納入本研究的文獻(xiàn)中,多數(shù)(60.2%)論文采用“自編問卷”,但需注意的是,使用自己編制的問卷,其難度遠(yuǎn)大于借用前人研制且已認(rèn)可的問卷(張力為,2006)。部分研究使用的是“引用問卷”(21.8%)和“改編問卷”(10.1%),還有部分研究對(duì)采用問卷的來源性質(zhì)交代不清(7.9%)。調(diào)查結(jié)果顯示,自編問卷占據(jù)大多數(shù),但其潛在的問題需要引起注意,最為突出的是問卷的信效度檢驗(yàn)問題。使用未經(jīng)(或未正確)進(jìn)行信度測(cè)評(píng)的問卷,將會(huì)使研究結(jié)果的可靠性和客觀性受到質(zhì)疑(李曼,2013)。

    部分研究者借用或移植國外問卷,將先前研究的信度估計(jì)方法作為自己當(dāng)前研究的信度估計(jì)方法,這在一定程度上可減輕研究者的負(fù)擔(dān)(張立敏等,2008)。但由于地區(qū)文化的差異以及樣本的特點(diǎn),借用或移植問卷存在著一定的弊端,表現(xiàn)在語言、測(cè)量和功能等值性上。這就涉及到測(cè)驗(yàn)的本土化問題,即測(cè)量的方法、標(biāo)準(zhǔn)與程序等必須要與特定語言或文化背景條件下對(duì)象的特殊性相一致(葉國雄等,1994)。另外,在研究中應(yīng)用前人研制的問卷時(shí),不僅要考慮和報(bào)告研制者最初研制該問卷時(shí)的信度,還應(yīng)檢驗(yàn)和報(bào)告該問卷在本項(xiàng)研究中的信度(張力為,2002a)。還有部分論文僅僅提到運(yùn)用問卷法進(jìn)行研究,對(duì)問卷的來源描述不清,體現(xiàn)出研究者們的科學(xué)研究素養(yǎng)有待提高??傊瑯?biāo)準(zhǔn)化的問卷是一個(gè)不斷發(fā)展和演變的過程,尤其當(dāng)借用和移植國外的問卷時(shí),還會(huì)衍生出本土化的問題,因此須正確謹(jǐn)慎的運(yùn)用問卷調(diào)查法。

    2.3 問卷信度的測(cè)評(píng)情況

    問卷是用于測(cè)量人們某些特征的工具(風(fēng)笑天,1994),而信度是評(píng)價(jià)問卷測(cè)驗(yàn)質(zhì)量的最基本指標(biāo)(張力為,2002b)。本研究發(fā)現(xiàn),在所檢索到的1 221篇文獻(xiàn)中,報(bào)告信度結(jié)果的有740篇(占總數(shù)的60.6%),有481篇(占總數(shù)的39.4%)文獻(xiàn)未對(duì)信度進(jìn)行報(bào)告(表2)。對(duì)于只問詢事實(shí)類的問卷,例如,僅采用由社會(huì)人口學(xué)信息或基本情況所組成的問卷,一般而言,是不需要進(jìn)行信度檢驗(yàn)的(張力為,2002a)。因此,本研究在文章篩選中剔除了僅使用問詢客觀事實(shí)問卷的研究,以保證本研究結(jié)果的準(zhǔn)確性。雖然對(duì)信度進(jìn)行報(bào)告的比例較高,但對(duì)于體育科研的嚴(yán)謹(jǐn)性來說,60.6%的比例不足以令人滿意。對(duì)問卷信度進(jìn)行清楚合理的評(píng)價(jià),是國內(nèi)科學(xué)研究者們進(jìn)行問卷調(diào)查時(shí)常常容易忽略的問題(張虎等,2007)。問卷設(shè)計(jì)者往往注重的是數(shù)據(jù)收集的難易程度以及問卷設(shè)計(jì)的邏輯性問題,很少會(huì)關(guān)注問卷的可信度問題。然而,測(cè)評(píng)問卷信度是問卷調(diào)查法研究中非常重要的一步(葉寶娟等,2012),只有信度被接受時(shí),問卷的數(shù)據(jù)分析才是可靠的(徐萬里,2008),以問卷法為主的體育科學(xué)調(diào)查研究均應(yīng)提高對(duì)這一環(huán)節(jié)的重視程度。

    呈現(xiàn)具體的信度結(jié)果是對(duì)問卷進(jìn)行信度檢驗(yàn)科學(xué)性的表征,相同功能問卷之間信度的對(duì)比,需要以問卷的信度結(jié)果以及信度計(jì)算方法為依據(jù)。本研究發(fā)現(xiàn),納入研究的論文中對(duì)問卷信度結(jié)果的描述有3種情況,“有具體值”說明的論文數(shù)為524篇(占論文總數(shù)的42.9%)(表2),此類論文有信度檢驗(yàn)的具體數(shù)值,因此,某些檢驗(yàn)方法相同的論文之間可以進(jìn)行信度對(duì)比,讀者也能夠通過具體的數(shù)值了解問卷的信度程度。然而遺憾的是,部分論文僅交代了信度值,而具體的信度檢驗(yàn)程序卻不得而知。對(duì)信度結(jié)果進(jìn)行“主觀描述”的論文數(shù)為149篇(占論文總數(shù)的12.2%),此類論文沒有報(bào)告信度結(jié)果的具體值,僅對(duì)信度進(jìn)行了主觀描述,例如,使用“信度較高”等詞匯。此類論文雖然對(duì)問卷的信度進(jìn)行了說明,但讀者很難把握問卷的具體信度程度,且不同問卷信度之間不能進(jìn)行對(duì)照與對(duì)比,研究者們?nèi)粝雲(yún)⒖?、改良或使用此問卷比較困難。對(duì)所使用的問卷信度結(jié)果“無任何說明”的論文為548篇(占論文總數(shù)的44.9%),這些論文雖然使用了問卷調(diào)查法,但對(duì)問卷信度結(jié)果完全沒有提及,對(duì)同領(lǐng)域的研究者來說,通過此類論文獲取的研究結(jié)果和經(jīng)驗(yàn)的可靠性得不到保證。有研究表明,以問卷調(diào)查為主要研究方法的碩士論文對(duì)信度的運(yùn)用也存在較多誤區(qū)(毛志雄,2014;張力為,2006)。由此可見,研究者們對(duì)自身使用的問卷信度信息掌握并不充分,對(duì)問卷信度的重視程度不足,對(duì)問卷調(diào)查法的使用方法還需進(jìn)一步的了解。綜上說明,研究者缺乏專業(yè)的研究技能,問卷法被濫用的情形并不少見。

    表2 問卷信度的測(cè)評(píng)情況Table 2 Test Results of Questionnaire Reliability

    2.4 問卷信度的測(cè)評(píng)方法

    對(duì)于問卷信度的測(cè)評(píng)而言,明確地報(bào)告信度的檢驗(yàn)方法是不可或缺的。詳細(xì)介紹問卷信度檢驗(yàn)方法可以讓讀者根據(jù)對(duì)研究方法的陳述評(píng)判研究的質(zhì)量,同時(shí)還能給讀者提供同類研究遵循的研究流程,以檢驗(yàn)研究結(jié)果的準(zhǔn)確性(張力為,2002b)。但對(duì)信度檢驗(yàn)方法無任何說明的論文高達(dá)573篇(占論文總數(shù)的46.9%)(表3),此現(xiàn)象說明,研究者在問卷調(diào)查法中對(duì)信度的檢驗(yàn)不夠重視或者并不清楚信度檢驗(yàn)的方法,一定程度上影響到論文的質(zhì)量且可能直接影響研究結(jié)果的準(zhǔn)確性和客觀性。有640篇論文(占論文總數(shù)的52.4%)對(duì)問卷信度的檢驗(yàn)方法進(jìn)行了明確的說明,但對(duì)于科學(xué)研究的嚴(yán)謹(jǐn)性來說,這一比例仍遠(yuǎn)遠(yuǎn)不夠。

    表3 問卷信度測(cè)評(píng)的方法使用情況Table 3 Usage of the Method of Questionnaire Reliability Test

    從納入論文對(duì)問卷進(jìn)行信度測(cè)評(píng)的指標(biāo)來看,內(nèi)部一致性信度是目前最常用的指標(biāo)。另外,重測(cè)信度的應(yīng)用也為數(shù)不少,但大多數(shù)研究對(duì)內(nèi)部一致性的重視程度高于重測(cè)信度。不同的信度檢驗(yàn)方法適應(yīng)于不同的條件,不同檢驗(yàn)方法得出的結(jié)果也會(huì)存在一定差異,能夠從不同角度反映問卷的信度程度。在實(shí)際研究中,很難對(duì)某一問卷進(jìn)行所有可信度的評(píng)估,選用合理的信度檢驗(yàn)方法要結(jié)合問卷種類和研究目的(蔣小花等,2010)。更重要的是,選用的方法要與調(diào)查問卷的整體設(shè)計(jì)要求相符合(黃漢升,2009)。另外,利用紙筆測(cè)驗(yàn)進(jìn)行調(diào)查研究時(shí),應(yīng)先確定需要進(jìn)行信度檢驗(yàn)的內(nèi)容,并非所有的內(nèi)容都需要進(jìn)行信度測(cè)評(píng)(張力為,2002a)。有8篇論文(占論文總數(shù)的0.7%)在評(píng)估信度時(shí)以“專家評(píng)估”“相關(guān)系數(shù)”“交叉證實(shí)”“r值”的方式對(duì)信度結(jié)果進(jìn)行描述,并不能反映出研究中信度測(cè)評(píng)采用的具體方法,也就不能對(duì)其信度測(cè)評(píng)的合理性進(jìn)行準(zhǔn)確的認(rèn)識(shí)。更進(jìn)一步,因?yàn)椴荒艽_定其信度檢驗(yàn)方法是否合理,就不能確定其信度高低。綜上說明,部分研究者對(duì)問卷信度檢驗(yàn)重視不足,對(duì)信度的相關(guān)專業(yè)知識(shí)了解不足。

    2.5 問卷信度測(cè)評(píng)的趨勢(shì)

    從信度是否報(bào)告的角度看,總體呈現(xiàn)出趨向規(guī)范化的良好態(tài)勢(shì),越來越多的論文在使用問卷調(diào)查法時(shí)報(bào)告了信度。最低為2012年度的47.6%(圖2),但也有近一半的論文報(bào)告了信度,最高為2018年度80.9%的論文報(bào)告了信度。在一定程度上說明,研究者對(duì)于問卷調(diào)查法信度報(bào)告的意識(shí)逐漸增強(qiáng)。盡管問卷調(diào)查法的信度檢驗(yàn)方面取得了很大的進(jìn)步,但是,也應(yīng)意識(shí)到問卷應(yīng)用的問題仍然存在,研究規(guī)范性仍需繼續(xù)優(yōu)化加強(qiáng)。

    圖2 問卷信度測(cè)評(píng)的趨勢(shì)Figure 2. Trends of Questionnaires Reliability Assessment

    從信度結(jié)果呈現(xiàn)方式的趨勢(shì)來看,信度結(jié)果報(bào)告的方式越來越具體化,有“具體值描述”的越來越多,“無任何說明”“主觀描述”的情況也越來越少(圖2)。從目前情況看,在運(yùn)用問卷法收集資料的調(diào)查研究中,對(duì)于問卷信度檢驗(yàn)的過程有了很大進(jìn)步,但還存在著一定的問題。在調(diào)查中也發(fā)現(xiàn),部分研究者只是對(duì)信度的具體值一筆帶過,但具體程序卻不得而知。這不僅影響到科學(xué)研究結(jié)果的準(zhǔn)確性,還會(huì)使人們對(duì)問卷調(diào)查法的總體信任感受到影響。目前,體育科學(xué)研究應(yīng)用問卷調(diào)查法時(shí)信度檢驗(yàn)方面存在諸多不足,但也能看到我國研究者在此方面取得的進(jìn)步,還需體育工作者共同努力繼續(xù)改善這一狀況。

    3 問卷信度應(yīng)用規(guī)范

    3.1 測(cè)評(píng)方法

    問卷的信度是指問卷調(diào)查結(jié)果的穩(wěn)定性和一致性。研究者根據(jù)不同問卷或量表會(huì)選擇不同的信度檢驗(yàn)方法,這一選擇以問卷內(nèi)容、研究目的以及應(yīng)用現(xiàn)狀為基礎(chǔ),其最終目的是保障問卷的質(zhì)量,確保研究結(jié)果的權(quán)威性。以下為體育科學(xué)實(shí)踐中常見的問卷信度檢測(cè)方法,其適用范圍、計(jì)算方法、分析方法和評(píng)價(jià)標(biāo)準(zhǔn)歸納為表4。

    3.1.1 重測(cè)信度

    問卷的重測(cè)信度(test-retest reliability)是指用同樣的問卷,在相似的情境下對(duì)同一組調(diào)查對(duì)象在不同的時(shí)間進(jìn)行兩次測(cè)量,測(cè)評(píng)其結(jié)果的一致程度(張力為,2002a)。結(jié)果相關(guān)程度越高,或是差異越不顯著,則信度也就越高,測(cè)量結(jié)果越一致。重測(cè)信度常用于事實(shí)性或習(xí)慣性行為等在短時(shí)間內(nèi)無明顯變化的調(diào)查問卷(亓萊濱等,2003),以及了解調(diào)查對(duì)象的態(tài)度和意見的問卷(蔣小花等,2003)。通常來說,問卷測(cè)評(píng)的內(nèi)容和難易程度都會(huì)影響到問卷的重測(cè)信度(Otter et al.,2010)。內(nèi)容多、回答難的問卷由于增加了被調(diào)查者回答的不確定性而使得問卷重測(cè)信度降低,而問卷內(nèi)容越少,對(duì)調(diào)查者來說越簡(jiǎn)單,其重測(cè)信度也越高。此外,如果兩次問卷調(diào)查的間隔時(shí)間過長,也會(huì)降低重測(cè)信度。因此,常見的兩次測(cè)量間隔需在2~4周(蔣小花等,2003)。對(duì)問卷重測(cè)信度進(jìn)行評(píng)價(jià)分析時(shí),當(dāng)評(píng)估的變量是二分類變量時(shí),可用Kappa系數(shù)評(píng)估重測(cè)信度;當(dāng)評(píng)估連續(xù)變量或等級(jí)變量時(shí),則應(yīng)采用基于方差分析的內(nèi)部相關(guān)系數(shù)ICC(intraclass correla‐tion coefficient)來測(cè)評(píng)問卷的重測(cè)信度(Bailey et al.,1994)。一般ICC>0.80表示重測(cè)信度極好,0.61~0.80表示重測(cè)信度較好,0.41~0.60表示重測(cè)信度中等,0.21~0.40表示重測(cè)信度較差,ICC≤0.20則表示重測(cè)信度很差(Landis et al.,1977)。

    3.1.2 內(nèi)部一致性信度

    問卷的內(nèi)部一致性信度(internal consistent reliabili‐ty),是指問卷內(nèi)測(cè)評(píng)相同內(nèi)容的所有題目之間的一致性。內(nèi)部一致性信度適用于了解調(diào)查者態(tài)度以及意見式的問卷(亓萊濱 等,2003),克隆巴赫系數(shù)(Cronbach's α)是最常用的內(nèi)部一致性信度檢測(cè)指標(biāo)(Bonett et al.,2015)。其應(yīng)用的條件是被檢測(cè)的所有題目都必須是測(cè)量同一種現(xiàn)象,并對(duì)該現(xiàn)象進(jìn)行相等程度地解釋(Cronbach et al.,1951)。克隆巴赫α系數(shù)越大,各條目間相關(guān)程度越高。一般,克隆巴赫α系數(shù)>0.80表示內(nèi)部一致性極好,0.71~0.80表示內(nèi)部一致性較好,0.66~0.70表示內(nèi)部一致性中等,0.60~0.65表示內(nèi)部一致性較差,<0.60則表示內(nèi)部一致性很差(DeVellis,2006)。需要注意的是,判斷問卷或量表內(nèi)部一致性高低時(shí),需要同時(shí)考慮題目的數(shù)量(巫秀美 等,1998;Eisinga et al.,2013)。因?yàn)榭寺“秃咋料禂?shù)會(huì)隨著題目數(shù)量的增加而增加,而并非真實(shí)題目之間內(nèi)部一致性的增加(溫忠麟 等,2011;Yang et al.,2011)。

    3.1.3 折半信度

    問卷的折半信度(split-half reliability)是指將一份問卷分成對(duì)等的兩半后,調(diào)查被試者在這兩個(gè)部分所得分?jǐn)?shù)的一致程度。折半信度在評(píng)判某個(gè)測(cè)驗(yàn)特定兩半之間的一致性程度時(shí)較有使用價(jià)值(陳希鎮(zhèn)等,1991)。這種方法一般不適用于事實(shí)式問卷,常用于調(diào)查被試者態(tài)度以及意見式問卷(亓萊濱等,2003)。在應(yīng)用折半信度進(jìn)行分析時(shí),如果問卷中包含反意條目,需要先將反意條目的得分作逆向處理,以保證條目有相同的得分方向,進(jìn)而將全部條目按奇偶或前后順序分成對(duì)等的兩半(蔣小花,2010),最后計(jì)算其Spearman-Brown系數(shù)和Guttman Split-Half系數(shù)以評(píng)估其相關(guān)程度(Thompson et al.,2010)。折半信度系數(shù)通常在0.60~0.80,一般應(yīng)>0.70(Luking et al.,2017)。

    表4 信度運(yùn)用方法Table 4 Reliability Application Methods

    3.1.4 復(fù)本信度

    問卷的復(fù)本信度(equivalent-form reliability)是讓同一批被調(diào)查者一次性完成兩份等效問卷,計(jì)算兩份等效問卷結(jié)果的一致程度。有兩份難度、內(nèi)容、形式和提問方向完全一致的問卷是測(cè)量復(fù)本信度的前提(李燦等,2008)。復(fù)本信度在一定程度上可以彌補(bǔ)重測(cè)信度的缺陷,但因?yàn)楹茈y得到兩份等效的問卷,所以在實(shí)踐中較少采用此種方法(蔣小花,2010)。一般常用Pearson相關(guān)系數(shù)、Ken‐dall等級(jí)相關(guān)系數(shù)和Spearman等級(jí)相關(guān)系數(shù)計(jì)算復(fù)本信度。復(fù)本信度的標(biāo)準(zhǔn)往往很高,一般在0.85~0.90,>0.85表示信度可被接受(McDowell,2006)。

    3.1.5 評(píng)分者信度

    問卷的評(píng)分者信度(scorer reliability)指的是多個(gè)問卷評(píng)分者給相同被試人員評(píng)分時(shí)的一致程度。在實(shí)踐中,有些問卷需要調(diào)查者根據(jù)被調(diào)查者的回答進(jìn)行等級(jí)評(píng)判或打分,如考試試卷等。因此,該問卷的信度在很大程度上取決于調(diào)查者評(píng)分的穩(wěn)定性以及一致性,對(duì)這類客觀性較低的問卷,則需要計(jì)算評(píng)分者信度以判斷問卷的質(zhì)量(李燦等,2008)。評(píng)分者信度又分為評(píng)分者間信度,即不同評(píng)分者測(cè)評(píng)同一份問卷的結(jié)果一致性程度;以及評(píng)分者內(nèi)信度,即同一評(píng)分者在不同時(shí)間或地點(diǎn)對(duì)同一份問卷評(píng)定結(jié)果的一致性。評(píng)分者信度常用Pearson相關(guān)系數(shù)或Kendall、Spearman等級(jí)相關(guān)系數(shù)進(jìn)行計(jì)算(Bartko et al.,1976)。評(píng)分者信度相關(guān)系數(shù)通常在0.65~0.95之間,一般要求宜>0.85(McDowell,2006)。

    3.2 應(yīng)用流程

    問卷調(diào)查法是體育科學(xué)研究實(shí)踐中最常用的研究方法之一。對(duì)問卷進(jìn)行信度測(cè)量與評(píng)價(jià)是保證問卷質(zhì)量的關(guān)鍵,也是保證研究結(jié)果科學(xué)性的前提。盡管問卷的類型多種多樣,其信度的測(cè)量與評(píng)價(jià)也有著不同的方法和標(biāo)準(zhǔn),但研究者在對(duì)問卷進(jìn)行信度檢驗(yàn)時(shí)都應(yīng)遵循嚴(yán)格的流程和規(guī)范。從上文對(duì)2010—2018年我國9本體育類核心期刊應(yīng)用問卷調(diào)查法的論文進(jìn)行系統(tǒng)分析后發(fā)現(xiàn),仍有部分已發(fā)表的論文在信度應(yīng)用流程的規(guī)范性上存在欠缺。因此,本研究總結(jié)歸納了問卷信度應(yīng)用的一般流程(圖3)。

    圖3 問卷調(diào)查法信度檢驗(yàn)流程圖Figure 3. Reliability Test Flow Chart of Questionnaire Survey Method

    在對(duì)問卷信度進(jìn)行測(cè)評(píng)時(shí),首先判斷該問卷是否為已存在問卷,如果是,則查詢?cè)搯柧硎欠褚呀?jīng)進(jìn)行過信度檢驗(yàn),并確定該問卷信度測(cè)評(píng)對(duì)象是否與本研究相同或類似(包括年齡、性別、地區(qū)、文化等社會(huì)人口學(xué)情況),信度報(bào)告是否規(guī)范,檢驗(yàn)方法是否正確,評(píng)估標(biāo)準(zhǔn)是否適宜。如果該問卷符合以上條件,則可被引用。如果該問卷不符合以上條件或者是全新設(shè)計(jì)的問卷,則應(yīng)進(jìn)行規(guī)范的信度檢驗(yàn)。進(jìn)行標(biāo)準(zhǔn)信度檢驗(yàn)首先應(yīng)確定測(cè)驗(yàn)的內(nèi)容,并非所有的內(nèi)容都需要進(jìn)行信度檢驗(yàn);合理的信度指標(biāo)需根據(jù)問卷的種類和研究目的以及問卷的整體性研究設(shè)計(jì)進(jìn)行選擇;信度結(jié)果需根據(jù)所選擇的信度檢驗(yàn)方法采用相應(yīng)的測(cè)評(píng)方法進(jìn)行計(jì)算;判斷信度結(jié)果是否符合評(píng)價(jià)標(biāo)準(zhǔn)是對(duì)所得信度結(jié)果進(jìn)行分析,以此來判斷該問卷的信度程度。如果符合信度評(píng)價(jià)標(biāo)準(zhǔn)則表明該問卷信度具有可信度,否則,應(yīng)修改問卷再次進(jìn)行規(guī)范的信度檢驗(yàn)直至符合評(píng)價(jià)標(biāo)準(zhǔn)。問卷信度檢驗(yàn)描述示例如下:

    對(duì)學(xué)生校外身體活動(dòng)問卷進(jìn)行重測(cè)信度檢驗(yàn),120名11歲在校5年級(jí)學(xué)生(男生50.0%)完成該問卷,并在2周后再次完成該問卷。采用組內(nèi)相關(guān)系數(shù)對(duì)問卷兩次測(cè)試結(jié)果進(jìn)行分析,結(jié)果顯示,該問卷的組內(nèi)相關(guān)系數(shù)在0.61~0.85,根據(jù)Landis等(1977)的評(píng)價(jià)標(biāo)準(zhǔn),證明該問卷具有較好的重測(cè)信度。

    4 小結(jié)

    隨著體育科學(xué)定量研究范式的普及,問卷調(diào)查法仍然是目前常用的體育社會(huì)科學(xué)研究方法之一,在本研究納入的9本刊物中均占有較高比例,但同時(shí)也揭示了我國科學(xué)研究者在使用問卷調(diào)查法過程中所潛在的一些問題。在提倡學(xué)術(shù)規(guī)范的今天,科學(xué)研究者在運(yùn)用問卷調(diào)查法時(shí),須重視并加強(qiáng)問卷的編制修訂工作,遵循信度檢驗(yàn)的一般流程,正確應(yīng)用信度檢驗(yàn)方法,從而有效地利用問卷調(diào)查法得出科學(xué)客觀的研究結(jié)論,保證學(xué)術(shù)論文的質(zhì)量。

    猜你喜歡
    一致性體育方法
    關(guān)注減污降碳協(xié)同的一致性和整體性
    公民與法治(2022年5期)2022-07-29 00:47:28
    注重教、學(xué)、評(píng)一致性 提高一輪復(fù)習(xí)效率
    IOl-master 700和Pentacam測(cè)量Kappa角一致性分析
    提倡體育100分 也需未雨綢繆
    甘肅教育(2020年2期)2020-11-25 00:50:04
    2016體育年
    可能是方法不對(duì)
    我們的“體育夢(mèng)”
    用對(duì)方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    基于事件觸發(fā)的多智能體輸入飽和一致性控制
    四大方法 教你不再“坐以待病”!
    Coco薇(2015年1期)2015-08-13 02:47:34
    淫秽高清视频在线观看| 好看av亚洲va欧美ⅴa在| 香蕉丝袜av| 宅男免费午夜| 在线永久观看黄色视频| 女人被躁到高潮嗷嗷叫费观| www日本在线高清视频| 精品国产乱子伦一区二区三区| 国产片内射在线| 亚洲免费av在线视频| 99riav亚洲国产免费| 亚洲五月天丁香| 亚洲欧美一区二区三区黑人| 俄罗斯特黄特色一大片| 18禁国产床啪视频网站| 搡老岳熟女国产| 欧美 亚洲 国产 日韩一| 国产精品野战在线观看| 熟女少妇亚洲综合色aaa.| 久久性视频一级片| 日本免费a在线| 久久精品影院6| 88av欧美| 18禁国产床啪视频网站| 亚洲国产毛片av蜜桃av| 日韩欧美国产一区二区入口| 99国产精品一区二区三区| 黄色毛片三级朝国网站| 一级毛片女人18水好多| 人人妻人人爽人人添夜夜欢视频| 久9热在线精品视频| 岛国在线观看网站| cao死你这个sao货| 深夜精品福利| 久久人人爽av亚洲精品天堂| 99香蕉大伊视频| 精品免费久久久久久久清纯| 大陆偷拍与自拍| 午夜福利,免费看| 国产真人三级小视频在线观看| 国产又色又爽无遮挡免费看| 涩涩av久久男人的天堂| 久久欧美精品欧美久久欧美| 精品电影一区二区在线| 婷婷精品国产亚洲av在线| 神马国产精品三级电影在线观看 | 色综合站精品国产| 在线免费观看的www视频| 久久婷婷人人爽人人干人人爱 | 青草久久国产| 欧美成人一区二区免费高清观看 | 欧美色视频一区免费| 国内毛片毛片毛片毛片毛片| 亚洲无线在线观看| 极品教师在线免费播放| 90打野战视频偷拍视频| 久久中文看片网| 宅男免费午夜| 成人亚洲精品一区在线观看| 免费观看人在逋| 国产精品国产高清国产av| 国产成+人综合+亚洲专区| 亚洲av五月六月丁香网| 一边摸一边做爽爽视频免费| 伊人久久大香线蕉亚洲五| 自线自在国产av| 欧美日韩黄片免| 亚洲三区欧美一区| 丝袜美足系列| 亚洲欧美精品综合久久99| 这个男人来自地球电影免费观看| 69精品国产乱码久久久| 成年人黄色毛片网站| 99国产综合亚洲精品| 嫩草影院精品99| 国产精品自产拍在线观看55亚洲| 淫秽高清视频在线观看| 99国产综合亚洲精品| 久久久国产精品麻豆| videosex国产| 欧美激情高清一区二区三区| 电影成人av| 如日韩欧美国产精品一区二区三区| 老司机午夜十八禁免费视频| 桃色一区二区三区在线观看| 少妇的丰满在线观看| 亚洲欧洲精品一区二区精品久久久| 亚洲色图综合在线观看| 国内精品久久久久精免费| 亚洲欧美日韩高清在线视频| 日韩大尺度精品在线看网址 | 涩涩av久久男人的天堂| 美女免费视频网站| 男人舔女人下体高潮全视频| 亚洲精品一区av在线观看| 国产一卡二卡三卡精品| 国产午夜精品久久久久久| av欧美777| 亚洲av成人av| 国产一区二区激情短视频| 黄色视频,在线免费观看| 国产亚洲精品久久久久5区| 啪啪无遮挡十八禁网站| 久久性视频一级片| 可以在线观看的亚洲视频| 亚洲avbb在线观看| 日日夜夜操网爽| 国产精品乱码一区二三区的特点 | 亚洲久久久国产精品| 国产成人精品在线电影| 51午夜福利影视在线观看| 久久人妻熟女aⅴ| 久久午夜亚洲精品久久| 日韩一卡2卡3卡4卡2021年| 亚洲一区高清亚洲精品| 亚洲欧美精品综合久久99| 国产单亲对白刺激| 免费在线观看亚洲国产| 国产成人精品无人区| 亚洲av第一区精品v没综合| 麻豆av在线久日| 91国产中文字幕| 黄色片一级片一级黄色片| 精品午夜福利视频在线观看一区| 国产精品永久免费网站| 可以在线观看毛片的网站| av免费在线观看网站| 欧美亚洲日本最大视频资源| 日本五十路高清| 成人三级黄色视频| 婷婷精品国产亚洲av在线| 欧美av亚洲av综合av国产av| 免费在线观看完整版高清| 久久久国产精品麻豆| 亚洲aⅴ乱码一区二区在线播放 | 国产成+人综合+亚洲专区| 一边摸一边抽搐一进一出视频| 999精品在线视频| 亚洲国产看品久久| 国产午夜精品久久久久久| 亚洲精华国产精华精| 操出白浆在线播放| 精品久久蜜臀av无| 国产激情欧美一区二区| 午夜久久久在线观看| 看黄色毛片网站| 成人精品一区二区免费| 亚洲色图综合在线观看| 国语自产精品视频在线第100页| 久久人人97超碰香蕉20202| av欧美777| 日韩三级视频一区二区三区| 久久久久九九精品影院| 性欧美人与动物交配| 欧美一级a爱片免费观看看 | 麻豆国产av国片精品| 国产精品 欧美亚洲| 9色porny在线观看| 日韩国内少妇激情av| 欧美绝顶高潮抽搐喷水| 精品久久久久久久久久免费视频| 看免费av毛片| 欧美精品亚洲一区二区| 91字幕亚洲| 日韩欧美一区二区三区在线观看| 叶爱在线成人免费视频播放| 国产欧美日韩一区二区精品| 色尼玛亚洲综合影院| 岛国在线观看网站| 身体一侧抽搐| 日韩精品免费视频一区二区三区| 国产黄a三级三级三级人| 丝袜人妻中文字幕| www国产在线视频色| 国产99久久九九免费精品| 一边摸一边抽搐一进一出视频| 免费看a级黄色片| 在线天堂中文资源库| 午夜精品久久久久久毛片777| 两个人看的免费小视频| 亚洲专区字幕在线| www.自偷自拍.com| 黄片小视频在线播放| 精品国产乱码久久久久久男人| 性少妇av在线| 夜夜躁狠狠躁天天躁| 亚洲色图av天堂| 国产三级在线视频| 欧美黄色片欧美黄色片| av超薄肉色丝袜交足视频| 亚洲成国产人片在线观看| 欧美最黄视频在线播放免费| 欧美乱码精品一区二区三区| 夜夜看夜夜爽夜夜摸| 国产蜜桃级精品一区二区三区| 久久久久久国产a免费观看| 男人的好看免费观看在线视频 | 亚洲av美国av| 日韩欧美在线二视频| 少妇熟女aⅴ在线视频| 国产三级在线视频| 亚洲九九香蕉| 99久久综合精品五月天人人| 国产亚洲精品一区二区www| 免费在线观看影片大全网站| 99热只有精品国产| 后天国语完整版免费观看| 日韩大尺度精品在线看网址 | 久久人妻福利社区极品人妻图片| 如日韩欧美国产精品一区二区三区| 免费久久久久久久精品成人欧美视频| 色婷婷久久久亚洲欧美| 久久人人精品亚洲av| 91成年电影在线观看| 老鸭窝网址在线观看| 色尼玛亚洲综合影院| 欧美日韩瑟瑟在线播放| 国产av在哪里看| 亚洲av电影在线进入| 国产麻豆69| 91老司机精品| 亚洲精品一卡2卡三卡4卡5卡| 久久精品aⅴ一区二区三区四区| 视频在线观看一区二区三区| 中文字幕最新亚洲高清| 国产毛片a区久久久久| 97人妻精品一区二区三区麻豆| 校园人妻丝袜中文字幕| 成人鲁丝片一二三区免费| 特级一级黄色大片| 日本免费一区二区三区高清不卡| 精品久久国产蜜桃| 18禁黄网站禁片午夜丰满| 午夜日韩欧美国产| 自拍偷自拍亚洲精品老妇| 亚洲七黄色美女视频| 欧美另类亚洲清纯唯美| 内射极品少妇av片p| 日本与韩国留学比较| 欧美一区二区亚洲| 午夜激情福利司机影院| 中文字幕久久专区| 久久热精品热| 亚洲精品国产成人久久av| 真人一进一出gif抽搐免费| 尤物成人国产欧美一区二区三区| av福利片在线观看| 亚洲成人中文字幕在线播放| 久久久久久久精品吃奶| 又爽又黄无遮挡网站| 欧美不卡视频在线免费观看| 他把我摸到了高潮在线观看| 成人午夜高清在线视频| 久久久久久久久久久丰满 | 久久精品国产自在天天线| 亚洲七黄色美女视频| 亚洲av不卡在线观看| 色综合婷婷激情| 美女大奶头视频| 69av精品久久久久久| 蜜桃亚洲精品一区二区三区| 中国美白少妇内射xxxbb| 97人妻精品一区二区三区麻豆| 91久久精品国产一区二区成人| 精品无人区乱码1区二区| 韩国av一区二区三区四区| 午夜福利在线在线| 一级毛片久久久久久久久女| 成熟少妇高潮喷水视频| 婷婷亚洲欧美| 久久久久久久久大av| 美女cb高潮喷水在线观看| 欧美最黄视频在线播放免费| 久久欧美精品欧美久久欧美| 国内毛片毛片毛片毛片毛片| 99热这里只有精品一区| 亚洲人成网站在线播放欧美日韩| 亚洲18禁久久av| 能在线免费观看的黄片| 国产激情偷乱视频一区二区| 国内少妇人妻偷人精品xxx网站| 琪琪午夜伦伦电影理论片6080| 最新在线观看一区二区三区| 搞女人的毛片| 亚洲美女视频黄频| 日本欧美国产在线视频| 大又大粗又爽又黄少妇毛片口| 大型黄色视频在线免费观看| or卡值多少钱| 一卡2卡三卡四卡精品乱码亚洲| 日韩精品中文字幕看吧| 久久久成人免费电影| 成年人黄色毛片网站| 天堂网av新在线| 国产av在哪里看| 啪啪无遮挡十八禁网站| 日日夜夜操网爽| 亚洲乱码一区二区免费版| 久久久精品欧美日韩精品| 在线免费观看不下载黄p国产 | 精品午夜福利在线看| 男插女下体视频免费在线播放| 亚洲成av人片在线播放无| 亚洲自拍偷在线| 制服丝袜大香蕉在线| 成人二区视频| 成人特级黄色片久久久久久久| 亚洲熟妇中文字幕五十中出| 午夜爱爱视频在线播放| 韩国av一区二区三区四区| 久久精品国产自在天天线| 久久久久九九精品影院| 国产精品野战在线观看| 国产三级中文精品| 一夜夜www| 十八禁国产超污无遮挡网站| 人妻夜夜爽99麻豆av| 亚洲18禁久久av| x7x7x7水蜜桃| 日韩在线高清观看一区二区三区 | 丝袜美腿在线中文| 十八禁国产超污无遮挡网站| 不卡一级毛片| 99在线人妻在线中文字幕| bbb黄色大片| 搞女人的毛片| 亚州av有码| 国产亚洲欧美98| 欧美日韩综合久久久久久 | 人人妻人人看人人澡| 色噜噜av男人的天堂激情| 久久午夜亚洲精品久久| 亚洲无线观看免费| 久久这里只有精品中国| 成年人黄色毛片网站| 欧美日韩国产亚洲二区| 91麻豆精品激情在线观看国产| 国产精品久久视频播放| 日日摸夜夜添夜夜添小说| 五月伊人婷婷丁香| 俺也久久电影网| 日韩欧美在线乱码| 在线观看一区二区三区| 亚洲四区av| 成人精品一区二区免费| 少妇丰满av| 午夜精品久久久久久毛片777| 欧美日韩国产亚洲二区| 国产伦精品一区二区三区视频9| 亚洲四区av| 国产午夜精品论理片| 99久久中文字幕三级久久日本| 可以在线观看的亚洲视频| 欧美不卡视频在线免费观看| 麻豆国产97在线/欧美| 女的被弄到高潮叫床怎么办 | 亚洲狠狠婷婷综合久久图片| 如何舔出高潮| 国产亚洲精品久久久久久毛片| 国产一区二区激情短视频| 欧美极品一区二区三区四区| 免费在线观看影片大全网站| 亚洲性夜色夜夜综合| 日韩欧美国产在线观看| 日本五十路高清| 中国美女看黄片| 亚洲精华国产精华液的使用体验 | 国产久久久一区二区三区| 老熟妇仑乱视频hdxx| 两个人视频免费观看高清| 99精品在免费线老司机午夜| 色噜噜av男人的天堂激情| 国产亚洲av嫩草精品影院| 中国美白少妇内射xxxbb| 久久久久久久久大av| 很黄的视频免费| 人妻制服诱惑在线中文字幕| 长腿黑丝高跟| 亚洲av不卡在线观看| 国产av在哪里看| 一本一本综合久久| 欧美日韩瑟瑟在线播放| 男女边吃奶边做爰视频| 天堂影院成人在线观看| 午夜影院日韩av| 午夜爱爱视频在线播放| 日本成人三级电影网站| 亚洲性夜色夜夜综合| 亚洲在线观看片| 在线观看一区二区三区| 国产美女午夜福利| 色综合色国产| a级毛片a级免费在线| 午夜久久久久精精品| 日韩欧美国产一区二区入口| 69人妻影院| 国产伦精品一区二区三区四那| 日韩中字成人| 亚洲成人久久爱视频| 国产高清不卡午夜福利| 琪琪午夜伦伦电影理论片6080| 午夜久久久久精精品| 国产 一区精品| 日本一二三区视频观看| 免费看光身美女| 免费高清视频大片| 成熟少妇高潮喷水视频| 在线天堂最新版资源| 美女xxoo啪啪120秒动态图| 精品久久久噜噜| 成人国产麻豆网| 欧美3d第一页| 身体一侧抽搐| 久久午夜福利片| 国产伦在线观看视频一区| 美女黄网站色视频| 欧洲精品卡2卡3卡4卡5卡区| 亚洲专区中文字幕在线| 久久天躁狠狠躁夜夜2o2o| 久久久久免费精品人妻一区二区| 国产高清视频在线观看网站| 日韩欧美在线二视频| av天堂在线播放| 国产真实乱freesex| .国产精品久久| а√天堂www在线а√下载| 国产激情偷乱视频一区二区| www.色视频.com| 亚洲欧美精品综合久久99| 欧美一区二区精品小视频在线| 69av精品久久久久久| 久久精品国产亚洲av涩爱 | 国产精品不卡视频一区二区| 深夜精品福利| 久久久久精品国产欧美久久久| 一级a爱片免费观看的视频| 99精品久久久久人妻精品| 日本黄色视频三级网站网址| av视频在线观看入口| 国产精品亚洲美女久久久| 国产一区二区亚洲精品在线观看| 99热这里只有是精品50| 黄片wwwwww| 可以在线观看的亚洲视频| 亚洲中文字幕一区二区三区有码在线看| 性插视频无遮挡在线免费观看| 特级一级黄色大片| 久久久精品欧美日韩精品| 99热精品在线国产| 免费电影在线观看免费观看| 91精品国产九色| 日韩欧美精品v在线| 国产精品美女特级片免费视频播放器| 不卡一级毛片| 亚洲精品影视一区二区三区av| 我要看日韩黄色一级片| 国产精品久久久久久av不卡| 成人高潮视频无遮挡免费网站| 我要看日韩黄色一级片| 精品久久久久久久人妻蜜臀av| 99在线人妻在线中文字幕| 国内精品久久久久精免费| 国产黄色小视频在线观看| 亚洲av成人精品一区久久| 国产伦精品一区二区三区视频9| 欧美3d第一页| 97碰自拍视频| 午夜爱爱视频在线播放| 国产免费一级a男人的天堂| 1024手机看黄色片| 在线天堂最新版资源| 亚洲精品影视一区二区三区av| 成人国产综合亚洲| 精品免费久久久久久久清纯| 国产精品人妻久久久久久| 欧美一区二区国产精品久久精品| 最近最新中文字幕大全电影3| 成人国产麻豆网| 欧美极品一区二区三区四区| 精品久久久久久,| 国内精品久久久久久久电影| 国产熟女欧美一区二区| 欧美成人a在线观看| 中国美白少妇内射xxxbb| 亚洲无线在线观看| 啦啦啦韩国在线观看视频| 国产亚洲91精品色在线| 国产精品一区二区免费欧美| 男女下面进入的视频免费午夜| x7x7x7水蜜桃| 两个人的视频大全免费| 久久九九热精品免费| 在线天堂最新版资源| 亚洲精品久久国产高清桃花| 伦理电影大哥的女人| 国产精品精品国产色婷婷| 国内精品久久久久精免费| 88av欧美| 精品一区二区三区av网在线观看| 99久久中文字幕三级久久日本| 国产精品一区二区免费欧美| 99久久中文字幕三级久久日本| 中文在线观看免费www的网站| 91麻豆精品激情在线观看国产| 亚洲第一电影网av| 男女做爰动态图高潮gif福利片| 国产v大片淫在线免费观看| 亚洲美女黄片视频| 国产麻豆成人av免费视频| 中文字幕av成人在线电影| 久9热在线精品视频| 色哟哟哟哟哟哟| 简卡轻食公司| 久久精品人妻少妇| 三级毛片av免费| 大型黄色视频在线免费观看| 简卡轻食公司| 久久热精品热| 51国产日韩欧美| 嫩草影视91久久| 国内精品久久久久久久电影| 久久精品人妻少妇| 午夜激情欧美在线| 波多野结衣高清无吗| 性欧美人与动物交配| 美女大奶头视频| 内地一区二区视频在线| 国产主播在线观看一区二区| 亚洲美女搞黄在线观看 | 国产精品一及| 天堂网av新在线| 男女边吃奶边做爰视频| 看黄色毛片网站| 亚洲无线在线观看| 欧美高清成人免费视频www| 偷拍熟女少妇极品色| 内射极品少妇av片p| 狠狠狠狠99中文字幕| 少妇高潮的动态图| 观看美女的网站| 白带黄色成豆腐渣| 性插视频无遮挡在线免费观看| 婷婷精品国产亚洲av| 久久天躁狠狠躁夜夜2o2o| 中文亚洲av片在线观看爽| 久久久久九九精品影院| 国产一区二区三区视频了| 国产美女午夜福利| 色在线成人网| 中文字幕免费在线视频6| 亚洲av.av天堂| 亚洲人与动物交配视频| 婷婷精品国产亚洲av在线| 国产精品伦人一区二区| 一区福利在线观看| 日韩欧美国产在线观看| 国产高清视频在线观看网站| 联通29元200g的流量卡| or卡值多少钱| 亚洲最大成人中文| 91久久精品国产一区二区成人| 真人做人爱边吃奶动态| 国产黄a三级三级三级人| 可以在线观看毛片的网站| 精品久久国产蜜桃| 尾随美女入室| 亚洲七黄色美女视频| 免费无遮挡裸体视频| 日韩高清综合在线| 永久网站在线| 久久久色成人| 97碰自拍视频| 麻豆av噜噜一区二区三区| 少妇被粗大猛烈的视频| 久久久久久久久久久丰满 | 能在线免费观看的黄片| 婷婷精品国产亚洲av在线| 亚洲一区高清亚洲精品| 久久亚洲精品不卡| 九色国产91popny在线| 丰满人妻一区二区三区视频av| 99精品在免费线老司机午夜| 国产精品自产拍在线观看55亚洲| 国产成人一区二区在线| 天天躁日日操中文字幕| 精品一区二区三区视频在线观看免费| 亚洲国产色片| 国产三级在线视频| 校园春色视频在线观看| 美女高潮喷水抽搐中文字幕| 看黄色毛片网站| 日本a在线网址| 国产高清不卡午夜福利| 久久九九热精品免费| 日韩精品青青久久久久久| 啦啦啦啦在线视频资源| 草草在线视频免费看| 亚洲在线观看片| 嫩草影院精品99| 欧美日韩瑟瑟在线播放| 日韩高清综合在线| 亚洲专区中文字幕在线| 欧美中文日本在线观看视频| 久久久成人免费电影| 免费观看精品视频网站| 亚洲av一区综合| 国产乱人伦免费视频| 国产精品嫩草影院av在线观看 | a级毛片a级免费在线| 日韩国内少妇激情av| 午夜福利在线观看吧| 麻豆久久精品国产亚洲av| 99热这里只有是精品在线观看| 日本 av在线| 日韩大尺度精品在线看网址|