• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    問卷是否可信
    ——基于體育核心期刊論文(2010—2018年)的系統(tǒng)分析

    2020-04-09 01:19:16柯友枝孫建剛張業(yè)安
    體育科學(xué) 2020年2期
    關(guān)鍵詞:一致性體育方法

    柯友枝,孫建剛,張業(yè)安,李 博,劉 陽,3*

    (1.上海體育學(xué)院 體育教育訓(xùn)練學(xué)院,上海 200438;2.上海體育學(xué)院 期刊中心,上海 200438;3.上海市學(xué)生體質(zhì)健康研究中心,上海 200438)

    0 前言

    問卷是指研究者為了收集調(diào)查對象的行為、態(tài)度及觀念等社會資料或信息,將所要調(diào)查的內(nèi)容和問題編排成統(tǒng)一形式,從而用以解釋所研究的問題和驗(yàn)證所提出的研究假設(shè)的一種測量工具(徐建華等,2015)。問卷調(diào)查法,即以問卷為測量工具來收集資料的一種調(diào)查方法,在體育人文社會調(diào)查、運(yùn)動心理測量等體育學(xué)研究中得到了廣泛的應(yīng)用(黃漢升等,2009)。在體育科學(xué)研究中,問卷調(diào)查研究最為重要的前提是確保問卷的可靠性和準(zhǔn)確性,即信度和效度(曾五一等,2005)。作為評價調(diào)查問卷的兩個重要指標(biāo),信度和效度的高低既是一個問卷的基本特征,也是衡量問卷的關(guān)鍵指標(biāo)。一個信度和效度較好的問卷是調(diào)查研究結(jié)果可信可靠、準(zhǔn)確真實(shí)的重要前提,對研究的整體質(zhì)量有著至關(guān)重要的作用,因此,提高信度和效度是研究者追求的目標(biāo)。在這兩個基本特征中,信度是效度的基礎(chǔ),好的問卷首先應(yīng)具備較高的信度,如果信度低,效度必然低(張力為,2002a)。因此,調(diào)查問卷的信度往往是研究者重視的首要問題。

    信度(reliability)是指測驗(yàn)的可靠程度,它表現(xiàn)為測驗(yàn)結(jié)果的穩(wěn)定性和一致性(Carmines et al.,2009),是表明問卷調(diào)查科學(xué)性的一個重要因素(李燦等,2008)。對于使用問卷法的研究者來說,對所使用的問卷進(jìn)行信度檢驗(yàn)是保障研究結(jié)果科學(xué)性的重要前提(方千華,2008;齊紅梅等,2013)。另外,進(jìn)行正確的信度分析可以幫助研究者識別與整個問卷關(guān)聯(lián)性不大的題項(xiàng),為進(jìn)一步修改問卷提供理論依據(jù)(張虎等,2007)。因此,體育科學(xué)研究人員掌握體育研究調(diào)查問卷信度檢驗(yàn)的一般流程,了解不同信度檢驗(yàn)方法并進(jìn)行合理選擇與應(yīng)用是極有必要的。本研究檢索了2010—2018年體育科學(xué)研究領(lǐng)域《中文社會科學(xué)引文索引》(CSSCI)刊發(fā)的使用問卷調(diào)查法的學(xué)術(shù)論文,對其中信度測評情況進(jìn)行總結(jié)與分析。

    1 研究對象與方法

    1.1 研究對象

    以問卷信度測評方法在我國體育研究領(lǐng)域中的應(yīng)用情況為研究對象,以2010—2018年CSSCI收錄的9本體育類期刊①本研究納入的9本期刊2010—2018年均被評為體育類核心期刊。采用問卷調(diào)查法的學(xué)術(shù)論文為調(diào)查對象,納入研究的9本期刊分別是《體育科學(xué)》《中國體育科技》《北京體育大學(xué)報》《上海體育學(xué)院學(xué)報》《體育學(xué)刊》《體育與科學(xué)》《天津體育學(xué)院學(xué)報》《武漢體育學(xué)院學(xué)報》《西安體育學(xué)院學(xué)報》。

    1.2 研究方法

    通過文獻(xiàn)資料調(diào)研收集相關(guān)文獻(xiàn),運(yùn)用數(shù)理統(tǒng)計法對研究信息進(jìn)行統(tǒng)計與分析。以中國知網(wǎng)(CNKI)高級檢索程序?yàn)闄z索工具,以中國社會科學(xué)索引(CSSCI)收錄的9本體育類期刊為論文來源,論文的刊發(fā)時間段為2010年1月1日—2018年12月31日。在精確論文來源期刊和刊發(fā)時間的基礎(chǔ)上,將符合研究條件的各期刊所有論文導(dǎo)入文獻(xiàn)閱讀與管理軟件,通過對文獻(xiàn)題目、摘要和全文閱讀的方式進(jìn)行人工篩選,檢索流程如圖1所示,最終納入1 221篇研究論文。以數(shù)理統(tǒng)計法對納入文獻(xiàn)進(jìn)行信息提取與整理分析。

    圖1 納入分析論文的檢索流程Figure 1. Process of Document Retrieval

    1.3 納入與排除標(biāo)準(zhǔn)

    納入標(biāo)準(zhǔn):納入2010年1月1日—2018年12月31日,在9本指定刊物上刊發(fā)的論文,其中運(yùn)用問卷調(diào)查法(包括使用各類量表)的全部納入。

    剔除標(biāo)準(zhǔn):未采用問卷調(diào)查法的論文;僅采用由詢問事實(shí)性問題組成問卷的論文;所有作者均為國外研究者的論文;非定量研究范式的論文;會議論文、刊訊、題錄、通知等。

    2 結(jié)果與分析

    2.1 運(yùn)用問卷法的期刊概況

    問卷調(diào)查法是當(dāng)前體育研究領(lǐng)域常用的研究方法之一,在體育科學(xué)研究中占有重要地位(黃漢升等,2009)。由表1可知,2010—2018年采用問卷法的論文總數(shù)有所下降,一方面說明我國體育科學(xué)研究條件逐漸提升、研究方法逐漸充盈;另一方面,從運(yùn)用問卷法作為研究方法的論文占比可以看出,問卷調(diào)查法仍然是體育研究領(lǐng)域中不可忽視的一種重要的研究方法。使用問卷調(diào)查法的論文數(shù)目最多的刊物是《北京體育大學(xué)學(xué)報》(349篇),其次是《武漢體育學(xué)院學(xué)報》(208篇),兩者數(shù)量相差較大且明顯多于其他刊物,比排在第3位的《上海體育學(xué)院學(xué)報》多出75篇。問卷法論文刊登數(shù)量最少的是《體育與科學(xué)》(75篇),其次是《體育科學(xué)》與《體育學(xué)刊》(78篇),兩者差別較小。從各刊物發(fā)表問卷調(diào)查論文數(shù)量占本刊物所有論文總數(shù)的百分比來看,《上海體育學(xué)院學(xué)報》《北京體育大學(xué)學(xué)報》《武漢體育學(xué)院學(xué)報》所刊發(fā)的論文中問卷調(diào)查研究論文所占權(quán)重相對較高,《體育學(xué)刊》《體育科學(xué)》《體育與科學(xué)》所刊發(fā)的論文中問卷調(diào)查研究論文所占權(quán)重相對較低??傮w而言,問卷調(diào)查法在體育研究領(lǐng)域體現(xiàn)出了運(yùn)用的廣泛性和實(shí)用性,體現(xiàn)了體育學(xué)科研究的定量化趨勢,符合體育科學(xué)研究發(fā)展的要求。

    2.2 應(yīng)用問卷法的規(guī)范性

    2.2.1 問卷名稱的報告

    近年來,問卷的編制逐漸引起了體育科學(xué)工作者的關(guān)注,其編制方法的科學(xué)性、規(guī)范性和合理性不僅影響到各種測量的準(zhǔn)確性,更彰顯了體育學(xué)科的發(fā)展水平(戴儉慧等,2014)。問卷具備清晰明確的名稱是問卷規(guī)范性的標(biāo)志之一,其對于研究目的的表達(dá)以及研究方法的展現(xiàn)具有重要作用。而在本研究中卻發(fā)現(xiàn),納入的1 221篇使用問卷調(diào)查法的論文中,具有(或提到)所使用問卷名稱的比例僅為56.8%(693篇),有43.2%(528篇)的論文沒有或沒有說明問卷的名稱,不但給閱讀者帶來了諸多不便,同時也對于研究者之間的學(xué)習(xí)交流造成了阻礙。

    從數(shù)據(jù)上看,問卷法應(yīng)用的規(guī)范性問題仍然存在改進(jìn)空間。使用問卷調(diào)查法對研究對象進(jìn)行調(diào)查之前,對所使用的問卷進(jìn)行基本情況的介紹是研究規(guī)范性的一種體現(xiàn)。本研究發(fā)現(xiàn),部分研究者對問卷信息交代不全或者不夠重視的情況,反映出研究者在研究方法運(yùn)用過程中對一些細(xì)節(jié)問題的輕視或者認(rèn)識不到位。張力為(2006)對91篇采用問卷調(diào)查為主要方法的碩士論文進(jìn)行分析,發(fā)現(xiàn)問卷調(diào)查法在運(yùn)用過程中缺乏科學(xué)的系統(tǒng)性和繼承性。事實(shí)上,問卷法與其他方法一樣,是一種嚴(yán)謹(jǐn)?shù)难芯糠椒ǎ鳝h(huán)節(jié)都應(yīng)體現(xiàn)出研究的科學(xué)性與規(guī)范性(劉朝杰,1997)。反之,研究者對學(xué)術(shù)的怠慢會影響到公眾對科學(xué)研究的學(xué)術(shù)尊重。人既作為研究的主體和客體,制約和影響著問卷調(diào)查的可靠性和適用性,作為一種具體的社會調(diào)查方法,問卷調(diào)查法有著特定的方法學(xué)范式(徐建華等,2015)。事實(shí)證明,只要研究者們規(guī)范科學(xué)地運(yùn)用問卷調(diào)查法,保證問卷調(diào)查的質(zhì)量,更易于獲得有價值的研究成果(徐建華等,2019)。

    表1 各期刊每年發(fā)表采用問卷法論文總數(shù)及占總論文數(shù)比率Table 1 The Number of Articles Published by Each Journal in Each Year Using Questionnaires and the Ratio of Total Articles

    2.2.2 問卷類型的選擇

    納入本研究的文獻(xiàn)中,多數(shù)(60.2%)論文采用“自編問卷”,但需注意的是,使用自己編制的問卷,其難度遠(yuǎn)大于借用前人研制且已認(rèn)可的問卷(張力為,2006)。部分研究使用的是“引用問卷”(21.8%)和“改編問卷”(10.1%),還有部分研究對采用問卷的來源性質(zhì)交代不清(7.9%)。調(diào)查結(jié)果顯示,自編問卷占據(jù)大多數(shù),但其潛在的問題需要引起注意,最為突出的是問卷的信效度檢驗(yàn)問題。使用未經(jīng)(或未正確)進(jìn)行信度測評的問卷,將會使研究結(jié)果的可靠性和客觀性受到質(zhì)疑(李曼,2013)。

    部分研究者借用或移植國外問卷,將先前研究的信度估計方法作為自己當(dāng)前研究的信度估計方法,這在一定程度上可減輕研究者的負(fù)擔(dān)(張立敏等,2008)。但由于地區(qū)文化的差異以及樣本的特點(diǎn),借用或移植問卷存在著一定的弊端,表現(xiàn)在語言、測量和功能等值性上。這就涉及到測驗(yàn)的本土化問題,即測量的方法、標(biāo)準(zhǔn)與程序等必須要與特定語言或文化背景條件下對象的特殊性相一致(葉國雄等,1994)。另外,在研究中應(yīng)用前人研制的問卷時,不僅要考慮和報告研制者最初研制該問卷時的信度,還應(yīng)檢驗(yàn)和報告該問卷在本項(xiàng)研究中的信度(張力為,2002a)。還有部分論文僅僅提到運(yùn)用問卷法進(jìn)行研究,對問卷的來源描述不清,體現(xiàn)出研究者們的科學(xué)研究素養(yǎng)有待提高??傊?,標(biāo)準(zhǔn)化的問卷是一個不斷發(fā)展和演變的過程,尤其當(dāng)借用和移植國外的問卷時,還會衍生出本土化的問題,因此須正確謹(jǐn)慎的運(yùn)用問卷調(diào)查法。

    2.3 問卷信度的測評情況

    問卷是用于測量人們某些特征的工具(風(fēng)笑天,1994),而信度是評價問卷測驗(yàn)質(zhì)量的最基本指標(biāo)(張力為,2002b)。本研究發(fā)現(xiàn),在所檢索到的1 221篇文獻(xiàn)中,報告信度結(jié)果的有740篇(占總數(shù)的60.6%),有481篇(占總數(shù)的39.4%)文獻(xiàn)未對信度進(jìn)行報告(表2)。對于只問詢事實(shí)類的問卷,例如,僅采用由社會人口學(xué)信息或基本情況所組成的問卷,一般而言,是不需要進(jìn)行信度檢驗(yàn)的(張力為,2002a)。因此,本研究在文章篩選中剔除了僅使用問詢客觀事實(shí)問卷的研究,以保證本研究結(jié)果的準(zhǔn)確性。雖然對信度進(jìn)行報告的比例較高,但對于體育科研的嚴(yán)謹(jǐn)性來說,60.6%的比例不足以令人滿意。對問卷信度進(jìn)行清楚合理的評價,是國內(nèi)科學(xué)研究者們進(jìn)行問卷調(diào)查時常常容易忽略的問題(張虎等,2007)。問卷設(shè)計者往往注重的是數(shù)據(jù)收集的難易程度以及問卷設(shè)計的邏輯性問題,很少會關(guān)注問卷的可信度問題。然而,測評問卷信度是問卷調(diào)查法研究中非常重要的一步(葉寶娟等,2012),只有信度被接受時,問卷的數(shù)據(jù)分析才是可靠的(徐萬里,2008),以問卷法為主的體育科學(xué)調(diào)查研究均應(yīng)提高對這一環(huán)節(jié)的重視程度。

    呈現(xiàn)具體的信度結(jié)果是對問卷進(jìn)行信度檢驗(yàn)科學(xué)性的表征,相同功能問卷之間信度的對比,需要以問卷的信度結(jié)果以及信度計算方法為依據(jù)。本研究發(fā)現(xiàn),納入研究的論文中對問卷信度結(jié)果的描述有3種情況,“有具體值”說明的論文數(shù)為524篇(占論文總數(shù)的42.9%)(表2),此類論文有信度檢驗(yàn)的具體數(shù)值,因此,某些檢驗(yàn)方法相同的論文之間可以進(jìn)行信度對比,讀者也能夠通過具體的數(shù)值了解問卷的信度程度。然而遺憾的是,部分論文僅交代了信度值,而具體的信度檢驗(yàn)程序卻不得而知。對信度結(jié)果進(jìn)行“主觀描述”的論文數(shù)為149篇(占論文總數(shù)的12.2%),此類論文沒有報告信度結(jié)果的具體值,僅對信度進(jìn)行了主觀描述,例如,使用“信度較高”等詞匯。此類論文雖然對問卷的信度進(jìn)行了說明,但讀者很難把握問卷的具體信度程度,且不同問卷信度之間不能進(jìn)行對照與對比,研究者們?nèi)粝雲(yún)⒖?、改良或使用此問卷比較困難。對所使用的問卷信度結(jié)果“無任何說明”的論文為548篇(占論文總數(shù)的44.9%),這些論文雖然使用了問卷調(diào)查法,但對問卷信度結(jié)果完全沒有提及,對同領(lǐng)域的研究者來說,通過此類論文獲取的研究結(jié)果和經(jīng)驗(yàn)的可靠性得不到保證。有研究表明,以問卷調(diào)查為主要研究方法的碩士論文對信度的運(yùn)用也存在較多誤區(qū)(毛志雄,2014;張力為,2006)。由此可見,研究者們對自身使用的問卷信度信息掌握并不充分,對問卷信度的重視程度不足,對問卷調(diào)查法的使用方法還需進(jìn)一步的了解。綜上說明,研究者缺乏專業(yè)的研究技能,問卷法被濫用的情形并不少見。

    表2 問卷信度的測評情況Table 2 Test Results of Questionnaire Reliability

    2.4 問卷信度的測評方法

    對于問卷信度的測評而言,明確地報告信度的檢驗(yàn)方法是不可或缺的。詳細(xì)介紹問卷信度檢驗(yàn)方法可以讓讀者根據(jù)對研究方法的陳述評判研究的質(zhì)量,同時還能給讀者提供同類研究遵循的研究流程,以檢驗(yàn)研究結(jié)果的準(zhǔn)確性(張力為,2002b)。但對信度檢驗(yàn)方法無任何說明的論文高達(dá)573篇(占論文總數(shù)的46.9%)(表3),此現(xiàn)象說明,研究者在問卷調(diào)查法中對信度的檢驗(yàn)不夠重視或者并不清楚信度檢驗(yàn)的方法,一定程度上影響到論文的質(zhì)量且可能直接影響研究結(jié)果的準(zhǔn)確性和客觀性。有640篇論文(占論文總數(shù)的52.4%)對問卷信度的檢驗(yàn)方法進(jìn)行了明確的說明,但對于科學(xué)研究的嚴(yán)謹(jǐn)性來說,這一比例仍遠(yuǎn)遠(yuǎn)不夠。

    表3 問卷信度測評的方法使用情況Table 3 Usage of the Method of Questionnaire Reliability Test

    從納入論文對問卷進(jìn)行信度測評的指標(biāo)來看,內(nèi)部一致性信度是目前最常用的指標(biāo)。另外,重測信度的應(yīng)用也為數(shù)不少,但大多數(shù)研究對內(nèi)部一致性的重視程度高于重測信度。不同的信度檢驗(yàn)方法適應(yīng)于不同的條件,不同檢驗(yàn)方法得出的結(jié)果也會存在一定差異,能夠從不同角度反映問卷的信度程度。在實(shí)際研究中,很難對某一問卷進(jìn)行所有可信度的評估,選用合理的信度檢驗(yàn)方法要結(jié)合問卷種類和研究目的(蔣小花等,2010)。更重要的是,選用的方法要與調(diào)查問卷的整體設(shè)計要求相符合(黃漢升,2009)。另外,利用紙筆測驗(yàn)進(jìn)行調(diào)查研究時,應(yīng)先確定需要進(jìn)行信度檢驗(yàn)的內(nèi)容,并非所有的內(nèi)容都需要進(jìn)行信度測評(張力為,2002a)。有8篇論文(占論文總數(shù)的0.7%)在評估信度時以“專家評估”“相關(guān)系數(shù)”“交叉證實(shí)”“r值”的方式對信度結(jié)果進(jìn)行描述,并不能反映出研究中信度測評采用的具體方法,也就不能對其信度測評的合理性進(jìn)行準(zhǔn)確的認(rèn)識。更進(jìn)一步,因?yàn)椴荒艽_定其信度檢驗(yàn)方法是否合理,就不能確定其信度高低。綜上說明,部分研究者對問卷信度檢驗(yàn)重視不足,對信度的相關(guān)專業(yè)知識了解不足。

    2.5 問卷信度測評的趨勢

    從信度是否報告的角度看,總體呈現(xiàn)出趨向規(guī)范化的良好態(tài)勢,越來越多的論文在使用問卷調(diào)查法時報告了信度。最低為2012年度的47.6%(圖2),但也有近一半的論文報告了信度,最高為2018年度80.9%的論文報告了信度。在一定程度上說明,研究者對于問卷調(diào)查法信度報告的意識逐漸增強(qiáng)。盡管問卷調(diào)查法的信度檢驗(yàn)方面取得了很大的進(jìn)步,但是,也應(yīng)意識到問卷應(yīng)用的問題仍然存在,研究規(guī)范性仍需繼續(xù)優(yōu)化加強(qiáng)。

    圖2 問卷信度測評的趨勢Figure 2. Trends of Questionnaires Reliability Assessment

    從信度結(jié)果呈現(xiàn)方式的趨勢來看,信度結(jié)果報告的方式越來越具體化,有“具體值描述”的越來越多,“無任何說明”“主觀描述”的情況也越來越少(圖2)。從目前情況看,在運(yùn)用問卷法收集資料的調(diào)查研究中,對于問卷信度檢驗(yàn)的過程有了很大進(jìn)步,但還存在著一定的問題。在調(diào)查中也發(fā)現(xiàn),部分研究者只是對信度的具體值一筆帶過,但具體程序卻不得而知。這不僅影響到科學(xué)研究結(jié)果的準(zhǔn)確性,還會使人們對問卷調(diào)查法的總體信任感受到影響。目前,體育科學(xué)研究應(yīng)用問卷調(diào)查法時信度檢驗(yàn)方面存在諸多不足,但也能看到我國研究者在此方面取得的進(jìn)步,還需體育工作者共同努力繼續(xù)改善這一狀況。

    3 問卷信度應(yīng)用規(guī)范

    3.1 測評方法

    問卷的信度是指問卷調(diào)查結(jié)果的穩(wěn)定性和一致性。研究者根據(jù)不同問卷或量表會選擇不同的信度檢驗(yàn)方法,這一選擇以問卷內(nèi)容、研究目的以及應(yīng)用現(xiàn)狀為基礎(chǔ),其最終目的是保障問卷的質(zhì)量,確保研究結(jié)果的權(quán)威性。以下為體育科學(xué)實(shí)踐中常見的問卷信度檢測方法,其適用范圍、計算方法、分析方法和評價標(biāo)準(zhǔn)歸納為表4。

    3.1.1 重測信度

    問卷的重測信度(test-retest reliability)是指用同樣的問卷,在相似的情境下對同一組調(diào)查對象在不同的時間進(jìn)行兩次測量,測評其結(jié)果的一致程度(張力為,2002a)。結(jié)果相關(guān)程度越高,或是差異越不顯著,則信度也就越高,測量結(jié)果越一致。重測信度常用于事實(shí)性或習(xí)慣性行為等在短時間內(nèi)無明顯變化的調(diào)查問卷(亓萊濱等,2003),以及了解調(diào)查對象的態(tài)度和意見的問卷(蔣小花等,2003)。通常來說,問卷測評的內(nèi)容和難易程度都會影響到問卷的重測信度(Otter et al.,2010)。內(nèi)容多、回答難的問卷由于增加了被調(diào)查者回答的不確定性而使得問卷重測信度降低,而問卷內(nèi)容越少,對調(diào)查者來說越簡單,其重測信度也越高。此外,如果兩次問卷調(diào)查的間隔時間過長,也會降低重測信度。因此,常見的兩次測量間隔需在2~4周(蔣小花等,2003)。對問卷重測信度進(jìn)行評價分析時,當(dāng)評估的變量是二分類變量時,可用Kappa系數(shù)評估重測信度;當(dāng)評估連續(xù)變量或等級變量時,則應(yīng)采用基于方差分析的內(nèi)部相關(guān)系數(shù)ICC(intraclass correla‐tion coefficient)來測評問卷的重測信度(Bailey et al.,1994)。一般ICC>0.80表示重測信度極好,0.61~0.80表示重測信度較好,0.41~0.60表示重測信度中等,0.21~0.40表示重測信度較差,ICC≤0.20則表示重測信度很差(Landis et al.,1977)。

    3.1.2 內(nèi)部一致性信度

    問卷的內(nèi)部一致性信度(internal consistent reliabili‐ty),是指問卷內(nèi)測評相同內(nèi)容的所有題目之間的一致性。內(nèi)部一致性信度適用于了解調(diào)查者態(tài)度以及意見式的問卷(亓萊濱 等,2003),克隆巴赫系數(shù)(Cronbach's α)是最常用的內(nèi)部一致性信度檢測指標(biāo)(Bonett et al.,2015)。其應(yīng)用的條件是被檢測的所有題目都必須是測量同一種現(xiàn)象,并對該現(xiàn)象進(jìn)行相等程度地解釋(Cronbach et al.,1951)??寺“秃咋料禂?shù)越大,各條目間相關(guān)程度越高。一般,克隆巴赫α系數(shù)>0.80表示內(nèi)部一致性極好,0.71~0.80表示內(nèi)部一致性較好,0.66~0.70表示內(nèi)部一致性中等,0.60~0.65表示內(nèi)部一致性較差,<0.60則表示內(nèi)部一致性很差(DeVellis,2006)。需要注意的是,判斷問卷或量表內(nèi)部一致性高低時,需要同時考慮題目的數(shù)量(巫秀美 等,1998;Eisinga et al.,2013)。因?yàn)榭寺“秃咋料禂?shù)會隨著題目數(shù)量的增加而增加,而并非真實(shí)題目之間內(nèi)部一致性的增加(溫忠麟 等,2011;Yang et al.,2011)。

    3.1.3 折半信度

    問卷的折半信度(split-half reliability)是指將一份問卷分成對等的兩半后,調(diào)查被試者在這兩個部分所得分?jǐn)?shù)的一致程度。折半信度在評判某個測驗(yàn)特定兩半之間的一致性程度時較有使用價值(陳希鎮(zhèn)等,1991)。這種方法一般不適用于事實(shí)式問卷,常用于調(diào)查被試者態(tài)度以及意見式問卷(亓萊濱等,2003)。在應(yīng)用折半信度進(jìn)行分析時,如果問卷中包含反意條目,需要先將反意條目的得分作逆向處理,以保證條目有相同的得分方向,進(jìn)而將全部條目按奇偶或前后順序分成對等的兩半(蔣小花,2010),最后計算其Spearman-Brown系數(shù)和Guttman Split-Half系數(shù)以評估其相關(guān)程度(Thompson et al.,2010)。折半信度系數(shù)通常在0.60~0.80,一般應(yīng)>0.70(Luking et al.,2017)。

    表4 信度運(yùn)用方法Table 4 Reliability Application Methods

    3.1.4 復(fù)本信度

    問卷的復(fù)本信度(equivalent-form reliability)是讓同一批被調(diào)查者一次性完成兩份等效問卷,計算兩份等效問卷結(jié)果的一致程度。有兩份難度、內(nèi)容、形式和提問方向完全一致的問卷是測量復(fù)本信度的前提(李燦等,2008)。復(fù)本信度在一定程度上可以彌補(bǔ)重測信度的缺陷,但因?yàn)楹茈y得到兩份等效的問卷,所以在實(shí)踐中較少采用此種方法(蔣小花,2010)。一般常用Pearson相關(guān)系數(shù)、Ken‐dall等級相關(guān)系數(shù)和Spearman等級相關(guān)系數(shù)計算復(fù)本信度。復(fù)本信度的標(biāo)準(zhǔn)往往很高,一般在0.85~0.90,>0.85表示信度可被接受(McDowell,2006)。

    3.1.5 評分者信度

    問卷的評分者信度(scorer reliability)指的是多個問卷評分者給相同被試人員評分時的一致程度。在實(shí)踐中,有些問卷需要調(diào)查者根據(jù)被調(diào)查者的回答進(jìn)行等級評判或打分,如考試試卷等。因此,該問卷的信度在很大程度上取決于調(diào)查者評分的穩(wěn)定性以及一致性,對這類客觀性較低的問卷,則需要計算評分者信度以判斷問卷的質(zhì)量(李燦等,2008)。評分者信度又分為評分者間信度,即不同評分者測評同一份問卷的結(jié)果一致性程度;以及評分者內(nèi)信度,即同一評分者在不同時間或地點(diǎn)對同一份問卷評定結(jié)果的一致性。評分者信度常用Pearson相關(guān)系數(shù)或Kendall、Spearman等級相關(guān)系數(shù)進(jìn)行計算(Bartko et al.,1976)。評分者信度相關(guān)系數(shù)通常在0.65~0.95之間,一般要求宜>0.85(McDowell,2006)。

    3.2 應(yīng)用流程

    問卷調(diào)查法是體育科學(xué)研究實(shí)踐中最常用的研究方法之一。對問卷進(jìn)行信度測量與評價是保證問卷質(zhì)量的關(guān)鍵,也是保證研究結(jié)果科學(xué)性的前提。盡管問卷的類型多種多樣,其信度的測量與評價也有著不同的方法和標(biāo)準(zhǔn),但研究者在對問卷進(jìn)行信度檢驗(yàn)時都應(yīng)遵循嚴(yán)格的流程和規(guī)范。從上文對2010—2018年我國9本體育類核心期刊應(yīng)用問卷調(diào)查法的論文進(jìn)行系統(tǒng)分析后發(fā)現(xiàn),仍有部分已發(fā)表的論文在信度應(yīng)用流程的規(guī)范性上存在欠缺。因此,本研究總結(jié)歸納了問卷信度應(yīng)用的一般流程(圖3)。

    圖3 問卷調(diào)查法信度檢驗(yàn)流程圖Figure 3. Reliability Test Flow Chart of Questionnaire Survey Method

    在對問卷信度進(jìn)行測評時,首先判斷該問卷是否為已存在問卷,如果是,則查詢該問卷是否已經(jīng)進(jìn)行過信度檢驗(yàn),并確定該問卷信度測評對象是否與本研究相同或類似(包括年齡、性別、地區(qū)、文化等社會人口學(xué)情況),信度報告是否規(guī)范,檢驗(yàn)方法是否正確,評估標(biāo)準(zhǔn)是否適宜。如果該問卷符合以上條件,則可被引用。如果該問卷不符合以上條件或者是全新設(shè)計的問卷,則應(yīng)進(jìn)行規(guī)范的信度檢驗(yàn)。進(jìn)行標(biāo)準(zhǔn)信度檢驗(yàn)首先應(yīng)確定測驗(yàn)的內(nèi)容,并非所有的內(nèi)容都需要進(jìn)行信度檢驗(yàn);合理的信度指標(biāo)需根據(jù)問卷的種類和研究目的以及問卷的整體性研究設(shè)計進(jìn)行選擇;信度結(jié)果需根據(jù)所選擇的信度檢驗(yàn)方法采用相應(yīng)的測評方法進(jìn)行計算;判斷信度結(jié)果是否符合評價標(biāo)準(zhǔn)是對所得信度結(jié)果進(jìn)行分析,以此來判斷該問卷的信度程度。如果符合信度評價標(biāo)準(zhǔn)則表明該問卷信度具有可信度,否則,應(yīng)修改問卷再次進(jìn)行規(guī)范的信度檢驗(yàn)直至符合評價標(biāo)準(zhǔn)。問卷信度檢驗(yàn)描述示例如下:

    對學(xué)生校外身體活動問卷進(jìn)行重測信度檢驗(yàn),120名11歲在校5年級學(xué)生(男生50.0%)完成該問卷,并在2周后再次完成該問卷。采用組內(nèi)相關(guān)系數(shù)對問卷兩次測試結(jié)果進(jìn)行分析,結(jié)果顯示,該問卷的組內(nèi)相關(guān)系數(shù)在0.61~0.85,根據(jù)Landis等(1977)的評價標(biāo)準(zhǔn),證明該問卷具有較好的重測信度。

    4 小結(jié)

    隨著體育科學(xué)定量研究范式的普及,問卷調(diào)查法仍然是目前常用的體育社會科學(xué)研究方法之一,在本研究納入的9本刊物中均占有較高比例,但同時也揭示了我國科學(xué)研究者在使用問卷調(diào)查法過程中所潛在的一些問題。在提倡學(xué)術(shù)規(guī)范的今天,科學(xué)研究者在運(yùn)用問卷調(diào)查法時,須重視并加強(qiáng)問卷的編制修訂工作,遵循信度檢驗(yàn)的一般流程,正確應(yīng)用信度檢驗(yàn)方法,從而有效地利用問卷調(diào)查法得出科學(xué)客觀的研究結(jié)論,保證學(xué)術(shù)論文的質(zhì)量。

    猜你喜歡
    一致性體育方法
    關(guān)注減污降碳協(xié)同的一致性和整體性
    公民與法治(2022年5期)2022-07-29 00:47:28
    注重教、學(xué)、評一致性 提高一輪復(fù)習(xí)效率
    IOl-master 700和Pentacam測量Kappa角一致性分析
    提倡體育100分 也需未雨綢繆
    甘肅教育(2020年2期)2020-11-25 00:50:04
    2016體育年
    可能是方法不對
    我們的“體育夢”
    用對方法才能瘦
    Coco薇(2016年2期)2016-03-22 02:42:52
    基于事件觸發(fā)的多智能體輸入飽和一致性控制
    四大方法 教你不再“坐以待病”!
    Coco薇(2015年1期)2015-08-13 02:47:34
    日本午夜av视频| 欧美变态另类bdsm刘玥| 免费黄色在线免费观看| 日本一二三区视频观看| 国产高清有码在线观看视频| 色综合站精品国产| 亚洲av成人av| 国产成人精品婷婷| 一级a做视频免费观看| 男女边吃奶边做爰视频| 国产av不卡久久| av又黄又爽大尺度在线免费看| 久久久久久久久大av| 日韩精品有码人妻一区| 日韩精品有码人妻一区| eeuss影院久久| 亚洲自拍偷在线| 亚洲精品自拍成人| 午夜福利在线在线| 神马国产精品三级电影在线观看| 亚洲欧美精品自产自拍| 寂寞人妻少妇视频99o| 纵有疾风起免费观看全集完整版 | 91午夜精品亚洲一区二区三区| 男的添女的下面高潮视频| 午夜福利网站1000一区二区三区| 国产老妇女一区| 精品国产一区二区三区久久久樱花 | 嫩草影院新地址| 嫩草影院新地址| 亚洲精品影视一区二区三区av| 国产免费视频播放在线视频 | 黄色配什么色好看| 最近中文字幕2019免费版| 中文天堂在线官网| 男女啪啪激烈高潮av片| 黄片wwwwww| 九草在线视频观看| 久久亚洲国产成人精品v| 欧美不卡视频在线免费观看| 九九在线视频观看精品| 在线天堂最新版资源| 国产精品国产三级国产av玫瑰| 国产乱人视频| 国产精品福利在线免费观看| 自拍偷自拍亚洲精品老妇| 日本午夜av视频| 久久这里只有精品中国| 丰满人妻一区二区三区视频av| 午夜激情久久久久久久| 国国产精品蜜臀av免费| 2018国产大陆天天弄谢| 精品午夜福利在线看| 男女国产视频网站| 国产视频首页在线观看| 一区二区三区四区激情视频| 国产成人a∨麻豆精品| 99久久精品国产国产毛片| 成人毛片a级毛片在线播放| 特级一级黄色大片| 老司机影院毛片| 久久6这里有精品| 久久99热这里只频精品6学生| 日本av手机在线免费观看| 国产成人a∨麻豆精品| 高清欧美精品videossex| 久久国内精品自在自线图片| 熟女人妻精品中文字幕| 最近2019中文字幕mv第一页| 国产亚洲一区二区精品| 亚洲人成网站在线播| 一级爰片在线观看| 美女被艹到高潮喷水动态| 日日摸夜夜添夜夜添av毛片| 不卡视频在线观看欧美| 国产精品一区二区在线观看99 | 搡女人真爽免费视频火全软件| 日韩三级伦理在线观看| 国产精品三级大全| 久久综合国产亚洲精品| 国产免费视频播放在线视频 | 免费看光身美女| 欧美区成人在线视频| 久久热精品热| 国产一区二区三区av在线| 日韩不卡一区二区三区视频在线| 国产亚洲91精品色在线| 深爱激情五月婷婷| 丝袜美腿在线中文| 国产人妻一区二区三区在| 91精品国产九色| 亚洲人成网站高清观看| 小蜜桃在线观看免费完整版高清| 久久久欧美国产精品| 亚洲色图av天堂| 国产爱豆传媒在线观看| 亚洲成人精品中文字幕电影| 亚洲精品日韩av片在线观看| 日韩伦理黄色片| 午夜激情久久久久久久| 国产亚洲午夜精品一区二区久久 | 午夜激情久久久久久久| 亚洲欧洲日产国产| 国产精品爽爽va在线观看网站| 免费观看无遮挡的男女| 国产精品久久久久久精品电影小说 | 亚洲av中文字字幕乱码综合| 97超碰精品成人国产| 免费无遮挡裸体视频| 国产乱人视频| 草草在线视频免费看| 高清av免费在线| 一夜夜www| 麻豆成人午夜福利视频| 久久久久久久大尺度免费视频| 夜夜爽夜夜爽视频| 精品酒店卫生间| 国产精品国产三级专区第一集| 精品一区二区免费观看| 日韩av免费高清视频| 国精品久久久久久国模美| 简卡轻食公司| 蜜桃久久精品国产亚洲av| 成人一区二区视频在线观看| 久久久久国产网址| 边亲边吃奶的免费视频| 亚洲精品成人久久久久久| 777米奇影视久久| 一个人免费在线观看电影| 好男人在线观看高清免费视频| 如何舔出高潮| 老师上课跳d突然被开到最大视频| 亚洲国产日韩欧美精品在线观看| 成人亚洲精品一区在线观看 | 91久久精品国产一区二区成人| 亚洲四区av| 晚上一个人看的免费电影| 国产激情偷乱视频一区二区| 久久久久久久久久久免费av| 免费大片黄手机在线观看| 国产伦精品一区二区三区四那| 久久久久久久久久久免费av| 国产精品久久久久久久电影| 国产精品99久久久久久久久| 老司机影院毛片| 国产黄色小视频在线观看| 啦啦啦中文免费视频观看日本| 久久久色成人| 国产乱来视频区| 久久久a久久爽久久v久久| 午夜免费男女啪啪视频观看| 亚洲av二区三区四区| 汤姆久久久久久久影院中文字幕 | 午夜免费激情av| 亚洲精品日本国产第一区| 欧美极品一区二区三区四区| 赤兔流量卡办理| 欧美日韩综合久久久久久| 亚洲精品日韩在线中文字幕| 国产一区二区在线观看日韩| 国产成人精品婷婷| 午夜福利视频精品| 免费在线观看成人毛片| 老师上课跳d突然被开到最大视频| 国产伦一二天堂av在线观看| 两个人的视频大全免费| 亚洲欧美成人综合另类久久久| 综合色av麻豆| 婷婷色综合www| 久热久热在线精品观看| 成年女人在线观看亚洲视频 | 岛国毛片在线播放| 成人毛片a级毛片在线播放| 亚洲欧美日韩无卡精品| 2018国产大陆天天弄谢| 午夜福利在线观看吧| 欧美丝袜亚洲另类| 中文在线观看免费www的网站| 国产精品99久久久久久久久| 日韩av不卡免费在线播放| 九九久久精品国产亚洲av麻豆| av在线天堂中文字幕| 日本一二三区视频观看| 成人亚洲精品av一区二区| 波多野结衣巨乳人妻| 国产av码专区亚洲av| 亚洲乱码一区二区免费版| 国产欧美另类精品又又久久亚洲欧美| 欧美zozozo另类| 色视频www国产| 久久久精品免费免费高清| 免费av不卡在线播放| 国产三级在线视频| 高清av免费在线| 最近手机中文字幕大全| 亚洲国产成人一精品久久久| 国产午夜精品论理片| 日韩欧美 国产精品| 美女国产视频在线观看| 天堂√8在线中文| 亚洲精品日本国产第一区| 久久久a久久爽久久v久久| 一个人看的www免费观看视频| 少妇人妻一区二区三区视频| 成人特级av手机在线观看| 一本一本综合久久| 国产乱人偷精品视频| 国产一区二区三区综合在线观看 | 国产精品国产三级国产av玫瑰| 国产黄a三级三级三级人| 欧美日韩国产mv在线观看视频 | 丰满人妻一区二区三区视频av| 一区二区三区四区激情视频| 韩国av在线不卡| 天堂av国产一区二区熟女人妻| av福利片在线观看| 日韩精品有码人妻一区| 超碰av人人做人人爽久久| 国产乱来视频区| 少妇的逼水好多| 男的添女的下面高潮视频| 最近最新中文字幕免费大全7| 一二三四中文在线观看免费高清| 亚洲精品中文字幕在线视频 | 夜夜爽夜夜爽视频| 女人久久www免费人成看片| 亚洲精品久久久久久婷婷小说| 中文精品一卡2卡3卡4更新| 18禁在线无遮挡免费观看视频| 成年免费大片在线观看| 精品久久久噜噜| av.在线天堂| 男人舔女人下体高潮全视频| 青青草视频在线视频观看| 亚洲成人久久爱视频| 久久久久久久亚洲中文字幕| 久久久久久久久久人人人人人人| 国产av在哪里看| 亚洲熟妇中文字幕五十中出| 91久久精品国产一区二区成人| 成年免费大片在线观看| 小蜜桃在线观看免费完整版高清| 身体一侧抽搐| 我的女老师完整版在线观看| 观看美女的网站| 国产一级毛片在线| 天天一区二区日本电影三级| 久久久亚洲精品成人影院| 精品午夜福利在线看| 丰满少妇做爰视频| 国产91av在线免费观看| 中文字幕av在线有码专区| 91久久精品电影网| 中文精品一卡2卡3卡4更新| 亚洲四区av| 黄色欧美视频在线观看| 国产白丝娇喘喷水9色精品| 国产精品无大码| 国产综合精华液| 日本黄色片子视频| 亚洲国产日韩欧美精品在线观看| 亚洲精品乱码久久久久久按摩| 一级片'在线观看视频| 毛片一级片免费看久久久久| 如何舔出高潮| 亚洲在久久综合| 日韩欧美精品v在线| 舔av片在线| 欧美三级亚洲精品| 高清日韩中文字幕在线| 天天躁日日操中文字幕| 蜜桃久久精品国产亚洲av| 久久鲁丝午夜福利片| 精品人妻偷拍中文字幕| 久久久精品94久久精品| 亚洲国产色片| 秋霞伦理黄片| 国产精品综合久久久久久久免费| 日韩三级伦理在线观看| 最近手机中文字幕大全| 国产成人a区在线观看| 亚洲成人av在线免费| 久久久久久伊人网av| 国语对白做爰xxxⅹ性视频网站| 伊人久久国产一区二区| 高清午夜精品一区二区三区| 亚洲国产av新网站| 精品久久久精品久久久| 国产乱人偷精品视频| 亚洲电影在线观看av| 亚洲av成人av| 精品欧美国产一区二区三| 99热这里只有是精品50| 永久网站在线| 国产精品三级大全| 久久人人爽人人片av| 尾随美女入室| 亚洲欧美日韩无卡精品| 在线观看免费高清a一片| 女的被弄到高潮叫床怎么办| 网址你懂的国产日韩在线| 26uuu在线亚洲综合色| 女人十人毛片免费观看3o分钟| 亚洲精品456在线播放app| 少妇熟女aⅴ在线视频| 久久精品夜夜夜夜夜久久蜜豆| 能在线免费看毛片的网站| 天堂网av新在线| 91久久精品电影网| 超碰av人人做人人爽久久| 女的被弄到高潮叫床怎么办| 三级男女做爰猛烈吃奶摸视频| 国产一区亚洲一区在线观看| 在线 av 中文字幕| 成人一区二区视频在线观看| 天天躁夜夜躁狠狠久久av| 淫秽高清视频在线观看| 天堂俺去俺来也www色官网 | 神马国产精品三级电影在线观看| 亚洲av电影在线观看一区二区三区 | 麻豆国产97在线/欧美| 国产精品美女特级片免费视频播放器| 亚洲人成网站在线观看播放| 国产极品天堂在线| 超碰av人人做人人爽久久| 熟妇人妻不卡中文字幕| av福利片在线观看| 99久久中文字幕三级久久日本| 午夜亚洲福利在线播放| 精品一区二区三区视频在线| 日韩电影二区| 伦理电影大哥的女人| 搡女人真爽免费视频火全软件| 国语对白做爰xxxⅹ性视频网站| 秋霞伦理黄片| 亚洲乱码一区二区免费版| 久久韩国三级中文字幕| 最近最新中文字幕大全电影3| 边亲边吃奶的免费视频| 在线观看美女被高潮喷水网站| 欧美成人精品欧美一级黄| 夫妻性生交免费视频一级片| 欧美精品国产亚洲| 三级毛片av免费| 91狼人影院| 久久久久久伊人网av| 水蜜桃什么品种好| 欧美+日韩+精品| 亚洲伊人久久精品综合| 久久国内精品自在自线图片| 国产探花在线观看一区二区| 男人舔奶头视频| 免费观看无遮挡的男女| 久久久久久久久久久丰满| 久久久久久久久久人人人人人人| 国产成年人精品一区二区| 色视频www国产| 亚洲成人av在线免费| 久久久久久国产a免费观看| 久久精品夜色国产| 国产成人91sexporn| 久久久久九九精品影院| 日韩电影二区| 久久国产乱子免费精品| 久久久久九九精品影院| 午夜免费男女啪啪视频观看| 亚洲怡红院男人天堂| 最近的中文字幕免费完整| 成年版毛片免费区| 床上黄色一级片| 99热全是精品| 中国美白少妇内射xxxbb| 免费播放大片免费观看视频在线观看| 亚洲精品国产av成人精品| 少妇的逼水好多| 久久国产乱子免费精品| 午夜福利视频精品| 国产伦精品一区二区三区四那| 3wmmmm亚洲av在线观看| 男人和女人高潮做爰伦理| 久久久久久久久久成人| 日韩大片免费观看网站| 久久精品国产亚洲网站| 99视频精品全部免费 在线| 日韩强制内射视频| 欧美高清性xxxxhd video| 搞女人的毛片| 精华霜和精华液先用哪个| 一本久久精品| 久久久久免费精品人妻一区二区| 97人妻精品一区二区三区麻豆| 日本免费a在线| 欧美xxxx黑人xx丫x性爽| 国产人妻一区二区三区在| 水蜜桃什么品种好| 卡戴珊不雅视频在线播放| 一边亲一边摸免费视频| 国产精品一及| 黑人高潮一二区| 能在线免费看毛片的网站| 亚洲av成人精品一区久久| 亚洲精品久久久久久婷婷小说| 欧美zozozo另类| 精品久久久久久久人妻蜜臀av| 国产伦精品一区二区三区视频9| 久久久色成人| 久久久久久久久中文| 国内揄拍国产精品人妻在线| 在线 av 中文字幕| 九草在线视频观看| 亚洲精品色激情综合| 干丝袜人妻中文字幕| 一级毛片黄色毛片免费观看视频| 激情 狠狠 欧美| 国产 一区 欧美 日韩| 美女大奶头视频| 日本欧美国产在线视频| 看免费成人av毛片| 九色成人免费人妻av| 亚洲精品国产av蜜桃| 国产永久视频网站| 国产成人a∨麻豆精品| 久久久精品免费免费高清| 精品久久久久久电影网| 一级黄片播放器| 国产有黄有色有爽视频| 国产精品精品国产色婷婷| 日本一本二区三区精品| av免费观看日本| 秋霞在线观看毛片| 高清午夜精品一区二区三区| 观看美女的网站| 国产色婷婷99| 91av网一区二区| 精品欧美国产一区二区三| 亚洲av二区三区四区| 欧美一区二区亚洲| 国产高清三级在线| 看非洲黑人一级黄片| 韩国高清视频一区二区三区| 大话2 男鬼变身卡| 69av精品久久久久久| 小蜜桃在线观看免费完整版高清| 日日撸夜夜添| 超碰97精品在线观看| 亚洲av日韩在线播放| 男女视频在线观看网站免费| 不卡视频在线观看欧美| 中文字幕免费在线视频6| 日韩欧美 国产精品| 91精品伊人久久大香线蕉| 看黄色毛片网站| 色吧在线观看| 女的被弄到高潮叫床怎么办| 国产极品天堂在线| 国产在视频线精品| www.av在线官网国产| 狂野欧美激情性xxxx在线观看| 在线观看人妻少妇| 最新中文字幕久久久久| 国产视频内射| 国产免费福利视频在线观看| 嫩草影院入口| 99re6热这里在线精品视频| or卡值多少钱| 午夜精品一区二区三区免费看| 97人妻精品一区二区三区麻豆| 如何舔出高潮| 精品熟女少妇av免费看| 69人妻影院| 在线播放无遮挡| 一边亲一边摸免费视频| 国产在视频线在精品| 黄片无遮挡物在线观看| 少妇人妻精品综合一区二区| 国产有黄有色有爽视频| 好男人视频免费观看在线| 伊人久久精品亚洲午夜| 久久久久久国产a免费观看| 日本一本二区三区精品| 亚洲欧美成人综合另类久久久| 国产v大片淫在线免费观看| 亚洲av国产av综合av卡| 亚洲av免费高清在线观看| .国产精品久久| 嫩草影院精品99| 日韩视频在线欧美| 一级毛片 在线播放| 99热这里只有精品一区| 久久国产乱子免费精品| 久久人人爽人人片av| 成人毛片60女人毛片免费| 一本久久精品| 国产白丝娇喘喷水9色精品| 免费大片18禁| 天堂av国产一区二区熟女人妻| 久久久久久久久久黄片| 欧美高清性xxxxhd video| 亚洲国产精品sss在线观看| 亚洲精品第二区| 午夜福利高清视频| 五月天丁香电影| 亚洲欧美一区二区三区黑人 | 免费大片黄手机在线观看| 青青草视频在线视频观看| 免费看不卡的av| 夫妻午夜视频| 赤兔流量卡办理| 国产一区二区亚洲精品在线观看| 观看免费一级毛片| 亚洲综合色惰| 九九爱精品视频在线观看| 日本午夜av视频| 又爽又黄无遮挡网站| 汤姆久久久久久久影院中文字幕 | 欧美潮喷喷水| 国产成人精品婷婷| 黄色欧美视频在线观看| 一级毛片 在线播放| 国产乱人偷精品视频| 五月伊人婷婷丁香| 亚洲一区高清亚洲精品| 久久99精品国语久久久| 国产黄色视频一区二区在线观看| 午夜福利高清视频| 国产黄色视频一区二区在线观看| 大话2 男鬼变身卡| 禁无遮挡网站| 免费av不卡在线播放| 天天躁日日操中文字幕| 亚洲av二区三区四区| 国产成人a∨麻豆精品| 免费无遮挡裸体视频| 国产精品久久久久久av不卡| 人妻制服诱惑在线中文字幕| 久久精品久久精品一区二区三区| 国产一区二区三区综合在线观看 | 国精品久久久久久国模美| 国产精品99久久久久久久久| 视频中文字幕在线观看| 人妻一区二区av| 听说在线观看完整版免费高清| 日韩在线高清观看一区二区三区| 97在线视频观看| 少妇的逼水好多| 国产亚洲最大av| 午夜视频国产福利| 97在线视频观看| 少妇的逼水好多| 精品一区在线观看国产| 尾随美女入室| 校园人妻丝袜中文字幕| 欧美激情国产日韩精品一区| 校园人妻丝袜中文字幕| 久久精品国产亚洲av涩爱| 国产高清有码在线观看视频| 色综合色国产| 毛片一级片免费看久久久久| .国产精品久久| av国产久精品久网站免费入址| 黄色日韩在线| 插阴视频在线观看视频| 在线天堂最新版资源| 午夜精品在线福利| 91久久精品电影网| 在线免费观看不下载黄p国产| 久久99精品国语久久久| 国产精品伦人一区二区| 久久精品国产自在天天线| 亚洲精品一区蜜桃| 色吧在线观看| 黄色欧美视频在线观看| 精品久久久久久久久av| 久久这里有精品视频免费| 日韩强制内射视频| 尾随美女入室| 一区二区三区四区激情视频| 女人久久www免费人成看片| 女人十人毛片免费观看3o分钟| 成年版毛片免费区| 性色avwww在线观看| 肉色欧美久久久久久久蜜桃 | 国语对白做爰xxxⅹ性视频网站| 夜夜看夜夜爽夜夜摸| 亚洲最大成人手机在线| 身体一侧抽搐| 午夜激情欧美在线| av国产免费在线观看| 久久精品国产亚洲av天美| 国产精品一及| 一级毛片aaaaaa免费看小| or卡值多少钱| 久久鲁丝午夜福利片| 一区二区三区免费毛片| 亚洲电影在线观看av| 能在线免费观看的黄片| 久久99精品国语久久久| 如何舔出高潮| 国产成人91sexporn| 国产成人精品一,二区| 国产精品日韩av在线免费观看| 亚洲国产日韩欧美精品在线观看| 日日干狠狠操夜夜爽| 黄色日韩在线| 午夜精品在线福利| 成人毛片a级毛片在线播放| 国产精品国产三级国产专区5o| 久久精品久久久久久噜噜老黄| 国产综合懂色| 日韩大片免费观看网站| a级一级毛片免费在线观看| 青春草亚洲视频在线观看| 人妻制服诱惑在线中文字幕| 97热精品久久久久久| 国产成人精品久久久久久|