• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    心理與教育元分析中相關(guān)系數(shù)的合并

    2015-12-27 06:25:14李金德
    心理學(xué)探新 2015年3期
    關(guān)鍵詞:置信區(qū)間方差公式

    李金德

    (廣西大學(xué)行健文理學(xué)院,南寧530005)

    1 前言

    元分析(Meta -analysis)是定量綜述的有效方法,其核心是效應(yīng)量(Effect Size)的合并。效應(yīng)量的指標(biāo)很多:計(jì)量資料包括相關(guān)系數(shù)ρ、均數(shù)差(mean difference)、加權(quán)均數(shù)差(weight mean difference)和標(biāo)準(zhǔn)化均數(shù)差(standardized mean differences)等;計(jì)數(shù)資料包括如率(odds)、比值比(odds ratios)、相對危險度(relative risk)、危險度比(risk ratio)、危險度差(risk difference)和比率差(rate difference)等。近年來中國心理和教育學(xué)界的元分析逐漸增多,但絕大部分集中在對差異的效應(yīng)量分析上,而對相關(guān)的效應(yīng)量做分析的只有極少數(shù)。這部分受醫(yī)學(xué)領(lǐng)域元分析的影響,但最重要的是受限于目前的技術(shù),因?yàn)閲鴥?nèi)極少有文獻(xiàn)對r 的合并和分析做系統(tǒng)性的介紹,同時目前流行的元分析統(tǒng)計(jì)軟件例如MA,Rev-Man 等沒有分析r 的功能,而Ralf Schwarzer 編寫的軟件meta-analysis5.3 盡管可以進(jìn)行效應(yīng)量r 的元分析,但因其操作界面是DOS 系統(tǒng),使用起來很不方便。本文擬就效應(yīng)量r 的合并與分析做相應(yīng)介紹以填補(bǔ)國內(nèi)該領(lǐng)域的空缺。

    2 指標(biāo)的獲得

    2.1 兩個重要分布

    假設(shè)(X1,Y1),(X2,Y2),……,(Xn,Yn)隨機(jī)抽樣自平均數(shù)為(μ1,μ2)、方差為()、相關(guān)為ρ的總體,對于大樣本,有以下分布(Hartung,Knapp,& Sinha,2011,pp.11 -12):

    其中r 為兩變量樣本的相關(guān)系數(shù),ρ 為兩變量總體的相關(guān)系數(shù)。

    其中:

    z 是Fisher’s z(Fisher,1925)。若要把Fisher’s z 轉(zhuǎn)化成r,公式為:

    其中,r' 為轉(zhuǎn)換后的相關(guān)系數(shù),z 為Fisher’s z。

    2.2 指標(biāo)的初步分析

    2.2.1 基本步驟

    兩變量間相關(guān)的真值可用ρ 和ζ 表示,但真值ρ和ζ 是未知的,所以一般用樣本r 和z 估計(jì)ρ 和ζ,兩者的方差可近似估計(jì)為(Rao,1973):

    若要對兩者進(jìn)行顯著性檢驗(yàn),即H0:ρ = 0 和H1:ρ ≠0(H0:ζ = 0 和H1:ζ ≠0),一般基于正態(tài)分布,兩者的檢驗(yàn)統(tǒng)計(jì)量分別為:

    若Zr或Zz超過臨界值Zα/2,則拒絕H0接受H1,即效應(yīng)量顯著不為0。

    元分析一般都會報(bào)告置信區(qū)間(Confidential Interval),若置信區(qū)間包括0,則接受H0拒絕H1,公式如下:

    表1 單個相關(guān)系數(shù)的顯著性檢驗(yàn)及其置信區(qū)間的計(jì)算

    2.2.2 舉例計(jì)算

    表1 原始數(shù)據(jù)來自Hedges 等人的研究(Hedges et al.,1985,p.25),第2 列是樣本,第3 列是效應(yīng)量r,第4 列是對效應(yīng)量的檢驗(yàn),據(jù)公式(6)可得;第5列是r 的置信區(qū)間,可用公式(8)完成;第6 列是通過公式(1)轉(zhuǎn)換的Fisher’s z;通過公式(7)可以對其顯著性進(jìn)行檢驗(yàn),即第7 列數(shù)據(jù);通過公式(9)可得到第8 列的Fisher’s z 的95% 置信區(qū)間;第9 列是通過公式(3)轉(zhuǎn)化而得的r;而第10 列的置信區(qū)間也可通過公式(3)通過轉(zhuǎn)化而得。以研究1 為例:

    (1)采用直接方式

    其95% 的置信區(qū)間下限(LB)和上限(UB)分別為:

    LB = -0.073 -1.96 ×0.266 = -0.594

    UB = -0.073 +1.96 ×0.266 = 0.488

    (2)采用Fisher 轉(zhuǎn)化

    其95% 的置信區(qū)間下限(LB)和上限(UB)分別為:

    LB = -0.073 -1.96 ×0.266 = -0.594

    UB = -0.073 +1.96 ×0.266 = 0.488

    3 指標(biāo)的合成

    3.1 固定效應(yīng)模型(Fixed Effects Model)

    3.1.1 基本假設(shè)和步驟

    該模型中效應(yīng)量r 的合并遵循效應(yīng)量的一般性合 并 過 程(Hartung,Knapp,& Sinha,2011,pp.35 -37;Cooper,Hedges,& Valentine,2009,pp.261 - 262)。假設(shè)所有的效應(yīng)量都是來自同一總體:

    其中,wi為第i 個研究的權(quán)重,Ti為第i 個研究的效應(yīng)量。

    方差體現(xiàn)出測量指標(biāo)的準(zhǔn)確性與否,因此用各個研究的方差倒數(shù)表示權(quán)重:

    其方差為:

    可以估計(jì)效應(yīng)量真值置信區(qū)間為:

    把上面公式的θ 換成ρ 或ζ,Ti換成r 或Fisher’s z,該過程便成了對效應(yīng)量r 或Fisher’s z 的合并。

    3.1.2 直接合并法

    基本步驟如下(Cooper,Hedges,& Valentine,2009,p.265)(結(jié)果見表2):

    第三步:根據(jù)公式(14)對ρ~進(jìn)行檢驗(yàn):

    第四步:根據(jù)公式(15)計(jì)算95% 置信區(qū)間:

    表2 相關(guān)系數(shù)合并的基本過程

    3.1.3 Fisher 轉(zhuǎn)化法

    Fisher 轉(zhuǎn)化法和直接合并法過程基本一致(Cooper,Hedges,& Valentine,2009,pp.264 -265)。

    第三步:根據(jù)公式(14)對ζ~進(jìn)行檢驗(yàn):

    第四步:根據(jù)公式(15)計(jì)算95% 置信區(qū)間:

    有研究者習(xí)慣把Fisher’s z 轉(zhuǎn)化為r,可通過公式(3)完成,經(jīng)轉(zhuǎn)化r' = 0.297,其95% 的置信區(qū)間為[0.093,0.477]。

    3.2 隨機(jī)效應(yīng)模型(Random Effects Model)

    3.2.1 基本假設(shè)

    固定效應(yīng)模型假設(shè)納入研究的效應(yīng)量是同質(zhì)的,即θ1= θ2= …… = θk= θ。但隨機(jī)效應(yīng)模型假設(shè)θ1≠θ2≠……≠θk≠θ,即θi是異質(zhì)的,是隨機(jī)的,且有其自身的分布。因此效應(yīng)量的觀察方差(observed variance)有兩部分,一是隨機(jī)效應(yīng)方差(random effect variance),一是抽樣誤差(sampling error)(Cooper,Hedges,& Valentine,2009,p.270):

    若σ2= 0,意味著總效應(yīng)量的總變異都是來自于抽樣誤差,研究間不存在差異,這便是固定效應(yīng)模型;但在隨機(jī)效應(yīng)模型中,σ2≠0,研究間異質(zhì),合并是不合適的,但一般做法還是會合并,然后對影響其變異的因素加以分析。在隨機(jī)效應(yīng)模型中,效應(yīng)的合并也遵循公式(10)到(15)的步驟,不同的是計(jì)算合并量方差的方式。

    3.2.2 合并方法一

    據(jù)上文所述,效應(yīng)量總變異包括隨機(jī)效應(yīng)方差和抽樣誤差方差:

    通過公式(17)可推出隨機(jī)效應(yīng)方差為:

    (1)直接合并。以表2 為例,根據(jù)公式(18)和(19)得:

    (2)Fisher 合并。根據(jù)公式(18)和(19)得:

    3.2.3 合并方法二

    直接從原始效應(yīng)量出發(fā)推算出隨機(jī)效應(yīng)方差σ2(Cooper,Hedges,& Valentine,2009,pp.270 -271):

    公式(21)可以轉(zhuǎn)化為:

    因此s2(ri)的期望值可以表示為:

    總方差或觀察方差可由公式(21)直接算出來,它是E[s2(ri)]的無偏估計(jì);要計(jì)算σ2(ri| ρi),可采用公式(4)和公式(5)得到近似估計(jì);因此隨機(jī)效應(yīng)方差就可以近似估計(jì)為:

    采用該公式計(jì)算隨機(jī)效應(yīng)方差也可能得到負(fù)數(shù), 這 種 情 況 也 設(shè) 定 為 0(Cooper,Hedges,&Valentine,2009,p.270)。

    (1)直接合并。以表2 的數(shù)據(jù)為例,根據(jù)公式(21)和(22)得:

    (2)Fisher 合并。根據(jù)公式(21)和(22)得:

    4 異質(zhì)性檢驗(yàn)(Heterogeneity Test)

    異質(zhì)性分析是合并效應(yīng)量前的必要工作,若各個研究的效應(yīng)量同質(zhì),則采用固定效應(yīng)合并效應(yīng)量,若異質(zhì)則采用隨機(jī)效應(yīng)模型來合并效應(yīng)量。常用方法如下:

    4.1 Q 檢驗(yàn)

    Q 檢驗(yàn)法的假設(shè)檢驗(yàn)如下:

    統(tǒng)計(jì)量為:

    其中,wi為第i 篇文獻(xiàn)的權(quán)重,ri為第i 個研究的效應(yīng)量為平均效應(yīng)量,Q 服從df = k -1 的χ2分布,k 為文獻(xiàn)數(shù)量(王沛,馮麗娟,2005)。當(dāng)Q >時,拒絕H0,接受H1,表明研究間的效應(yīng)量異質(zhì),反之則同質(zhì)。以表2 數(shù)據(jù)為例,直接法和Fisher 轉(zhuǎn)化法的Q 值分別為:

    4.2 I2 檢驗(yàn)

    Q 受樣本影響較大,檢驗(yàn)效能較低,為此研究者提出I2(Higgins & Thompson,2002):

    Q 即公式(25)計(jì)算的統(tǒng)計(jì)量,df 是自由度。當(dāng)I2超過25%、50%、75% 時,分別提示有低、中和高度異質(zhì)性,大于50% 時存在實(shí)質(zhì)性的異質(zhì)性。

    以表2 數(shù)據(jù)為例,直接法和Fisher 轉(zhuǎn)化法的I2值分別為:

    第一個值為負(fù)數(shù),設(shè)定為0,說明同質(zhì),第二個值說明研究間有低度的異質(zhì)性。

    4.3 方差檢驗(yàn)

    有研究者認(rèn)為效應(yīng)量的觀察方差等于抽樣誤差方差和殘差方差相加(Hunter,Schmidt,& Jachson,1982,pp.35 -92):

    5 發(fā)表偏倚(Publication Bias)

    發(fā)表偏倚是指陽性比陰性結(jié)果的研究更容易發(fā)表,由此造成的誤差。常用方法有失安全系數(shù)和漏斗圖。

    5.1 失安全系數(shù)(Fail - safe Number)

    失安全系數(shù)指當(dāng)元分析的合并效應(yīng)量有統(tǒng)計(jì)學(xué)意義時,需要多少未發(fā)表的文獻(xiàn)才能使結(jié)論逆轉(zhuǎn)(從顯著到不顯著)(Rosenthal,1984,p.89)。在p 為0.05或0.01 水平上估計(jì)失安全系數(shù),公式分別為:

    其中Zi為第i 個效應(yīng)量對應(yīng)的Z 值,k 為文獻(xiàn)的個數(shù)。

    失安全系數(shù)越大效應(yīng)值越穩(wěn)定,失安全系數(shù)小于10 說明可能存在發(fā)表偏倚。

    以表2 數(shù)據(jù)為例,對于直接合并法:

    說明需要24 或10 篇陰性文獻(xiàn)可以使效應(yīng)量在0.05 或0.01 水平上不再顯著。

    對于Fisher 轉(zhuǎn)化法:

    說明需要14 或5 篇陰性文獻(xiàn)可以使效應(yīng)量在0.05 或0.01 水平上不再顯著。

    5.2 漏斗圖(Funnel Plot)

    失安全系數(shù)的優(yōu)點(diǎn)是量化簡潔,但有時值很大,還可能是負(fù)數(shù),不好理解,因此有些研究以漏斗圖的方式表達(dá)發(fā)表偏倚。其基本思想是每個納入研究的效應(yīng)值的精度應(yīng)隨樣本含量的增加而增加。以效應(yīng)大小為橫坐標(biāo),以標(biāo)準(zhǔn)誤(或標(biāo)準(zhǔn)誤倒數(shù))為縱坐標(biāo)作圖,若沒有發(fā)表偏倚,應(yīng)呈一個倒置的漏斗形,漏斗以真值為準(zhǔn)左右對稱;圖形不對稱有偏向,表示存在偏倚。漏斗圖的優(yōu)點(diǎn)是形象直觀,但若一篇綜述需要同時研究多個、甚至幾十個效應(yīng)量時,同時呈現(xiàn)幾十個漏斗圖則不夠現(xiàn)實(shí)。這里采用Excel 完成漏斗圖的制作(圖1 和圖2),但因數(shù)據(jù)較少,不好對該漏斗圖做判斷。

    圖1 效應(yīng)量r 的漏斗圖

    圖2 效應(yīng)量的漏斗圖

    6 效應(yīng)量的影響因素分析

    研究間異質(zhì)時,需要進(jìn)行異質(zhì)性分析。若需要分析的變量只有一個或很少,可對數(shù)據(jù)進(jìn)行亞組分析,即按照變量把原始數(shù)據(jù)分層重新進(jìn)行元分析;需要分析的變量很多時,則可以做一般性相關(guān)分析和回歸分析。這里介紹兩種比較特殊的分析方式。

    6.1 橫斷歷史研究

    在對年代效應(yīng)分析上可采用橫斷歷史元分析(Cross - temporal Metal - analysis),即“橫斷歷史研究”(辛自強(qiáng),池麗萍,2008)。橫斷歷史分析首先出現(xiàn)在Twenge 的系列研究中(Twenge,2001a;Twenge & Im,2007;Twenge,2000;Twenge et al.,2010;Twenge & Campbell,2001),該方法目標(biāo)是分解出年代對效應(yīng)量間變異的解釋能力,做法很簡單,即把出版的文章年代系統(tǒng)性的減去2 年然后與效應(yīng)量做相關(guān)。例如年代和某一效應(yīng)量的相關(guān)系數(shù)r =0.8,則年代可以解釋該效應(yīng)量變異的64% 的變異(r2= 0.82= 0.64)。

    但年代對心理變量的解釋有時候會讓人困惑,即僅僅是因?yàn)槟甏淖兓说男睦砹烤妥兓?還是因?yàn)槟甏兓澈筇N(yùn)含著其他的社會因素的變化,是這些因素造成了心理量的變化?顯然,后者更能明確的指出心理變量變化的真實(shí)原因?;诖?,橫斷歷史研究發(fā)展出了一種特殊的分析技術(shù),即“滯后分析”,即做心理量與5 年前(或10 年)和5 年后(或10年)的社會性指標(biāo)的相關(guān),分析社會因素和心理量間的相互作用(Twenge,2001b;辛自強(qiáng),張梅,2009)。若是社會環(huán)境改變了心理量,那么當(dāng)年的心理量應(yīng)該與5 年或10 年前的社會指標(biāo)顯著相關(guān);若是心理量影響了社會文化環(huán)境,心理量應(yīng)該與5 年或10 年后的社會指標(biāo)顯著相關(guān)??梢姕蠓治鰧?shí)際上連接了個體層面的心理變量和整體層面的變量,并試圖解釋兩者的關(guān)系。但這種做法可能存在不足,心理變量屬于個體層面的變量,而年代的特征屬于更高一層的變量,各個研究可以看做鑲嵌于年代中的個案,因?yàn)楦鱾€年代的特征變量是不一樣的,若簡單的把效應(yīng)量和年代中的特征變量做相關(guān)或者一般線性回歸,在方法論上是不恰當(dāng)?shù)模线m的做法是采用多層線性模型分析(張雷,雷靂,郭伯良,2003)。

    6.2 多層線性模型

    元分析的多層線性模型法在理論上是解決多效果量非獨(dú)立性問題最為有效的一種方法,應(yīng)用該方法可以得到更精確的平均效果量的估計(jì)值,還能進(jìn)行更有效的假設(shè)檢驗(yàn)。

    利用多層線性模型的思維,參與元分析的各個研究結(jié)果數(shù)據(jù)可以被看做是一個多層結(jié)果的數(shù)據(jù),各個研究中的不同結(jié)果可以看做是第一層的單位,各個研究可被看做是第二層的單位(第二層的每個單位只有一個個案),通過建立一個多層模型來探討第二層(各個研究)的特征對研究結(jié)果的影響,使用多層分析技術(shù),把各個研究的特征作為第二層的自變量加入到模型的方程中,從而探討這些特征對因變量即各研究結(jié)果變異的影響。

    若不考慮各研究特征對研究結(jié)果的影響,則基本的分析模型可以表示為(張雷,雷靂,郭伯良,2003,pp.160 -1163):

    其中,ri是第i 個研究的效應(yīng)量,ρi是第i 個研究結(jié)果相應(yīng)的總體參數(shù)值,ei是第i 個研究的抽樣誤差,假定ei服從方差為σ2的正態(tài)分布。若是固定效應(yīng)模型,則各個研究間的ρ 是相等的。若假設(shè)各個研究的ρ 在各個研究之間是隨機(jī)變異的,并且是各個研究特征的函數(shù),可建立方程:

    其中,X 為各個研究的特征值(第二水平的解釋變量);p 為第二層預(yù)測變量的個數(shù);μi為第二層的殘差項(xiàng),假定μi服從方差為τ00的正態(tài)分布。合并上述兩個方程:

    若方程中沒有第二層的解釋變量,則方程還原為基本的截距模型:

    此時β0就是所有研究結(jié)果的平均值,μi的方差τ00是各研究結(jié)果分布的方差,表明各研究結(jié)果的離散程度。這樣,對不同研究結(jié)果同質(zhì)性的檢驗(yàn)就等同于對殘差項(xiàng)μi的方差τ00是否等于0 的檢驗(yàn),若顯著不為0 說明各研究結(jié)果間異質(zhì)。這時就可以進(jìn)一步把第二層的變量(即各個研究的特征值)擬合到方程中探索它們對第一層變異的解釋程度。具體操作請參考張雷等《多層線性模型應(yīng)用》一書(pp.166 -175)(張雷,雷靂,郭伯良,2003)。

    很多讀者關(guān)心如何完成這一系列過程,Ralf Schwarzer 編寫的軟件meta - analysis5.3 采用的是隨機(jī)效應(yīng)模式合并相關(guān)系數(shù)r,它提供的主要指標(biāo)有未加權(quán)合并系數(shù)、加權(quán)合并系數(shù)、方差、置信區(qū)間、Q 檢驗(yàn)等。其實(shí)有了公式后效應(yīng)量的合并、效應(yīng)量的方差、置信區(qū)間、顯著性檢驗(yàn)、異質(zhì)性檢驗(yàn)和發(fā)表偏倚都可以通過EXCEL 完成,而若要分析影響效應(yīng)量變異的因素則可以采用多層線性模型HLM 輕松完成。

    王沛,馮麗娟.(2005). 元分析方法評介.西北師大學(xué)報(bào)(社會科學(xué)版),42(5),65 -69.

    辛自強(qiáng),池麗萍.(2008).橫斷歷史研究:以元分析考察社會變遷中的心理發(fā)展.華東師范大學(xué)學(xué)報(bào)(教育科學(xué)版),26(2),44 -51.

    辛自強(qiáng),張梅.(2009).1992 年以來中學(xué)生心理健康的變遷:一項(xiàng)橫斷歷史研究.心理學(xué)報(bào),41(1),69 -78.

    張雷,雷靂,郭伯良.(2003).多層線性模型應(yīng)用.北京:教育科學(xué)出版社.

    Cooper,H.,Hedges,L. V.,& Valentine,J. C. (2009). Handbook of research synthesis and meta - analysis. New York:Russell Sage Foundation.

    Fisher,R. A. (1925). Statistical methods for research workers.Edinburger:Oliver and Boyd.

    Glass,G.V.,Mcgaw,B.,& Smith,M.L.(1981).Meta -analysis in social research.Beverly Hills,CA:Sage Publications.

    Hartung,J.,Knapp,G.,& Sinha,B.K.(2011).Statistical meta-analysis with applications.New Jersey:Wiley.

    Hedges,L.V.,Olkin,I.,Statistiker,M.,Olkin,I.,& Olkin,I.(1985). Statistical methods for meta -analysis. Boston:Academic Press.

    Higgins,J.,& Thompson,S.G.(2002).Quantifying heterogeneity in a meta -analysis.Statistics in Medicine,21(11),1539-1558.

    Hunter,E.J.,Schmidt,L.F.,& Jachson,B.G.(1982).Meta -analysis:Cumulating research findings across studies. Beverly Hills,CA:Sage.

    Rao,C. R. (1973). Linear statistical inference and its applications.New York:Wiley.

    Rosenthal,R. (1984). Meta - analytic procedures for social research.Beverly Hills,CA:Sage.

    Twenge,J. M. (2000). The age of anxiety?The birth cohort change in anxiety and neuroticism,1952 -1993. Journal of Personality and Social Psychology,79(6),1007 -1021.

    Twenge,J.M.(2001a). Birth cohort changes in extraversion:A cross - temporal meta - analysis,1966 - 1993. Personality and Individual Differences,30(5),735 -748.

    Twenge,J. M. (2001b). Changes in women’s assertiveness in response to status and roles:A cross-temporal meta-analysis,1931 -1993. Journal of Personality and Social Psychology,81(1),133 -145.

    Twenge,J.M.,& Campbell,W.K.(2001).Age and birth cohort differences in self-esteem:A cross -temporal meta -analysis.Personality and Social Psychology Review,5(4),321 -344.

    Twenge,J. M.,Gentile,B.,Dewall,C. N.,Ma,D.,Lacefield,K.,& Schurtz,D. R. (2010). Birth cohort increases in psychopathology among young Americans,1938 -2007:A cross-temporal meta -analysis of the MMPI.Clinical Psychology Review,30(2),145 -154.Twenge,J.M.,& Im,C.(2007).Changes in the need for social approval,1958 -2001. Journal of Research in Personality,41(1),171 -189.

    猜你喜歡
    置信區(qū)間方差公式
    方差怎么算
    組合數(shù)與組合數(shù)公式
    排列數(shù)與排列數(shù)公式
    定數(shù)截尾場合三參數(shù)pareto分布參數(shù)的最優(yōu)置信區(qū)間
    p-范分布中參數(shù)的置信區(qū)間
    概率與統(tǒng)計(jì)(2)——離散型隨機(jī)變量的期望與方差
    多個偏正態(tài)總體共同位置參數(shù)的Bootstrap置信區(qū)間
    等差數(shù)列前2n-1及2n項(xiàng)和公式與應(yīng)用
    計(jì)算方差用哪個公式
    列車定位中置信區(qū)間的確定方法
    亚洲精品一卡2卡三卡4卡5卡| 黄色女人牲交| 欧美一区二区国产精品久久精品| 久久天躁狠狠躁夜夜2o2o| 一级黄片播放器| 看免费av毛片| 变态另类成人亚洲欧美熟女| 18禁黄网站禁片免费观看直播| 露出奶头的视频| 国产亚洲av嫩草精品影院| 成熟少妇高潮喷水视频| 久久久久国产精品人妻aⅴ院| 91字幕亚洲| 国产精品一区二区三区四区久久| 国产亚洲精品久久久com| 法律面前人人平等表现在哪些方面| 国产伦一二天堂av在线观看| 欧美又色又爽又黄视频| 露出奶头的视频| 久99久视频精品免费| 久久久久久久亚洲中文字幕 | 2021天堂中文幕一二区在线观| 亚洲国产欧洲综合997久久,| 午夜免费激情av| 蜜桃久久精品国产亚洲av| 99国产精品一区二区三区| 久久欧美精品欧美久久欧美| 极品教师在线免费播放| 欧美中文日本在线观看视频| 日韩国内少妇激情av| 亚洲精品一区av在线观看| 国产一区二区亚洲精品在线观看| 欧美+亚洲+日韩+国产| 丰满人妻一区二区三区视频av | 99热这里只有精品一区| 级片在线观看| 欧美大码av| 免费一级毛片在线播放高清视频| 午夜日韩欧美国产| 精品人妻1区二区| 综合色av麻豆| 老司机午夜福利在线观看视频| 91九色精品人成在线观看| 日韩人妻高清精品专区| 黄色视频,在线免费观看| 女警被强在线播放| 国产亚洲精品av在线| 亚洲精品亚洲一区二区| 国产精品女同一区二区软件 | 母亲3免费完整高清在线观看| 国产单亲对白刺激| 老熟妇乱子伦视频在线观看| 丰满的人妻完整版| 嫁个100分男人电影在线观看| 国产精品 欧美亚洲| 两性午夜刺激爽爽歪歪视频在线观看| 午夜福利在线观看免费完整高清在 | 日韩欧美在线二视频| 国产免费男女视频| 草草在线视频免费看| 亚洲av熟女| 亚洲第一欧美日韩一区二区三区| 亚洲色图av天堂| 国产一区二区在线观看日韩 | 色综合婷婷激情| 中文字幕av成人在线电影| 国产一区二区亚洲精品在线观看| 午夜激情欧美在线| 99国产精品一区二区三区| 亚洲成人中文字幕在线播放| 一个人免费在线观看电影| 三级毛片av免费| 人人妻人人看人人澡| 国产精品久久久久久亚洲av鲁大| 国内毛片毛片毛片毛片毛片| 亚洲av不卡在线观看| www日本在线高清视频| 亚洲成人精品中文字幕电影| 69av精品久久久久久| 免费看日本二区| 搞女人的毛片| 啦啦啦免费观看视频1| 一个人免费在线观看的高清视频| aaaaa片日本免费| 亚洲国产欧美网| 精品人妻1区二区| 免费大片18禁| 精品久久久久久成人av| 国产一区二区三区视频了| 天堂√8在线中文| 精品熟女少妇八av免费久了| 国产精品乱码一区二三区的特点| 18禁黄网站禁片免费观看直播| 欧美激情在线99| 成熟少妇高潮喷水视频| 日韩中文字幕欧美一区二区| 亚洲国产欧美人成| 首页视频小说图片口味搜索| 国产精品1区2区在线观看.| 九九久久精品国产亚洲av麻豆| 免费看十八禁软件| 国产精品野战在线观看| 亚洲av成人不卡在线观看播放网| 亚洲av第一区精品v没综合| 亚洲欧美精品综合久久99| 亚洲最大成人中文| 欧美午夜高清在线| 99在线视频只有这里精品首页| 99热精品在线国产| 男人舔奶头视频| 深爱激情五月婷婷| 亚洲不卡免费看| 麻豆成人av在线观看| 免费电影在线观看免费观看| 51国产日韩欧美| 人人妻人人看人人澡| 欧美av亚洲av综合av国产av| 18美女黄网站色大片免费观看| 久久久久精品国产欧美久久久| 99视频精品全部免费 在线| 久久久久久久久久黄片| 美女高潮的动态| 亚洲欧美日韩东京热| 精华霜和精华液先用哪个| 啪啪无遮挡十八禁网站| 看免费av毛片| 美女免费视频网站| 国产精华一区二区三区| 少妇的逼水好多| 国产精品久久久久久亚洲av鲁大| 亚洲av第一区精品v没综合| 国产久久久一区二区三区| 一区二区三区激情视频| 我要搜黄色片| 亚洲第一电影网av| 久久精品91蜜桃| 少妇的逼好多水| 亚洲人与动物交配视频| 激情在线观看视频在线高清| 国产av不卡久久| 99热6这里只有精品| 国产免费男女视频| 色综合亚洲欧美另类图片| 久久久色成人| 国产精品99久久久久久久久| 精品国产美女av久久久久小说| tocl精华| 国产精品亚洲美女久久久| 日本 av在线| 给我免费播放毛片高清在线观看| 一本综合久久免费| 美女高潮喷水抽搐中文字幕| av片东京热男人的天堂| 99视频精品全部免费 在线| 亚洲av成人av| 婷婷丁香在线五月| 老汉色∧v一级毛片| 亚洲狠狠婷婷综合久久图片| 精品午夜福利视频在线观看一区| 成人特级黄色片久久久久久久| 亚洲精品粉嫩美女一区| 99久久综合精品五月天人人| 久久国产精品影院| a级毛片a级免费在线| 欧美3d第一页| 我的老师免费观看完整版| 少妇高潮的动态图| 成年女人永久免费观看视频| 亚洲精品乱码久久久v下载方式 | 一个人观看的视频www高清免费观看| 三级毛片av免费| 一卡2卡三卡四卡精品乱码亚洲| 老师上课跳d突然被开到最大视频 久久午夜综合久久蜜桃 | 高清毛片免费观看视频网站| 99热这里只有精品一区| 日韩国内少妇激情av| 男女午夜视频在线观看| 19禁男女啪啪无遮挡网站| 日本一二三区视频观看| 最新美女视频免费是黄的| 国产精品一区二区三区四区免费观看 | 搡老岳熟女国产| 久久亚洲真实| 9191精品国产免费久久| 五月玫瑰六月丁香| 精品午夜福利视频在线观看一区| 久久精品人妻少妇| 天天躁日日操中文字幕| 在线播放无遮挡| 草草在线视频免费看| 熟女人妻精品中文字幕| 久久国产精品影院| 搡老妇女老女人老熟妇| 精品国内亚洲2022精品成人| 久久这里只有精品中国| 国产真实乱freesex| 免费看光身美女| 亚洲av免费在线观看| 亚洲成a人片在线一区二区| 国产精品98久久久久久宅男小说| 免费大片18禁| 国产精品野战在线观看| 国产精品久久久久久精品电影| 亚洲人成电影免费在线| 在线观看66精品国产| 国产精品日韩av在线免费观看| 老司机福利观看| 12—13女人毛片做爰片一| 少妇裸体淫交视频免费看高清| 观看免费一级毛片| 一a级毛片在线观看| 久9热在线精品视频| 一个人看视频在线观看www免费 | 又黄又爽又免费观看的视频| 国产欧美日韩精品亚洲av| 老司机福利观看| 国产高清视频在线播放一区| 午夜福利在线观看吧| 久久久久久久久中文| 国产蜜桃级精品一区二区三区| 国产成人av教育| 免费无遮挡裸体视频| 亚洲av日韩精品久久久久久密| 精品久久久久久成人av| 中文字幕av成人在线电影| 午夜福利在线观看吧| 搡老熟女国产l中国老女人| 高清日韩中文字幕在线| 成人亚洲精品av一区二区| 久久久久久九九精品二区国产| 欧美激情在线99| 国产伦精品一区二区三区四那| 国产精品av视频在线免费观看| 女警被强在线播放| 国内精品美女久久久久久| 国产高清有码在线观看视频| 亚洲国产日韩欧美精品在线观看 | 看黄色毛片网站| 婷婷六月久久综合丁香| 性欧美人与动物交配| 成年女人看的毛片在线观看| 日本 欧美在线| 亚洲国产日韩欧美精品在线观看 | 欧美乱码精品一区二区三区| 午夜免费观看网址| 法律面前人人平等表现在哪些方面| 日韩欧美国产一区二区入口| 别揉我奶头~嗯~啊~动态视频| 99久久九九国产精品国产免费| 欧美性猛交黑人性爽| 高清在线国产一区| 国产一区二区在线观看日韩 | 国产99白浆流出| 久久久久久久精品吃奶| 亚洲一区二区三区不卡视频| 综合色av麻豆| 99久久精品一区二区三区| 国产伦精品一区二区三区视频9 | 此物有八面人人有两片| 别揉我奶头~嗯~啊~动态视频| 欧美高清成人免费视频www| 午夜福利在线在线| 午夜精品久久久久久毛片777| 色综合婷婷激情| 亚洲欧美日韩无卡精品| 非洲黑人性xxxx精品又粗又长| 欧美区成人在线视频| 一个人免费在线观看电影| 可以在线观看毛片的网站| 一进一出好大好爽视频| 久久精品国产99精品国产亚洲性色| 成人av一区二区三区在线看| 一本一本综合久久| 动漫黄色视频在线观看| 亚洲精品久久国产高清桃花| 国产精品1区2区在线观看.| 国内毛片毛片毛片毛片毛片| 在线播放无遮挡| 99在线人妻在线中文字幕| 欧洲精品卡2卡3卡4卡5卡区| 中文字幕人成人乱码亚洲影| 首页视频小说图片口味搜索| 国产野战对白在线观看| 国产中年淑女户外野战色| 国产一级毛片七仙女欲春2| 欧美黑人巨大hd| 韩国av一区二区三区四区| 变态另类丝袜制服| 亚洲在线自拍视频| 色吧在线观看| 级片在线观看| 香蕉av资源在线| 欧美极品一区二区三区四区| 欧美av亚洲av综合av国产av| 首页视频小说图片口味搜索| 村上凉子中文字幕在线| 久久久久性生活片| 久久精品人妻少妇| 一进一出抽搐动态| 精品电影一区二区在线| www.www免费av| 成人高潮视频无遮挡免费网站| 欧美一区二区国产精品久久精品| 免费人成在线观看视频色| 国产91精品成人一区二区三区| 人妻久久中文字幕网| 最好的美女福利视频网| 亚洲人成伊人成综合网2020| 日韩欧美国产一区二区入口| 精品无人区乱码1区二区| 人妻夜夜爽99麻豆av| 99riav亚洲国产免费| 久久久久国产精品人妻aⅴ院| 国产精品精品国产色婷婷| 免费一级毛片在线播放高清视频| 国产三级黄色录像| 麻豆一二三区av精品| 国产高清视频在线观看网站| 国产高清三级在线| 国产精品,欧美在线| 成人亚洲精品av一区二区| 亚洲成人精品中文字幕电影| 又爽又黄无遮挡网站| 97碰自拍视频| 免费在线观看成人毛片| 亚洲精品影视一区二区三区av| 国产伦一二天堂av在线观看| 叶爱在线成人免费视频播放| 国产aⅴ精品一区二区三区波| 国产三级中文精品| 麻豆国产97在线/欧美| 三级毛片av免费| 欧美日韩国产亚洲二区| 草草在线视频免费看| 操出白浆在线播放| 又黄又爽又免费观看的视频| 国产高清视频在线观看网站| 欧美丝袜亚洲另类 | 操出白浆在线播放| 婷婷亚洲欧美| 亚洲内射少妇av| 欧美成人免费av一区二区三区| 在线天堂最新版资源| 18禁在线播放成人免费| 日本在线视频免费播放| ponron亚洲| 99久久无色码亚洲精品果冻| 精品久久久久久久人妻蜜臀av| 精品国产三级普通话版| 亚洲欧美日韩高清专用| 1000部很黄的大片| 国产淫片久久久久久久久 | 女人高潮潮喷娇喘18禁视频| 美女高潮的动态| 男女午夜视频在线观看| 成年女人毛片免费观看观看9| 午夜福利在线在线| 欧美丝袜亚洲另类 | 1000部很黄的大片| 可以在线观看的亚洲视频| 一区二区三区高清视频在线| 午夜精品在线福利| 一区二区三区高清视频在线| 午夜激情欧美在线| 午夜影院日韩av| 国产97色在线日韩免费| 国产成人系列免费观看| 精品99又大又爽又粗少妇毛片 | 男人舔奶头视频| 黄色片一级片一级黄色片| 国产精品综合久久久久久久免费| 美女 人体艺术 gogo| 亚洲av成人不卡在线观看播放网| 免费在线观看成人毛片| 亚洲国产精品999在线| 亚洲精品456在线播放app | 好男人电影高清在线观看| 国产精品美女特级片免费视频播放器| 波多野结衣高清无吗| bbb黄色大片| 成人国产一区最新在线观看| 欧美色欧美亚洲另类二区| 男女午夜视频在线观看| 精品午夜福利视频在线观看一区| 国产精品av视频在线免费观看| 欧美国产日韩亚洲一区| 岛国视频午夜一区免费看| 精品一区二区三区av网在线观看| 亚洲精品国产精品久久久不卡| 国产欧美日韩精品一区二区| 最近视频中文字幕2019在线8| 看黄色毛片网站| 舔av片在线| 国产精品亚洲美女久久久| 男女之事视频高清在线观看| 成人国产综合亚洲| 性色avwww在线观看| 国产精品亚洲一级av第二区| 午夜精品在线福利| 亚洲精品亚洲一区二区| 狂野欧美激情性xxxx| 欧美在线黄色| 亚洲第一电影网av| www.999成人在线观看| 国产精品电影一区二区三区| 国产一区二区三区在线臀色熟女| 欧美日韩国产亚洲二区| 亚洲黑人精品在线| 99视频精品全部免费 在线| 久久九九热精品免费| 国产高潮美女av| 热99re8久久精品国产| 人人妻人人澡欧美一区二区| 久久草成人影院| 啦啦啦免费观看视频1| 日韩欧美在线二视频| 亚洲激情在线av| 亚洲在线自拍视频| 亚洲无线在线观看| 又黄又粗又硬又大视频| 日韩av在线大香蕉| 欧美三级亚洲精品| 51国产日韩欧美| 亚洲乱码一区二区免费版| 亚洲欧美精品综合久久99| 草草在线视频免费看| 最新美女视频免费是黄的| 长腿黑丝高跟| 中文资源天堂在线| 久久6这里有精品| 手机成人av网站| www.www免费av| 麻豆久久精品国产亚洲av| 无人区码免费观看不卡| 亚洲自拍偷在线| 亚洲av电影不卡..在线观看| 香蕉久久夜色| 少妇裸体淫交视频免费看高清| 欧美激情久久久久久爽电影| 黄片大片在线免费观看| 国产99白浆流出| 国产成人aa在线观看| 免费看a级黄色片| 成年女人毛片免费观看观看9| 国产精品av视频在线免费观看| 九色国产91popny在线| 亚洲熟妇熟女久久| 亚洲午夜理论影院| 日韩av在线大香蕉| 国产一区二区三区视频了| 少妇人妻精品综合一区二区 | 国产私拍福利视频在线观看| 成人一区二区视频在线观看| 免费观看人在逋| 国语自产精品视频在线第100页| 黄片大片在线免费观看| 亚洲av成人不卡在线观看播放网| 欧美极品一区二区三区四区| 岛国视频午夜一区免费看| 看片在线看免费视频| 18禁在线播放成人免费| av天堂中文字幕网| 欧美色视频一区免费| 亚洲精品在线观看二区| 法律面前人人平等表现在哪些方面| 88av欧美| 久久久久免费精品人妻一区二区| 免费人成视频x8x8入口观看| 老汉色∧v一级毛片| 国产视频内射| 久久精品国产亚洲av香蕉五月| 午夜精品一区二区三区免费看| 午夜福利免费观看在线| 免费无遮挡裸体视频| 久久午夜亚洲精品久久| 亚洲美女黄片视频| 日韩欧美国产在线观看| 综合色av麻豆| 国语自产精品视频在线第100页| 久久午夜亚洲精品久久| 亚洲一区二区三区色噜噜| 欧美成狂野欧美在线观看| 亚洲在线自拍视频| 成人高潮视频无遮挡免费网站| 噜噜噜噜噜久久久久久91| 国产激情偷乱视频一区二区| 国产精品一区二区三区四区久久| 国产探花在线观看一区二区| 香蕉av资源在线| 久久久精品大字幕| 成年女人永久免费观看视频| 亚洲欧美日韩高清在线视频| 老汉色av国产亚洲站长工具| 看片在线看免费视频| 黄色视频,在线免费观看| 亚洲国产欧美网| 免费观看人在逋| 亚洲av五月六月丁香网| 99久久无色码亚洲精品果冻| 欧美高清成人免费视频www| or卡值多少钱| 亚洲中文日韩欧美视频| 国产精品自产拍在线观看55亚洲| 小蜜桃在线观看免费完整版高清| 欧美性猛交黑人性爽| 真实男女啪啪啪动态图| 婷婷六月久久综合丁香| 一卡2卡三卡四卡精品乱码亚洲| 欧美在线黄色| 日本在线视频免费播放| 国产精品久久久久久精品电影| 亚洲天堂国产精品一区在线| 国产91精品成人一区二区三区| 人妻丰满熟妇av一区二区三区| 中文字幕人妻丝袜一区二区| 啦啦啦观看免费观看视频高清| 少妇的逼好多水| 国产精品电影一区二区三区| 久久精品国产亚洲av香蕉五月| 久久草成人影院| 亚洲成人中文字幕在线播放| 精品久久久久久成人av| 午夜免费观看网址| 看免费av毛片| 国产精品日韩av在线免费观看| 午夜日韩欧美国产| 久久久国产精品麻豆| 欧美高清成人免费视频www| 久久精品综合一区二区三区| 麻豆一二三区av精品| 精品久久久久久久毛片微露脸| 久久精品亚洲精品国产色婷小说| 51午夜福利影视在线观看| 久久久久久久久中文| 亚洲熟妇中文字幕五十中出| 国产色爽女视频免费观看| 国产精品久久久人人做人人爽| 蜜桃久久精品国产亚洲av| 久久精品国产自在天天线| 久久草成人影院| 国产成人系列免费观看| 欧美3d第一页| 日韩欧美精品v在线| 性欧美人与动物交配| 欧美日本亚洲视频在线播放| 免费在线观看亚洲国产| 国产精品久久久久久亚洲av鲁大| bbb黄色大片| 久久精品人妻少妇| x7x7x7水蜜桃| 人人妻人人澡欧美一区二区| 国产单亲对白刺激| 色综合亚洲欧美另类图片| 精品人妻一区二区三区麻豆 | 老司机深夜福利视频在线观看| 国产黄色小视频在线观看| 天天一区二区日本电影三级| 91久久精品国产一区二区成人 | 色吧在线观看| 欧美一级a爱片免费观看看| 九色成人免费人妻av| 日韩欧美在线乱码| 性色av乱码一区二区三区2| 老熟妇乱子伦视频在线观看| 日韩欧美精品免费久久 | 欧美日本亚洲视频在线播放| 99久国产av精品| 婷婷六月久久综合丁香| 日本一本二区三区精品| 免费高清视频大片| 午夜日韩欧美国产| 69人妻影院| 一级黄色大片毛片| 国产淫片久久久久久久久 | 九色成人免费人妻av| h日本视频在线播放| 国产日本99.免费观看| 99精品欧美一区二区三区四区| 好看av亚洲va欧美ⅴa在| 一本一本综合久久| 国内揄拍国产精品人妻在线| 亚洲午夜理论影院| 亚洲av免费高清在线观看| 男女下面进入的视频免费午夜| 午夜日韩欧美国产| 成年人黄色毛片网站| 午夜a级毛片| 91在线观看av| 欧美成狂野欧美在线观看| 一a级毛片在线观看| 18+在线观看网站| 国产精华一区二区三区| 久久精品国产自在天天线| 在线国产一区二区在线| 国产亚洲av嫩草精品影院| 国产不卡一卡二| 免费av观看视频| 男人和女人高潮做爰伦理| 搡女人真爽免费视频火全软件 | 国产一区二区亚洲精品在线观看| 精品不卡国产一区二区三区| 成年女人毛片免费观看观看9| 久久久久久国产a免费观看| 国产精品亚洲一级av第二区| 亚洲第一欧美日韩一区二区三区| 色综合站精品国产| 精品国产亚洲在线| 亚洲国产中文字幕在线视频| 叶爱在线成人免费视频播放| 一区二区三区高清视频在线| 国产在视频线在精品| 欧美日韩乱码在线| 91字幕亚洲| 黑人欧美特级aaaaaa片| 99久久无色码亚洲精品果冻|