• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    效度研究領(lǐng)域中的爭議

    2014-02-04 20:07:31趙琪鳳
    中國考試 2014年6期
    關(guān)鍵詞:陳宏內(nèi)容效度效度

    趙琪鳳

    效度研究領(lǐng)域中的爭議

    趙琪鳳

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。本文在一系列前期研究和分析的基礎(chǔ)上,從構(gòu)想效度的概念本質(zhì)、構(gòu)想效度的研究視角、構(gòu)想效度的研究方法三大方面探討了效度研究領(lǐng)域中存在的爭議。我們認(rèn)為,迄今為止構(gòu)想效度研究在本質(zhì)定位、探究視角和方法論方面仍然爭議不斷,需要理順和統(tǒng)一,并接受和借鑒物理學(xué)等成熟學(xué)科的一些研究思路和方法,這才是實現(xiàn)科學(xué)研究構(gòu)想效度的重要途徑。

    構(gòu)想效度;構(gòu)想;心理物理學(xué);因果分析

    時至今日,效度研究已經(jīng)經(jīng)歷了近1個世紀(jì)的歷程,并取得了較為豐碩的研究成果,雖然具體的心理測驗極大地滿足了社會應(yīng)用及政治決策的需要,但是作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。其中,我們認(rèn)為主要的爭議體現(xiàn)在關(guān)于“構(gòu)想效度究竟是指什么有效”的爭議,“對心理構(gòu)想的解釋采用物理學(xué)視角還是社會學(xué)視角”之間的爭議,以及在方法論上“確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)”之間的爭議三大方面。

    1 構(gòu)想效度究竟是指什么有效?

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。雖然在1921年效度概念正式提出時,研究者就聲稱“效度是指測驗在多大程度上測到了它想要測的東西”,但是經(jīng)過多年的效度研究歷程,我們可以看到這個概念并不足以清楚、準(zhǔn)確地表達效度的本質(zhì)含義,至少我們看到不同的學(xué)者根據(jù)自己的理解和知識背景,以及所處的社會環(huán)境等因素,對效度(尤其是構(gòu)想效度)存在不同的理解;正是因為沒有對構(gòu)想效度要測什么形成一致的認(rèn)識,一些學(xué)者會對不同的構(gòu)想效度定義均表認(rèn)同;有時會在不同的構(gòu)想效度定義之間反復(fù)、搖擺。因此,“構(gòu)想效度究竟是指什么有效”成了一個爭議頗多的問題,在確定構(gòu)想效度是指什么東西有效方面,已經(jīng)存在各種不同的說法和見解,混淆了構(gòu)想效度的研究基礎(chǔ)和思路。

    根據(jù)常曉宇(2001)、張凱(2004)等人之前對構(gòu)想效度概念混亂狀況所做的總結(jié)和闡述,我們認(rèn)為目前心理測量界對構(gòu)想效度定義的研究大致呈現(xiàn)以下五種狀態(tài)。

    1.1 從字面入手理解關(guān)鍵詞的含義——把“構(gòu)想”(construct)理解為“結(jié)構(gòu)”(structure)

    構(gòu)想效度的英文表述是“construct validity”,國內(nèi)的學(xué)者將這個關(guān)鍵詞翻譯成中文,就會出現(xiàn)一些不同的譯法和理解。例如凌文輇、濱治世(1988:16)把構(gòu)想效度翻譯成“構(gòu)造概念效度”,王重鳴(1990:142)把構(gòu)想效度翻譯成“構(gòu)思效度”,劉潤清(1991:18)則翻譯為“編制效度”,徐樅?。?992:344)把構(gòu)想效度理解為“構(gòu)念效度”或“構(gòu)造效度”等。不僅是國內(nèi)的學(xué)者,國外的一些研究者也持有同樣的觀點,如Allison(1999)認(rèn)為“[Construct(構(gòu)想或結(jié)構(gòu))是]我們想要教或想要測的東西的表征,如‘聽力理解’及其組成成分”??梢?,很多人把構(gòu)想效度這個概念譯成“結(jié)構(gòu)效度”。張凱(2004)總結(jié)認(rèn)為:“根據(jù)這個譯法,有人認(rèn)為結(jié)構(gòu)(構(gòu)想)效度是指所測能力的構(gòu)成(如智力的各個因素)和測驗結(jié)構(gòu)(structure)之間的一致性程度或?qū)?yīng)程度”(2004:8)。

    1.2 將構(gòu)想效度等同于內(nèi)容效度

    部分學(xué)者認(rèn)為,構(gòu)想效度與內(nèi)容效度類似,如果測驗沒有什么實在的內(nèi)容可以依據(jù)(談不上內(nèi)容效度)的話,總得找點東西來代替內(nèi)容效度,這東西就是構(gòu)想效度。

    還有的學(xué)者把內(nèi)容效度與構(gòu)想效度混為一談,認(rèn)為內(nèi)容效度的考察大綱是理論結(jié)構(gòu)的一個樣本,內(nèi)容效度可以轉(zhuǎn)化為構(gòu)想效度,內(nèi)容效度與構(gòu)想效度很難截然分開,屬于一個整體。

    其實,在建立構(gòu)想效度的方法中,先考察測驗的內(nèi)容效度的方法也是其中一種,“因為有些測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”(戴海琦、張鋒、陳雪楓,1999),但這種方法當(dāng)且僅當(dāng)“測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”時才成立,考察內(nèi)容效度的方法多數(shù)情況下并不適用,況且內(nèi)容效度本身就難以測定(常曉宇,2001)。

    1.3 徹底否定構(gòu)想效度

    在構(gòu)想效度提出50多年后,出現(xiàn)少量學(xué)者對構(gòu)想效度持徹底否定的態(tài)度。如Borsboom等人對Cronbach和Meehl(1955)的認(rèn)識是:

    構(gòu)想效度的觀點從產(chǎn)生就注定了死亡。Cronbach和Meehl(1955)提出的構(gòu)想效度從來沒有過任何研究實例。相應(yīng)地,在當(dāng)今的效度理論中也沒有定律網(wǎng)絡(luò)的軌跡(Borsboom et al.,2009)

    在這種完全否定的態(tài)度下,Borsboom等人更加堅定了對構(gòu)想效度批判,同時從效度命名的角度試圖取消“構(gòu)想效度”這一術(shù)語:

    我們認(rèn)為構(gòu)想效度理論中使用的“構(gòu)想”一詞,在兩個方面是不一致的,也就是說,這個詞同時指向了理論術(shù)語(如,一個標(biāo)記)和指派術(shù)語的證明(如,一個研究者使用一種測量工具發(fā)現(xiàn)了這一現(xiàn)象)。這種雙重意義制造了大量的誤解和混亂……。因此,我們建議將‘構(gòu)想’一詞去掉,……。我們認(rèn)為效度的概念,正如通常所理解的那樣,在理論上和實踐上都優(yōu)于構(gòu)想效度概念。最后,我們提出的主張是構(gòu)想效度一直使得研究者躲在迷霧之后,免于思考和解決心理測量的真正問題。(Borsboom et al.,2009)

    Borsboom等人在上述觀點中,認(rèn)為構(gòu)想效度中的“構(gòu)想”一詞,不僅沒有任何實際意義,反而制造了混亂和誤解,他們更加贊成使用“效度”替代構(gòu)想效度的核心地位,也就是說之前對構(gòu)想效度的多方論述和證明,都是無益于效度檢驗的,可見,Borsboom等人(2009)徹底否定了構(gòu)想效度的地位和作用。

    1.4 片面的理解

    除了上述對構(gòu)想效度概念產(chǎn)生的不同理解和解釋外,提到一個測驗具有構(gòu)想效度時,究竟是什么東西有效?測量界有三種不同的解釋:構(gòu)想有效、測驗有效、測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效。

    1.4.1 構(gòu)想有效

    測量界里,這種看法由來已久。早在提出構(gòu)想效度之時,Cronbach和Meehl就已經(jīng)不是把效度問題理解為測驗是否測到了某個特質(zhì)這樣單純的事實性問題,而是當(dāng)作由測驗分?jǐn)?shù)所作出的推論是否與包含各種理論與觀察術(shù)語的規(guī)則網(wǎng)絡(luò)(nomological)相一致的問題(1955)(陳宏,2012:2)。

    Henning(1987:98)認(rèn)為“建立構(gòu)想效度的目的是證明被測量的潛在的理論構(gòu)想本身是有效的”。

    國內(nèi)的桂詩春、寧春巖(1997:293)以及陳俊良(1991:103)的說法與之類似。

    《教育與心理測量標(biāo)準(zhǔn)》(AERA,1999:5)聲稱,“測驗就是對構(gòu)想的測量工具”,“所有測驗分?jǐn)?shù)”都應(yīng)“看作某種構(gòu)想的測度”(AERA,1999:174)。有了《標(biāo)準(zhǔn)》的支持,效度指構(gòu)想有效這一解釋很快成為測量界居統(tǒng)治地位的主流意識(陳宏,2012:2)。

    1.4.2 測驗有效

    還有學(xué)者認(rèn)為構(gòu)想效度是測驗(測量)的有效性,如Kelly早在1927年就提出,測驗如果測到了它聲稱要測的東西就是有效的(1927:14)。Anastasi對效度定義的闡述幾十年基本未變,她在效度問題上的看法長期以來為人們廣泛引用并產(chǎn)生了深遠(yuǎn)影響,Anastasi(1982:144;1997:126)認(rèn)為“測驗的構(gòu)想效度就是測驗在多大程度上測出了理論構(gòu)想或理論特質(zhì)?!边@種觀點實質(zhì)上強調(diào)的是測驗或測量的工具屬性。

    國內(nèi)學(xué)者戴忠恒(1987:233)、凌文輇、濱治世(1988:17)、王重鳴(1990:142)Fraenkel&Wallen(1993:548)、Brown(1996:239)、Kline(1998:37)、劉永芳、房慧聰(2001:188)對構(gòu)想效度的界定,也都認(rèn)同測驗有效的理解(張凱,2004)。

    1.4.3 測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效

    在構(gòu)想效度的表述對象問題上,目前占據(jù)主導(dǎo)思想的解釋是,效度是分?jǐn)?shù)解釋或根據(jù)分?jǐn)?shù)所作推斷的有效性。Messick(1989:13)說,“效度不是測驗……的特性,而是測驗分?jǐn)?shù)的意義的特性”。Fraenkel&Wallen(1993:193)說,“需要證明有效的,不是工具本身,而是工具在特定的應(yīng)用中產(chǎn)生的推論”。Cronbach(1989:151)自己后來也說,構(gòu)想效度“證明的是特定的分?jǐn)?shù)解釋”。持這種觀點的還有Ebel&Frisbie(1991:108),Bachman(1990:290),Bachman&Palmer(1996:21),Chapelle(1998:50)等。

    1999年APA《標(biāo)準(zhǔn)》的修訂版基本接受了Messick對效度的定義,承認(rèn)效度檢驗過程所“評估的是根據(jù)人們提出的應(yīng)用需求對測驗分?jǐn)?shù)所作的解釋,而非測驗本身?!蓖瑫r承認(rèn)“人們提出的測驗應(yīng)用需要對測驗分?jǐn)?shù)作出解釋,效度指的是證據(jù)和理論對這種分?jǐn)?shù)解釋的支持程度”(AERA,1999:9)。此后,“這種效度觀念在測量界便逐漸形成思維定式,而且表述更簡單、明確、直截了當(dāng)”(陳宏,2012:4)。

    1.5 含混不清、前后矛盾的表述

    正是由于心理測量學(xué)界對構(gòu)想效度表述對象的不確定和不統(tǒng)一的現(xiàn)狀,導(dǎo)致爭議不僅表現(xiàn)為研究者們對這個問題有不同的理解,而且還表現(xiàn)為,“研究者個人有時會同時認(rèn)可兩種表述對象;有時會在不同的表述對象間反復(fù)、搖擺;而且有些學(xué)者在效度表述對象問題上的不一致甚至在同一部著作中也會出現(xiàn)”(陳宏,2012:4)。這種對構(gòu)想效度含混不清的表述,很容易給讀者造成誤解和歧義。

    Alderson,Clapham和Wall(1995)說:

    每個理論都包含若干構(gòu)想,并力圖定義構(gòu)想之間的關(guān)系?!瓰榱藴y出一個測驗的構(gòu)想效度,編測驗的人必須使測驗和潛在的理論掛上鉤,然后將測驗結(jié)果和那個理論進行比較。(1995:286-287)

    這好像是說構(gòu)想有效,但他們接著又說:“構(gòu)想效度就是評價一個測驗對那些構(gòu)想的測量程度如何?!边@又似乎是說測驗有效了。杰克遜(1996:91)、Sax(1997:313)以及Loewenthal(2001:17)等人對構(gòu)想效度的表述也同樣存在各種混亂,對構(gòu)想效度的界定通常指代不明(張凱,2004)。

    Henning雖然在陳述效度定義時說過:“效度一般指某個特定測驗或其任何組成部分作為對它聲稱要測量的那個東西的測度的恰當(dāng)性”(1987:89),似乎認(rèn)為效度是測量的屬性,然而其后在同一部著作中定義構(gòu)想效度時,Henning卻明確指出,測驗“聲稱要測量”的,就是“潛在的理論構(gòu)想”,而“建立構(gòu)想效度的目的,就是證明被測量的潛在的理論構(gòu)想本身有效”(Henning,1987:89),可見當(dāng)時在Henning意識中,效度實質(zhì)就是構(gòu)想效度。

    Borsboom等荷蘭學(xué)者也是很明顯的例子。一方面,他們承認(rèn)效度是測驗本身的屬性,明確肯定Kelly(1927)提出的效度定義是正確的。另一方面,Borsboom等人(2004)在闡述其效度主張的文獻中,卻明確表示:

    僅憑心理測量技術(shù)和心理測量模型解決不了效度問題。正相反,這個問題必須由實體理論來處理。測驗效度是個心理學(xué)無法外包給方法論去解決的問題。(Borsboom et.al.,2004)

    顯然,這里“有效”所表述的已非測驗本身的屬性,而是測驗構(gòu)想或有關(guān)構(gòu)想的理論了(陳宏,2012:6)。這些令人費解的表述,是由于研究者自身對構(gòu)想效度理解的模糊和不確定所造成的。

    由上述多種多樣的構(gòu)想效度概念,我們可以明確,“構(gòu)想效度究竟是指什么有效”這個問題存在多樣的回答和復(fù)雜的論爭,是一個值得研究的課題。

    2 心理構(gòu)想解釋采用物理學(xué)視角還是社會學(xué)視角

    早在19世紀(jì)中期,心理物理學(xué)的出現(xiàn),引發(fā)了一場關(guān)于人類心理構(gòu)想解釋采用物理學(xué)視角還是采用社會學(xué)視角的爭論。

    心理物理學(xué)(psychophysics)研究,像這個詞本身所表明的那樣,研究的是精神(心理)世界和物質(zhì)(物理)世界的關(guān)系。這一研究包括提起重物、視覺明度、視覺距離和觸覺距離的實驗(舒爾茲,2005:66)。從名稱上看,心理物理學(xué)一方面要以心理學(xué)為基礎(chǔ),另一方面還要能為心理學(xué)提供數(shù)學(xué)基礎(chǔ)。心理物理學(xué)要從物理學(xué)研究中得到啟發(fā)和方法論,從生理學(xué)和解剖學(xué)中得到更多的神經(jīng)系統(tǒng)方面的東西??梢?,心理物理學(xué)的解釋視角主張從客觀存在的生理機制上尋求依據(jù),并結(jié)合物理學(xué)的數(shù)字化表達方式,力圖使心理學(xué)成為物理學(xué)那樣的精密科學(xué)。而心理學(xué)的傳統(tǒng)做法是將這兩種視角相結(jié)合,一些心理學(xué)家認(rèn)為有關(guān)自然本性視角和后天因素視角的爭論根本就不存在,因為人類行為是由外部環(huán)境和遺傳物質(zhì)共同作用的結(jié)果,把兩者分開是不明智的。

    然而,“在測量界乃至一般測驗用戶那里,主張效度的實在性似乎注定是要坐冷板凳的”(陳宏,2012:7),顯然,在關(guān)于人類行為解釋的生物學(xué)和社會學(xué)(自然本性和后天因素)視角之間的這場爭論中,社會學(xué)解釋視角占據(jù)了上風(fēng),這一視角對心理測驗的思考和分析與測驗所處的社會環(huán)境相聯(lián)系,從道德和實際應(yīng)用等方面研究人類行為,至今仍是心理測量和構(gòu)想效度研究的主流觀點。

    我們認(rèn)為,主張從生物學(xué)視角解釋行為,其根本還是心理特質(zhì)的實在性問題。我們知道,在經(jīng)驗世界里,無論通過感官還是借助各種測量工具,心理特質(zhì)都是無法直接觀察的,一切關(guān)于特質(zhì)的構(gòu)想和理論都只是假設(shè):假設(shè)被試行為的原因可以用某種特質(zhì)的作用來解釋,這些特質(zhì)影響了被試行為,被試行為的差異體現(xiàn)了特質(zhì)的差異。

    可不幸的是,探究心理特質(zhì)實在性這一點,偏偏正是現(xiàn)代教育和心理測量界長期以來一個最大的難題。將特質(zhì)的實在性看作效度的核心,就是要求測驗構(gòu)想確有某種外在的實體與之明確對應(yīng)。

    其實早在19世紀(jì)中期,費希納就嘗試從生物學(xué)視角解釋人類行為。著名的費希納律將感覺這種不可直接觀察的屬性定為構(gòu)想,然后找到了一種可觀察的屬性——刺激量作為直接測量對象,經(jīng)過反復(fù)試驗,在刺激量和感覺量之間找到了一條(用數(shù)學(xué)表達的)定律,即S=KlogR,根據(jù)上述證明理論的要求,這時感覺量作為構(gòu)想得到了證明。這一定律的出現(xiàn)表明,對心理構(gòu)想實在性的探究和科學(xué)測量雖然難度很大,但也并非毫無希望??梢哉f,費希納開拓了心理測量科學(xué)方法的先例和思路,這一方向是值得繼續(xù)深入挖掘和繼承的。這正是心理測量需要繼續(xù)努力的方向。而回避和忽略這一研究思路,轉(zhuǎn)而從社會學(xué)視角解釋行為,則趨于主觀判斷和人為因素的摻雜,研究難度驟然降低,而且可滿足實際需求和社會需要,但是“這樣一個完全靠假設(shè)構(gòu)建起來的效驗推論鏈條是十分脆弱的,因為假設(shè)終究需要證實:測驗所測特質(zhì)不僅存在于構(gòu)想,而且有其實體”(陳宏,2012)。

    總之,通過對行為解釋的生物學(xué)視角和社會學(xué)視角之間的論爭,我們發(fā)現(xiàn)這兩大研究視角在長期的爭論中,已經(jīng)形成了兩種主要變量,即與本能相關(guān)聯(lián)的生理機能因素,和與環(huán)境經(jīng)驗相關(guān)聯(lián)的因素。但是這兩種截然不同的觀點是無法互相融合的,在尚無定論的情況下只能各自為政。

    3 確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)

    測驗效度實質(zhì)上就看測驗是否能夠通過分?jǐn)?shù)變異真實反映特質(zhì)作用于被試行為的效應(yīng)。如果效度檢驗結(jié)果顯示,分?jǐn)?shù)變異是因特質(zhì)變異而起,這就意味著,當(dāng)前觀察到的被試行為之變異正是測驗打算測量的那種特質(zhì)變異的效應(yīng),就測量這一特定的特質(zhì)而言,測驗就是有效的。正是由于作用于測驗分?jǐn)?shù)的一系列心理生理因素始終是個謎團,對二者之間因果關(guān)系的探究也舉步維艱,甚至備遭冷落。

    實際上,因果關(guān)聯(lián)研究是非常必要的。但是因果分析為何未見其效呢?對于這個疑問,陳宏(2012)作出了相應(yīng)的解釋和回答:

    因果關(guān)聯(lián)研究在方法論方面有一些優(yōu)勢,卻在效度概念發(fā)展的大半個世紀(jì)里一直處于測量專家們的視野之外,最關(guān)鍵的原因,恐怕就在于這種簡單的從因果效應(yīng)發(fā)生過程求證的效度檢驗思路需要直接的觀察手段,而現(xiàn)代教育心理測量包括語言測驗恰恰缺少這樣的條件。令人鼓舞的是,近年來,隨著時間的推移和科技進步,我們似乎已經(jīng)可以依稀看到因果關(guān)聯(lián)性的定性研究在測量領(lǐng)域尤其是效度研究中得以應(yīng)用的希望曙光。(陳宏,2012:18)

    可見,陳宏(2012)將因果關(guān)聯(lián)研究法的使用局限,歸結(jié)為心理測量缺少直接的觀察手段,是有一定道理的。畢竟想要得到因果關(guān)系,需要找到確切的關(guān)聯(lián),而直接的觀察手段則是最理想的證明因果關(guān)系的途徑。但是,直接的觀察手段的實現(xiàn),需要根據(jù)所測特質(zhì)的具體情況而定,并非所有的特質(zhì)都能夠?qū)崿F(xiàn)直接的觀察。

    與因果關(guān)系的艱難探究不同的是,相關(guān)關(guān)聯(lián)的研究則由來已久,且占據(jù)主導(dǎo)地位,大受社會學(xué)解釋視角的青睞。早在20世紀(jì)50年代以前效度概念發(fā)展的初期,人們曾普遍相信有效即相關(guān)。例如Guilford曾夸張地認(rèn)為“從某種非常一般的意義上說,測驗對任何與其相關(guān)的事物都是有效的”(Guilford,1946)。以至于之后的大多數(shù)研究者都認(rèn)同相關(guān)分析為效度研究的主要方法。

    Borsboom等人為了說明相關(guān)性分析對于理論解釋存在的缺陷,他們從以下幾個方面對以相關(guān)為基礎(chǔ)的效度檢驗研究做出了概括:

    第一,世界上各種事物之間完全無關(guān)的情況實際上非常少見,特別是在社會科學(xué)領(lǐng)域中,一切事物都趨于彼此相關(guān)(Meehl,1978)。

    第二,用相關(guān)來表示效度,就會使人誤以為相關(guān)系數(shù)越高,效度就越高……然而,這種邏輯往往還會導(dǎo)致進一步極端的推論,即兩個變量完全相關(guān),便意味著完全有效,甚至使人誤以為有確切關(guān)聯(lián)的特質(zhì)就是一回事,這可是極大的謬誤。

    第三,因為相關(guān)關(guān)系本身就是一個總體依賴的統(tǒng)計量,所以任何以相關(guān)為基礎(chǔ)建立起來的效度檢驗觀點都必然導(dǎo)致效度在不同總體之間是可變的推論。然而,效度只應(yīng)取決于特質(zhì)變異,與相關(guān)關(guān)系和總體變化并沒有必然聯(lián)系。(陳宏,2012:16-17)

    需要說明的是,雖然相關(guān)分析的缺陷已經(jīng)被很多心理學(xué)家所發(fā)現(xiàn)和批判,效標(biāo)關(guān)聯(lián)效度檢驗由于依賴于相關(guān)分析的研究方法,存在循環(huán)論證問題而遭到研究者的抨擊。但是,心理學(xué)界面臨著社會對心理測量(包括語言測驗)的迫切需求,需要回答有關(guān)測驗的效度和效度檢驗方面的問題,而在心理測量尚未成熟的情況下,相關(guān)分析這一檢驗方法及時地為心理測量學(xué)家解圍,成為目前效度檢驗的重要方法,這也可以說是心理測量不得不面對和承認(rèn)的一個客觀事實和無奈。由此可見,因果關(guān)系的實現(xiàn)應(yīng)該居于研究的首位,因果關(guān)系中包含相關(guān)關(guān)系,兩種分析不可分割,但也應(yīng)有主有次。

    總之,在效度研究中建立因果關(guān)聯(lián)探究,還是繼續(xù)奉行相關(guān)分析的研究方法,這一爭論正在進行,且隨著心理測量學(xué)家對心理特質(zhì)和構(gòu)想效度思考的深入,這個議題日益凸顯出來,并在近些年來的效度探討中成為關(guān)注的核心問題之一。爭論雙方各執(zhí)一詞,有待深入分析和探究。

    [1]Alderson,J.C.,Clapham,C.,Wall,D.Language Test Construction and Evaluation[M].Cambridge:Cambridge University Press.1995.

    [2]Allison,D.Language Testing and Evaluation:An Introductory Course[M].Singapore:Singapore University Press.1999.

    [3]American Psychological Association.Standards for educational and psychological tests and manuals[M].Washington,DC:American Psychological Association.1999.

    [4]Anastasi,A.Psychological Testing(5th ed.)[M].New York:Macmillan Publishing Co.,Inc.1982.

    [5]Anastasi,A.,Urbina.S.Psychological Testing.(7th ed.)[M].New Jersey:Prentice-Hall,Inc.1997.

    [6]Bachman,L.F.Fundamental Consideration in Language Testing[M].New York:Oxford University Press.1990.

    [7]Bachman,L.F.,Palmer,A.S.Language Testing in Practice[M].New York:Oxford University Press.1996.

    [8]Borsboom,D.,Mellenbergh,G.J.Why psychometrics is not pathological:A comment on Michell[J].Theory&Psychology.2004(14):105-120.

    [9]Borsboom,D.,Ange’Iique O.J.Cramer;RogierA.Kievit,Annemarie Zand Scholten,Sanja Franic.The End of Construct Validity.The concept of validity:revisions,new directions,and applications[M].edited by Robert W.Lissitz.Information Age Publishing Inc.2009:135-172.

    [10]Chapelle,C.A.Construct definition and validity in SLA research.L.F.Bachman and A.D.Cohn(eds.).Interfaces Between Second Language Acquisition and Language Testing Research[M].Cambridge:Cambridge University Press.1998.

    [11]Cronbach,L.J.Five perspectives on validation argument.In H.Wainer&H.Braun(Eds),Test validity[M].Hillsdale,NJ:Lawrence Erlbaum.1988:3-17.

    [12]Cronbach,L.J.,Meehl.P.E.Construct validity in psychological tests[M].Psychological Bulletin.1955:52,281-302.

    [13]Ebel,R.L.,Frisbie,D.A.Essentials of Educational Measurement[M].New Jersey:Prentice-Hall.1991.

    [14]Fraenkel J.R.,Wallen,N.E.How to Design and Evaluate Research in Education(2nd ed.)[M].McGraw-Hill,Inc.1993.

    [15]Guilford,J.P.New standards for test evaluation[J].Educational and Psycbological Measurement.1946(6):427-439.

    [16]Henning,G.A Guide to Language Testing:Development,Evaluation,Research[M].New York:Newbury House Publisher.1987.

    [17]Kelley,T.L.Interpretation of educational measurement[M].Yonkers-on-Hudson,NY:World Book Co.1927.

    [18]Meehl,P.E.Theoretical risks and tabularasterisks:Sir Karl,Sir Ronald,and the sIowprogress of soft psychology[J].Journal of Consulting and Clinical Psycbology.1978(46):806-834.

    [19]Messick,S.Meaning and Values in Test Validation:The Science and Ethics of Assessment[M].Educational Researcher.1989(18):2,5-11.

    [20]常曉宇.效度理論的變遷[D].北京語言大學(xué)碩士畢業(yè)論文,2001.

    [21]陳宏.效度的基本概念[J].語言測試的跨學(xué)科探索:北京語言大學(xué)漢語水平考試中心2011年科研報告會論文集.北京:華語教學(xué)出版社,2012.

    [22]戴海琦,張鋒,陳雪楓.心理與教育測量[M].廣州:暨南大學(xué)出版社,1999.

    [23]杜·舒爾茲,等,著.葉浩生,譯.現(xiàn)代心理學(xué)史(第八版)[M].鳳凰出版?zhèn)髅郊瘓F,江蘇教育出版社,2005.

    [24]桂詩春,寧春巖.語言學(xué)方法論[M].北京:外語教學(xué)與研究出版社,1997.

    [25]凌文輇,濱治世.心理測驗法[M].北京:科學(xué)出版社,1988.

    [26]劉潤清.語言測試和它的方法[M].北京:外語教學(xué)與研究出版社,1991.

    [27]徐樅巍,許建鉞,等,譯.效度.引自:Huesn,T.,Postlethwaite,T.N.簡明國際教育百科全書·教育測量與評價[M].北京:教育科學(xué)出版社,1992.

    [28]張凱.測量是理論的組成部分—再談構(gòu)想效度[J].云南師范大學(xué)學(xué)報(對外漢語教學(xué)與研究版),2004(5):7-14.

    (責(zé)任編輯 周黎明)

    The Dispute in the Field of Validity Research

    ZHAO Qifeng

    Validity is of the most important concepts in Educational and Psychological Measurement academia.After 60 years,Construct Validity is still an unsettled problem.Based on the previous studies,We discussed three aspects of validity of the present controversy in the field,including the nature of the concept of construct validity,construct validity research perspective and the research methods.We think that by far the construct validity of position in nature,exploring perspectives and methodological aspects are still controversial.This situation need to be rationalized and unified.Researchers need to accept and learn from some of the established disciplines such as physics research ideas and methods.This is an important way to the realization of scientific research for Construct validity.

    Construct Validity;Construct;Psychophysics;Causal Analysis

    G405

    A

    1005-8427(2014)06-0011-7

    本文系北京語言大學(xué)校級科研項目資助(中央高校基本科研業(yè)務(wù)專項資金)(項目編號為13YBB22)。

    趙琪鳳,女,北京語言大學(xué)語言科學(xué)學(xué)院漢語水平考試中心博士,副研究員(北京 100083)

    猜你喜歡
    陳宏內(nèi)容效度效度
    高考物理模擬試題(五)
    Improvement on short-circuit ability of SiC super-junction MOSFET with partially widened pillar structure
    竊愛靜悄悄:亡妻郵件里有個鬼魅身影
    COSMIN方法介紹:評價患者報告結(jié)局測量工具內(nèi)容效度的評分系統(tǒng)
    循證護理(2021年5期)2021-05-28 09:17:26
    慈善募捐規(guī)制中的國家與社會:兼論《慈善法》的效度和限度
    室友A4
    英語專八閱讀理解部分內(nèi)容效度的歷時對比研究(2009—2017年)
    被看重感指數(shù)在中國大學(xué)生中的構(gòu)念效度
    大學(xué)英語新四級閱讀理解內(nèi)容效度研究
    外語形成性評估的效度驗證框架
    日本av免费视频播放| 中文字幕另类日韩欧美亚洲嫩草| 亚洲精品自拍成人| 一本色道久久久久久精品综合| 9色porny在线观看| 9热在线视频观看99| 999久久久国产精品视频| 亚洲成人国产一区在线观看 | 永久免费av网站大全| 少妇被粗大猛烈的视频| 啦啦啦视频在线资源免费观看| 狂野欧美激情性bbbbbb| 人妻 亚洲 视频| 大陆偷拍与自拍| 操出白浆在线播放| 大片免费播放器 马上看| 精品国产超薄肉色丝袜足j| 日韩一区二区视频免费看| 成年美女黄网站色视频大全免费| 亚洲一级一片aⅴ在线观看| 91精品伊人久久大香线蕉| 亚洲国产欧美日韩在线播放| 男女床上黄色一级片免费看| 观看av在线不卡| 丰满迷人的少妇在线观看| 一级a爱视频在线免费观看| 久久国产精品男人的天堂亚洲| 久久国产精品大桥未久av| 成人国产麻豆网| 亚洲,一卡二卡三卡| 妹子高潮喷水视频| 成年人免费黄色播放视频| 国产精品成人在线| 国产99久久九九免费精品| 热re99久久精品国产66热6| 亚洲视频免费观看视频| 亚洲精品,欧美精品| 久久ye,这里只有精品| 国产一区二区激情短视频 | 国产免费现黄频在线看| 日韩不卡一区二区三区视频在线| 咕卡用的链子| 国产成人系列免费观看| av.在线天堂| 国产97色在线日韩免费| 久久精品亚洲熟妇少妇任你| 午夜影院在线不卡| 母亲3免费完整高清在线观看| 中文精品一卡2卡3卡4更新| 美国免费a级毛片| 国产欧美日韩一区二区三区在线| 色网站视频免费| 精品国产一区二区久久| 亚洲综合精品二区| 男女无遮挡免费网站观看| 成人毛片60女人毛片免费| 2018国产大陆天天弄谢| 97精品久久久久久久久久精品| 精品人妻在线不人妻| 天天操日日干夜夜撸| 色综合欧美亚洲国产小说| 欧美 亚洲 国产 日韩一| 91成人精品电影| 免费观看人在逋| 女人精品久久久久毛片| 欧美国产精品va在线观看不卡| av在线老鸭窝| 男女边摸边吃奶| √禁漫天堂资源中文www| 9热在线视频观看99| 秋霞伦理黄片| 黄片无遮挡物在线观看| 一二三四中文在线观看免费高清| 极品少妇高潮喷水抽搐| 天天操日日干夜夜撸| 国产精品三级大全| 韩国高清视频一区二区三区| 国产一区二区激情短视频 | 久久精品亚洲av国产电影网| 久久97久久精品| 纯流量卡能插随身wifi吗| 女人久久www免费人成看片| 99精品久久久久人妻精品| av在线播放精品| 狠狠精品人妻久久久久久综合| 国产在线免费精品| 色吧在线观看| a 毛片基地| 国产午夜精品一二区理论片| 国产 一区精品| 9色porny在线观看| 亚洲图色成人| 亚洲欧美一区二区三区黑人| 国产精品秋霞免费鲁丝片| 国产一区二区 视频在线| www日本在线高清视频| 亚洲精品在线美女| 亚洲成色77777| av片东京热男人的天堂| av女优亚洲男人天堂| 久久婷婷青草| 成人黄色视频免费在线看| 免费观看性生交大片5| 纯流量卡能插随身wifi吗| 久久女婷五月综合色啪小说| av网站在线播放免费| 欧美精品亚洲一区二区| 国产一区二区三区综合在线观看| 国产97色在线日韩免费| 曰老女人黄片| 亚洲成av片中文字幕在线观看| 日本午夜av视频| 国产1区2区3区精品| 纯流量卡能插随身wifi吗| 亚洲成人av在线免费| 日韩中文字幕视频在线看片| 一级黄片播放器| 深夜精品福利| av片东京热男人的天堂| 亚洲五月色婷婷综合| 国产午夜精品一二区理论片| 成人国产麻豆网| 日韩免费高清中文字幕av| 国产日韩欧美在线精品| 日韩av在线免费看完整版不卡| 青春草亚洲视频在线观看| 999精品在线视频| 成人免费观看视频高清| 午夜激情久久久久久久| 999精品在线视频| 国产免费现黄频在线看| 国产精品 欧美亚洲| 最近2019中文字幕mv第一页| 久久久久久久久久久免费av| 欧美中文综合在线视频| 悠悠久久av| 久久国产精品大桥未久av| 成人三级做爰电影| 国产精品久久久久久精品古装| 美女高潮到喷水免费观看| 亚洲av男天堂| 日韩中文字幕欧美一区二区 | 精品国产乱码久久久久久小说| 久久韩国三级中文字幕| 日韩电影二区| 大香蕉久久成人网| av网站在线播放免费| 久久久国产一区二区| 国产精品 欧美亚洲| 国产成人免费无遮挡视频| 国产一级毛片在线| 欧美老熟妇乱子伦牲交| 永久免费av网站大全| 日本色播在线视频| 在线 av 中文字幕| 18禁观看日本| 欧美黑人精品巨大| 亚洲人成网站在线观看播放| 女人久久www免费人成看片| 亚洲一区二区三区欧美精品| 精品午夜福利在线看| 一级片'在线观看视频| 中文字幕人妻丝袜一区二区 | 日本午夜av视频| 制服人妻中文乱码| 侵犯人妻中文字幕一二三四区| 美女午夜性视频免费| 亚洲成人av在线免费| 国产精品女同一区二区软件| 丝袜美足系列| 在线观看www视频免费| 久久天堂一区二区三区四区| 日韩欧美一区视频在线观看| 看十八女毛片水多多多| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美少妇被猛烈插入视频| av不卡在线播放| 在线观看人妻少妇| 亚洲成人av在线免费| 久久久精品国产亚洲av高清涩受| 观看美女的网站| 热99国产精品久久久久久7| 欧美精品高潮呻吟av久久| 天天添夜夜摸| 国产极品粉嫩免费观看在线| 人人澡人人妻人| 国产精品一二三区在线看| 考比视频在线观看| 精品免费久久久久久久清纯 | 丝袜美腿诱惑在线| 亚洲欧洲国产日韩| 久久青草综合色| 亚洲精品中文字幕在线视频| 亚洲成人国产一区在线观看 | 最黄视频免费看| 黑人欧美特级aaaaaa片| 97人妻天天添夜夜摸| 搡老岳熟女国产| 亚洲成人av在线免费| 国产国语露脸激情在线看| 精品少妇久久久久久888优播| 妹子高潮喷水视频| 欧美人与善性xxx| 亚洲人成电影观看| 国产精品免费大片| 日韩欧美精品免费久久| 日韩中文字幕欧美一区二区 | kizo精华| 成人手机av| 日韩成人av中文字幕在线观看| 久久人人爽人人片av| 国产淫语在线视频| 国产av精品麻豆| 日韩不卡一区二区三区视频在线| 亚洲精品av麻豆狂野| 如何舔出高潮| 深夜精品福利| 亚洲美女黄色视频免费看| 伦理电影免费视频| 久久久久国产精品人妻一区二区| 欧美97在线视频| 亚洲七黄色美女视频| 最新在线观看一区二区三区 | 国产精品 欧美亚洲| 老司机在亚洲福利影院| 免费少妇av软件| 亚洲欧美精品自产自拍| 一级毛片 在线播放| xxxhd国产人妻xxx| 婷婷色av中文字幕| 国产一卡二卡三卡精品 | av天堂久久9| 欧美成人午夜精品| 日韩精品免费视频一区二区三区| 波野结衣二区三区在线| 亚洲美女视频黄频| 久久韩国三级中文字幕| 韩国精品一区二区三区| 国产av精品麻豆| 男女边吃奶边做爰视频| 少妇人妻精品综合一区二区| 秋霞伦理黄片| 日韩av不卡免费在线播放| 国产人伦9x9x在线观看| 亚洲欧美日韩另类电影网站| 日韩精品免费视频一区二区三区| 亚洲国产欧美一区二区综合| 大码成人一级视频| 最近手机中文字幕大全| 国产在线一区二区三区精| 国产在线免费精品| 久久精品久久久久久噜噜老黄| 看免费av毛片| 蜜桃国产av成人99| 一本一本久久a久久精品综合妖精| 日韩大码丰满熟妇| 丰满迷人的少妇在线观看| 国产日韩欧美视频二区| 成年动漫av网址| 交换朋友夫妻互换小说| xxx大片免费视频| 免费日韩欧美在线观看| 亚洲国产看品久久| 肉色欧美久久久久久久蜜桃| 精品久久蜜臀av无| 在现免费观看毛片| 一级爰片在线观看| 波野结衣二区三区在线| 亚洲美女视频黄频| 精品少妇内射三级| 亚洲图色成人| 大陆偷拍与自拍| 成年女人毛片免费观看观看9 | 久久精品人人爽人人爽视色| 少妇人妻 视频| 色播在线永久视频| 男女午夜视频在线观看| 国产有黄有色有爽视频| 日韩一卡2卡3卡4卡2021年| av卡一久久| 在线亚洲精品国产二区图片欧美| 不卡视频在线观看欧美| 欧美日韩一级在线毛片| 在线观看免费高清a一片| 一个人免费看片子| 天天躁夜夜躁狠狠久久av| 精品免费久久久久久久清纯 | 成年动漫av网址| 黄色一级大片看看| 成人黄色视频免费在线看| 最近中文字幕高清免费大全6| 悠悠久久av| 久久女婷五月综合色啪小说| 日本vs欧美在线观看视频| 我要看黄色一级片免费的| 精品国产一区二区三区四区第35| 男的添女的下面高潮视频| 多毛熟女@视频| 秋霞在线观看毛片| 18禁国产床啪视频网站| 亚洲天堂av无毛| 日日爽夜夜爽网站| 亚洲精品一区蜜桃| 久久人妻熟女aⅴ| 国产激情久久老熟女| 久久精品久久久久久久性| 国产一区二区激情短视频 | 三上悠亚av全集在线观看| 国产在线免费精品| 日日撸夜夜添| 成年人午夜在线观看视频| 日韩一区二区视频免费看| 日本av免费视频播放| 卡戴珊不雅视频在线播放| 人人妻,人人澡人人爽秒播 | 午夜福利乱码中文字幕| 色精品久久人妻99蜜桃| 久久影院123| 久久久久久久国产电影| 黑丝袜美女国产一区| 十分钟在线观看高清视频www| 国产老妇伦熟女老妇高清| 亚洲精华国产精华液的使用体验| 波多野结衣一区麻豆| 精品少妇内射三级| 日韩视频在线欧美| 电影成人av| 国产高清国产精品国产三级| 午夜精品国产一区二区电影| 国产有黄有色有爽视频| 中文字幕色久视频| 777久久人妻少妇嫩草av网站| 国产毛片在线视频| 久久久久精品久久久久真实原创| 在线观看免费高清a一片| 国产乱人偷精品视频| 成年美女黄网站色视频大全免费| 夫妻午夜视频| 国产精品久久久久久精品古装| 亚洲人成77777在线视频| 国产精品人妻久久久影院| 国产日韩欧美视频二区| 成人亚洲精品一区在线观看| 国产男女内射视频| 黄网站色视频无遮挡免费观看| 国产免费现黄频在线看| 国产男人的电影天堂91| 亚洲三区欧美一区| 啦啦啦 在线观看视频| 免费不卡黄色视频| 国产精品一区二区精品视频观看| 亚洲国产精品999| 亚洲国产av影院在线观看| 久久精品亚洲熟妇少妇任你| a级片在线免费高清观看视频| 最黄视频免费看| 2021少妇久久久久久久久久久| 熟女av电影| 十分钟在线观看高清视频www| 韩国高清视频一区二区三区| 午夜福利免费观看在线| 最新在线观看一区二区三区 | 人人妻人人添人人爽欧美一区卜| 午夜精品国产一区二区电影| 黄频高清免费视频| 欧美中文综合在线视频| 久久久久久久国产电影| 久久人妻熟女aⅴ| 一区二区三区四区激情视频| 欧美av亚洲av综合av国产av | 久久久久国产精品人妻一区二区| 岛国毛片在线播放| 高清av免费在线| 久久久久久免费高清国产稀缺| 免费观看av网站的网址| 人人妻人人添人人爽欧美一区卜| 欧美97在线视频| 操出白浆在线播放| 在线 av 中文字幕| 美女高潮到喷水免费观看| 色综合欧美亚洲国产小说| 国产成人欧美| 亚洲av日韩在线播放| 校园人妻丝袜中文字幕| 新久久久久国产一级毛片| 日韩大码丰满熟妇| 女人爽到高潮嗷嗷叫在线视频| 亚洲人成网站在线观看播放| 操出白浆在线播放| 免费日韩欧美在线观看| 男女床上黄色一级片免费看| 亚洲精品乱久久久久久| 亚洲国产欧美日韩在线播放| 亚洲一码二码三码区别大吗| 久久久久久久精品精品| 美女午夜性视频免费| 精品国产乱码久久久久久小说| 国产黄色视频一区二区在线观看| 看免费成人av毛片| 成人国产av品久久久| 蜜桃国产av成人99| 免费观看av网站的网址| 校园人妻丝袜中文字幕| 老熟女久久久| 亚洲av中文av极速乱| 午夜日韩欧美国产| 午夜福利一区二区在线看| av福利片在线| 久久久久网色| 女性生殖器流出的白浆| 国产亚洲最大av| 午夜福利视频在线观看免费| 日本av免费视频播放| 一本大道久久a久久精品| 日本黄色日本黄色录像| 免费久久久久久久精品成人欧美视频| 建设人人有责人人尽责人人享有的| av.在线天堂| 一区二区三区四区激情视频| 欧美精品高潮呻吟av久久| 狠狠婷婷综合久久久久久88av| 亚洲熟女精品中文字幕| 欧美中文综合在线视频| 97精品久久久久久久久久精品| 亚洲欧美色中文字幕在线| 大话2 男鬼变身卡| 国产1区2区3区精品| 悠悠久久av| 男女之事视频高清在线观看 | 日本欧美视频一区| 看免费成人av毛片| 麻豆av在线久日| 精品少妇久久久久久888优播| 乱人伦中国视频| 日韩av在线免费看完整版不卡| 欧美乱码精品一区二区三区| 久热这里只有精品99| 色婷婷av一区二区三区视频| 欧美成人午夜精品| 国产成人精品久久久久久| 精品国产国语对白av| 亚洲男人天堂网一区| 国产亚洲最大av| 天天影视国产精品| 色吧在线观看| 午夜精品国产一区二区电影| 国产女主播在线喷水免费视频网站| 久久国产亚洲av麻豆专区| 国产精品国产av在线观看| 一本—道久久a久久精品蜜桃钙片| 女人被躁到高潮嗷嗷叫费观| 国产成人精品无人区| 热re99久久国产66热| av视频免费观看在线观看| 亚洲伊人久久精品综合| 国产无遮挡羞羞视频在线观看| 美女大奶头黄色视频| 天天躁日日躁夜夜躁夜夜| 欧美在线一区亚洲| 国产精品无大码| 欧美日韩av久久| 欧美日韩亚洲综合一区二区三区_| 国产亚洲最大av| 丁香六月天网| 国产精品一国产av| 欧美日韩精品网址| 免费观看av网站的网址| 亚洲精品av麻豆狂野| 亚洲精品一二三| av网站在线播放免费| 久久精品国产a三级三级三级| 高清黄色对白视频在线免费看| 亚洲国产欧美在线一区| 欧美 日韩 精品 国产| 久久人妻熟女aⅴ| 欧美精品av麻豆av| 极品少妇高潮喷水抽搐| 99热国产这里只有精品6| 在线观看www视频免费| 久久精品国产亚洲av高清一级| 国产免费视频播放在线视频| 精品人妻在线不人妻| 成人三级做爰电影| 亚洲伊人色综图| 免费在线观看黄色视频的| 国产精品国产三级国产专区5o| 亚洲国产精品一区二区三区在线| 午夜日韩欧美国产| 宅男免费午夜| 多毛熟女@视频| 少妇精品久久久久久久| 一区二区av电影网| 黄色 视频免费看| 亚洲精品日韩在线中文字幕| 免费日韩欧美在线观看| 欧美日韩综合久久久久久| 天堂8中文在线网| 国产不卡av网站在线观看| 777米奇影视久久| 自线自在国产av| 亚洲色图 男人天堂 中文字幕| 少妇 在线观看| 成人毛片60女人毛片免费| 一本久久精品| 久久久国产精品麻豆| 久久97久久精品| a级片在线免费高清观看视频| 国产精品免费大片| 午夜影院在线不卡| 一本色道久久久久久精品综合| 女人被躁到高潮嗷嗷叫费观| 超色免费av| 一本久久精品| 国产av精品麻豆| 高清不卡的av网站| 成年人免费黄色播放视频| 丰满迷人的少妇在线观看| 午夜免费男女啪啪视频观看| 熟女少妇亚洲综合色aaa.| 亚洲欧美色中文字幕在线| e午夜精品久久久久久久| 成年av动漫网址| 免费在线观看黄色视频的| 悠悠久久av| 欧美人与性动交α欧美精品济南到| 国产乱来视频区| 国产极品天堂在线| 丝袜脚勾引网站| 肉色欧美久久久久久久蜜桃| 女人爽到高潮嗷嗷叫在线视频| 午夜福利免费观看在线| av国产精品久久久久影院| 亚洲在久久综合| 国产精品女同一区二区软件| 国产av一区二区精品久久| 日韩av免费高清视频| 欧美97在线视频| 成人三级做爰电影| 亚洲国产毛片av蜜桃av| 亚洲伊人久久精品综合| av线在线观看网站| 视频区图区小说| 女的被弄到高潮叫床怎么办| 在线观看免费日韩欧美大片| 日韩中文字幕欧美一区二区 | 丝袜人妻中文字幕| 一边摸一边做爽爽视频免费| 18在线观看网站| 精品少妇一区二区三区视频日本电影 | 久久婷婷青草| 日韩av免费高清视频| 日韩电影二区| 一级毛片电影观看| 午夜免费男女啪啪视频观看| 久久影院123| 国产成人一区二区在线| 天堂8中文在线网| 国产探花极品一区二区| 久久精品久久精品一区二区三区| 亚洲,欧美,日韩| 天美传媒精品一区二区| 九草在线视频观看| 在线观看免费高清a一片| 久久国产精品大桥未久av| 卡戴珊不雅视频在线播放| 久久女婷五月综合色啪小说| 精品卡一卡二卡四卡免费| 波野结衣二区三区在线| 一区二区三区乱码不卡18| 免费观看av网站的网址| 老司机影院成人| 亚洲av欧美aⅴ国产| 最近的中文字幕免费完整| 视频在线观看一区二区三区| 麻豆乱淫一区二区| 久久精品亚洲av国产电影网| 国产一级毛片在线| 亚洲色图 男人天堂 中文字幕| 欧美变态另类bdsm刘玥| 日韩av免费高清视频| 一区二区日韩欧美中文字幕| 亚洲国产精品一区三区| 一本一本久久a久久精品综合妖精| 久久久久久久精品精品| 国产在线免费精品| 女人爽到高潮嗷嗷叫在线视频| 成人亚洲欧美一区二区av| 亚洲精品av麻豆狂野| 不卡视频在线观看欧美| 丁香六月欧美| 精品国产一区二区三区久久久樱花| 热99国产精品久久久久久7| 在线看a的网站| 精品国产超薄肉色丝袜足j| av福利片在线| 亚洲第一av免费看| 多毛熟女@视频| 亚洲精品美女久久av网站| 黄色毛片三级朝国网站| 国产av精品麻豆| 免费日韩欧美在线观看| 日韩人妻精品一区2区三区| 秋霞在线观看毛片| 91aial.com中文字幕在线观看| 男人舔女人的私密视频| 可以免费在线观看a视频的电影网站 | 国产在线免费精品| 一本久久精品| av网站免费在线观看视频| 欧美成人午夜精品| 日韩伦理黄色片| 天天躁狠狠躁夜夜躁狠狠躁| 免费久久久久久久精品成人欧美视频| 欧美激情 高清一区二区三区| 亚洲av电影在线观看一区二区三区|