• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    效度研究領(lǐng)域中的爭議

    2014-02-04 20:07:31趙琪鳳
    中國考試 2014年6期
    關(guān)鍵詞:陳宏內(nèi)容效度效度

    趙琪鳳

    效度研究領(lǐng)域中的爭議

    趙琪鳳

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。本文在一系列前期研究和分析的基礎(chǔ)上,從構(gòu)想效度的概念本質(zhì)、構(gòu)想效度的研究視角、構(gòu)想效度的研究方法三大方面探討了效度研究領(lǐng)域中存在的爭議。我們認(rèn)為,迄今為止構(gòu)想效度研究在本質(zhì)定位、探究視角和方法論方面仍然爭議不斷,需要理順和統(tǒng)一,并接受和借鑒物理學(xué)等成熟學(xué)科的一些研究思路和方法,這才是實現(xiàn)科學(xué)研究構(gòu)想效度的重要途徑。

    構(gòu)想效度;構(gòu)想;心理物理學(xué);因果分析

    時至今日,效度研究已經(jīng)經(jīng)歷了近1個世紀(jì)的歷程,并取得了較為豐碩的研究成果,雖然具體的心理測驗極大地滿足了社會應(yīng)用及政治決策的需要,但是作為效度問題的根本,構(gòu)想效度研究仍然是心理測量界的一大難題,仍然存在諸多爭議和挑戰(zhàn)。其中,我們認(rèn)為主要的爭議體現(xiàn)在關(guān)于“構(gòu)想效度究竟是指什么有效”的爭議,“對心理構(gòu)想的解釋采用物理學(xué)視角還是社會學(xué)視角”之間的爭議,以及在方法論上“確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)”之間的爭議三大方面。

    1 構(gòu)想效度究竟是指什么有效?

    在教育和心理測量界,效度被認(rèn)為是最為核心的概念。雖然在1921年效度概念正式提出時,研究者就聲稱“效度是指測驗在多大程度上測到了它想要測的東西”,但是經(jīng)過多年的效度研究歷程,我們可以看到這個概念并不足以清楚、準(zhǔn)確地表達效度的本質(zhì)含義,至少我們看到不同的學(xué)者根據(jù)自己的理解和知識背景,以及所處的社會環(huán)境等因素,對效度(尤其是構(gòu)想效度)存在不同的理解;正是因為沒有對構(gòu)想效度要測什么形成一致的認(rèn)識,一些學(xué)者會對不同的構(gòu)想效度定義均表認(rèn)同;有時會在不同的構(gòu)想效度定義之間反復(fù)、搖擺。因此,“構(gòu)想效度究竟是指什么有效”成了一個爭議頗多的問題,在確定構(gòu)想效度是指什么東西有效方面,已經(jīng)存在各種不同的說法和見解,混淆了構(gòu)想效度的研究基礎(chǔ)和思路。

    根據(jù)常曉宇(2001)、張凱(2004)等人之前對構(gòu)想效度概念混亂狀況所做的總結(jié)和闡述,我們認(rèn)為目前心理測量界對構(gòu)想效度定義的研究大致呈現(xiàn)以下五種狀態(tài)。

    1.1 從字面入手理解關(guān)鍵詞的含義——把“構(gòu)想”(construct)理解為“結(jié)構(gòu)”(structure)

    構(gòu)想效度的英文表述是“construct validity”,國內(nèi)的學(xué)者將這個關(guān)鍵詞翻譯成中文,就會出現(xiàn)一些不同的譯法和理解。例如凌文輇、濱治世(1988:16)把構(gòu)想效度翻譯成“構(gòu)造概念效度”,王重鳴(1990:142)把構(gòu)想效度翻譯成“構(gòu)思效度”,劉潤清(1991:18)則翻譯為“編制效度”,徐樅?。?992:344)把構(gòu)想效度理解為“構(gòu)念效度”或“構(gòu)造效度”等。不僅是國內(nèi)的學(xué)者,國外的一些研究者也持有同樣的觀點,如Allison(1999)認(rèn)為“[Construct(構(gòu)想或結(jié)構(gòu))是]我們想要教或想要測的東西的表征,如‘聽力理解’及其組成成分”??梢?,很多人把構(gòu)想效度這個概念譯成“結(jié)構(gòu)效度”。張凱(2004)總結(jié)認(rèn)為:“根據(jù)這個譯法,有人認(rèn)為結(jié)構(gòu)(構(gòu)想)效度是指所測能力的構(gòu)成(如智力的各個因素)和測驗結(jié)構(gòu)(structure)之間的一致性程度或?qū)?yīng)程度”(2004:8)。

    1.2 將構(gòu)想效度等同于內(nèi)容效度

    部分學(xué)者認(rèn)為,構(gòu)想效度與內(nèi)容效度類似,如果測驗沒有什么實在的內(nèi)容可以依據(jù)(談不上內(nèi)容效度)的話,總得找點東西來代替內(nèi)容效度,這東西就是構(gòu)想效度。

    還有的學(xué)者把內(nèi)容效度與構(gòu)想效度混為一談,認(rèn)為內(nèi)容效度的考察大綱是理論結(jié)構(gòu)的一個樣本,內(nèi)容效度可以轉(zhuǎn)化為構(gòu)想效度,內(nèi)容效度與構(gòu)想效度很難截然分開,屬于一個整體。

    其實,在建立構(gòu)想效度的方法中,先考察測驗的內(nèi)容效度的方法也是其中一種,“因為有些測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”(戴海琦、張鋒、陳雪楓,1999),但這種方法當(dāng)且僅當(dāng)“測驗對所測內(nèi)容或行為范圍的定義或解釋類似于理論構(gòu)想的解釋”時才成立,考察內(nèi)容效度的方法多數(shù)情況下并不適用,況且內(nèi)容效度本身就難以測定(常曉宇,2001)。

    1.3 徹底否定構(gòu)想效度

    在構(gòu)想效度提出50多年后,出現(xiàn)少量學(xué)者對構(gòu)想效度持徹底否定的態(tài)度。如Borsboom等人對Cronbach和Meehl(1955)的認(rèn)識是:

    構(gòu)想效度的觀點從產(chǎn)生就注定了死亡。Cronbach和Meehl(1955)提出的構(gòu)想效度從來沒有過任何研究實例。相應(yīng)地,在當(dāng)今的效度理論中也沒有定律網(wǎng)絡(luò)的軌跡(Borsboom et al.,2009)

    在這種完全否定的態(tài)度下,Borsboom等人更加堅定了對構(gòu)想效度批判,同時從效度命名的角度試圖取消“構(gòu)想效度”這一術(shù)語:

    我們認(rèn)為構(gòu)想效度理論中使用的“構(gòu)想”一詞,在兩個方面是不一致的,也就是說,這個詞同時指向了理論術(shù)語(如,一個標(biāo)記)和指派術(shù)語的證明(如,一個研究者使用一種測量工具發(fā)現(xiàn)了這一現(xiàn)象)。這種雙重意義制造了大量的誤解和混亂……。因此,我們建議將‘構(gòu)想’一詞去掉,……。我們認(rèn)為效度的概念,正如通常所理解的那樣,在理論上和實踐上都優(yōu)于構(gòu)想效度概念。最后,我們提出的主張是構(gòu)想效度一直使得研究者躲在迷霧之后,免于思考和解決心理測量的真正問題。(Borsboom et al.,2009)

    Borsboom等人在上述觀點中,認(rèn)為構(gòu)想效度中的“構(gòu)想”一詞,不僅沒有任何實際意義,反而制造了混亂和誤解,他們更加贊成使用“效度”替代構(gòu)想效度的核心地位,也就是說之前對構(gòu)想效度的多方論述和證明,都是無益于效度檢驗的,可見,Borsboom等人(2009)徹底否定了構(gòu)想效度的地位和作用。

    1.4 片面的理解

    除了上述對構(gòu)想效度概念產(chǎn)生的不同理解和解釋外,提到一個測驗具有構(gòu)想效度時,究竟是什么東西有效?測量界有三種不同的解釋:構(gòu)想有效、測驗有效、測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效。

    1.4.1 構(gòu)想有效

    測量界里,這種看法由來已久。早在提出構(gòu)想效度之時,Cronbach和Meehl就已經(jīng)不是把效度問題理解為測驗是否測到了某個特質(zhì)這樣單純的事實性問題,而是當(dāng)作由測驗分?jǐn)?shù)所作出的推論是否與包含各種理論與觀察術(shù)語的規(guī)則網(wǎng)絡(luò)(nomological)相一致的問題(1955)(陳宏,2012:2)。

    Henning(1987:98)認(rèn)為“建立構(gòu)想效度的目的是證明被測量的潛在的理論構(gòu)想本身是有效的”。

    國內(nèi)的桂詩春、寧春巖(1997:293)以及陳俊良(1991:103)的說法與之類似。

    《教育與心理測量標(biāo)準(zhǔn)》(AERA,1999:5)聲稱,“測驗就是對構(gòu)想的測量工具”,“所有測驗分?jǐn)?shù)”都應(yīng)“看作某種構(gòu)想的測度”(AERA,1999:174)。有了《標(biāo)準(zhǔn)》的支持,效度指構(gòu)想有效這一解釋很快成為測量界居統(tǒng)治地位的主流意識(陳宏,2012:2)。

    1.4.2 測驗有效

    還有學(xué)者認(rèn)為構(gòu)想效度是測驗(測量)的有效性,如Kelly早在1927年就提出,測驗如果測到了它聲稱要測的東西就是有效的(1927:14)。Anastasi對效度定義的闡述幾十年基本未變,她在效度問題上的看法長期以來為人們廣泛引用并產(chǎn)生了深遠(yuǎn)影響,Anastasi(1982:144;1997:126)認(rèn)為“測驗的構(gòu)想效度就是測驗在多大程度上測出了理論構(gòu)想或理論特質(zhì)?!边@種觀點實質(zhì)上強調(diào)的是測驗或測量的工具屬性。

    國內(nèi)學(xué)者戴忠恒(1987:233)、凌文輇、濱治世(1988:17)、王重鳴(1990:142)Fraenkel&Wallen(1993:548)、Brown(1996:239)、Kline(1998:37)、劉永芳、房慧聰(2001:188)對構(gòu)想效度的界定,也都認(rèn)同測驗有效的理解(張凱,2004)。

    1.4.3 測驗的分?jǐn)?shù)或分?jǐn)?shù)解釋有效

    在構(gòu)想效度的表述對象問題上,目前占據(jù)主導(dǎo)思想的解釋是,效度是分?jǐn)?shù)解釋或根據(jù)分?jǐn)?shù)所作推斷的有效性。Messick(1989:13)說,“效度不是測驗……的特性,而是測驗分?jǐn)?shù)的意義的特性”。Fraenkel&Wallen(1993:193)說,“需要證明有效的,不是工具本身,而是工具在特定的應(yīng)用中產(chǎn)生的推論”。Cronbach(1989:151)自己后來也說,構(gòu)想效度“證明的是特定的分?jǐn)?shù)解釋”。持這種觀點的還有Ebel&Frisbie(1991:108),Bachman(1990:290),Bachman&Palmer(1996:21),Chapelle(1998:50)等。

    1999年APA《標(biāo)準(zhǔn)》的修訂版基本接受了Messick對效度的定義,承認(rèn)效度檢驗過程所“評估的是根據(jù)人們提出的應(yīng)用需求對測驗分?jǐn)?shù)所作的解釋,而非測驗本身?!蓖瑫r承認(rèn)“人們提出的測驗應(yīng)用需要對測驗分?jǐn)?shù)作出解釋,效度指的是證據(jù)和理論對這種分?jǐn)?shù)解釋的支持程度”(AERA,1999:9)。此后,“這種效度觀念在測量界便逐漸形成思維定式,而且表述更簡單、明確、直截了當(dāng)”(陳宏,2012:4)。

    1.5 含混不清、前后矛盾的表述

    正是由于心理測量學(xué)界對構(gòu)想效度表述對象的不確定和不統(tǒng)一的現(xiàn)狀,導(dǎo)致爭議不僅表現(xiàn)為研究者們對這個問題有不同的理解,而且還表現(xiàn)為,“研究者個人有時會同時認(rèn)可兩種表述對象;有時會在不同的表述對象間反復(fù)、搖擺;而且有些學(xué)者在效度表述對象問題上的不一致甚至在同一部著作中也會出現(xiàn)”(陳宏,2012:4)。這種對構(gòu)想效度含混不清的表述,很容易給讀者造成誤解和歧義。

    Alderson,Clapham和Wall(1995)說:

    每個理論都包含若干構(gòu)想,并力圖定義構(gòu)想之間的關(guān)系?!瓰榱藴y出一個測驗的構(gòu)想效度,編測驗的人必須使測驗和潛在的理論掛上鉤,然后將測驗結(jié)果和那個理論進行比較。(1995:286-287)

    這好像是說構(gòu)想有效,但他們接著又說:“構(gòu)想效度就是評價一個測驗對那些構(gòu)想的測量程度如何?!边@又似乎是說測驗有效了。杰克遜(1996:91)、Sax(1997:313)以及Loewenthal(2001:17)等人對構(gòu)想效度的表述也同樣存在各種混亂,對構(gòu)想效度的界定通常指代不明(張凱,2004)。

    Henning雖然在陳述效度定義時說過:“效度一般指某個特定測驗或其任何組成部分作為對它聲稱要測量的那個東西的測度的恰當(dāng)性”(1987:89),似乎認(rèn)為效度是測量的屬性,然而其后在同一部著作中定義構(gòu)想效度時,Henning卻明確指出,測驗“聲稱要測量”的,就是“潛在的理論構(gòu)想”,而“建立構(gòu)想效度的目的,就是證明被測量的潛在的理論構(gòu)想本身有效”(Henning,1987:89),可見當(dāng)時在Henning意識中,效度實質(zhì)就是構(gòu)想效度。

    Borsboom等荷蘭學(xué)者也是很明顯的例子。一方面,他們承認(rèn)效度是測驗本身的屬性,明確肯定Kelly(1927)提出的效度定義是正確的。另一方面,Borsboom等人(2004)在闡述其效度主張的文獻中,卻明確表示:

    僅憑心理測量技術(shù)和心理測量模型解決不了效度問題。正相反,這個問題必須由實體理論來處理。測驗效度是個心理學(xué)無法外包給方法論去解決的問題。(Borsboom et.al.,2004)

    顯然,這里“有效”所表述的已非測驗本身的屬性,而是測驗構(gòu)想或有關(guān)構(gòu)想的理論了(陳宏,2012:6)。這些令人費解的表述,是由于研究者自身對構(gòu)想效度理解的模糊和不確定所造成的。

    由上述多種多樣的構(gòu)想效度概念,我們可以明確,“構(gòu)想效度究竟是指什么有效”這個問題存在多樣的回答和復(fù)雜的論爭,是一個值得研究的課題。

    2 心理構(gòu)想解釋采用物理學(xué)視角還是社會學(xué)視角

    早在19世紀(jì)中期,心理物理學(xué)的出現(xiàn),引發(fā)了一場關(guān)于人類心理構(gòu)想解釋采用物理學(xué)視角還是采用社會學(xué)視角的爭論。

    心理物理學(xué)(psychophysics)研究,像這個詞本身所表明的那樣,研究的是精神(心理)世界和物質(zhì)(物理)世界的關(guān)系。這一研究包括提起重物、視覺明度、視覺距離和觸覺距離的實驗(舒爾茲,2005:66)。從名稱上看,心理物理學(xué)一方面要以心理學(xué)為基礎(chǔ),另一方面還要能為心理學(xué)提供數(shù)學(xué)基礎(chǔ)。心理物理學(xué)要從物理學(xué)研究中得到啟發(fā)和方法論,從生理學(xué)和解剖學(xué)中得到更多的神經(jīng)系統(tǒng)方面的東西??梢?,心理物理學(xué)的解釋視角主張從客觀存在的生理機制上尋求依據(jù),并結(jié)合物理學(xué)的數(shù)字化表達方式,力圖使心理學(xué)成為物理學(xué)那樣的精密科學(xué)。而心理學(xué)的傳統(tǒng)做法是將這兩種視角相結(jié)合,一些心理學(xué)家認(rèn)為有關(guān)自然本性視角和后天因素視角的爭論根本就不存在,因為人類行為是由外部環(huán)境和遺傳物質(zhì)共同作用的結(jié)果,把兩者分開是不明智的。

    然而,“在測量界乃至一般測驗用戶那里,主張效度的實在性似乎注定是要坐冷板凳的”(陳宏,2012:7),顯然,在關(guān)于人類行為解釋的生物學(xué)和社會學(xué)(自然本性和后天因素)視角之間的這場爭論中,社會學(xué)解釋視角占據(jù)了上風(fēng),這一視角對心理測驗的思考和分析與測驗所處的社會環(huán)境相聯(lián)系,從道德和實際應(yīng)用等方面研究人類行為,至今仍是心理測量和構(gòu)想效度研究的主流觀點。

    我們認(rèn)為,主張從生物學(xué)視角解釋行為,其根本還是心理特質(zhì)的實在性問題。我們知道,在經(jīng)驗世界里,無論通過感官還是借助各種測量工具,心理特質(zhì)都是無法直接觀察的,一切關(guān)于特質(zhì)的構(gòu)想和理論都只是假設(shè):假設(shè)被試行為的原因可以用某種特質(zhì)的作用來解釋,這些特質(zhì)影響了被試行為,被試行為的差異體現(xiàn)了特質(zhì)的差異。

    可不幸的是,探究心理特質(zhì)實在性這一點,偏偏正是現(xiàn)代教育和心理測量界長期以來一個最大的難題。將特質(zhì)的實在性看作效度的核心,就是要求測驗構(gòu)想確有某種外在的實體與之明確對應(yīng)。

    其實早在19世紀(jì)中期,費希納就嘗試從生物學(xué)視角解釋人類行為。著名的費希納律將感覺這種不可直接觀察的屬性定為構(gòu)想,然后找到了一種可觀察的屬性——刺激量作為直接測量對象,經(jīng)過反復(fù)試驗,在刺激量和感覺量之間找到了一條(用數(shù)學(xué)表達的)定律,即S=KlogR,根據(jù)上述證明理論的要求,這時感覺量作為構(gòu)想得到了證明。這一定律的出現(xiàn)表明,對心理構(gòu)想實在性的探究和科學(xué)測量雖然難度很大,但也并非毫無希望??梢哉f,費希納開拓了心理測量科學(xué)方法的先例和思路,這一方向是值得繼續(xù)深入挖掘和繼承的。這正是心理測量需要繼續(xù)努力的方向。而回避和忽略這一研究思路,轉(zhuǎn)而從社會學(xué)視角解釋行為,則趨于主觀判斷和人為因素的摻雜,研究難度驟然降低,而且可滿足實際需求和社會需要,但是“這樣一個完全靠假設(shè)構(gòu)建起來的效驗推論鏈條是十分脆弱的,因為假設(shè)終究需要證實:測驗所測特質(zhì)不僅存在于構(gòu)想,而且有其實體”(陳宏,2012)。

    總之,通過對行為解釋的生物學(xué)視角和社會學(xué)視角之間的論爭,我們發(fā)現(xiàn)這兩大研究視角在長期的爭論中,已經(jīng)形成了兩種主要變量,即與本能相關(guān)聯(lián)的生理機能因素,和與環(huán)境經(jīng)驗相關(guān)聯(lián)的因素。但是這兩種截然不同的觀點是無法互相融合的,在尚無定論的情況下只能各自為政。

    3 確定因果效應(yīng)還是構(gòu)建相關(guān)網(wǎng)絡(luò)

    測驗效度實質(zhì)上就看測驗是否能夠通過分?jǐn)?shù)變異真實反映特質(zhì)作用于被試行為的效應(yīng)。如果效度檢驗結(jié)果顯示,分?jǐn)?shù)變異是因特質(zhì)變異而起,這就意味著,當(dāng)前觀察到的被試行為之變異正是測驗打算測量的那種特質(zhì)變異的效應(yīng),就測量這一特定的特質(zhì)而言,測驗就是有效的。正是由于作用于測驗分?jǐn)?shù)的一系列心理生理因素始終是個謎團,對二者之間因果關(guān)系的探究也舉步維艱,甚至備遭冷落。

    實際上,因果關(guān)聯(lián)研究是非常必要的。但是因果分析為何未見其效呢?對于這個疑問,陳宏(2012)作出了相應(yīng)的解釋和回答:

    因果關(guān)聯(lián)研究在方法論方面有一些優(yōu)勢,卻在效度概念發(fā)展的大半個世紀(jì)里一直處于測量專家們的視野之外,最關(guān)鍵的原因,恐怕就在于這種簡單的從因果效應(yīng)發(fā)生過程求證的效度檢驗思路需要直接的觀察手段,而現(xiàn)代教育心理測量包括語言測驗恰恰缺少這樣的條件。令人鼓舞的是,近年來,隨著時間的推移和科技進步,我們似乎已經(jīng)可以依稀看到因果關(guān)聯(lián)性的定性研究在測量領(lǐng)域尤其是效度研究中得以應(yīng)用的希望曙光。(陳宏,2012:18)

    可見,陳宏(2012)將因果關(guān)聯(lián)研究法的使用局限,歸結(jié)為心理測量缺少直接的觀察手段,是有一定道理的。畢竟想要得到因果關(guān)系,需要找到確切的關(guān)聯(lián),而直接的觀察手段則是最理想的證明因果關(guān)系的途徑。但是,直接的觀察手段的實現(xiàn),需要根據(jù)所測特質(zhì)的具體情況而定,并非所有的特質(zhì)都能夠?qū)崿F(xiàn)直接的觀察。

    與因果關(guān)系的艱難探究不同的是,相關(guān)關(guān)聯(lián)的研究則由來已久,且占據(jù)主導(dǎo)地位,大受社會學(xué)解釋視角的青睞。早在20世紀(jì)50年代以前效度概念發(fā)展的初期,人們曾普遍相信有效即相關(guān)。例如Guilford曾夸張地認(rèn)為“從某種非常一般的意義上說,測驗對任何與其相關(guān)的事物都是有效的”(Guilford,1946)。以至于之后的大多數(shù)研究者都認(rèn)同相關(guān)分析為效度研究的主要方法。

    Borsboom等人為了說明相關(guān)性分析對于理論解釋存在的缺陷,他們從以下幾個方面對以相關(guān)為基礎(chǔ)的效度檢驗研究做出了概括:

    第一,世界上各種事物之間完全無關(guān)的情況實際上非常少見,特別是在社會科學(xué)領(lǐng)域中,一切事物都趨于彼此相關(guān)(Meehl,1978)。

    第二,用相關(guān)來表示效度,就會使人誤以為相關(guān)系數(shù)越高,效度就越高……然而,這種邏輯往往還會導(dǎo)致進一步極端的推論,即兩個變量完全相關(guān),便意味著完全有效,甚至使人誤以為有確切關(guān)聯(lián)的特質(zhì)就是一回事,這可是極大的謬誤。

    第三,因為相關(guān)關(guān)系本身就是一個總體依賴的統(tǒng)計量,所以任何以相關(guān)為基礎(chǔ)建立起來的效度檢驗觀點都必然導(dǎo)致效度在不同總體之間是可變的推論。然而,效度只應(yīng)取決于特質(zhì)變異,與相關(guān)關(guān)系和總體變化并沒有必然聯(lián)系。(陳宏,2012:16-17)

    需要說明的是,雖然相關(guān)分析的缺陷已經(jīng)被很多心理學(xué)家所發(fā)現(xiàn)和批判,效標(biāo)關(guān)聯(lián)效度檢驗由于依賴于相關(guān)分析的研究方法,存在循環(huán)論證問題而遭到研究者的抨擊。但是,心理學(xué)界面臨著社會對心理測量(包括語言測驗)的迫切需求,需要回答有關(guān)測驗的效度和效度檢驗方面的問題,而在心理測量尚未成熟的情況下,相關(guān)分析這一檢驗方法及時地為心理測量學(xué)家解圍,成為目前效度檢驗的重要方法,這也可以說是心理測量不得不面對和承認(rèn)的一個客觀事實和無奈。由此可見,因果關(guān)系的實現(xiàn)應(yīng)該居于研究的首位,因果關(guān)系中包含相關(guān)關(guān)系,兩種分析不可分割,但也應(yīng)有主有次。

    總之,在效度研究中建立因果關(guān)聯(lián)探究,還是繼續(xù)奉行相關(guān)分析的研究方法,這一爭論正在進行,且隨著心理測量學(xué)家對心理特質(zhì)和構(gòu)想效度思考的深入,這個議題日益凸顯出來,并在近些年來的效度探討中成為關(guān)注的核心問題之一。爭論雙方各執(zhí)一詞,有待深入分析和探究。

    [1]Alderson,J.C.,Clapham,C.,Wall,D.Language Test Construction and Evaluation[M].Cambridge:Cambridge University Press.1995.

    [2]Allison,D.Language Testing and Evaluation:An Introductory Course[M].Singapore:Singapore University Press.1999.

    [3]American Psychological Association.Standards for educational and psychological tests and manuals[M].Washington,DC:American Psychological Association.1999.

    [4]Anastasi,A.Psychological Testing(5th ed.)[M].New York:Macmillan Publishing Co.,Inc.1982.

    [5]Anastasi,A.,Urbina.S.Psychological Testing.(7th ed.)[M].New Jersey:Prentice-Hall,Inc.1997.

    [6]Bachman,L.F.Fundamental Consideration in Language Testing[M].New York:Oxford University Press.1990.

    [7]Bachman,L.F.,Palmer,A.S.Language Testing in Practice[M].New York:Oxford University Press.1996.

    [8]Borsboom,D.,Mellenbergh,G.J.Why psychometrics is not pathological:A comment on Michell[J].Theory&Psychology.2004(14):105-120.

    [9]Borsboom,D.,Ange’Iique O.J.Cramer;RogierA.Kievit,Annemarie Zand Scholten,Sanja Franic.The End of Construct Validity.The concept of validity:revisions,new directions,and applications[M].edited by Robert W.Lissitz.Information Age Publishing Inc.2009:135-172.

    [10]Chapelle,C.A.Construct definition and validity in SLA research.L.F.Bachman and A.D.Cohn(eds.).Interfaces Between Second Language Acquisition and Language Testing Research[M].Cambridge:Cambridge University Press.1998.

    [11]Cronbach,L.J.Five perspectives on validation argument.In H.Wainer&H.Braun(Eds),Test validity[M].Hillsdale,NJ:Lawrence Erlbaum.1988:3-17.

    [12]Cronbach,L.J.,Meehl.P.E.Construct validity in psychological tests[M].Psychological Bulletin.1955:52,281-302.

    [13]Ebel,R.L.,Frisbie,D.A.Essentials of Educational Measurement[M].New Jersey:Prentice-Hall.1991.

    [14]Fraenkel J.R.,Wallen,N.E.How to Design and Evaluate Research in Education(2nd ed.)[M].McGraw-Hill,Inc.1993.

    [15]Guilford,J.P.New standards for test evaluation[J].Educational and Psycbological Measurement.1946(6):427-439.

    [16]Henning,G.A Guide to Language Testing:Development,Evaluation,Research[M].New York:Newbury House Publisher.1987.

    [17]Kelley,T.L.Interpretation of educational measurement[M].Yonkers-on-Hudson,NY:World Book Co.1927.

    [18]Meehl,P.E.Theoretical risks and tabularasterisks:Sir Karl,Sir Ronald,and the sIowprogress of soft psychology[J].Journal of Consulting and Clinical Psycbology.1978(46):806-834.

    [19]Messick,S.Meaning and Values in Test Validation:The Science and Ethics of Assessment[M].Educational Researcher.1989(18):2,5-11.

    [20]常曉宇.效度理論的變遷[D].北京語言大學(xué)碩士畢業(yè)論文,2001.

    [21]陳宏.效度的基本概念[J].語言測試的跨學(xué)科探索:北京語言大學(xué)漢語水平考試中心2011年科研報告會論文集.北京:華語教學(xué)出版社,2012.

    [22]戴海琦,張鋒,陳雪楓.心理與教育測量[M].廣州:暨南大學(xué)出版社,1999.

    [23]杜·舒爾茲,等,著.葉浩生,譯.現(xiàn)代心理學(xué)史(第八版)[M].鳳凰出版?zhèn)髅郊瘓F,江蘇教育出版社,2005.

    [24]桂詩春,寧春巖.語言學(xué)方法論[M].北京:外語教學(xué)與研究出版社,1997.

    [25]凌文輇,濱治世.心理測驗法[M].北京:科學(xué)出版社,1988.

    [26]劉潤清.語言測試和它的方法[M].北京:外語教學(xué)與研究出版社,1991.

    [27]徐樅巍,許建鉞,等,譯.效度.引自:Huesn,T.,Postlethwaite,T.N.簡明國際教育百科全書·教育測量與評價[M].北京:教育科學(xué)出版社,1992.

    [28]張凱.測量是理論的組成部分—再談構(gòu)想效度[J].云南師范大學(xué)學(xué)報(對外漢語教學(xué)與研究版),2004(5):7-14.

    (責(zé)任編輯 周黎明)

    The Dispute in the Field of Validity Research

    ZHAO Qifeng

    Validity is of the most important concepts in Educational and Psychological Measurement academia.After 60 years,Construct Validity is still an unsettled problem.Based on the previous studies,We discussed three aspects of validity of the present controversy in the field,including the nature of the concept of construct validity,construct validity research perspective and the research methods.We think that by far the construct validity of position in nature,exploring perspectives and methodological aspects are still controversial.This situation need to be rationalized and unified.Researchers need to accept and learn from some of the established disciplines such as physics research ideas and methods.This is an important way to the realization of scientific research for Construct validity.

    Construct Validity;Construct;Psychophysics;Causal Analysis

    G405

    A

    1005-8427(2014)06-0011-7

    本文系北京語言大學(xué)校級科研項目資助(中央高校基本科研業(yè)務(wù)專項資金)(項目編號為13YBB22)。

    趙琪鳳,女,北京語言大學(xué)語言科學(xué)學(xué)院漢語水平考試中心博士,副研究員(北京 100083)

    猜你喜歡
    陳宏內(nèi)容效度效度
    高考物理模擬試題(五)
    Improvement on short-circuit ability of SiC super-junction MOSFET with partially widened pillar structure
    竊愛靜悄悄:亡妻郵件里有個鬼魅身影
    COSMIN方法介紹:評價患者報告結(jié)局測量工具內(nèi)容效度的評分系統(tǒng)
    循證護理(2021年5期)2021-05-28 09:17:26
    慈善募捐規(guī)制中的國家與社會:兼論《慈善法》的效度和限度
    室友A4
    英語專八閱讀理解部分內(nèi)容效度的歷時對比研究(2009—2017年)
    被看重感指數(shù)在中國大學(xué)生中的構(gòu)念效度
    大學(xué)英語新四級閱讀理解內(nèi)容效度研究
    外語形成性評估的效度驗證框架
    欧美不卡视频在线免费观看 | 久久久国产成人免费| 操美女的视频在线观看| 亚洲免费av在线视频| tocl精华| 欧美精品一区二区免费开放| 精品国产乱码久久久久久男人| 国产黄色免费在线视频| 国产不卡一卡二| 国产精品1区2区在线观看. | 他把我摸到了高潮在线观看| 99国产精品免费福利视频| 精品一区二区三卡| 久久精品aⅴ一区二区三区四区| 国产精品久久久久久精品古装| 国产亚洲一区二区精品| 一区二区三区激情视频| 老汉色∧v一级毛片| 一级a爱视频在线免费观看| 免费日韩欧美在线观看| 久久国产精品影院| 久久人人97超碰香蕉20202| 欧美精品高潮呻吟av久久| 久热这里只有精品99| 国产精品综合久久久久久久免费 | 性色av乱码一区二区三区2| 亚洲av日韩在线播放| 99精国产麻豆久久婷婷| 最近最新免费中文字幕在线| 欧美乱妇无乱码| 免费观看a级毛片全部| 欧美日韩一级在线毛片| 后天国语完整版免费观看| 大香蕉久久成人网| 啪啪无遮挡十八禁网站| 免费女性裸体啪啪无遮挡网站| 中文字幕另类日韩欧美亚洲嫩草| 少妇裸体淫交视频免费看高清 | 亚洲成人免费电影在线观看| 女人爽到高潮嗷嗷叫在线视频| 91在线观看av| 色综合婷婷激情| 香蕉久久夜色| 天天躁日日躁夜夜躁夜夜| 丰满人妻熟妇乱又伦精品不卡| 日韩欧美在线二视频 | 精品人妻1区二区| 在线观看一区二区三区激情| 少妇被粗大的猛进出69影院| 99在线人妻在线中文字幕 | 下体分泌物呈黄色| 精品高清国产在线一区| 亚洲五月色婷婷综合| 精品福利观看| 国产亚洲精品久久久久久毛片 | 精品福利永久在线观看| 99国产综合亚洲精品| 欧美日韩亚洲综合一区二区三区_| 亚洲av第一区精品v没综合| 夜夜爽天天搞| 男人操女人黄网站| 性少妇av在线| 黑人猛操日本美女一级片| 人妻丰满熟妇av一区二区三区 | 久久久久久人人人人人| 国产日韩欧美亚洲二区| 国产又色又爽无遮挡免费看| 99精品欧美一区二区三区四区| 亚洲人成77777在线视频| 一级,二级,三级黄色视频| 99久久精品国产亚洲精品| 色播在线永久视频| 91成人精品电影| 老司机影院毛片| 热99re8久久精品国产| 精品国内亚洲2022精品成人 | 一级片免费观看大全| 午夜久久久在线观看| 下体分泌物呈黄色| 一本一本久久a久久精品综合妖精| 欧美日韩成人在线一区二区| 99精品在免费线老司机午夜| 久久精品国产a三级三级三级| 亚洲中文av在线| 国产欧美日韩综合在线一区二区| 美国免费a级毛片| 涩涩av久久男人的天堂| 国产一区二区三区在线臀色熟女 | 成人精品一区二区免费| 搡老岳熟女国产| 性色av乱码一区二区三区2| 老司机午夜福利在线观看视频| 国产成+人综合+亚洲专区| 极品少妇高潮喷水抽搐| 欧美在线一区亚洲| 久久国产精品人妻蜜桃| 天天躁夜夜躁狠狠躁躁| 国产精品自产拍在线观看55亚洲 | 国产精品香港三级国产av潘金莲| 黄片大片在线免费观看| 国精品久久久久久国模美| 欧美 日韩 精品 国产| 国产一区二区三区综合在线观看| 精品熟女少妇八av免费久了| 真人做人爱边吃奶动态| 亚洲成人免费av在线播放| 国产精品av久久久久免费| 亚洲成a人片在线一区二区| 国产亚洲精品一区二区www | 亚洲色图综合在线观看| 久久久久久人人人人人| 精品免费久久久久久久清纯 | 99精品欧美一区二区三区四区| 成年人黄色毛片网站| 亚洲在线自拍视频| 少妇粗大呻吟视频| 丝袜美腿诱惑在线| 婷婷丁香在线五月| 欧美日韩av久久| 男人舔女人的私密视频| 久久精品熟女亚洲av麻豆精品| 日韩欧美免费精品| 亚洲人成电影免费在线| 国产日韩一区二区三区精品不卡| 亚洲色图综合在线观看| 女同久久另类99精品国产91| 在线视频色国产色| 久久精品国产亚洲av高清一级| 自拍欧美九色日韩亚洲蝌蚪91| 757午夜福利合集在线观看| 美女午夜性视频免费| 母亲3免费完整高清在线观看| 国产高清国产精品国产三级| 国产精品影院久久| 国产精品 国内视频| 国产人伦9x9x在线观看| 黑人欧美特级aaaaaa片| 免费看a级黄色片| 大陆偷拍与自拍| 免费看十八禁软件| 久久ye,这里只有精品| 一边摸一边做爽爽视频免费| 国产男女超爽视频在线观看| 久久精品国产99精品国产亚洲性色 | 黄色女人牲交| 亚洲一卡2卡3卡4卡5卡精品中文| 免费在线观看视频国产中文字幕亚洲| 在线永久观看黄色视频| 无人区码免费观看不卡| 欧美精品亚洲一区二区| 99re6热这里在线精品视频| 日本一区二区免费在线视频| 超碰成人久久| 99精品欧美一区二区三区四区| 操出白浆在线播放| www日本在线高清视频| 黄色女人牲交| 性少妇av在线| 黄网站色视频无遮挡免费观看| 国产欧美日韩精品亚洲av| 少妇裸体淫交视频免费看高清 | 亚洲精品乱久久久久久| 国产99白浆流出| 亚洲精品一二三| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美不卡视频在线免费观看 | 黄片大片在线免费观看| 又黄又粗又硬又大视频| 亚洲男人天堂网一区| 精品国产一区二区久久| 侵犯人妻中文字幕一二三四区| 亚洲久久久国产精品| 麻豆国产av国片精品| 欧美日韩国产mv在线观看视频| 午夜福利视频在线观看免费| 午夜精品在线福利| 国产1区2区3区精品| 新久久久久国产一级毛片| 亚洲一码二码三码区别大吗| 夜夜躁狠狠躁天天躁| 十八禁高潮呻吟视频| 人成视频在线观看免费观看| 看黄色毛片网站| 国产又爽黄色视频| 99精品久久久久人妻精品| 91九色精品人成在线观看| 久热这里只有精品99| 一级作爱视频免费观看| 下体分泌物呈黄色| 成人亚洲精品一区在线观看| 国产高清videossex| 飞空精品影院首页| 丝袜美腿诱惑在线| 高潮久久久久久久久久久不卡| 99国产极品粉嫩在线观看| 99国产精品一区二区蜜桃av | 国产男女超爽视频在线观看| 久久人妻av系列| 欧美+亚洲+日韩+国产| 高清黄色对白视频在线免费看| 欧美大码av| 男人舔女人的私密视频| 亚洲人成电影观看| 热99国产精品久久久久久7| 99久久人妻综合| 国产一区二区三区在线臀色熟女 | 在线十欧美十亚洲十日本专区| 国产日韩欧美亚洲二区| 一夜夜www| 伦理电影免费视频| 在线观看免费视频日本深夜| 日本黄色日本黄色录像| 久久久国产一区二区| 成人特级黄色片久久久久久久| videosex国产| 丰满人妻熟妇乱又伦精品不卡| 亚洲 国产 在线| 人成视频在线观看免费观看| 黑人操中国人逼视频| 亚洲片人在线观看| 欧美日韩福利视频一区二区| 变态另类成人亚洲欧美熟女 | 国产欧美日韩一区二区三| 日韩有码中文字幕| 精品少妇一区二区三区视频日本电影| 国产有黄有色有爽视频| 丁香六月欧美| 日韩欧美三级三区| 亚洲熟女精品中文字幕| 亚洲欧美日韩高清在线视频| 中文字幕精品免费在线观看视频| 久久精品亚洲av国产电影网| 亚洲一区高清亚洲精品| 久久精品亚洲熟妇少妇任你| 人人妻,人人澡人人爽秒播| 久久久久精品人妻al黑| 操出白浆在线播放| 国产在视频线精品| 国产成人系列免费观看| 夜夜爽天天搞| 中文字幕最新亚洲高清| 久久久久久人人人人人| 国产精品自产拍在线观看55亚洲 | 女性被躁到高潮视频| 久久亚洲精品不卡| 啪啪无遮挡十八禁网站| 久久热在线av| 亚洲专区中文字幕在线| 亚洲精品粉嫩美女一区| 性少妇av在线| av电影中文网址| 久久国产精品男人的天堂亚洲| 狠狠狠狠99中文字幕| 高清av免费在线| 欧美精品啪啪一区二区三区| 村上凉子中文字幕在线| 美女高潮到喷水免费观看| 在线观看日韩欧美| 一级毛片女人18水好多| 妹子高潮喷水视频| 亚洲美女黄片视频| 久久婷婷成人综合色麻豆| 亚洲久久久国产精品| 久9热在线精品视频| 热re99久久国产66热| 妹子高潮喷水视频| 人人妻人人澡人人爽人人夜夜| 国产精品亚洲av一区麻豆| 欧美激情久久久久久爽电影 | 很黄的视频免费| 国产精品一区二区精品视频观看| 精品乱码久久久久久99久播| 欧美精品人与动牲交sv欧美| 大码成人一级视频| 搡老熟女国产l中国老女人| 欧美av亚洲av综合av国产av| 大型av网站在线播放| 99久久综合精品五月天人人| 欧美国产精品va在线观看不卡| 久久国产乱子伦精品免费另类| 一夜夜www| 国产精品 欧美亚洲| 变态另类成人亚洲欧美熟女 | www.熟女人妻精品国产| 精品少妇一区二区三区视频日本电影| 在线永久观看黄色视频| 午夜福利在线观看吧| 91大片在线观看| 亚洲熟女毛片儿| 99精品欧美一区二区三区四区| 亚洲一卡2卡3卡4卡5卡精品中文| 精品欧美一区二区三区在线| 国产精品免费视频内射| 国产91精品成人一区二区三区| 中文欧美无线码| 国产成人精品久久二区二区免费| 国产高清激情床上av| 日本wwww免费看| 麻豆乱淫一区二区| 久久久久久久久久久久大奶| 女人爽到高潮嗷嗷叫在线视频| 国产高清激情床上av| 女人精品久久久久毛片| 老熟女久久久| 波多野结衣一区麻豆| 亚洲成人手机| 一区福利在线观看| 两性夫妻黄色片| av国产精品久久久久影院| 男人舔女人的私密视频| 高清黄色对白视频在线免费看| 法律面前人人平等表现在哪些方面| 久热爱精品视频在线9| 美女高潮喷水抽搐中文字幕| 18禁黄网站禁片午夜丰满| av电影中文网址| 国产淫语在线视频| 男人操女人黄网站| 两性午夜刺激爽爽歪歪视频在线观看 | 精品国产一区二区久久| 欧美精品亚洲一区二区| 久久精品人人爽人人爽视色| 国产精品 欧美亚洲| 丝袜在线中文字幕| 亚洲一码二码三码区别大吗| 日日夜夜操网爽| 涩涩av久久男人的天堂| 十八禁人妻一区二区| 中文字幕av电影在线播放| 色在线成人网| 精品久久蜜臀av无| 99re在线观看精品视频| 国产男女内射视频| 成年动漫av网址| 精品午夜福利视频在线观看一区| 日韩 欧美 亚洲 中文字幕| 久久久国产成人精品二区 | av有码第一页| 黄色毛片三级朝国网站| 大香蕉久久网| 啦啦啦视频在线资源免费观看| 亚洲av成人av| 中文字幕av电影在线播放| 亚洲熟妇中文字幕五十中出 | 亚洲精品在线美女| 久久性视频一级片| 精品一区二区三区视频在线观看免费 | 91成年电影在线观看| 一级毛片精品| 90打野战视频偷拍视频| 精品久久久精品久久久| 久久人妻熟女aⅴ| 好看av亚洲va欧美ⅴa在| 国产男女超爽视频在线观看| 亚洲第一av免费看| 免费在线观看亚洲国产| 亚洲少妇的诱惑av| 亚洲成国产人片在线观看| 人人妻,人人澡人人爽秒播| 无人区码免费观看不卡| 亚洲专区中文字幕在线| 老司机午夜十八禁免费视频| 亚洲少妇的诱惑av| 成年女人毛片免费观看观看9 | 别揉我奶头~嗯~啊~动态视频| 亚洲精品国产区一区二| 久99久视频精品免费| 三上悠亚av全集在线观看| tocl精华| 亚洲 国产 在线| 一进一出抽搐动态| 十八禁高潮呻吟视频| 操美女的视频在线观看| 在线观看一区二区三区激情| 国产男女内射视频| 一进一出好大好爽视频| 成人18禁高潮啪啪吃奶动态图| 18禁国产床啪视频网站| 人人澡人人妻人| 久久中文看片网| 成人18禁高潮啪啪吃奶动态图| 国产精品免费一区二区三区在线 | 国产淫语在线视频| 久久久久精品国产欧美久久久| 少妇被粗大的猛进出69影院| 黑人欧美特级aaaaaa片| 欧美激情极品国产一区二区三区| 王馨瑶露胸无遮挡在线观看| 少妇裸体淫交视频免费看高清 | 黄网站色视频无遮挡免费观看| 男人的好看免费观看在线视频 | 美女高潮喷水抽搐中文字幕| av国产精品久久久久影院| 国产午夜精品久久久久久| 国精品久久久久久国模美| 国产亚洲欧美在线一区二区| 香蕉久久夜色| 亚洲一码二码三码区别大吗| 亚洲欧美日韩另类电影网站| 青草久久国产| 一进一出抽搐gif免费好疼 | 欧美日韩国产mv在线观看视频| 久久中文字幕一级| 亚洲午夜精品一区,二区,三区| 亚洲国产欧美一区二区综合| 变态另类成人亚洲欧美熟女 | cao死你这个sao货| av免费在线观看网站| 亚洲一区二区三区欧美精品| 国产精品久久久久久精品古装| 99香蕉大伊视频| 18禁观看日本| 亚洲精品乱久久久久久| 一区二区日韩欧美中文字幕| 久久午夜综合久久蜜桃| 亚洲av成人av| 黑人操中国人逼视频| 少妇裸体淫交视频免费看高清 | 亚洲精品中文字幕在线视频| 国产精品秋霞免费鲁丝片| 777久久人妻少妇嫩草av网站| 啦啦啦 在线观看视频| 大码成人一级视频| 午夜视频精品福利| 这个男人来自地球电影免费观看| 精品卡一卡二卡四卡免费| 热99久久久久精品小说推荐| 无人区码免费观看不卡| 欧美日韩瑟瑟在线播放| 在线天堂中文资源库| 久久午夜综合久久蜜桃| 巨乳人妻的诱惑在线观看| 99久久国产精品久久久| 天天影视国产精品| 欧美精品一区二区免费开放| 桃红色精品国产亚洲av| 一边摸一边抽搐一进一出视频| av有码第一页| 50天的宝宝边吃奶边哭怎么回事| 国产一区在线观看成人免费| 久久这里只有精品19| 欧美成人午夜精品| 51午夜福利影视在线观看| 亚洲av片天天在线观看| 欧美日本中文国产一区发布| 久久ye,这里只有精品| 国产一区在线观看成人免费| 最新在线观看一区二区三区| 久久久久久久国产电影| 超色免费av| av免费在线观看网站| 黄频高清免费视频| 亚洲午夜理论影院| 国产欧美亚洲国产| 久久久久久久久免费视频了| 国产免费av片在线观看野外av| 久久久久国产一级毛片高清牌| 日韩欧美国产一区二区入口| 久9热在线精品视频| 日韩中文字幕欧美一区二区| 最新的欧美精品一区二区| 国产精品98久久久久久宅男小说| 狠狠婷婷综合久久久久久88av| 亚洲中文日韩欧美视频| 欧美日本中文国产一区发布| 国产1区2区3区精品| 中文字幕人妻丝袜制服| 一级黄色大片毛片| 国产极品粉嫩免费观看在线| 国产xxxxx性猛交| 制服人妻中文乱码| 91成年电影在线观看| www日本在线高清视频| 国产成人影院久久av| 午夜视频精品福利| 亚洲第一欧美日韩一区二区三区| 他把我摸到了高潮在线观看| 少妇猛男粗大的猛烈进出视频| 国内毛片毛片毛片毛片毛片| 亚洲欧美日韩另类电影网站| bbb黄色大片| 精品久久久久久,| 国产片内射在线| 黄色视频不卡| 欧美人与性动交α欧美软件| 高清毛片免费观看视频网站 | 村上凉子中文字幕在线| 国内久久婷婷六月综合欲色啪| 一二三四社区在线视频社区8| 在线观看舔阴道视频| 老鸭窝网址在线观看| 欧美日韩黄片免| 色婷婷av一区二区三区视频| 80岁老熟妇乱子伦牲交| 久久国产亚洲av麻豆专区| 久久人妻福利社区极品人妻图片| 麻豆成人av在线观看| 国产欧美日韩综合在线一区二区| 免费少妇av软件| 国产日韩一区二区三区精品不卡| 人人妻人人澡人人爽人人夜夜| 国产精品乱码一区二三区的特点 | 大陆偷拍与自拍| 亚洲色图av天堂| 香蕉国产在线看| 村上凉子中文字幕在线| 国产高清国产精品国产三级| 免费高清在线观看日韩| 又紧又爽又黄一区二区| 精品一区二区三区四区五区乱码| 一区福利在线观看| 黄色毛片三级朝国网站| 亚洲av欧美aⅴ国产| 身体一侧抽搐| 老司机午夜福利在线观看视频| 免费在线观看完整版高清| 欧美日韩国产mv在线观看视频| a级毛片在线看网站| 18禁观看日本| √禁漫天堂资源中文www| 国产午夜精品久久久久久| 在线十欧美十亚洲十日本专区| 国产色视频综合| 午夜免费成人在线视频| 亚洲精品国产色婷婷电影| 女性生殖器流出的白浆| 亚洲国产精品合色在线| 91国产中文字幕| 国产男靠女视频免费网站| 丰满人妻熟妇乱又伦精品不卡| 成人免费观看视频高清| 9热在线视频观看99| 别揉我奶头~嗯~啊~动态视频| 国产真人三级小视频在线观看| 黄色怎么调成土黄色| 亚洲av第一区精品v没综合| 亚洲精品中文字幕在线视频| 欧美一级毛片孕妇| 天堂√8在线中文| 亚洲一区二区三区不卡视频| 亚洲欧美一区二区三区黑人| 精品福利观看| 久久精品91无色码中文字幕| 国产亚洲av高清不卡| 十八禁人妻一区二区| 久久久久久免费高清国产稀缺| 成人黄色视频免费在线看| 12—13女人毛片做爰片一| 人人妻人人澡人人看| 男女午夜视频在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 久久久精品免费免费高清| 国产精品免费大片| 久久精品国产亚洲av香蕉五月 | 亚洲中文字幕日韩| 人妻一区二区av| 9色porny在线观看| 日日摸夜夜添夜夜添小说| 伊人久久大香线蕉亚洲五| av福利片在线| 免费黄频网站在线观看国产| 一级片'在线观看视频| 巨乳人妻的诱惑在线观看| 大片电影免费在线观看免费| 日韩精品免费视频一区二区三区| 国产男女内射视频| 亚洲视频免费观看视频| 伦理电影免费视频| 男女床上黄色一级片免费看| 真人做人爱边吃奶动态| 丝袜美腿诱惑在线| 亚洲黑人精品在线| 欧美 亚洲 国产 日韩一| 亚洲精品国产精品久久久不卡| 免费观看精品视频网站| 黄色视频不卡| 亚洲欧美一区二区三区久久| 日韩欧美免费精品| 9热在线视频观看99| 这个男人来自地球电影免费观看| 悠悠久久av| 成人国语在线视频| 久热这里只有精品99| 久久人人爽av亚洲精品天堂| 久久久水蜜桃国产精品网| av一本久久久久| 亚洲熟妇熟女久久| 啦啦啦在线免费观看视频4| 久久久国产精品麻豆| 成人永久免费在线观看视频| 国产伦人伦偷精品视频| 国产在视频线精品| 18禁美女被吸乳视频| 亚洲七黄色美女视频| 在线av久久热| 精品久久久精品久久久| 一进一出抽搐gif免费好疼 | 久久久久久久久久久久大奶| 色播在线永久视频| 日韩欧美一区二区三区在线观看 | 亚洲色图综合在线观看| 国产免费av片在线观看野外av| 在线av久久热| 女人高潮潮喷娇喘18禁视频| 嫁个100分男人电影在线观看| 9热在线视频观看99| 久久人妻熟女aⅴ| 在线观看舔阴道视频| 国产有黄有色有爽视频| netflix在线观看网站| 免费高清在线观看日韩| 啦啦啦视频在线资源免费观看| 女性生殖器流出的白浆| netflix在线观看网站| 精品国产一区二区三区久久久樱花|