• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    法則關(guān)系方法在研究中的應(yīng)用及其問(wèn)題思考

    2009-04-29 20:47:15任華勇
    心理科學(xué)進(jìn)展 2009年4期

    馮 明 任華勇

    摘要重要概念之間的理論關(guān)系或合理關(guān)系的連鎖系統(tǒng)被稱作是一個(gè)法則關(guān)系。法則關(guān)系包括原有模型、前因變量或結(jié)果變量。應(yīng)用結(jié)構(gòu)方程模型來(lái)檢驗(yàn)法則關(guān)系中各組成部分之間的法則有效性,從而對(duì)原模型作進(jìn)一步修正,該方法能夠更加科學(xué)地揭示出多變量問(wèn)的因果關(guān)系。文中還提到了應(yīng)用法則關(guān)系方法時(shí)需要注意的問(wèn)題,并指出未來(lái)的研究應(yīng)當(dāng)著重于進(jìn)一步構(gòu)建其理論框架、借助其來(lái)有效地開發(fā)和驗(yàn)證測(cè)量工具、以及探索該方法效度的影響因素等方向。

    關(guān)鍵詞法則關(guān)系方法;法則有效性;構(gòu)思效度

    分類號(hào)B841

    1引言

    “法則關(guān)系”在英文中是nomological network,最早出現(xiàn)于Cronbach和Meehl(1955)的一篇經(jīng)典文章《心理測(cè)驗(yàn)中的構(gòu)思效度》。國(guó)內(nèi)學(xué)者在引進(jìn)“法則關(guān)系”這一術(shù)語(yǔ)時(shí),形成了兩種代表性的譯法,以李明斐和盧小君(2004)為代表的一部分學(xué)者把它譯作“法則關(guān)系”,(葉映華和鄭全全(2007)稱之為法理學(xué)網(wǎng)絡(luò),也屬于這種譯法);以謝小云和王重鳴(2006)為代表的另一部分學(xué)者把它譯作“諾莫網(wǎng)絡(luò)”。這兩種譯法各有千秋,考慮到現(xiàn)在已經(jīng)找到了中文對(duì)應(yīng)的詞匯,故本文選用第一種譯法。自從法則關(guān)系于1955年首次提出以來(lái),已經(jīng)歷時(shí)了半個(gè)世紀(jì),本文將從法則關(guān)系概念的界定、國(guó)內(nèi)外研究的概況、以及對(duì)未來(lái)研究的展望等角度對(duì)相關(guān)文獻(xiàn)作較為全面的回顧,并通過(guò)部分學(xué)者研究的真實(shí)案例探討了法則關(guān)系方法的應(yīng)用,同時(shí)思考了應(yīng)用該方法時(shí)所需要注意的問(wèn)題。

    2法則關(guān)系的概念

    科學(xué)地講,要“弄清楚某事是什么”即意味著要闡明其發(fā)生所依循的法則,所提到法則的連鎖系統(tǒng),其構(gòu)成了一個(gè)理論為法則關(guān)系。法則有效性是指構(gòu)思能被采納的必要條件是它存在于一個(gè)法則關(guān)系中,法則關(guān)系中的某些法則包括了觀察到的現(xiàn)象,其中構(gòu)思并非是簡(jiǎn)化了的“觀察現(xiàn)象”,而是與法則關(guān)系中的其他構(gòu)思結(jié)合在一起來(lái)預(yù)測(cè)觀察現(xiàn)象(Cronbach&Meehl,1955)。葉映華和鄭全全認(rèn)為法則關(guān)系就是某種體系的法則。該方法要求必須在原有模型的基礎(chǔ)上引入前因變量或者結(jié)果變量,構(gòu)成模型存在的法則關(guān)系,通過(guò)利用一定的技術(shù)(如結(jié)構(gòu)方程模型)來(lái)檢驗(yàn)?zāi)P团c前因變量、結(jié)果變量之間的法則有效性,從而使模型得到進(jìn)一步修正。實(shí)質(zhì)上是通過(guò)對(duì)模型的外部檢驗(yàn)來(lái)驗(yàn)證模型內(nèi)部結(jié)構(gòu)的正確性(李明斐,盧小君,2004)。比如,假設(shè)研究人員認(rèn)為法則關(guān)系中構(gòu)思“個(gè)人能動(dòng)性”可能與構(gòu)思“成就動(dòng)機(jī)”有關(guān),而與構(gòu)思“隨和性”無(wú)關(guān)。研究后,得到了個(gè)人能動(dòng)性與成就動(dòng)機(jī)之間的相關(guān)是0.39。而與隨和性之間的相關(guān)是-0.09。這就說(shuō)明了理論關(guān)系與實(shí)證關(guān)系之間的一個(gè)很好匹配。

    在《心理測(cè)驗(yàn)中的構(gòu)思效度》中,Cronbaeh和Meehl指出“需要一個(gè)嚴(yán)密的推論鏈來(lái)建立測(cè)驗(yàn)以測(cè)量構(gòu)思。為了驗(yàn)證‘測(cè)驗(yàn)測(cè)量構(gòu)思,則必須存在圍繞該構(gòu)思的法則關(guān)系。當(dāng)一個(gè)構(gòu)思相當(dāng)新時(shí),也許幾乎沒(méi)有可指明的聯(lián)系來(lái)約束構(gòu)思。但隨著研究的進(jìn)行,構(gòu)思向許多方向延伸,研究人員會(huì)發(fā)現(xiàn)其與越來(lái)越多的事實(shí)或者別的構(gòu)思是相聯(lián)系的”。換言之,在研究的初期階段,研究人員對(duì)構(gòu)思所具有的性質(zhì)、含義等還不夠了解,但隨著研究的進(jìn)行,對(duì)構(gòu)思所包含的各維度、構(gòu)思的概念、以及其與別的構(gòu)思之間的關(guān)系等都有了更進(jìn)一步的認(rèn)識(shí)。舉例來(lái)說(shuō),研究人員要評(píng)價(jià)公務(wù)員勝任力對(duì)績(jī)效的預(yù)測(cè)作用,則首先需要研究公務(wù)員勝任力這個(gè)構(gòu)思所包括的維度,以及哪些前因變量來(lái)對(duì)公務(wù)員勝任力產(chǎn)生影響,假設(shè)績(jī)效是勝任力的一個(gè)結(jié)果變量,前因變量、勝任力、和結(jié)果變量(如,績(jī)效)它們之間的關(guān)系以及各個(gè)構(gòu)思內(nèi)部的關(guān)系所構(gòu)成的一個(gè)集合即是法則關(guān)系。剛開始研究時(shí),只能發(fā)現(xiàn)它們之間的部分聯(lián)系,但伴隨著研究的深入,加上研究方法的改進(jìn)、研究理念的更新,則會(huì)發(fā)現(xiàn)它們之間更加具體的聯(lián)系。

    對(duì)實(shí)證主義者來(lái)說(shuō),這種方法用于為理論術(shù)語(yǔ)創(chuàng)造意義而不需要現(xiàn)實(shí)的參照。他們認(rèn)為理論術(shù)語(yǔ)的意義單獨(dú)由術(shù)語(yǔ)在法則關(guān)系中的位置決定。而不是由指向?qū)嶋H的參照決定。根據(jù)這一觀點(diǎn),理論術(shù)語(yǔ)可以不需要參照而獲得意義。這個(gè)觀點(diǎn)被Cronbach和Meehl用來(lái)改進(jìn)構(gòu)思效度相關(guān)的理論,其主要依賴于法則關(guān)系。法則關(guān)系為心理學(xué)構(gòu)思提供了一個(gè)明確的定義,同時(shí)也產(chǎn)生了構(gòu)思效度概念本身(葉映華,鄭全全,2007)。

    3法則關(guān)系研究回顧

    3.1法則關(guān)系產(chǎn)生的背景以及理論基礎(chǔ)

    斯皮爾曼在上個(gè)世紀(jì)初有關(guān)智力和智力測(cè)驗(yàn)的著名研究,標(biāo)志了經(jīng)典測(cè)驗(yàn)理論及其方法的問(wèn)世。在隨后的幾十年中,盡管出現(xiàn)了諸多的心理測(cè)驗(yàn),但對(duì)它們的驗(yàn)證(如,測(cè)驗(yàn)是否真正測(cè)量了想要測(cè)量的內(nèi)容)卻很少涉及。同時(shí)并沒(méi)有一個(gè)明確的驗(yàn)證流程以及標(biāo)準(zhǔn)。這就引起了心理學(xué)家的注意。美國(guó)心理學(xué)會(huì)委員會(huì)的專家于是在1954年提出了四種類型的效度:預(yù)測(cè)效度、同時(shí)效度、構(gòu)思效度、內(nèi)容效度。由于預(yù)測(cè)效度和同時(shí)效度所考察的都是測(cè)驗(yàn)結(jié)果與另一客觀效標(biāo)之間的相關(guān)程度,所以后來(lái)美國(guó)心理學(xué)會(huì)、美國(guó)教育研究學(xué)會(huì)與國(guó)家教育測(cè)量委員會(huì)在1966年聯(lián)合出版的《教育與心理測(cè)驗(yàn)的標(biāo)準(zhǔn)和指南》中,又將效度類型進(jìn)一步簡(jiǎn)化為效標(biāo)關(guān)聯(lián)效度、構(gòu)思效度與內(nèi)容效度三種。并且認(rèn)為,不同的測(cè)驗(yàn)有不同的效度要求,比如成就測(cè)驗(yàn)更重視內(nèi)容效度,能力測(cè)驗(yàn)強(qiáng)調(diào)效標(biāo)關(guān)聯(lián)效度,而人格測(cè)驗(yàn)則突出了構(gòu)思效度(孫曉敏,張厚粲,2004)。因此,構(gòu)思效度也就浮出了水面,隨之進(jìn)入廣大研究人員的視野,但當(dāng)時(shí)研究人員對(duì)構(gòu)思效度的認(rèn)識(shí)并不統(tǒng)一。

    實(shí)際上構(gòu)思效度概念的確定并不是一個(gè)孤立發(fā)展的過(guò)程。在《心理測(cè)驗(yàn)中的構(gòu)思效度》這篇文章出現(xiàn)之前的十余年里,大多數(shù)用來(lái)測(cè)量構(gòu)思的測(cè)驗(yàn)都不存在清晰明確的標(biāo)準(zhǔn),同時(shí)許多這樣的測(cè)驗(yàn)也是沒(méi)有效度的。研究人員對(duì)各種效度的含糊定義很不滿意,因此紛紛引入了許多新的術(shù)語(yǔ)以及觀點(diǎn),可是這卻使得人們對(duì)于效度的認(rèn)識(shí)變得更加模糊。起初引入構(gòu)思效度的概念是為了詳細(xì)說(shuō)明心理學(xué)領(lǐng)域內(nèi)各種不同類型的研究,這些研究在測(cè)驗(yàn)開發(fā)的過(guò)程中是必不可少的。人格測(cè)驗(yàn)以及一些能力測(cè)驗(yàn),是根據(jù)特征來(lái)加以解釋的,而在法則關(guān)系出現(xiàn)之前,對(duì)于這些特征并沒(méi)有合適的標(biāo)準(zhǔn)(Cronbaeh&Meehl,1955)?;谶@些原因,Cronbaeh和Meehl嘗試著解釋構(gòu)思效度的概念,并闡述它的含義。

    構(gòu)思效度是由兩個(gè)詞語(yǔ)所組成:一為構(gòu)思,一為效度。按照Cronbach和Meehl對(duì)構(gòu)思的定義:“構(gòu)思就是假定人所具有的某個(gè)屬性,假定其會(huì)在心理測(cè)驗(yàn)的結(jié)果中得到反映”、“構(gòu)思為法則關(guān)系的一個(gè)組成部分”、“構(gòu)思可被采納的一個(gè)必要條件是其存在于一個(gè)法則關(guān)系中”。這就引出了法則關(guān)系。

    法則關(guān)系方法的產(chǎn)生是必然性與偶然性的結(jié)合。就必然性而言,研究人員當(dāng)時(shí)已經(jīng)意識(shí)到,對(duì)構(gòu)思的研究不應(yīng)只局限于構(gòu)思本身,而應(yīng)當(dāng)把它放

    到一個(gè)整體的框架中作具體的分析,從而在整體上對(duì)其有個(gè)清晰的認(rèn)識(shí)。僅是局限于構(gòu)思會(huì)導(dǎo)致只見“樹木”不見“森林”。此外,引用我國(guó)的一句古詩(shī)“不識(shí)廬山真面目,只緣身在此山中”。要想認(rèn)清構(gòu)思的“真面目”,則需走遠(yuǎn)一些,來(lái)研究包含構(gòu)思的法則關(guān)系。事實(shí)上,正是這種研究策略,使得心理測(cè)驗(yàn)在以后的應(yīng)用上變得更具針對(duì)性,為以后心理測(cè)驗(yàn)的廣泛推廣起到了不可磨滅的作用。就偶然性而言,通過(guò)研究“nomological network”這個(gè)詞組的起源,其正是由Cronbaeh和Meehl所發(fā)明的,那時(shí)研究人員對(duì)構(gòu)思效度的認(rèn)識(shí)并不統(tǒng)一,大家各執(zhí)己見,但后來(lái)是由這兩位科學(xué)家對(duì)其作了進(jìn)一步的探索,并提出了法則關(guān)系的方法。

    概括而言,當(dāng)初研究人員提出四種類型的效度,其中包括了構(gòu)思效度,進(jìn)而研究到構(gòu)思,這是一個(gè)由面到點(diǎn)的過(guò)程;然后由構(gòu)思延伸到法則關(guān)系,再到擴(kuò)大的法則關(guān)系(后文會(huì)涉及),這是一個(gè)由點(diǎn)到面的過(guò)程。

    3.2法則關(guān)系的基本原則

    Cronbaeh和Meehl指出法則關(guān)系的基本原則如下:

    (1)法則關(guān)系中的法則可能a把觀察到的現(xiàn)象(性質(zhì)或者數(shù)量)彼此聯(lián)系起來(lái);或者b把理論構(gòu)思與觀察到的現(xiàn)象聯(lián)系起來(lái);或者c把不同的理論構(gòu)思彼此聯(lián)系起來(lái)。

    (2)構(gòu)思能被采納的必要條件是它存在于一個(gè)法則關(guān)系中,至少法則關(guān)系中的某些法則包括了觀察到的現(xiàn)象,而可采納的構(gòu)思可能與這些現(xiàn)象有較大差異。另外,構(gòu)思并非簡(jiǎn)化了的觀察現(xiàn)象,而是與法則關(guān)系中的其他構(gòu)思相結(jié)合來(lái)預(yù)測(cè)可能會(huì)觀察到的現(xiàn)象。

    (3)在構(gòu)思的初期階段,法則關(guān)系中的限制條件較多?!案嗟亓私狻币粋€(gè)理論構(gòu)思包括,闡述它所存在的法則關(guān)系,或者通過(guò)研究加深對(duì)構(gòu)思各個(gè)維度的認(rèn)識(shí)。

    (4)通過(guò)研究,如果發(fā)現(xiàn)存在新的構(gòu)思與之前法則關(guān)系中的構(gòu)思相聯(lián)系,則可以把該構(gòu)思加入到法則關(guān)系中;或者當(dāng)法則關(guān)系中的不同構(gòu)思發(fā)生重合時(shí),可以進(jìn)行篩選操作,去除重復(fù)的構(gòu)思:此外,當(dāng)法則關(guān)系與現(xiàn)實(shí)有出入時(shí),研究人員可以選擇在某處修改這個(gè)法則關(guān)系。也就是說(shuō),可能有組織法則關(guān)系的其他構(gòu)思或者方法。

    3.3法則關(guān)系與效度之間的關(guān)系

    Cronbach和Meehl當(dāng)時(shí)認(rèn)為構(gòu)思效度指的是一個(gè)測(cè)驗(yàn)測(cè)量了理論構(gòu)思的完美程度。而要想說(shuō)明一個(gè)測(cè)驗(yàn)具有構(gòu)思效度,他們認(rèn)為應(yīng)該為測(cè)驗(yàn)建構(gòu)一個(gè)法則關(guān)系。該法則關(guān)系包括想測(cè)量的理論框架、如何測(cè)量的實(shí)證框架,以及兩個(gè)框架之間關(guān)系的詳細(xì)說(shuō)明(Borsboom,Mellenbergh,&Heerden,2004)。

    事實(shí)上法則關(guān)系與效度這兩個(gè)概念是不相分離的,法則關(guān)系的出現(xiàn)與構(gòu)思效度概念的詳細(xì)闡述是相伴進(jìn)行的。兩者之間具有緊密的聯(lián)系。如果法則關(guān)系中各構(gòu)思所作的預(yù)測(cè)與后來(lái)測(cè)驗(yàn)得出的數(shù)據(jù)相吻合時(shí),則在撰寫測(cè)驗(yàn)報(bào)告時(shí),研究人員不能只局限于描述測(cè)驗(yàn)的進(jìn)展、成果、應(yīng)用性等等,還需要說(shuō)明該測(cè)驗(yàn)所具有的構(gòu)思效度。Cronbach和Meehl指出只有闡明法則關(guān)系中各構(gòu)思之間以及構(gòu)思內(nèi)部各個(gè)維度之間具體的關(guān)系,測(cè)驗(yàn)才具有構(gòu)思效度。一個(gè)可接納的心理學(xué)構(gòu)思必須與行為是相關(guān)的?!翱山邮苄浴痹谛?biāo)關(guān)聯(lián)效度與內(nèi)容效度中很重要,在構(gòu)思效度中也同樣如此。若研究人員計(jì)劃要建立一個(gè)測(cè)驗(yàn)來(lái)測(cè)量構(gòu)思,則必須詳細(xì)說(shuō)明有關(guān)該構(gòu)思的法則關(guān)系以使別人能有充分的認(rèn)識(shí),以便接受或是否決它。同時(shí),如果想要更多地了解和應(yīng)用構(gòu)思的話,有必要進(jìn)一步完善與該構(gòu)思相關(guān)的理論以及測(cè)量方法(Rode et al.2008)。

    3.4當(dāng)前法則關(guān)系方法的局限性

    理論上,研究人員希望通過(guò)使用該方法,能夠由一組假設(shè)得出期望中的結(jié)論。然而,實(shí)際上即使是當(dāng)前發(fā)展得高度完備的學(xué)科也只是接近這個(gè)理想,而不可能完全達(dá)到。就是我們已經(jīng)知道的法則,也沒(méi)有現(xiàn)成的法則關(guān)系能夠預(yù)測(cè)到它們。而且大部分的法則關(guān)系都是不完善的,研究人員只好根據(jù)它們來(lái)定義構(gòu)思的概念。當(dāng)這個(gè)法則關(guān)系很不完善時(shí),研究人員會(huì)不可避免地忽略或是弱化了許多構(gòu)思之間的聯(lián)系,從而使得這些構(gòu)思所具有的含義也不夠準(zhǔn)確。換句話說(shuō),即不能從中清楚地觀察到構(gòu)思之間以及構(gòu)思內(nèi)部各維度之間的聯(lián)系。

    我國(guó)學(xué)者葉映華、鄭全全指出,在應(yīng)用法則關(guān)系時(shí),有些學(xué)者存在著偏見,他們片面關(guān)注測(cè)驗(yàn)得分的解釋是否與一個(gè)既定的法則關(guān)系相一致。對(duì)于實(shí)證主義者來(lái)說(shuō)法則關(guān)系可以不借助于現(xiàn)實(shí)參照而給出構(gòu)思的定義,他們認(rèn)為構(gòu)思的含義僅由其所在的法則關(guān)系來(lái)決定。按照這個(gè)邏輯,先畫一個(gè)法則關(guān)系圖,中間留出一些空點(diǎn),然后就認(rèn)定這些空點(diǎn)就是所暗含的構(gòu)思,各構(gòu)思所具有的屬性、特點(diǎn)等也可以從該圖中得出。很顯然,單憑這個(gè)是很難讓人信服的。當(dāng)然,考慮一個(gè)構(gòu)思與另一個(gè)構(gòu)思之間的關(guān)系非常重要,這是構(gòu)建理論的關(guān)鍵步驟。但若就此認(rèn)為法則關(guān)系展示了各構(gòu)思的屬性則有些牽強(qiáng)。

    第二個(gè)問(wèn)題是,確定各構(gòu)思的含義及其屬性需要一個(gè)詳實(shí)、準(zhǔn)確的法則關(guān)系。實(shí)際上,詳實(shí)與準(zhǔn)確這兩個(gè)要求都是很難完全達(dá)到的(葉映華,鄭全全,2007;Drew&Robert,2003)。沒(méi)有科學(xué)家可以保證某個(gè)理論已經(jīng)完美得無(wú)懈可擊了,心理學(xué)也同樣如此,隨著它的不斷發(fā)展,結(jié)合已有的研究成果,會(huì)不斷發(fā)掘出更多的內(nèi)容。而在其發(fā)展的過(guò)程中,會(huì)對(duì)原有的成果作修改、補(bǔ)充。隨著新研究的開展,回頭再看看那些之前是詳實(shí)、準(zhǔn)確的研究成果,或許會(huì)發(fā)現(xiàn)它們已不再詳實(shí)、準(zhǔn)確??蒲腥藛T的目標(biāo)也許只能是通過(guò)不懈地努力來(lái)不斷完善已獲得的研究成果。盡管如此,Gerald和Scott(2008)認(rèn)為當(dāng)研究人員評(píng)估科學(xué)理論時(shí),負(fù)面的研究結(jié)果通常應(yīng)當(dāng)比正面的研究結(jié)果更有價(jià)值。因?yàn)檠芯咳藛T基于負(fù)面的研究結(jié)果,可以總結(jié)該方法的不足之處,以便在以后的研究中加以改進(jìn)。

    4法則關(guān)系方法的應(yīng)用

    法則關(guān)系方法在心理學(xué)、管理學(xué)、經(jīng)濟(jì)學(xué)、教育學(xué)等諸多領(lǐng)域里都有很廣泛的應(yīng)用前景。自其問(wèn)世以來(lái),已有多位專家學(xué)者應(yīng)用、擴(kuò)充以及發(fā)展該方法,并取得了顯著的成果。如在人力資源管理中,可以令其與專業(yè)評(píng)估技術(shù)相結(jié)合來(lái)評(píng)估各級(jí)員工的績(jī)效。培訓(xùn)與開發(fā)是人力資源管理的基本核心,必須要靠不斷地培訓(xùn)、開發(fā)人才,才能在發(fā)展中適應(yīng)外部環(huán)境的變化,并為新的發(fā)展創(chuàng)造條件。同時(shí),針對(duì)不同的崗位需求,可以結(jié)合法則關(guān)系方法分析出不同崗位員工所應(yīng)具備的能力,再分別、有重點(diǎn)地培訓(xùn)相應(yīng)員工。

    在對(duì)績(jī)效評(píng)估進(jìn)行統(tǒng)計(jì)檢驗(yàn)的過(guò)程中,研究人員經(jīng)常采用交叉驗(yàn)證的方法,進(jìn)而保證它們?cè)谧畲蟪潭壬夏軌蚍从吵隹?jī)效評(píng)估的特質(zhì)。在此基礎(chǔ)上,可以利用Cronbach和DMeehl提出的法則關(guān)系進(jìn)行法則有效性檢驗(yàn)。使用該方法進(jìn)行檢驗(yàn),需要在原評(píng)估的基礎(chǔ)上引入前因變量或結(jié)果變量,構(gòu)建法則關(guān)系(李明斐,盧小君,2004)。譬如,在進(jìn)行勝任力研究時(shí),不僅需要關(guān)注勝任力本身,還需要考慮

    到其他變量(如,環(huán)境因素、工作特征等)對(duì)勝任力的影響,以及勝任力對(duì)工作績(jī)效的影響。這里環(huán)境因素、工作特征等就是前因變量,而工作績(jī)效就是結(jié)果變量,研究這些關(guān)系實(shí)質(zhì)上是對(duì)勝任力結(jié)構(gòu)模型的法則關(guān)系檢驗(yàn)。

    選用標(biāo)準(zhǔn)測(cè)驗(yàn)或是自行設(shè)計(jì)測(cè)量工具,首先就應(yīng)當(dāng)評(píng)價(jià)其效度。實(shí)踐應(yīng)用中,可以在可供選擇的模型之間進(jìn)行比較研究以及交叉驗(yàn)證,從中選出最合適的模型,該模型將會(huì)使用在判別效度和法則有效性的檢驗(yàn)中。Rode等人(2008)應(yīng)用了多組驗(yàn)證性因子分析來(lái)檢驗(yàn)了判別效度和法則有效性。多組驗(yàn)證性因子分析(或路徑分析)是多組結(jié)構(gòu)方程模型的一類,目的在于檢驗(yàn):各組的因子結(jié)構(gòu)是否相同?某些路徑參數(shù)在不同的組是否有顯著的差異?另一類的多組結(jié)構(gòu)方程模型是要進(jìn)一步了解各組的因子均值是否相同(侯杰泰,溫忠麟,成子娟,2004)。對(duì)于研究中法則有效性的效標(biāo)變量可以應(yīng)用有關(guān)績(jī)效的客觀測(cè)量方法來(lái)確定,這樣效度證據(jù)將更有力,從而避免基于被試感知進(jìn)行評(píng)估所帶有的主觀性。

    Benson和Hafftvet(1996)認(rèn)為法則有效性的提出是心理測(cè)量領(lǐng)域內(nèi)的重要成果,是對(duì)量表效度進(jìn)行檢驗(yàn)的有利工具。這種方法可以有效克服效標(biāo)關(guān)聯(lián)效度研究中存在的一些問(wèn)題,但其需要較強(qiáng)的統(tǒng)計(jì)學(xué)工具和理論。

    應(yīng)用結(jié)構(gòu)方程建模(SEM)的方法來(lái)檢查法則關(guān)系中各個(gè)構(gòu)思之間假定的關(guān)系,可以使用探索性樣本來(lái)尋找一個(gè)合適的sEM模型并且用驗(yàn)證性樣本來(lái)檢驗(yàn)這個(gè)模型。如果存在一個(gè)結(jié)構(gòu)模型,其代表了與數(shù)據(jù)較好擬合的法則關(guān)系,并且發(fā)現(xiàn)先前假定的各構(gòu)思之間具有顯著的關(guān)系,則通過(guò)工具所測(cè)量的原模型與前因變量或結(jié)果變量之間是顯著相關(guān)的;同時(shí)可以認(rèn)為該測(cè)量工具具有法則有效性(Yang~,Watkins,&Marsiek,2004)。使用結(jié)構(gòu)方程建模來(lái)確定所開發(fā)工具的法則有效性時(shí),一般來(lái)講,如果RMSEA值在0.08以下(越小越好),表明了模型一數(shù)據(jù)之間的擬合是合適的;NNFI和CFI在0.9以上(越大越好),即,通過(guò)被檢驗(yàn)的模型,超過(guò)90%數(shù)據(jù)的聯(lián)合方差與協(xié)方差能夠得到說(shuō)明,則所擬合的模型是一個(gè)好模型。需要注意的是,在應(yīng)用結(jié)構(gòu)方程建模方法時(shí),大多數(shù)模型至少需要100至5200個(gè)被試,若需要依性別或其他變量進(jìn)行分析時(shí),樣本容量要更大(侯杰泰,溫忠麟,成子娟,2004;Yang,Watkins,&Marsick 2004)。

    此外,一般而言,法則關(guān)系中的各組成部分都是提煉出來(lái)的構(gòu)思,這就與現(xiàn)實(shí)存在一定的出入,換言之,即是準(zhǔn)確度降低,好模型是盡可能準(zhǔn)確且相對(duì)簡(jiǎn)潔的。要達(dá)到這個(gè)目標(biāo),可以研究有關(guān)構(gòu)思的擴(kuò)大的法則關(guān)系,也就是增加構(gòu)思的維度,并且考慮構(gòu)思與其他前因變量或結(jié)果變量之間的聯(lián)系,這在實(shí)證領(lǐng)域中已有所涉及。在有關(guān)評(píng)價(jià)中心(Assessment Center,簡(jiǎn)稱AC)構(gòu)思效度的擴(kuò)大的法則關(guān)系研究中,通過(guò)研究有關(guān)跨情境一致性的預(yù)測(cè)與評(píng)價(jià)中心績(jī)效的特殊方面,來(lái)擴(kuò)大評(píng)價(jià)中心的法則有效性。作者指出需要研究(a)其他的個(gè)體差異因素,例如,認(rèn)知能力,工作經(jīng)驗(yàn),和自我監(jiān)督,因?yàn)樗鼈冴P(guān)系到整體AC績(jī)效,與(b)其他的特殊情境因素,如,執(zhí)行特殊任務(wù)的經(jīng)驗(yàn)以及任務(wù)的困難程度,因?yàn)樗鼈冴P(guān)系到特殊訓(xùn)練績(jī)效,還有(c)結(jié)果標(biāo)準(zhǔn)(即,工作績(jī)效的測(cè)量),這些會(huì)有助于完善AC效度的法則關(guān)系(Lance,F(xiàn)oster,Neme~,Gentry,&Drollinger,2007)。Chert,Fok,Bond和Matsumoto(2006)也指出需要確立構(gòu)思與其他構(gòu)思之間的聯(lián)系來(lái)擴(kuò)大法則關(guān)系。

    4.1應(yīng)用法則關(guān)系方法的幾個(gè)實(shí)例

    當(dāng)前公務(wù)員能力建設(shè)中的一個(gè)核心問(wèn)題是要確定現(xiàn)階段公務(wù)員所應(yīng)具備哪些職位的勝任力,另一個(gè)問(wèn)題是研究如何才能準(zhǔn)確地測(cè)量出勝任力水平,好為上級(jí)領(lǐng)導(dǎo)部門進(jìn)行行政決策時(shí)提供參考,以求選賢薦能、知人善任。李明斐(2006)借助于預(yù)試性調(diào)查、交叉驗(yàn)證檢驗(yàn)、法則關(guān)系等分析方法多次檢驗(yàn)問(wèn)卷的信度和勝任力模型的構(gòu)思效度以及勝任力模型對(duì)績(jī)效的預(yù)測(cè)力,拓寬了法則關(guān)系的應(yīng)用范圍。研究表明,勝任力是績(jī)效的決定因子之一,不同的勝任力要素對(duì)績(jī)效的不同成分產(chǎn)生不同的影響作用,因此在研究中采用了法則關(guān)系方法以證明勝任力模型中的要素都對(duì)高績(jī)效有著影響作用,從而證明了勝任力模型對(duì)績(jī)效具有預(yù)測(cè)作用。

    在以往的研究中,研究人員多采用定性分析的方法探討勝任力與績(jī)效之間的關(guān)系,這種方法有著定性分析本身所不可避免的缺陷,即缺少有關(guān)兩者關(guān)系緊密程度的數(shù)據(jù)支持,使得研究者不能確定勝任力在何種程度上影響著績(jī)效。而對(duì)兩者關(guān)系進(jìn)行定量分析時(shí)一些學(xué)者則采用了相關(guān)分析方法,但這種方法只能證明兩者之間有關(guān)系,揭示兩個(gè)變量之間關(guān)系的密切程度,卻無(wú)法知道勝任力與績(jī)效之間的因果關(guān)系——孰是因,孰是果?另外一些研究人員則采用了回歸分析的方法,但是回歸分析一次只能分析一個(gè)因變量,難以考察自變量同時(shí)對(duì)多個(gè)因變量的影響程度以及這些因變量之間的相互影響。與相關(guān)分析以及回歸分析相比,基于結(jié)構(gòu)方程模型的法則關(guān)系方法能更加科學(xué)地揭示多變量之間的因果關(guān)系。NunnaRy指出在對(duì)一個(gè)構(gòu)思進(jìn)行檢驗(yàn)時(shí),一個(gè)重要的步驟就是確定所研究的構(gòu)思與其他構(gòu)思之間是否存在理論研究推導(dǎo)出的某種關(guān)系(侯杰泰,溫忠麟,成子娟,2004)。而法則關(guān)系的檢驗(yàn)方法正與該研究要求相吻合。

    Fay和Frese(2001)也做了很有益的實(shí)踐與探索,他們?cè)谘芯總€(gè)人能動(dòng)性(即Personal Imfiafive,簡(jiǎn)稱PI)面試測(cè)量工具的構(gòu)思效度時(shí),構(gòu)造了個(gè)人能動(dòng)性的法則關(guān)系(見圖1)。所謂個(gè)人能動(dòng)性,即是指一種行為特征,其驅(qū)使著個(gè)體采用積極與自發(fā)主動(dòng)的方式來(lái)達(dá)到以及完成工作上的目標(biāo)與任務(wù),并且堅(jiān)持克服困難(Frese,Kring,Soose&Zempel,1996;Frese,F(xiàn)ay,Hilburger,Leng&Tag,1997)。

    該模型假設(shè)了因果關(guān)系與相互關(guān)系,關(guān)于圖1中所描述關(guān)系的法則關(guān)系的實(shí)證證據(jù)表明了構(gòu)思的可行性以及關(guān)于PI的測(cè)量。PI與背景人格變量(如,成就動(dòng)機(jī)、心理保守性、行動(dòng)傾向)是一致相關(guān)的。其與職業(yè)資格、認(rèn)知能力也是一致相關(guān)的。類似地,PI與個(gè)人傾向(如,控制愿望、自我效能感、改變傾向、積極應(yīng)對(duì)、處理錯(cuò)誤)是正相關(guān)的。最終,在個(gè)人水平上,所測(cè)量的PI與個(gè)人績(jī)效以及小規(guī)模的公司績(jī)效是相聯(lián)系的;在組織水平上,作為一個(gè)氛圍因素所測(cè)量的PI與公司的利潤(rùn)率相聯(lián)系。

    通過(guò)使用法則關(guān)系方法,研究人員確定了一個(gè)實(shí)踐上與理論上都重要的構(gòu)思,并且通過(guò)使用多重信息的來(lái)源(例如,參與者、面試中的行為(克服困難)、有關(guān)過(guò)去與現(xiàn)在PI行為的報(bào)告、以及面試者的評(píng)估等),已經(jīng)開發(fā)出一個(gè)有關(guān)該構(gòu)思的測(cè)量工具。

    Conway.Lombardo和Sanders(2001)也借助

    于法則關(guān)系來(lái)研究下屬以及同事評(píng)估的構(gòu)思效度。相較過(guò)去,盡管上司評(píng)估仍然是最常見的績(jī)效測(cè)評(píng)手段,但是非傳統(tǒng)信息來(lái)源(諸如下屬以及同事)對(duì)于工作績(jī)效的評(píng)估現(xiàn)在已經(jīng)顯著增加了。

    一個(gè)很現(xiàn)實(shí)的問(wèn)題是評(píng)估在何種程度上有效地反映了被評(píng)估者對(duì)組織的貢獻(xiàn)。如果效度能被確定,這將有助于解釋進(jìn)行非傳統(tǒng)信息來(lái)源評(píng)估的合理性以及必要性;如果效度不能被確定,則增加使用非傳統(tǒng)信息來(lái)源的評(píng)估是值得商榷的,并且這可能會(huì)導(dǎo)致不準(zhǔn)確的信息反饋以及管理決策(Conway,Lombardo,&Sanders,2001)。Borman(1997)指出多信息來(lái)源評(píng)估的價(jià)值取決于其所提供的增量效度超過(guò)了來(lái)自單一信息來(lái)源(最可能是上司)的評(píng)估。Conway和Huffcutt(1997)通過(guò)分析以往數(shù)據(jù),指出信息來(lái)源的評(píng)估產(chǎn)生了不同的構(gòu)思。除了如上所述的評(píng)估增量效度,重要的是要理解不同信息來(lái)源評(píng)估的含義(即,每個(gè)信息來(lái)源評(píng)估績(jī)效構(gòu)思的性質(zhì))。理論上,研究人員關(guān)注的是有關(guān)評(píng)估的擴(kuò)大的法則關(guān)系,其中涉及到績(jī)效的評(píng)估是如何與別的構(gòu)思相關(guān)聯(lián)的,如個(gè)體差異(例如:人格與能力)。通過(guò)應(yīng)用法則關(guān)系方法,可以更好地了解非傳統(tǒng)信息來(lái)源評(píng)估這個(gè)構(gòu)思,而該構(gòu)思是實(shí)施不同信息來(lái)源評(píng)估實(shí)踐的基礎(chǔ),也就是傳統(tǒng)意義上的“理論指導(dǎo)實(shí)踐”。

    增量效度的證據(jù)意味著每個(gè)信息來(lái)源對(duì)于被評(píng)估者的績(jī)效有一個(gè)相對(duì)獨(dú)特的視角。然而,論證增量效度并不能有助于明白信息來(lái)源之間的區(qū)別。這需要著重評(píng)估每個(gè)信息來(lái)源所反映的構(gòu)思,Conway和Huffcutt是通過(guò)法則關(guān)系來(lái)研究這些構(gòu)思的。研究人員通過(guò)文獻(xiàn)調(diào)查,設(shè)定決策規(guī)則,整理最終數(shù)據(jù)集,確定各個(gè)變量的符號(hào),計(jì)算相關(guān)系數(shù)以及對(duì)結(jié)果做了必要的修正。研究結(jié)果表明:下屬和同事評(píng)估與客觀績(jī)效標(biāo)準(zhǔn)是相聯(lián)系的,并且每種信息來(lái)源提供超過(guò)上司的增量效度。在某種程度上,法則關(guān)系對(duì)于人格與能力的假設(shè)是合理的,同時(shí)研究結(jié)果表明,應(yīng)用多信息來(lái)源進(jìn)行績(jī)效評(píng)估也有其合理性。

    4.2應(yīng)用法則關(guān)系方法需要注意的問(wèn)題

    在結(jié)合法則關(guān)系方法進(jìn)行研究的過(guò)程中,有一些需要研究人員注意的問(wèn)題:

    法則關(guān)系中的構(gòu)思在性質(zhì)上可能有較大差異,有些構(gòu)思純粹幾乎是描述性的,而有些構(gòu)思則是高度理論化的。在研究的不同階段,法則關(guān)系中的構(gòu)思會(huì)發(fā)生變化。伴隨著研究的深入,研究人員會(huì)不斷發(fā)現(xiàn)與原有構(gòu)思相聯(lián)系的新構(gòu)思,并且構(gòu)思內(nèi)部的維度也會(huì)增加或是減少,從而與現(xiàn)實(shí)能夠更好地?cái)M合。當(dāng)法則關(guān)系中的一些預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)相擬合時(shí),測(cè)驗(yàn)的構(gòu)思效度可能存在。本質(zhì)上,有關(guān)測(cè)驗(yàn)構(gòu)思效度的研究與假定和驗(yàn)證理論的一般程序是相同的。對(duì)于研究得出的各個(gè)數(shù)據(jù)進(jìn)行解釋不應(yīng)只是一個(gè)完全量化的過(guò)程,研究人員也不應(yīng)只滿足于對(duì)各個(gè)數(shù)據(jù)的描述。對(duì)于數(shù)據(jù)背后所反映的深層關(guān)系、可能的原因以及影響也需明確地予以指出,做到定性與定量相結(jié)合。

    Cronbach和Medal提到并不是先“證明”法則關(guān)系后驗(yàn)證測(cè)驗(yàn),也不是反過(guò)來(lái)先驗(yàn)證測(cè)驗(yàn)再證明法則關(guān)系。法則關(guān)系中包括命題,其把測(cè)驗(yàn)與構(gòu)思聯(lián)系起來(lái),把構(gòu)思與別的構(gòu)思聯(lián)系起來(lái),并且最終把其中的某些構(gòu)思與觀察到的現(xiàn)象聯(lián)系起來(lái)。在研究中,推論鏈?zhǔn)欠浅?fù)雜的。預(yù)測(cè)的實(shí)證關(guān)系允許驗(yàn)證所有導(dǎo)致那個(gè)預(yù)測(cè)的命題。對(duì)于鏈上的所有部分來(lái)說(shuō),證據(jù)非常重要,如果這個(gè)預(yù)測(cè)沒(méi)有被證實(shí),錯(cuò)誤可能出現(xiàn)在推論鏈上的任何環(huán)節(jié)上。如果研究人員的預(yù)測(cè)與數(shù)據(jù)不一致,則可能有三種原因:a該測(cè)驗(yàn)沒(méi)有測(cè)量構(gòu)思變量;b產(chǎn)生假設(shè)的法則關(guān)系不正確;c設(shè)計(jì)的測(cè)驗(yàn)沒(méi)能恰當(dāng)?shù)販y(cè)驗(yàn)假設(shè)。若是第1種情況,研究人員可以著手準(zhǔn)備并且驗(yàn)證一個(gè)新的測(cè)驗(yàn);若是第3種情況,研究人員則需要進(jìn)行一個(gè)適當(dāng)?shù)难芯?;更多的也許是第2種情況。萬(wàn)一研究人員判定法則關(guān)系中的一些步驟是不健全的,可以重新組織一個(gè)法則關(guān)系;可以通過(guò)把一個(gè)概念分成兩個(gè)或者更多的部分來(lái)修改這個(gè)法則關(guān)系,例如,通過(guò)指派焦慮的類型;或是詳細(xì)說(shuō)明附加條件,需要避免以事后合理化來(lái)取代合適的效度。當(dāng)研究人員修改法則關(guān)系時(shí),其需要搜集大量的新數(shù)據(jù)來(lái)測(cè)驗(yàn)已改變了的假設(shè)。

    確定法則關(guān)系中各個(gè)子成分之間的關(guān)系有助于消除法則關(guān)系內(nèi)部的障礙,同時(shí)使得研究人員對(duì)于各個(gè)子成分之間哪些是相關(guān)關(guān)系、哪些是因果關(guān)系,或是其他關(guān)系都一目了然。另外,只有當(dāng)預(yù)測(cè)與后來(lái)的測(cè)驗(yàn)數(shù)據(jù)之間有較強(qiáng)的正匹配時(shí),使用者才能接受該測(cè)驗(yàn)。當(dāng)預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)之間不匹配時(shí),則不應(yīng)當(dāng)推廣該測(cè)驗(yàn),或者放棄這個(gè)測(cè)驗(yàn)。

    在《心理測(cè)驗(yàn)中的構(gòu)思效度》一文中,作者指出測(cè)驗(yàn)開發(fā)人員需要設(shè)法將他的理論傳達(dá)給讀者。測(cè)驗(yàn)開發(fā)人員(其提出的預(yù)測(cè)與測(cè)驗(yàn)數(shù)據(jù)之間是絕對(duì)一致的)需詳細(xì)說(shuō)明該測(cè)驗(yàn)所具有的構(gòu)思效度,對(duì)此,其必須先陳述他腦海中的構(gòu)思以及他對(duì)該構(gòu)思的定義:對(duì)于一個(gè)新構(gòu)思,可以指出構(gòu)思假定的性質(zhì);對(duì)于一個(gè)具有較長(zhǎng)歷史的構(gòu)思,需要指出研究前后對(duì)構(gòu)思性質(zhì)的不同認(rèn)識(shí)。研究人員還要說(shuō)明他先前根據(jù)法則關(guān)系所作的預(yù)測(cè),并指出哪個(gè)預(yù)測(cè)被證實(shí)了,哪個(gè)預(yù)測(cè)被拒絕了以及拒絕的具體原因。同時(shí)應(yīng)當(dāng)注明,他的預(yù)測(cè)哪一部分是思考,哪一部分是根據(jù)不充分?jǐn)?shù)據(jù)所作的推斷。

    研究人員在編制量表以獲取數(shù)據(jù)時(shí)需要注意選擇合適的樣本,樣本應(yīng)具有代表性且與研究主題相吻合。KouRcros,Nahm,Cheng和Lai(2007)在對(duì)組織設(shè)計(jì)構(gòu)思的法則關(guān)系的實(shí)證評(píng)估中,通過(guò)選擇特定的產(chǎn)業(yè)獲取了充分大的樣本容量,同時(shí)這些產(chǎn)業(yè)也是非常重要的。通過(guò)進(jìn)入這些產(chǎn)業(yè),研究人員能更好地觀察到各種措施的成效,并且對(duì)相關(guān)構(gòu)思的法則關(guān)系有了更清晰的認(rèn)識(shí)。

    5未來(lái)研究的展望

    法則關(guān)系自從20世紀(jì)50年代Cronbach和Meehl提出以后,很長(zhǎng)一段時(shí)間內(nèi),其并沒(méi)有進(jìn)入廣大研究者的視野,直到上個(gè)世紀(jì)80年代,才漸漸有學(xué)者借助法則關(guān)系來(lái)進(jìn)行科學(xué)研究。之后,其研究范圍不斷擴(kuò)大,研究方法也不斷更新,但多數(shù)是在實(shí)證上的研究,而理論上的研究則相對(duì)滯后。伴隨著研究的推進(jìn),也漸漸凸顯了本文所論述到的一些問(wèn)題。根據(jù)對(duì)以往研究成果以及存在問(wèn)題的梳理分析,我們認(rèn)為未來(lái)的研究趨勢(shì)如下:

    (1)在理論研究與實(shí)證研究互動(dòng)的基礎(chǔ)上,進(jìn)一步廓清法則關(guān)系的理論框架。理論上,目前涉及的學(xué)者很少,仍然處于模糊混沌階段,很多方面還沒(méi)有取得一致的結(jié)論,可以說(shuō)目前法則關(guān)系方法的研究只是揭開了冰山一角。未來(lái)還需要開展大量的實(shí)證研究來(lái)檢驗(yàn)現(xiàn)有的一些理論假設(shè),并且在理論上繼續(xù)深入下去。同時(shí)在理論研究與實(shí)證研究的互動(dòng)中逐步構(gòu)建起法則關(guān)系方法的體系框架。

    (2)借助法則關(guān)系來(lái)有效地開發(fā)以及驗(yàn)證相應(yīng)的測(cè)量工具。在人力資源領(lǐng)域中,借助于法則關(guān)系,研究人員可以更深入地探尋各相關(guān)構(gòu)思以及構(gòu)思內(nèi)部各維度之間的關(guān)系。認(rèn)知理論、公平理論等社會(huì)學(xué)與心理學(xué)的理論為研究人員設(shè)計(jì)薪酬、開發(fā)有效績(jī)效測(cè)評(píng)工具及探尋內(nèi)在規(guī)律提供重要的理論指導(dǎo)。從法則關(guān)系中各構(gòu)思之間的關(guān)系及彼此形成的互動(dòng)過(guò)程來(lái)看,引入博弈論、戰(zhàn)略管理和現(xiàn)代信息經(jīng)濟(jì)學(xué)等相關(guān)理論,運(yùn)用多學(xué)科理論探析法則關(guān)系的構(gòu)建與影響機(jī)制,將可以成為對(duì)法則關(guān)系進(jìn)行系統(tǒng)研究的重要趨勢(shì)。

    (3)探索法則關(guān)系方法效度的影響因素。目前對(duì)于法則關(guān)系效度來(lái)源以及效度影響因素的理解還很淺顯。雖然之前的文章為理解法則關(guān)系方法的效度影響因素提供了一些線索,但是有關(guān)法則關(guān)系效度影響的研究還相當(dāng)缺乏?,F(xiàn)存的一些有關(guān)效度影響因素的實(shí)證研究還主要停留在測(cè)驗(yàn)的呈現(xiàn)方式上,而很少涉及采用法則關(guān)系方法的測(cè)驗(yàn)類型及其開發(fā)模式對(duì)于效度的影響。此外,由于對(duì)法則關(guān)系方法的研究還處于初步階段,現(xiàn)今主要借助于結(jié)構(gòu)方程模型以及LISREL、SPSS、SAS等軟件進(jìn)行研究。隨著統(tǒng)計(jì)學(xué)的發(fā)展與進(jìn)步,我們可否將其他更為有效的工具應(yīng)用于法則關(guān)系的探索?這個(gè)問(wèn)題值得進(jìn)一步地研究。

    (4)進(jìn)行跨文化相關(guān)的研究。社會(huì)文化對(duì)我們?nèi)说乃枷?、行為產(chǎn)生很重要的影響,進(jìn)而也影響到法則關(guān)系中的構(gòu)思。到目前為止,我們尚未發(fā)現(xiàn)文化差異背景下有關(guān)法則關(guān)系的研究。此外,諸如結(jié)合法則關(guān)系方法開發(fā)與驗(yàn)證的測(cè)量工具是否也具有跨文化適用性等等,未來(lái)可以在這些方向上作深入地探索。

    總的來(lái)看,在本文目前研究的基礎(chǔ)上,法則關(guān)系方法還是一個(gè)較新的研究領(lǐng)域。在今后相當(dāng)長(zhǎng)的時(shí)間內(nèi),上面所列出的這些趨勢(shì)指出了我們研究法則關(guān)系的方向。研究人員還需進(jìn)行大量的研究來(lái)進(jìn)一步發(fā)展、完善該方法。

    麻豆精品久久久久久蜜桃| 亚洲欧美一区二区三区国产| 男男h啪啪无遮挡| 美女被艹到高潮喷水动态| av在线亚洲专区| 亚洲av国产av综合av卡| 在线观看av片永久免费下载| 国产精品久久久久久精品电影| 成人特级av手机在线观看| 91在线精品国自产拍蜜月| 欧美成人a在线观看| 少妇人妻精品综合一区二区| 一级片'在线观看视频| 国产一区二区在线观看日韩| 国产av不卡久久| 美女xxoo啪啪120秒动态图| 激情 狠狠 欧美| 国产高清有码在线观看视频| 午夜福利视频1000在线观看| 免费观看的影片在线观看| 在线免费十八禁| 国产精品熟女久久久久浪| 中文乱码字字幕精品一区二区三区| 国产美女午夜福利| 免费看日本二区| 老师上课跳d突然被开到最大视频| 联通29元200g的流量卡| 欧美高清成人免费视频www| 特级一级黄色大片| 99精国产麻豆久久婷婷| 国产永久视频网站| 亚洲熟女精品中文字幕| 国产成年人精品一区二区| 久久久精品欧美日韩精品| 免费观看无遮挡的男女| 97热精品久久久久久| 久久国内精品自在自线图片| 18禁裸乳无遮挡免费网站照片| 日韩亚洲欧美综合| 中文字幕人妻熟人妻熟丝袜美| 国产白丝娇喘喷水9色精品| 亚洲精品日韩av片在线观看| 男男h啪啪无遮挡| 亚洲不卡免费看| 少妇高潮的动态图| 自拍偷自拍亚洲精品老妇| 日韩精品有码人妻一区| 亚洲国产精品专区欧美| 久久99热这里只有精品18| 亚洲av电影在线观看一区二区三区 | 18禁在线无遮挡免费观看视频| 中文字幕亚洲精品专区| 一个人看的www免费观看视频| 久久久久精品久久久久真实原创| 好男人视频免费观看在线| 国产黄色视频一区二区在线观看| 日韩一区二区三区影片| 久久人人爽人人片av| 亚洲国产色片| 少妇熟女欧美另类| 又爽又黄a免费视频| 80岁老熟妇乱子伦牲交| 免费大片黄手机在线观看| 国产成人精品久久久久久| 亚洲天堂av无毛| 亚州av有码| 一级毛片久久久久久久久女| 国语对白做爰xxxⅹ性视频网站| 久久精品国产亚洲网站| 久久久久久久久久久丰满| 欧美变态另类bdsm刘玥| 黄色日韩在线| 日本与韩国留学比较| 精品人妻视频免费看| 久久99精品国语久久久| 可以在线观看毛片的网站| 赤兔流量卡办理| 免费av不卡在线播放| 91久久精品电影网| 日本wwww免费看| 亚洲精品久久午夜乱码| 国产亚洲一区二区精品| 亚洲三级黄色毛片| 身体一侧抽搐| 精华霜和精华液先用哪个| 亚洲精品国产色婷婷电影| 一区二区三区乱码不卡18| 丝瓜视频免费看黄片| 伊人久久精品亚洲午夜| 久久久久久九九精品二区国产| 最新中文字幕久久久久| 男女国产视频网站| 国模一区二区三区四区视频| 啦啦啦啦在线视频资源| 亚洲三级黄色毛片| 三级男女做爰猛烈吃奶摸视频| 国产精品成人在线| 97在线视频观看| 97热精品久久久久久| 91精品国产九色| 久久久久久久国产电影| 亚洲精品一二三| 国产av码专区亚洲av| 男女啪啪激烈高潮av片| 国产精品久久久久久精品电影| 欧美少妇被猛烈插入视频| 久久午夜福利片| 色视频www国产| 国产成人精品一,二区| 国产精品一区二区在线观看99| 亚洲真实伦在线观看| 国产成人91sexporn| 国产av不卡久久| 免费观看性生交大片5| 亚洲精品成人av观看孕妇| 老师上课跳d突然被开到最大视频| 亚洲性久久影院| 亚洲av日韩在线播放| 免费看a级黄色片| 99久久中文字幕三级久久日本| 偷拍熟女少妇极品色| 啦啦啦啦在线视频资源| 熟女av电影| 亚洲第一区二区三区不卡| 视频区图区小说| 欧美性感艳星| 嫩草影院精品99| 99久久精品国产国产毛片| 99热6这里只有精品| 老师上课跳d突然被开到最大视频| 特级一级黄色大片| 神马国产精品三级电影在线观看| 国产黄a三级三级三级人| 精品久久久久久久末码| 狂野欧美激情性bbbbbb| 涩涩av久久男人的天堂| 欧美变态另类bdsm刘玥| 免费观看av网站的网址| 视频区图区小说| 久久99热这里只频精品6学生| 久久久国产一区二区| 精品久久久久久久久亚洲| 久久精品综合一区二区三区| 久久久色成人| 久久精品熟女亚洲av麻豆精品| 寂寞人妻少妇视频99o| 各种免费的搞黄视频| 美女内射精品一级片tv| 亚洲人成网站在线播| 国产精品一区二区三区四区免费观看| 国产爽快片一区二区三区| 久久久欧美国产精品| 男人舔奶头视频| 国产精品国产三级国产av玫瑰| 亚洲欧美日韩卡通动漫| 亚洲不卡免费看| 国产毛片在线视频| 你懂的网址亚洲精品在线观看| 精华霜和精华液先用哪个| 嫩草影院精品99| 99热这里只有是精品在线观看| 精品久久久噜噜| 黄色配什么色好看| 大话2 男鬼变身卡| 一个人看视频在线观看www免费| 亚洲精品乱码久久久久久按摩| 大码成人一级视频| 老司机影院成人| 亚洲av中文字字幕乱码综合| 国产爱豆传媒在线观看| 久久久久久国产a免费观看| 亚洲婷婷狠狠爱综合网| 国产大屁股一区二区在线视频| 亚洲欧美日韩东京热| 又爽又黄无遮挡网站| 亚洲精品自拍成人| 日本色播在线视频| 国产高清有码在线观看视频| 免费在线观看成人毛片| 直男gayav资源| 欧美+日韩+精品| 中文字幕av成人在线电影| 国产亚洲91精品色在线| 18禁裸乳无遮挡免费网站照片| 免费看日本二区| 人人妻人人看人人澡| 肉色欧美久久久久久久蜜桃 | 日韩成人av中文字幕在线观看| 欧美成人一区二区免费高清观看| 三级国产精品片| 在线观看人妻少妇| 人妻制服诱惑在线中文字幕| 日韩av在线免费看完整版不卡| 国产成人91sexporn| av国产久精品久网站免费入址| 亚洲成人久久爱视频| 日韩视频在线欧美| 国产毛片在线视频| 制服丝袜香蕉在线| 亚洲自拍偷在线| 日日撸夜夜添| 18禁在线播放成人免费| 99久久精品国产国产毛片| 欧美丝袜亚洲另类| 国产大屁股一区二区在线视频| 久久久久久久久久成人| 一级毛片黄色毛片免费观看视频| 亚洲成人中文字幕在线播放| 欧美性猛交╳xxx乱大交人| 免费观看无遮挡的男女| 久久人人爽av亚洲精品天堂 | 亚洲av免费在线观看| 精品一区在线观看国产| 又粗又硬又长又爽又黄的视频| 久久久成人免费电影| 欧美性猛交╳xxx乱大交人| 男女边吃奶边做爰视频| 色播亚洲综合网| 久久久久网色| 麻豆精品久久久久久蜜桃| 黄色欧美视频在线观看| 日日摸夜夜添夜夜添av毛片| 欧美三级亚洲精品| av播播在线观看一区| 在线观看三级黄色| 欧美xxxx黑人xx丫x性爽| 女人被狂操c到高潮| 成人综合一区亚洲| 一个人看的www免费观看视频| 看非洲黑人一级黄片| 国产黄片视频在线免费观看| 欧美一级a爱片免费观看看| 插逼视频在线观看| 99久久中文字幕三级久久日本| 欧美zozozo另类| 免费看日本二区| 伦精品一区二区三区| 五月伊人婷婷丁香| 日日摸夜夜添夜夜爱| 高清毛片免费看| 全区人妻精品视频| 精品午夜福利在线看| 简卡轻食公司| 精品久久久久久久人妻蜜臀av| 欧美精品一区二区大全| 少妇的逼好多水| 性色avwww在线观看| 亚洲图色成人| 波野结衣二区三区在线| 亚洲精品成人久久久久久| 久久久久久国产a免费观看| 在线免费观看不下载黄p国产| 99热这里只有是精品50| 亚洲国产日韩一区二区| 精品人妻视频免费看| 国产av不卡久久| 日日摸夜夜添夜夜爱| 人妻少妇偷人精品九色| 精品99又大又爽又粗少妇毛片| 一级毛片aaaaaa免费看小| 免费看光身美女| 国产成人精品久久久久久| av免费观看日本| 18禁在线播放成人免费| 国产中年淑女户外野战色| 99久久精品一区二区三区| 久久久久久九九精品二区国产| 亚洲欧美日韩无卡精品| 久久99精品国语久久久| 最近手机中文字幕大全| 亚洲天堂av无毛| 精品久久久久久久久av| 婷婷色综合www| 亚洲av在线观看美女高潮| 大香蕉久久网| av国产免费在线观看| 日本av手机在线免费观看| 日韩 亚洲 欧美在线| 国产色婷婷99| 老司机影院毛片| 亚洲精品视频女| 成人国产av品久久久| 只有这里有精品99| 狂野欧美激情性xxxx在线观看| av女优亚洲男人天堂| 联通29元200g的流量卡| av网站免费在线观看视频| 97在线视频观看| 好男人在线观看高清免费视频| 日本一二三区视频观看| 最近最新中文字幕大全电影3| 亚洲成人av在线免费| 在线观看国产h片| 亚洲久久久久久中文字幕| 日韩一本色道免费dvd| 久久久久久久精品精品| 晚上一个人看的免费电影| 免费看不卡的av| 菩萨蛮人人尽说江南好唐韦庄| 青春草国产在线视频| 尾随美女入室| 国产精品久久久久久精品电影| 亚洲综合精品二区| 日韩欧美一区视频在线观看 | 日本黄色片子视频| 亚洲电影在线观看av| 激情 狠狠 欧美| 成人亚洲精品av一区二区| 波野结衣二区三区在线| a级毛片免费高清观看在线播放| 黄色视频在线播放观看不卡| 一个人看的www免费观看视频| 日韩大片免费观看网站| 国产成人a∨麻豆精品| 国产男女内射视频| 日韩免费高清中文字幕av| 亚洲图色成人| 亚洲经典国产精华液单| 精品国产三级普通话版| 毛片女人毛片| 久久精品国产亚洲网站| 丝袜喷水一区| 亚洲无线观看免费| 麻豆久久精品国产亚洲av| 国产精品福利在线免费观看| 久久久久久久午夜电影| 免费观看性生交大片5| 一级av片app| 一级爰片在线观看| h日本视频在线播放| 亚洲av福利一区| 欧美日韩精品成人综合77777| 久久久久久久午夜电影| 国产黄色视频一区二区在线观看| 国产欧美日韩精品一区二区| 日韩一本色道免费dvd| 国产一区二区亚洲精品在线观看| 亚洲性久久影院| 男人舔奶头视频| 欧美性感艳星| 超碰97精品在线观看| 18+在线观看网站| 蜜臀久久99精品久久宅男| 一级a做视频免费观看| 亚洲综合精品二区| 日本一本二区三区精品| 国产精品一区二区在线观看99| 美女主播在线视频| 成人漫画全彩无遮挡| 久久久久久久大尺度免费视频| 国产成人精品久久久久久| 亚洲最大成人av| 直男gayav资源| 美女脱内裤让男人舔精品视频| 亚洲欧美成人综合另类久久久| 青青草视频在线视频观看| 国产亚洲一区二区精品| 日韩在线高清观看一区二区三区| 在线观看av片永久免费下载| 高清av免费在线| 国产人妻一区二区三区在| 日韩欧美一区视频在线观看 | 久久精品久久精品一区二区三区| a级毛片免费高清观看在线播放| 男人狂女人下面高潮的视频| 国产精品一区二区性色av| 一级二级三级毛片免费看| 国产91av在线免费观看| 久久久亚洲精品成人影院| 啦啦啦在线观看免费高清www| 亚洲熟女精品中文字幕| 亚洲av一区综合| 中文字幕免费在线视频6| 国产午夜福利久久久久久| 夫妻午夜视频| 干丝袜人妻中文字幕| 全区人妻精品视频| av一本久久久久| 国产一级毛片在线| 老司机影院毛片| 97超视频在线观看视频| 国产淫语在线视频| 免费观看在线日韩| 国产黄a三级三级三级人| 免费看av在线观看网站| 欧美日韩综合久久久久久| 日本猛色少妇xxxxx猛交久久| 性色av一级| 免费看光身美女| 国产伦精品一区二区三区视频9| 亚洲精品国产av成人精品| 免费av观看视频| 日韩不卡一区二区三区视频在线| 简卡轻食公司| 九九在线视频观看精品| 69人妻影院| 国产成人a区在线观看| 亚洲熟女精品中文字幕| 嫩草影院入口| 成人综合一区亚洲| 久久久午夜欧美精品| 欧美激情在线99| 国产 一区 欧美 日韩| 欧美三级亚洲精品| 亚洲内射少妇av| 亚洲成人一二三区av| 在线a可以看的网站| 国产男女内射视频| 婷婷色av中文字幕| 三级男女做爰猛烈吃奶摸视频| 大码成人一级视频| 狂野欧美白嫩少妇大欣赏| 久久久久久久久久成人| 亚洲国产精品专区欧美| 人妻少妇偷人精品九色| 99re6热这里在线精品视频| 亚洲av免费在线观看| 日韩亚洲欧美综合| 国产一区有黄有色的免费视频| 亚洲精品aⅴ在线观看| 自拍欧美九色日韩亚洲蝌蚪91 | 亚洲国产精品国产精品| 国产黄片美女视频| 中国三级夫妇交换| 国模一区二区三区四区视频| 日日啪夜夜爽| 汤姆久久久久久久影院中文字幕| 久久97久久精品| 99热这里只有精品一区| 午夜福利网站1000一区二区三区| 成人漫画全彩无遮挡| 精品亚洲乱码少妇综合久久| 亚洲电影在线观看av| 久久ye,这里只有精品| 国产精品伦人一区二区| 人体艺术视频欧美日本| 欧美国产精品一级二级三级 | 美女主播在线视频| 国模一区二区三区四区视频| 一级毛片aaaaaa免费看小| 2021天堂中文幕一二区在线观| av卡一久久| 精品久久久噜噜| 国产一区二区三区av在线| 王馨瑶露胸无遮挡在线观看| 久久久久久久亚洲中文字幕| 欧美日韩在线观看h| 日韩欧美精品免费久久| 99久久精品一区二区三区| 精华霜和精华液先用哪个| 春色校园在线视频观看| 亚洲精品一二三| www.色视频.com| 水蜜桃什么品种好| 看免费成人av毛片| 久久人人爽人人爽人人片va| 欧美成人精品欧美一级黄| 午夜福利网站1000一区二区三区| 一区二区三区四区激情视频| 联通29元200g的流量卡| 麻豆成人av视频| 亚洲精品,欧美精品| 日本一二三区视频观看| 亚洲,欧美,日韩| 国产成人精品婷婷| 亚洲成人一二三区av| 亚洲电影在线观看av| 18禁在线播放成人免费| 免费黄频网站在线观看国产| 亚洲精品乱码久久久久久按摩| 欧美xxxx黑人xx丫x性爽| 中国美白少妇内射xxxbb| 免费电影在线观看免费观看| 久久久久精品性色| 你懂的网址亚洲精品在线观看| 午夜福利视频精品| 国产午夜精品一二区理论片| 2018国产大陆天天弄谢| 中文字幕亚洲精品专区| 日韩一本色道免费dvd| 亚洲高清免费不卡视频| 日韩成人伦理影院| 国产精品一及| 亚洲av不卡在线观看| 亚洲电影在线观看av| av在线天堂中文字幕| 亚洲精品456在线播放app| 三级国产精品欧美在线观看| 亚洲精品久久午夜乱码| 黄色欧美视频在线观看| 五月伊人婷婷丁香| 少妇 在线观看| 午夜福利在线观看免费完整高清在| 综合色丁香网| 国产高清三级在线| 2021天堂中文幕一二区在线观| 最近手机中文字幕大全| 亚洲欧美日韩东京热| 丰满乱子伦码专区| 国产一区有黄有色的免费视频| av免费观看日本| 少妇人妻精品综合一区二区| 国产女主播在线喷水免费视频网站| 听说在线观看完整版免费高清| 日本一本二区三区精品| 黄片wwwwww| 熟女人妻精品中文字幕| 波野结衣二区三区在线| 久久影院123| 国产欧美日韩精品一区二区| 国产成人免费观看mmmm| 久热久热在线精品观看| 22中文网久久字幕| 婷婷色综合www| 国产精品一区二区在线观看99| 嫩草影院精品99| 亚洲人成网站在线观看播放| 久久久精品94久久精品| 可以在线观看毛片的网站| 一级毛片电影观看| 国产亚洲午夜精品一区二区久久 | 只有这里有精品99| 女的被弄到高潮叫床怎么办| 99热国产这里只有精品6| 99久久精品国产国产毛片| 交换朋友夫妻互换小说| 在线免费观看不下载黄p国产| 国内少妇人妻偷人精品xxx网站| 国产 精品1| 只有这里有精品99| 精品99又大又爽又粗少妇毛片| 国内揄拍国产精品人妻在线| 免费黄频网站在线观看国产| 亚洲av免费在线观看| 国产精品麻豆人妻色哟哟久久| 99久久中文字幕三级久久日本| 亚洲av成人精品一区久久| 国产午夜精品一二区理论片| 搡女人真爽免费视频火全软件| 午夜精品国产一区二区电影 | 亚洲美女视频黄频| 欧美 日韩 精品 国产| av播播在线观看一区| 最近的中文字幕免费完整| 1000部很黄的大片| 99久久精品国产国产毛片| 欧美区成人在线视频| av卡一久久| 三级经典国产精品| 女人十人毛片免费观看3o分钟| 国产伦在线观看视频一区| 中国国产av一级| 久久亚洲国产成人精品v| 搡老乐熟女国产| 国产高清三级在线| 亚洲av成人精品一二三区| 久久精品国产亚洲av天美| 日韩一本色道免费dvd| 禁无遮挡网站| 三级国产精品欧美在线观看| 六月丁香七月| 日韩,欧美,国产一区二区三区| 亚洲,一卡二卡三卡| 欧美老熟妇乱子伦牲交| 少妇的逼好多水| 欧美变态另类bdsm刘玥| 亚洲自偷自拍三级| 亚洲国产精品国产精品| 草草在线视频免费看| 男人狂女人下面高潮的视频| av在线观看视频网站免费| 国产视频内射| 亚洲欧美日韩无卡精品| 欧美 日韩 精品 国产| 精品人妻视频免费看| 91精品国产九色| av国产免费在线观看| 中文字幕制服av| 久久精品久久久久久噜噜老黄| 欧美日韩亚洲高清精品| 欧美日韩精品成人综合77777| 18禁动态无遮挡网站| 又大又黄又爽视频免费| 九九爱精品视频在线观看| 一区二区av电影网| 别揉我奶头 嗯啊视频| 搡女人真爽免费视频火全软件| 成年av动漫网址| 99久久精品热视频| 国产真实伦视频高清在线观看| 亚洲欧美日韩卡通动漫| 免费看光身美女| 国产成人免费无遮挡视频| 免费av不卡在线播放| 2021少妇久久久久久久久久久| 我的老师免费观看完整版| 国产精品熟女久久久久浪| 国产精品一区二区性色av| 久久久久网色| 国产男女超爽视频在线观看| 91精品伊人久久大香线蕉| 久久久久久久久久人人人人人人| 国产免费一区二区三区四区乱码| 欧美最新免费一区二区三区| 午夜老司机福利剧场| 欧美三级亚洲精品| 成年人午夜在线观看视频| 亚洲av欧美aⅴ国产| 97精品久久久久久久久久精品| 国产极品天堂在线| 成人二区视频| 久久久久精品久久久久真实原创| 日本三级黄在线观看| 亚洲一级一片aⅴ在线观看| 成年女人在线观看亚洲视频 |