• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    重新審視《特爾斐報(bào)告》中批判性思維界定的專家共識

    2022-06-25 03:08:32李莉文黃永亮
    外國語文 2022年3期
    關(guān)鍵詞:研究法特爾界定

    李莉文黃永亮

    (1. 北京外國語大學(xué) 教務(wù)處,北京 100089;2.河北師范大學(xué) 外國語學(xué)院,河北 石家莊 050024)

    0 引言

    《特爾斐報(bào)告》(TheDelphiReport)是指《批判性思維——以教育評估和教學(xué)為目的的專家共識聲明》(CriticalThinking:AStatementofExpertConsensusforPurposesofEducationalAssessmentandInstruction),因該成果的研究過程始終采用特爾斐研究法(Delphi method)而得名。有觀點(diǎn)認(rèn)為,《特爾斐報(bào)告》中批判性思維的界定是兩個(gè)最具影響的批判性思維定義之一(武宏志,2004),是批判性思維研究的“里程碑”(Davies et al.,2015:10),對世界范圍內(nèi)的教育機(jī)構(gòu)、政府部門、商業(yè)團(tuán)體等都有著深遠(yuǎn)的影響(Facione,2015)。

    《特爾斐報(bào)告》中批判性思維的定義大致是21世紀(jì)初引入我國教育領(lǐng)域的。岳曉東(2000)在考察西方學(xué)者對批判性思維的認(rèn)識及其研究時(shí),介紹了《特爾斐報(bào)告》中批判性思維的界定及內(nèi)涵。洪淑媛(2003)在介紹西方批判性思維概念時(shí),簡單提及了《特爾斐報(bào)告》中批判性思維的定義。武宏志(2004)在介紹《特爾斐報(bào)告》中批判性思維的界定和內(nèi)涵的同時(shí),簡要提及了《特爾斐報(bào)告》研制所運(yùn)用的特爾斐研究法。《特爾斐報(bào)告》中批判性思維的定義對我國外語教育領(lǐng)域的影響尤為深刻,批判性思維能力的培養(yǎng)已在外語教育中占有重要位置。以文秋芳教授為代表的學(xué)者,將《特爾斐報(bào)告》中批判性思維界定的認(rèn)知能力(cognitive skills)和情感特質(zhì)(affective dispositions)“雙維結(jié)構(gòu)模型”(文秋芳,2008:30)作為重要的理論支撐,構(gòu)建了高層次思維能力層級理論模型(文秋芳,2008),以及修訂后的思辨能力層級理論模型(文秋芳 等,2009;文秋芳,2012),并據(jù)此進(jìn)行了歷時(shí)十余年的系列研究。我國《普通高等學(xué)校本科專業(yè)類教學(xué)質(zhì)量國家標(biāo)準(zhǔn)》(教育部高等學(xué)校教學(xué)指導(dǎo)委員會)(2018)和《普通高等學(xué)校本科外國語言文學(xué)類專業(yè)教學(xué)指南》(教育部高等學(xué)校外國語言文學(xué)類專業(yè)教學(xué)指導(dǎo)委員會)(2020)以《特爾斐報(bào)告》中批判性思維的界定為藍(lán)本,從認(rèn)知能力和情感特質(zhì)兩個(gè)維度定義思辨能力,將其作為我國外國語言文學(xué)類教學(xué)質(zhì)量評價(jià)的關(guān)鍵指標(biāo)和該專業(yè)類學(xué)生培養(yǎng)的關(guān)鍵能力。馬利紅(2021)簡要介紹了特爾斐研究法,采用此法構(gòu)建了外語寫作思辨能力評價(jià)指標(biāo)。然而,目前國內(nèi)尚未見《特爾斐報(bào)告》的專項(xiàng)研究,亦未見對特爾斐研究法的專門探討。因此,有必要全面、清晰地了解《特爾斐報(bào)告》的目標(biāo)、共識和方法,這也有助于30余年前發(fā)布的《特爾斐報(bào)告》更好地服務(wù)于我國外語教育事業(yè)。

    1 《特爾斐報(bào)告》的研制目標(biāo)

    《特爾斐報(bào)告》是隨著北美批判性思維運(yùn)動的深入開展而出現(xiàn)的研究成果。為了能夠較準(zhǔn)確地理解《特爾斐報(bào)告》中批判性思維界定的專家共識,我們首先要了解報(bào)告研制的背景。

    依據(jù)理查德·保羅(Richard Paul)(2011)的考察,批判性思維的研究可分為三個(gè)階段:(1)20世紀(jì)70年代哲學(xué)家主導(dǎo)的形式邏輯和非形式邏輯階段,該階段聚焦論證邏輯結(jié)構(gòu)的確定和論證過程的評價(jià);(2)始于20世紀(jì)80年代教育領(lǐng)域?qū)<覐V泛參與的、關(guān)注學(xué)習(xí)者個(gè)體發(fā)展的階段,該階段逐漸聚焦批判性思維與態(tài)度、情感、直覺、創(chuàng)造性等個(gè)體特征的關(guān)系,開始關(guān)注學(xué)習(xí)者自身;(3)21世紀(jì)方興未艾的批判性思維理論發(fā)展的階段,該階段側(cè)重批判性思維理論的建構(gòu)。上述階段既相對獨(dú)立,又不乏重疊之處。

    《特爾斐報(bào)告》的研制過程正值批判性思維研究開始關(guān)注學(xué)習(xí)者個(gè)體發(fā)展的階段,該階段迎來了批判性思維研究的新勢頭:大學(xué)開設(shè)批判性思維課程,中小學(xué)課程規(guī)劃中設(shè)置批判性思維教育目標(biāo),批判性思維教材和教師隊(duì)伍的批判性思維培訓(xùn)項(xiàng)目增長迅速。到80年代末,批判性思維已徹底告別“作坊手工業(yè)”時(shí)代(Facione,1990:2)。隨著批判性思維運(yùn)動的蓬勃開展,北美教育領(lǐng)域?qū)ε行运季S研究萌生了新的期待。這主要表現(xiàn)為:(1)批判性思維教學(xué)應(yīng)聚焦學(xué)習(xí)者如何解決問題及其推理過程;(2)批判性思維教育應(yīng)關(guān)注優(yōu)秀的批判性思維者應(yīng)具備的認(rèn)知技能和情感特質(zhì);(3)批判性思維評測應(yīng)側(cè)重學(xué)習(xí)者得出答案的批判性思維過程的質(zhì)量,而非僅僅停留在問題的答案正確與否(Facione,1990)。也就是說,要厘清批判性思維的界定、批判性思維教育涵蓋的典型技能與特質(zhì)、批判性思維教學(xué)的有效途徑,以及如何在更大的范圍內(nèi)評測批判性思維。為此,《特爾斐報(bào)告》將研制目標(biāo)設(shè)定為:提供一個(gè)“足夠清晰、準(zhǔn)確、豐富的批判性思維界定”(Facione,1990:6),以此“指導(dǎo)各學(xué)段的批判性思維測評與相關(guān)課程的開發(fā)”(Facione,1990:6)。為了達(dá)成上述目標(biāo),美國哲學(xué)學(xué)會下設(shè)的大學(xué)入學(xué)前階段哲學(xué)委員會(The Committee on Pre-College Philosophy)于1987年委托彼得·費(fèi)希萬(Peter A. Facione)教授牽頭組織哲學(xué)、教育、社會科學(xué)和自然科學(xué)等四個(gè)領(lǐng)域的批判性思維專家(1)逾半數(shù)參與調(diào)研的批判性思維專家來自哲學(xué)研究領(lǐng)域,占比52%;其余三個(gè)領(lǐng)域的專家依次為教育領(lǐng)域?qū)<?占比22%)、社會科學(xué)領(lǐng)域?qū)<?占比20%)和自然科學(xué)領(lǐng)域?qū)<?占比6%)(Facione,1990:34)。這也從側(cè)面反映出批判性思維運(yùn)動發(fā)展到了哲學(xué)領(lǐng)域?qū)<抑鲗?dǎo)、教育領(lǐng)域?qū)<逸^廣泛參與的階段。,就批判性思維及其教學(xué)與測評展開了系統(tǒng)的調(diào)查研究。該研究于1988年2月啟動,1989年11月結(jié)束,歷時(shí)近兩年,整個(gè)研究過程始終采用特爾斐研究法。

    2 《特爾斐報(bào)告》中的專家共識及其解讀

    《特爾斐報(bào)告》是1990年發(fā)布的。報(bào)告由批判性思維運(yùn)動與批判性思維測評、研究方法與研究目的、批判性思維的認(rèn)知技能維度、批判性思維的特質(zhì)維度、批判性思維教學(xué)與測評的相關(guān)建議、特爾斐研究專家團(tuán)隊(duì)成員等六個(gè)章節(jié),以及批判性思維商用測評工具、側(cè)重批判性思維測評的參考文獻(xiàn)、《特爾斐報(bào)告》研究過程中的往來信件等三則附錄構(gòu)成。

    2.1 《特爾斐報(bào)告》中的專家共識

    《特爾斐報(bào)告》專門列出了七個(gè)相關(guān)表格,其中包括四個(gè)專家共識意見表,分別是表1“關(guān)于批判性思維和理想批判性思維者的共識聲明”、表3“批判性思維認(rèn)知技能及其子技能的共識清單”、表4“核心批判性思維技能及其子技能的共識描述”和表6“批判性思維技能教學(xué)與評測的共識聲明”。報(bào)告也呈現(xiàn)了表2“項(xiàng)目的研究過程”和表7“參與調(diào)查研究的專家組成員”。報(bào)告還列出了表5“批判性思維的情感特質(zhì)”,涵蓋“對待生命和生活的總體方式”和“對待特定事件、疑問和難題的方式”兩個(gè)方面(Facione,1990:25)。需要特別指出的是,報(bào)告描述表5并未使用“共識”這一表述。也就是說,表5并非專家共識,這一點(diǎn)得到了《特爾斐報(bào)告》牽頭人費(fèi)希萬教授的確認(rèn)(2)費(fèi)希萬教授在2020年8月19日的確認(rèn)郵件中指出:“With regard to Table 5, you would be correct in thinking that the experts did not reach consensus.”。上述專家共識意見表中,表1“關(guān)于批判性思維和理想批判性思維者的共識聲明”是我國外語教育領(lǐng)域關(guān)注的焦點(diǎn)。

    表1 關(guān)于批判性思維和理想批判性思維者的共識聲明(Consensus Statement Regarding Critical Thinking and The Ideal Critical Thinker)(Facione,1990:3)(3) 表2—表7原文請參見Critical Thinking:A Statement of Expert Consensus for Purposes of Educational Assessment and Instruction. Research Findings and Recommendations(Facione, 1990:7-35)。

    從表1可見,《特爾斐報(bào)告》中批判性思維的界定是明確的,且為專家共識。依據(jù)專家共識意見,“批判性思維是有目的的、自我調(diào)整性的判斷”(Facione,1990:3)?!短貭栰硤?bào)告》指出:“這一判斷可促成對其所依據(jù)的論據(jù)、概念、方法、標(biāo)準(zhǔn)或背景等因素加以解釋、分析、評價(jià)、推論與闡釋。”(Facione,1990:3)專家共識意見也肯定了批判性思維至關(guān)重要的作用,認(rèn)為“批判性思維是必不可少的探究工具。就其自身而論,批判性思維是教育中的解放力量,為人們的個(gè)人生活和社會生活提供強(qiáng)力支撐。批判性思維雖非優(yōu)秀思維的代稱,但它確是一種人類普遍存在、自我矯正性的現(xiàn)象”(Facione,1990:3)。專家共識意見還認(rèn)為,批判性思維包括解釋、分析、評價(jià)、推論、闡釋和自我調(diào)整等六項(xiàng)核心認(rèn)知技能以及相應(yīng)的若干子技能?!短貭栰硤?bào)告》對上述核心技能及其子技能做了較為詳細(xì)的描述,且明確指出這是專家共識意見,這也可以從表3“批判性思維認(rèn)知技能及其子技能的共識清單”(Facione,1990:12)和表4“核心批判性思維技能及其子技能的共識描述”(Facione,1990:13)的表述中直觀地看出來??梢?《特爾斐報(bào)告》中批判性思維界定的專家共識未提及認(rèn)知技能和情感特質(zhì)的“雙維結(jié)構(gòu)”。

    2.2 《特爾斐報(bào)告》中批判性思維界定專家共識理解中的偏差

    《特爾斐報(bào)告》中的表1之后,有這樣一句表述:“如表1所示,該調(diào)查的一個(gè)重要結(jié)果是批判性思維專家組明確從認(rèn)知技能和情感特質(zhì)兩個(gè)維度來界定批判性思維?!?Facione,1990:3)《特爾斐報(bào)告》第三、四章還分別以“批判性思維的認(rèn)知技能維度”(Facione,1990:8)和“批判性思維的特質(zhì)維度”(Facione,1990:20)為標(biāo)題進(jìn)行闡述。據(jù)初步統(tǒng)計(jì),整個(gè)報(bào)告中“批判性思維的(認(rèn)知)技能維度”的表述出現(xiàn)約20次,“批判性思維的特質(zhì)維度”的表述出現(xiàn)約15次。這或許是外語學(xué)界認(rèn)為《特爾斐報(bào)告》中批判性思維界定中認(rèn)知技能和情感特質(zhì)的“雙維結(jié)構(gòu)”是專家共識的主要原因。

    事實(shí)上,《特爾斐報(bào)告》(Facione,1990:25)指出,“多數(shù)(61%)專家將上述情感特質(zhì)視作批判性思維界定的組成部分”,而其余專家則堅(jiān)持情感特質(zhì)并不在批判性思維界定的范疇之內(nèi)?!短貭栰硤?bào)告》也指出,“超過83%的專家組成員就優(yōu)秀的批判性思維者可能具備上述情感特質(zhì)達(dá)成了共識”(4)依據(jù)亞里什·達(dá)加尼(Jaris S.Dajani)、邁克爾·辛考夫(Michael Z. Sincoff)和韋恩·塔利(Wayne K. Talley)(1979:85)的觀點(diǎn),共識是指達(dá)到完全一致,未達(dá)到完全一致卻超過了半數(shù)則為多數(shù)。從這個(gè)意義上講,情感特質(zhì)屬于批判性思維者也非共識。此外,《特爾斐報(bào)告》明確指出,即使在同意批判性思維具有兩個(gè)維度的專家中,約三分之一的專家認(rèn)為應(yīng)該采用“特質(zhì)”而非“情感特質(zhì)”來表述這一概念(Facione,1990:21)。(Facione,1990:25)。換句話說,情感特質(zhì)屬于批判性思維者只是多數(shù)專家的意見,批判性思維界定中的情感特質(zhì)維度也不是專家共識,這一點(diǎn)也得到了費(fèi)希萬教授的確認(rèn)(5)費(fèi)希萬教授在2020年8月19日的確認(rèn)郵件中指出:“The majority regarded the dispositions as vitally important personal attributes. But the majority did not think that these dispositional elements should be part of the definition of ‘critical thinking’.”。

    情感特質(zhì)屬于批判性思維者,而非批判性思維?!短貭栰硤?bào)告》中的表1在批判性思維專家共識之后,詳細(xì)列出了理想批判性思維者(the ideal critical thinker)理應(yīng)具備的諸多特質(zhì),認(rèn)為“培養(yǎng)優(yōu)秀的批判性思維者就意味著朝著培養(yǎng)上述特質(zhì)的理想目標(biāo)而努力”(Facione,1990:3)。而要實(shí)現(xiàn)培養(yǎng)優(yōu)秀批判性思維者的目標(biāo),則需“將培養(yǎng)批判性思維技能和培養(yǎng)上述特質(zhì)結(jié)合起來,這些特質(zhì)能夠持續(xù)地萌生真知灼見,也是理性和民主社會之基”(Facione,1990:3)。這既明確了情感特質(zhì)為批判性思維者所有,又強(qiáng)調(diào)了情感特質(zhì)的重要價(jià)值。為此,報(bào)告以表格(表5)的形式呈現(xiàn)出優(yōu)秀批判性思維者所應(yīng)具備的情感特質(zhì)。同時(shí),《特爾斐報(bào)告》也指出,盡管描述批判性思維中的自我審視和自我修正離不開特質(zhì)成分,“但是大多數(shù)專家更希望將個(gè)體特征、思維習(xí)慣、態(tài)度或情感特質(zhì)用來描述優(yōu)秀的批判性思維者的特征”(Facione,1990:20)。這也為情感特質(zhì)屬于批判性思維者的結(jié)論提供了證據(jù)支撐。

    此外,報(bào)告表述的相悖之處也易誤導(dǎo)讀者。例如,報(bào)告指出,“專家組就優(yōu)秀的批判性思維者具備的情感特質(zhì)清單達(dá)成了共識。共識清單請見表5”(Facione,1990:20)。與之相應(yīng)的表5題名則赫然變成了“批判性思維的情感特質(zhì)”(Facione,1990:25),而非批判性思維者的情感特質(zhì)。

    由此可見,《特爾斐報(bào)告》在解讀批判性思維界定時(shí)存在歧義(6)這一點(diǎn)得到了費(fèi)希萬教授的認(rèn)同。費(fèi)希萬教授在2020年8月27日的確認(rèn)郵件中指出:“You are correct to see the ambiguity in the Delphi Report at a purely theoretical level.”,甚至存在相悖之處,這尤其表現(xiàn)在報(bào)告理想批判性思維者的情感特質(zhì)的表述中,給人們正確理解報(bào)告中批判性思維的內(nèi)涵制造了困難,使得不少研究者對批判性思維界定專家共識的理解出現(xiàn)了偏差,誤以為認(rèn)知技能和情感特質(zhì)兩個(gè)維度均為專家共識意見。

    3 從特爾斐研究法看《特爾斐報(bào)告》的定位

    有觀點(diǎn)認(rèn)為,《特爾斐報(bào)告》研制的參與專家人數(shù)多、研究過程持續(xù)時(shí)間長、討論輪次多,研究結(jié)論是專家組的集體智慧,因此,《特爾斐報(bào)告》中批判性思維定義中的認(rèn)知技能界定“更具科學(xué)性和權(quán)威性”(文秋芳,2008:30)、“肯定更具普遍性”(文秋芳 等,2009:41),《特爾斐報(bào)告》中批判性思維的定義“頗具權(quán)威性”(孫有中,2011:52)。事實(shí)上,要相對客觀地評價(jià)《特爾斐報(bào)告》中的批判性思維定義以及《特爾斐報(bào)告》的定位,需要我們更為深入地認(rèn)識特爾斐研究法。

    3.1特爾斐研究法概述

    如前所述,《特爾斐報(bào)告》是通過特爾斐研究法完成的。特爾斐研究法是指“通過專家組成員深入地回答系列調(diào)查問題與可控性意見反饋交互進(jìn)行的方式,旨在就調(diào)查問題獲得最可靠的專家意見共識的研究方法”(Dalkeyet al.,1963:458)。該方法是通過個(gè)人訪談或問卷調(diào)查的方式、并就調(diào)查問題多次單獨(dú)征詢專家組成員的意見而完成的。特爾斐研究法的實(shí)施流程大致如下:(1)確定研究目標(biāo)和研究問題,制定問題征詢單;(2)選定相關(guān)專家并向?qū)<医M成員發(fā)出問題征詢單;(3)收集、分析、評估專家意見,依據(jù)總結(jié)出的專家意見精心設(shè)計(jì)下一輪次的可控性反饋并發(fā)給專家組成員。如此迭代,達(dá)到預(yù)期目標(biāo)后,調(diào)查終止。特爾斐研究法的實(shí)施過程主要具有匿名性、可控性和統(tǒng)計(jì)性三個(gè)基本特點(diǎn)(Dalkey,1969)。其中,匿名性體現(xiàn)在調(diào)查通過問卷或其他正式交流渠道進(jìn)行,避免專家組成員直接相互見面??煽匦允侵笇⑶耙惠喆蔚恼{(diào)查結(jié)果進(jìn)行總結(jié)之后,再反饋給專家組成員進(jìn)行下一輪次的調(diào)查。這里反饋給專家組成員的總結(jié)意見也是匿名的。統(tǒng)計(jì)性則體現(xiàn)為研究者在調(diào)查的最后一輪匯總專家組成員的意見,經(jīng)過數(shù)據(jù)統(tǒng)計(jì)后,最終報(bào)告專家意見的相關(guān)數(shù)據(jù),確保專家組所有成員的意見得以呈現(xiàn)。特爾斐研究法實(shí)施過程中體現(xiàn)出的上述特點(diǎn),有助于“最大限度地降低專家組主導(dǎo)成員、與研究的無關(guān)交流和來自專家組趨向一致意見的壓力等因素帶來的偏誤影響”(Dalkey,1969:408)。

    特爾斐研究法旨在通過結(jié)構(gòu)化的小組交流解決復(fù)雜的問題(Linstone et al.,1975)?!短貭栰硤?bào)告》涉及的批判性思維問題即為復(fù)雜的問題,這體現(xiàn)在參與研究的專家數(shù)量、研究時(shí)長、函詢次數(shù)和討論輪數(shù)等方面。參與《特爾斐報(bào)告》撰寫的首批專家組成員是由大學(xué)入學(xué)前階段哲學(xué)委員會推薦給項(xiàng)目牽頭人費(fèi)希萬教授的。首批專家組成員又推薦了第二批相關(guān)專家,最終共46位被業(yè)界廣泛認(rèn)可的批判性思維教學(xué)專家、批判性思維測評專家和批判性思維理論研究專家組成了專家組?!短貭栰硤?bào)告》展示了專家組采用特爾斐研究法歷時(shí)近兩年,借助16次函詢,歷經(jīng)六輪數(shù)回合而達(dá)成的書面“共識”意見。

    3.2對特爾斐研究法的再認(rèn)識

    特爾斐研究法自1948年用于提高賽馬結(jié)果預(yù)測的準(zhǔn)確率(Pill,1971)以來,至今已有逾70年的歷史。特爾斐研究法采用集思廣益的方式,“旨在解決現(xiàn)有知識暫無法明確解決的問題”(Dalkey,1969:408)。該方法主要靠的是專家組成員的已有經(jīng)驗(yàn)和直覺判斷。特爾斐研究法采用匿名的方式讓專家組成員間的交流成為可控性互動,意在避免相左觀點(diǎn)通過專家圓桌討論等傳統(tǒng)方式直接交鋒帶來的弊端,有助于專家進(jìn)行獨(dú)立思考,也有助于專家提出深思熟慮的意見(Dalkeyet al.,1963)。同時(shí),特爾斐研究法是一種理論依據(jù)顯而易見、流程系統(tǒng)易于理解、快捷、方便、成本低的研究方法,可用于幾乎任何領(lǐng)域來征求專家意見,確定專家共識(Sackman,1976)。不過,特爾斐研究法的使用是一個(gè)極為復(fù)雜且要求很高的過程。首先,在使用特爾斐研究法時(shí)要特別注意調(diào)查問卷的設(shè)計(jì)、專家組成員的選擇,以及確保專家答復(fù)方式的有效性、防止出現(xiàn)專家光環(huán)效應(yīng)等技術(shù)問題(Sackman,1976)。以調(diào)查問卷的設(shè)計(jì)為例。要設(shè)計(jì)調(diào)查問卷,首先要完整回顧相關(guān)文獻(xiàn)、檢驗(yàn)構(gòu)念效度,確保所選問題的系統(tǒng)性,并對調(diào)查問題進(jìn)行試測和項(xiàng)目分析。其次,在各輪次給專家組的反饋信息應(yīng)避免研究者的個(gè)人偏好(Dalkeyet et al., 1963)。反饋信息主要包括兩類:一是備好的專家組某一成員事先要求準(zhǔn)備的資料,二是專家組成員在研究過程中所建議的潛在相關(guān)因素。對于后者,反饋信息往往很難做到真正隱藏其他專家的真實(shí)觀點(diǎn),而僅展示不帶任何傾向性的考慮因素。實(shí)際上,特爾斐研究法是一把“雙刃劍”,因?yàn)樵摲椒ā霸谑占瘜<医M集體意見的同時(shí),也沖淡了在特定問題研究領(lǐng)域真正的專家的意見”(Pill,1971:62)。特爾斐研究法的匿名性也是如此。哈羅德·薩克曼(Harold Sackman)(1976:445)明確指出:“就專家組、研究者和研究結(jié)果的使用者而言,研究過程采用專家匿名的方式可能導(dǎo)致專家組成員個(gè)體失責(zé)。專家擇選程序中的匿名方式和相關(guān)的個(gè)體失責(zé)可能導(dǎo)致精英主義,也可能導(dǎo)致蓄意操縱研究結(jié)果從而滿足既定利益。”由此可見,匿名性的潛在風(fēng)險(xiǎn)亦不容小覷。同時(shí),對于專家組作答各種問題和個(gè)別專家或少數(shù)專家僅作答那些他們深入研究的問題,哪種方式的效果更佳,依然沒有答案(Pill,1971)。

    如何檢測特爾斐研究結(jié)果的有效性也是一個(gè)關(guān)鍵問題。亞里什·達(dá)加尼、邁克爾·辛考夫和韋恩·塔利(1979)較深入地探討了如何依據(jù)穩(wěn)定性和一致性標(biāo)準(zhǔn)終止特爾斐研究,提出了采用卡方檢驗(yàn)的方式檢測各輪次之間專家集體穩(wěn)定性的方法。威爾基·查芬(Wilkie W.Chaffin)和韋恩·塔利(Wayne K.Talley)(1980)在此基礎(chǔ)上進(jìn)行了推進(jìn)性研究,他們區(qū)分了專家集體穩(wěn)定性和個(gè)體穩(wěn)定性,聚焦于個(gè)體穩(wěn)定性的檢測。上述研究成果為特爾斐研究有效性的驗(yàn)證提供了可行性方案。

    3.3對《特爾斐報(bào)告》定位的再認(rèn)識

    從《特爾斐報(bào)告》所呈現(xiàn)的內(nèi)容來看,《特爾斐報(bào)告》在遵循上述特爾斐研究法使用注意事項(xiàng)和保障研究結(jié)果有效性兩個(gè)方面仍存在進(jìn)一步完善的空間。同時(shí),《特爾斐報(bào)告》“研究過程持續(xù)時(shí)間長”受限于當(dāng)時(shí)“蝸牛式的”(Facione,1990:63)書面信函往來的通信條件。費(fèi)希萬教授指出,部分專家組成員尚未使用電子郵件,研究僅能通過信件往來的方式進(jìn)行(7)從《特爾斐報(bào)告》的附錄三(Facione,1990:63)來看,確定地講,費(fèi)希萬教授本人當(dāng)時(shí)也不會使用電子郵件,第二輪討論采用書面信函和電話兩種方式進(jìn)行。。若在當(dāng)前條件下進(jìn)行該研究,或許僅需幾個(gè)月就能完成當(dāng)時(shí)兩年才能完成的工作(8)費(fèi)希萬教授在2020年8月19日的確認(rèn)郵件中指出:“Back in the late 1980’s, we had to use paper mail since some on the panel of experts did not have access to email. I and my graduate research assistant required two years to accomplish something that today might take only a few months. ”。從《特爾斐報(bào)告》研制的過程可以看出,研究的前兩輪旨在組建專家組,第三、四輪和第五輪的第一回合聚焦認(rèn)知技能,第五輪第二回合討論(情感)特質(zhì),第三回合側(cè)重有關(guān)認(rèn)知技能的教學(xué)和測評的建議,第六輪邀請專家組成員就報(bào)告初稿給出反饋(Facione,1990:7)。因此,該報(bào)告“討論輪次多”的說服力也值得商榷。

    此外,學(xué)界對于《特爾斐報(bào)告》的關(guān)注度差別較大。我國外語教育領(lǐng)域關(guān)注的焦點(diǎn)在于《特爾斐報(bào)告》中的批判性思維界定、認(rèn)知技能及其子技能和情感特質(zhì),卻未見《特爾斐報(bào)告》相關(guān)的專項(xiàng)研究,亦未見對報(bào)告所用特爾斐研究法的研究成果。國外教育領(lǐng)域除了《特爾斐報(bào)告》牽頭人費(fèi)希萬教授始終關(guān)注優(yōu)秀批判性思維者的認(rèn)知技能和情感特質(zhì)的測評之外,報(bào)告研制專家組46位成員中,僅有保羅(2011)、戴維·希契科克(David Hitchcock, 2017)等簡要提及報(bào)告中的批判性思維界定,未見其余成員就報(bào)告研究或特爾斐研究法的相關(guān)著述。因此,上述現(xiàn)狀也從側(cè)面為《特爾斐報(bào)告》定位的重新認(rèn)識提供了佐證。

    在重新認(rèn)識特爾斐研究法的基礎(chǔ)上,相對客觀地看待《特爾斐報(bào)告》,準(zhǔn)確理解《特爾斐報(bào)告》中的專家共識,尤其是批判性思維界定的專家共識,有助于更加深刻地認(rèn)識《普通高等學(xué)校本科專業(yè)類教學(xué)質(zhì)量國家標(biāo)準(zhǔn)》中的相關(guān)指標(biāo),認(rèn)真落實(shí)《普通高等學(xué)校本科外國語言文學(xué)類專業(yè)教學(xué)指南》中的相關(guān)培養(yǎng)任務(wù),進(jìn)而助益外語學(xué)習(xí)者運(yùn)用批判性思維“理解、掌握和吸收文化現(xiàn)象背后的思想和價(jià)值內(nèi)涵”(姜鋒 等,2020:29),恰當(dāng)處理全球視野和國家意識二者間的關(guān)系(陳新仁,2020),更好地“推動中國文化、學(xué)術(shù)、思想和主張的對外表達(dá)”(寧琦,2020:14)。

    4 結(jié)語

    通過考察《特爾斐報(bào)告》文本、報(bào)告的研制背景、專家組成員的相關(guān)論著以及與報(bào)告牽頭人的電子郵件核實(shí),我們能夠明確的是,批判性思維界定中的認(rèn)知技能和情感特質(zhì)的“雙維結(jié)構(gòu)”不是《特爾斐報(bào)告》中的專家共識,這一點(diǎn)得到了費(fèi)希萬教授本人的確認(rèn)。認(rèn)知技能和情感特質(zhì)雖非批判性思維界定的兩個(gè)維度,二者卻可以統(tǒng)一到通過教育教學(xué)培養(yǎng)優(yōu)秀的批判性思維者的軌道上來。換句話說,只有將認(rèn)知技能和情感特質(zhì)的培養(yǎng)結(jié)合起來,才有可能培養(yǎng)出優(yōu)秀的批判性思維者。這既是《特爾斐報(bào)告》中的專家共識,也代表了費(fèi)希萬教授當(dāng)下的觀點(diǎn)(9)費(fèi)希萬教授在2020年8月19日的確認(rèn)郵件中指出:“There is today a strong consensus that to be a strong and successful critical thinker a person must build the skills and cultivate the habits of mind (dispositions). ”。

    特爾斐項(xiàng)目組采用特爾斐研究法對批判性思維及其教學(xué)與測評進(jìn)行了研究,發(fā)布了《特爾斐報(bào)告》。從某種程度上講,在批判性思維研究中采用特爾斐研究法是一種創(chuàng)新性活動。同時(shí),特爾斐研究法的使用過程相當(dāng)復(fù)雜、要求很高,其研究結(jié)果還需進(jìn)行有效性驗(yàn)證。而《特爾斐報(bào)告》未提供遵循該方法使用要求的詳細(xì)說明,亦未提供驗(yàn)證研究結(jié)果有效性的相關(guān)證據(jù),這或許會在一定程度上影響《特爾斐報(bào)告》的科學(xué)性和權(quán)威性。此外,特爾斐研究法在報(bào)告專家組集體意見時(shí),也存在沖淡真正的專家意見之可能?!短貭栰硤?bào)告》是費(fèi)希萬教授牽頭組織46位專家歷時(shí)近兩年,歷經(jīng)六輪數(shù)回合討論后折中的產(chǎn)物,側(cè)重大學(xué)生的批判性思維教學(xué)與測評(10)費(fèi)希萬教授在2020年8月29日的確認(rèn)郵件中指出:“1001ba the goal of the Delphi Research project was to seek expert consensus for purpose of educational instruction and assessment at the college level1001bathe purpose was practical.”,報(bào)告中共識的理論原創(chuàng)性則難免受到影響。較為全面地了解特爾斐研究法有助于相對客觀地評價(jià)《特爾斐報(bào)告》的定位。

    猜你喜歡
    研究法特爾界定
    名人名言
    堅(jiān)守與通融——《中國畫學(xué)全史》傳統(tǒng)史學(xué)研究法探微
    國畫家(2023年1期)2023-02-16 07:57:00
    希拉里·曼特爾“克倫威爾三部曲”的民族共同體形塑
    充滿活力的視覺詩一一艾特爾·阿德南作品欣賞
    我國首次對“碰瓷”作出明確界定
    高血壓界定范圍
    金色年代(2016年4期)2016-10-20 17:40:14
    “研究法”教學(xué)模式在《功能性食品》理論教學(xué)中的實(shí)踐
    考試周刊(2016年15期)2016-03-25 04:12:42
    對“衛(wèi)生公共服務(wù)”的界定仍有疑問
    前瞻性研究法和經(jīng)驗(yàn)治療法在改善妊娠貧血和分娩結(jié)果中的效果比較
    “供犯罪所用的本人財(cái)物”的界定
    网址你懂的国产日韩在线| 色av中文字幕| 两个人视频免费观看高清| 天堂动漫精品| 色吧在线观看| 日韩 欧美 亚洲 中文字幕| 久久欧美精品欧美久久欧美| 国产高清三级在线| 国产一区二区激情短视频| 一级a爱片免费观看的视频| 亚洲中文字幕日韩| 国产精华一区二区三区| 淫秽高清视频在线观看| 久久久国产欧美日韩av| 不卡一级毛片| 中文资源天堂在线| 啦啦啦观看免费观看视频高清| 久久久久精品国产欧美久久久| 国产精品久久视频播放| 十八禁网站免费在线| 久久欧美精品欧美久久欧美| 三级男女做爰猛烈吃奶摸视频| 亚洲无线观看免费| 成人永久免费在线观看视频| 色综合欧美亚洲国产小说| 国产精品久久久久久人妻精品电影| 1024香蕉在线观看| 日韩欧美 国产精品| 国产免费男女视频| 国产人伦9x9x在线观看| 操出白浆在线播放| 精品国产乱码久久久久久男人| 美女午夜性视频免费| 国产视频一区二区在线看| 99久久精品一区二区三区| 精品久久蜜臀av无| 这个男人来自地球电影免费观看| 亚洲国产欧美人成| 午夜福利欧美成人| 欧美日韩黄片免| 国产午夜精品论理片| 丰满人妻熟妇乱又伦精品不卡| av女优亚洲男人天堂 | 亚洲国产欧美一区二区综合| 88av欧美| 嫩草影视91久久| 老熟妇仑乱视频hdxx| 一个人看的www免费观看视频| 中文字幕高清在线视频| 可以在线观看毛片的网站| 精品国内亚洲2022精品成人| 欧美一级a爱片免费观看看| 淫妇啪啪啪对白视频| 午夜激情欧美在线| 免费电影在线观看免费观看| 国产乱人视频| 好男人电影高清在线观看| 三级国产精品欧美在线观看 | 午夜福利高清视频| 国产黄片美女视频| 老司机深夜福利视频在线观看| 可以在线观看毛片的网站| 人妻久久中文字幕网| 欧美3d第一页| 久久久久国产一级毛片高清牌| 99国产精品一区二区蜜桃av| АⅤ资源中文在线天堂| 亚洲国产精品sss在线观看| 999久久久国产精品视频| 黄色 视频免费看| 国产一区二区三区视频了| 变态另类成人亚洲欧美熟女| 免费在线观看日本一区| 精品午夜福利视频在线观看一区| 亚洲成av人片免费观看| 国产伦人伦偷精品视频| 日韩欧美三级三区| 亚洲国产精品999在线| 日本黄色视频三级网站网址| 一本综合久久免费| 久久久久久久久免费视频了| 又爽又黄无遮挡网站| 亚洲国产色片| 日本 欧美在线| 亚洲中文av在线| 1024香蕉在线观看| 日本与韩国留学比较| 一区二区三区激情视频| 无限看片的www在线观看| 国内精品久久久久精免费| 色av中文字幕| 久久久久性生活片| 午夜精品在线福利| 免费人成视频x8x8入口观看| 精品久久久久久久毛片微露脸| 亚洲,欧美精品.| www日本黄色视频网| 日韩人妻高清精品专区| 动漫黄色视频在线观看| 欧美不卡视频在线免费观看| 国产伦在线观看视频一区| 老司机深夜福利视频在线观看| 国产精品乱码一区二三区的特点| 欧美日韩精品网址| 亚洲 欧美 日韩 在线 免费| 成人av一区二区三区在线看| 日日夜夜操网爽| 久久精品国产99精品国产亚洲性色| 最新在线观看一区二区三区| 亚洲av电影不卡..在线观看| 亚洲欧洲精品一区二区精品久久久| 女人被狂操c到高潮| 国产亚洲av嫩草精品影院| 老鸭窝网址在线观看| 亚洲成av人片免费观看| 国模一区二区三区四区视频 | 老司机福利观看| 中文字幕最新亚洲高清| 人妻久久中文字幕网| 国产v大片淫在线免费观看| 99久国产av精品| 十八禁人妻一区二区| cao死你这个sao货| 毛片女人毛片| 成年免费大片在线观看| 别揉我奶头~嗯~啊~动态视频| 久久中文字幕人妻熟女| 久久国产乱子伦精品免费另类| 国产精品亚洲美女久久久| 观看免费一级毛片| 99久久成人亚洲精品观看| 精品日产1卡2卡| 免费在线观看亚洲国产| bbb黄色大片| 亚洲国产色片| 亚洲精华国产精华精| 最近最新中文字幕大全免费视频| 国产精品女同一区二区软件 | 国产午夜福利久久久久久| 国产亚洲精品一区二区www| 国产1区2区3区精品| 久久久精品大字幕| 国产在线精品亚洲第一网站| 欧美中文综合在线视频| 成人三级做爰电影| 夜夜夜夜夜久久久久| x7x7x7水蜜桃| 精品99又大又爽又粗少妇毛片 | 国产成人精品无人区| 老鸭窝网址在线观看| 精品欧美国产一区二区三| av片东京热男人的天堂| 亚洲avbb在线观看| 两个人看的免费小视频| 很黄的视频免费| 亚洲精品久久国产高清桃花| 1024手机看黄色片| 成年免费大片在线观看| 亚洲国产中文字幕在线视频| 国产精品亚洲av一区麻豆| 很黄的视频免费| 国内精品久久久久久久电影| 亚洲精品乱码久久久v下载方式 | 久久久色成人| 99热6这里只有精品| 蜜桃久久精品国产亚洲av| 久久久久性生活片| 美女高潮的动态| 精品久久久久久久久久久久久| 国产精品久久电影中文字幕| 国产成人欧美在线观看| 国产久久久一区二区三区| 国产激情偷乱视频一区二区| 国产探花在线观看一区二区| 淫妇啪啪啪对白视频| 欧美一级a爱片免费观看看| 99热这里只有是精品50| 日本一本二区三区精品| 亚洲在线观看片| 啦啦啦观看免费观看视频高清| 精品国内亚洲2022精品成人| 国产伦精品一区二区三区四那| 少妇的逼水好多| 久久精品国产综合久久久| 午夜日韩欧美国产| 国产成+人综合+亚洲专区| 在线十欧美十亚洲十日本专区| 一个人看视频在线观看www免费 | 一级毛片精品| 国产成人精品久久二区二区免费| 中文字幕av在线有码专区| 国产亚洲精品一区二区www| 99国产精品一区二区三区| 精品福利观看| 欧美日韩综合久久久久久 | 国内久久婷婷六月综合欲色啪| 伦理电影免费视频| 久久久精品大字幕| 99热精品在线国产| 久久久久免费精品人妻一区二区| 亚洲国产欧美网| 日日摸夜夜添夜夜添小说| 韩国av一区二区三区四区| 精品一区二区三区视频在线观看免费| 国产av在哪里看| 波多野结衣高清作品| 母亲3免费完整高清在线观看| 熟女人妻精品中文字幕| 欧美激情在线99| 后天国语完整版免费观看| 久99久视频精品免费| 国内久久婷婷六月综合欲色啪| 亚洲午夜理论影院| 国产精品98久久久久久宅男小说| 国产精品一区二区三区四区免费观看 | 99久久99久久久精品蜜桃| 国产熟女xx| 精品国产超薄肉色丝袜足j| 国产成人系列免费观看| 国产精品,欧美在线| 波多野结衣高清作品| 欧美性猛交黑人性爽| 变态另类丝袜制服| 两个人视频免费观看高清| 久久九九热精品免费| 校园春色视频在线观看| 免费在线观看日本一区| 夜夜躁狠狠躁天天躁| 啦啦啦韩国在线观看视频| 国产成人精品久久二区二区免费| 国产毛片a区久久久久| h日本视频在线播放| 人人妻,人人澡人人爽秒播| 亚洲专区中文字幕在线| av国产免费在线观看| 免费电影在线观看免费观看| 欧美日韩中文字幕国产精品一区二区三区| 99国产综合亚洲精品| 国产精品久久视频播放| 欧美国产日韩亚洲一区| 国产又黄又爽又无遮挡在线| 激情在线观看视频在线高清| 免费av不卡在线播放| 最好的美女福利视频网| 亚洲激情在线av| cao死你这个sao货| 国产97色在线日韩免费| 免费在线观看日本一区| 一级黄色大片毛片| 在线观看一区二区三区| 性色av乱码一区二区三区2| 黄色视频,在线免费观看| 成人午夜高清在线视频| 可以在线观看的亚洲视频| 老司机福利观看| 成人精品一区二区免费| 三级男女做爰猛烈吃奶摸视频| 国产精品99久久99久久久不卡| 精品国产超薄肉色丝袜足j| 日韩欧美 国产精品| 99在线人妻在线中文字幕| 成人午夜高清在线视频| tocl精华| 久久久久精品国产欧美久久久| 岛国在线观看网站| 午夜免费成人在线视频| 亚洲国产看品久久| 亚洲熟妇中文字幕五十中出| 午夜福利在线观看吧| 中文字幕精品亚洲无线码一区| 国产 一区 欧美 日韩| 亚洲av五月六月丁香网| 在线视频色国产色| 成在线人永久免费视频| 亚洲黑人精品在线| 一本久久中文字幕| 免费在线观看成人毛片| 欧美大码av| 一个人看视频在线观看www免费 | 国产1区2区3区精品| 国产精品一区二区精品视频观看| 91字幕亚洲| 九九久久精品国产亚洲av麻豆 | 精品久久久久久久末码| 非洲黑人性xxxx精品又粗又长| 欧美国产日韩亚洲一区| 黑人欧美特级aaaaaa片| 亚洲国产日韩欧美精品在线观看 | 国产亚洲精品av在线| 黄色 视频免费看| 天堂动漫精品| www.www免费av| www.熟女人妻精品国产| 两性午夜刺激爽爽歪歪视频在线观看| 欧美精品啪啪一区二区三区| 色哟哟哟哟哟哟| 精品国产三级普通话版| 两个人视频免费观看高清| 国产亚洲欧美98| 国产激情欧美一区二区| 99久久99久久久精品蜜桃| 国产精品1区2区在线观看.| 神马国产精品三级电影在线观看| 久久精品国产清高在天天线| 香蕉丝袜av| 18禁美女被吸乳视频| x7x7x7水蜜桃| netflix在线观看网站| av天堂在线播放| 亚洲av成人av| 青草久久国产| 精品久久久久久久久久久久久| 黄色日韩在线| www.自偷自拍.com| 99久久精品热视频| 日本 欧美在线| 亚洲欧美精品综合久久99| 无限看片的www在线观看| 99视频精品全部免费 在线 | 亚洲五月天丁香| 久久久久性生活片| 亚洲欧美日韩高清在线视频| 国产精品一区二区三区四区免费观看 | 久久亚洲精品不卡| 亚洲黑人精品在线| 亚洲第一电影网av| 亚洲人成网站在线播放欧美日韩| 欧美黄色片欧美黄色片| 一本一本综合久久| 欧美色欧美亚洲另类二区| 精品久久久久久久久久免费视频| 国产黄片美女视频| 久久精品国产亚洲av香蕉五月| 午夜福利在线观看吧| 亚洲第一电影网av| 国产精品国产高清国产av| 亚洲 国产 在线| 国产亚洲欧美在线一区二区| 国产亚洲精品久久久com| 国产在线精品亚洲第一网站| 麻豆一二三区av精品| 一区二区三区激情视频| 久久精品影院6| 少妇的丰满在线观看| 搡老熟女国产l中国老女人| 亚洲精品在线观看二区| 国产精品av久久久久免费| 亚洲欧美精品综合久久99| 丁香六月欧美| 12—13女人毛片做爰片一| 美女高潮喷水抽搐中文字幕| 国产欧美日韩一区二区精品| 国产精品爽爽va在线观看网站| 精品一区二区三区视频在线 | 美女高潮的动态| 不卡av一区二区三区| 91字幕亚洲| 中文字幕人妻丝袜一区二区| 一本久久中文字幕| 中文字幕最新亚洲高清| 一二三四在线观看免费中文在| 男女下面进入的视频免费午夜| 亚洲七黄色美女视频| 狂野欧美激情性xxxx| 特级一级黄色大片| 国产野战对白在线观看| 90打野战视频偷拍视频| 国产麻豆成人av免费视频| 国产1区2区3区精品| 999久久久国产精品视频| 19禁男女啪啪无遮挡网站| 国产欧美日韩一区二区精品| 国产人伦9x9x在线观看| 在线观看免费视频日本深夜| 国产精品,欧美在线| 桃红色精品国产亚洲av| 高潮久久久久久久久久久不卡| 日韩欧美 国产精品| 综合色av麻豆| 99热这里只有精品一区 | 天天躁狠狠躁夜夜躁狠狠躁| 免费看十八禁软件| 国产激情欧美一区二区| 人人妻人人澡欧美一区二区| 久久天躁狠狠躁夜夜2o2o| 婷婷丁香在线五月| 欧美日韩综合久久久久久 | 女同久久另类99精品国产91| 老汉色av国产亚洲站长工具| tocl精华| 99热这里只有是精品50| 国产高清视频在线播放一区| 国产三级黄色录像| 国产69精品久久久久777片 | 19禁男女啪啪无遮挡网站| 好男人在线观看高清免费视频| 中文字幕高清在线视频| 中文字幕人成人乱码亚洲影| a在线观看视频网站| 成人精品一区二区免费| 91字幕亚洲| 嫩草影院精品99| 日本黄色片子视频| 亚洲专区国产一区二区| 美女黄网站色视频| 亚洲欧美激情综合另类| 国产熟女xx| 日韩欧美一区二区三区在线观看| 后天国语完整版免费观看| 欧美日韩国产亚洲二区| 色噜噜av男人的天堂激情| 色精品久久人妻99蜜桃| 观看免费一级毛片| 久久久久久人人人人人| 噜噜噜噜噜久久久久久91| 久久精品国产99精品国产亚洲性色| 岛国在线观看网站| 色综合亚洲欧美另类图片| 欧美成狂野欧美在线观看| 天堂av国产一区二区熟女人妻| 亚洲精品一区av在线观看| 51午夜福利影视在线观看| 99热这里只有精品一区 | 国产一区在线观看成人免费| 99riav亚洲国产免费| 亚洲av片天天在线观看| 日韩 欧美 亚洲 中文字幕| 两性夫妻黄色片| 无限看片的www在线观看| 十八禁网站免费在线| 在线看三级毛片| 欧美日韩瑟瑟在线播放| 草草在线视频免费看| 国产亚洲av嫩草精品影院| 国产免费男女视频| 亚洲国产欧洲综合997久久,| 久久草成人影院| 成人特级黄色片久久久久久久| 亚洲av成人av| xxxwww97欧美| 欧美日韩瑟瑟在线播放| 日本精品一区二区三区蜜桃| xxxwww97欧美| 成人精品一区二区免费| 国产不卡一卡二| 一级作爱视频免费观看| 久久久久国产精品人妻aⅴ院| 亚洲美女视频黄频| 日本一二三区视频观看| 国产精品野战在线观看| 日韩成人在线观看一区二区三区| 中亚洲国语对白在线视频| 脱女人内裤的视频| 免费看a级黄色片| 久久天躁狠狠躁夜夜2o2o| 99国产精品99久久久久| 国产蜜桃级精品一区二区三区| 日韩有码中文字幕| 婷婷精品国产亚洲av| 综合色av麻豆| 天堂影院成人在线观看| 亚洲成人精品中文字幕电影| 久久久色成人| 老熟妇乱子伦视频在线观看| 露出奶头的视频| 九色国产91popny在线| 日韩欧美国产一区二区入口| 毛片女人毛片| 女同久久另类99精品国产91| 欧美性猛交黑人性爽| 天堂网av新在线| 亚洲国产精品999在线| 久久久久九九精品影院| 免费观看精品视频网站| 亚洲国产看品久久| 亚洲成人久久爱视频| 精品不卡国产一区二区三区| 精品国产乱码久久久久久男人| 国产在线精品亚洲第一网站| 男人和女人高潮做爰伦理| 99国产精品一区二区三区| 国产午夜精品久久久久久| 首页视频小说图片口味搜索| 国产99白浆流出| 亚洲av熟女| 精品国产乱子伦一区二区三区| 国产成人系列免费观看| 亚洲欧美日韩高清专用| 岛国在线观看网站| a级毛片a级免费在线| 久久热在线av| 亚洲片人在线观看| 国产97色在线日韩免费| 悠悠久久av| 嫩草影院入口| 无限看片的www在线观看| 十八禁网站免费在线| 亚洲国产精品久久男人天堂| 国产男靠女视频免费网站| 免费观看的影片在线观看| 国内精品一区二区在线观看| 亚洲国产欧美人成| 九色国产91popny在线| 亚洲国产看品久久| 久久这里只有精品19| 国产极品精品免费视频能看的| 日本a在线网址| 窝窝影院91人妻| 久久99热这里只有精品18| av片东京热男人的天堂| 999久久久精品免费观看国产| 搡老妇女老女人老熟妇| 窝窝影院91人妻| 欧美午夜高清在线| 成年免费大片在线观看| 不卡一级毛片| 亚洲国产欧美一区二区综合| 欧美日本视频| 国产精品免费一区二区三区在线| 亚洲一区高清亚洲精品| 一区二区三区高清视频在线| 欧美成人一区二区免费高清观看 | 成人三级黄色视频| 国产精品美女特级片免费视频播放器 | 亚洲中文字幕一区二区三区有码在线看 | 可以在线观看的亚洲视频| 久久香蕉精品热| 国产成人精品久久二区二区91| 在线国产一区二区在线| 麻豆国产97在线/欧美| 亚洲人成网站高清观看| 午夜免费观看网址| 精品99又大又爽又粗少妇毛片 | 巨乳人妻的诱惑在线观看| 99久久国产精品久久久| 国产精品久久久久久久电影 | 琪琪午夜伦伦电影理论片6080| 最近最新中文字幕大全电影3| 精品国产三级普通话版| 中出人妻视频一区二区| 亚洲美女黄片视频| 女警被强在线播放| 国产99白浆流出| 久久精品91无色码中文字幕| 岛国在线观看网站| 欧美日韩乱码在线| 香蕉久久夜色| 国产精品九九99| 可以在线观看毛片的网站| 88av欧美| 国产aⅴ精品一区二区三区波| 久久这里只有精品中国| 欧美日韩亚洲国产一区二区在线观看| 成人三级黄色视频| 久久久国产成人精品二区| 国产野战对白在线观看| 久久久久性生活片| 99国产极品粉嫩在线观看| 精品一区二区三区视频在线 | 特级一级黄色大片| 天天添夜夜摸| 亚洲国产欧美网| 欧美日韩中文字幕国产精品一区二区三区| 午夜精品一区二区三区免费看| 精品乱码久久久久久99久播| 色尼玛亚洲综合影院| 久久亚洲精品不卡| 色尼玛亚洲综合影院| 国产主播在线观看一区二区| 老司机福利观看| 亚洲成人中文字幕在线播放| 国产69精品久久久久777片 | 高清毛片免费观看视频网站| 免费av不卡在线播放| 亚洲国产精品成人综合色| 亚洲最大成人中文| 91av网站免费观看| 欧美高清成人免费视频www| 欧美一区二区国产精品久久精品| 脱女人内裤的视频| 亚洲av成人av| 国内精品久久久久精免费| 亚洲av美国av| 日本一本二区三区精品| 黄片小视频在线播放| 日韩欧美国产在线观看| 在线永久观看黄色视频| svipshipincom国产片| 国产精品av视频在线免费观看| 一卡2卡三卡四卡精品乱码亚洲| 搡老岳熟女国产| 亚洲一区高清亚洲精品| 午夜福利18| 久久精品国产99精品国产亚洲性色| 国产野战对白在线观看| av片东京热男人的天堂| 女人高潮潮喷娇喘18禁视频| xxxwww97欧美| 又粗又爽又猛毛片免费看| 国产美女午夜福利| 伊人久久大香线蕉亚洲五| 美女 人体艺术 gogo| 久久久久亚洲av毛片大全| 亚洲成a人片在线一区二区| 神马国产精品三级电影在线观看| 精品一区二区三区四区五区乱码| 亚洲av成人不卡在线观看播放网| 国产成人一区二区三区免费视频网站| 一进一出抽搐gif免费好疼| 国产精品美女特级片免费视频播放器 | 亚洲欧美日韩无卡精品| 无人区码免费观看不卡| 亚洲专区中文字幕在线| 很黄的视频免费| 久久人人精品亚洲av|