• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    非學(xué)術(shù)影響評價:英國REF科研影響評估的創(chuàng)新性評析

    2020-10-22 13:03:38閆廣芬
    關(guān)鍵詞:學(xué)術(shù)案例評估

    茹 寧 閆廣芬

    (1.南開大學(xué),天津300350;2.天津大學(xué),天津300350)

    一直以來,科學(xué)研究被視為國家的事業(yè),政府作為最大的 “資助人”,相信社會能夠從高質(zhì)量的科學(xué)研究中 “自動”獲益,因此,科研評估只需確??蒲械漠a(chǎn)出與質(zhì)量即可。然而,20世紀(jì)80年代以來,隨著各國公共財政經(jīng)費(fèi)的緊縮和新公共行政、新公共管理運(yùn)動的興起,政府的角色從科研 “資助人”向 “投資人”轉(zhuǎn)變。作為投資人的政治決策者們,一方面希望研究機(jī)構(gòu)通過證據(jù)展示研究成果對社會的價值,以幫助他們在 “應(yīng)從GDP中拿出多少用于研發(fā)”“哪些研究值得投資”“應(yīng)優(yōu)先資助哪些研究”等問題上做出明智決策;另一方面通過 “投入-回報”展示,使捐資者、納稅人看到公共研發(fā)經(jīng)費(fèi)的績效收益,進(jìn)而理解 “社會究竟從公共科研資助中獲得了哪些好處”。在這種新觀念下,科研評估僅僅關(guān)注研究成果本身的 “量”與“質(zhì)”已經(jīng)不夠了,還需要強(qiáng)調(diào)其 “溢出”學(xué)術(shù)界之外的社會效益與社會影響,這催發(fā)了各國對探索實(shí)施科研社會影響評價機(jī)制的改革浪潮。

    美國是最早對科研項目的 “投入-產(chǎn)出”效益開展評估的國家之一。“美國項目評估評級工具” (Program Assessment Rating Tool, PART)是1993年 《政府績效與成果法》(Government Performance and Results Act,GPRA)催生下的科研績效評估工具,它采用基于證據(jù)的分析方法 (evidence-based analysis), 至 2008年已評估了1000多個大型聯(lián)邦科研項目的社會效益。[1]《美國再投資與復(fù)蘇法案》(American Recovery and Reinvestment Act,ARRA)催生了 “科學(xué)和技術(shù)對美國再投資:衡量研究對創(chuàng)新、競爭力和科學(xué)的影響”(Science and Technology for America’s Reinvestment:Measuring the Effect of ResearchonInnovation,CompetitivenessandScience,STAR METRICS)評估。STAR METRICS于2010年投入使用,專注于使用數(shù)據(jù)分析聯(lián)邦科研項目在經(jīng)濟(jì)、就業(yè)、勞動產(chǎn)出和公共衛(wèi)生等領(lǐng)域的收益回報。[2]加拿大創(chuàng)新基金會 (CFI)主要負(fù)責(zé)加拿大基礎(chǔ)研究的經(jīng)費(fèi)撥款。從2007年開始,如何評價CFI資助項目的社會影響開始進(jìn)入政策議程?!靶Ч麥y量研究”(the Outcome Measurement Study,OMS)評估就是最近的一項成果,它引入了 “創(chuàng)新與外部收益”(innovation&extrinsic benefits)評價,并采用了“活動-產(chǎn)出-成果 (包括直接、間接、長期)-最終影響 (ultimate impacts)”的評價模型。[3]荷蘭于2006年開發(fā)的 “情境下的科研評估”(the Dutch Evaluating Research in Context,ERiC),通過研究團(tuán)隊與科研用戶之間 “生成性互動”(productive interaction)的過程性評估,[4]來評價研究在私營部門和公共部門所產(chǎn)生的社會影響。2009年,歐盟出資80萬歐元研發(fā) “基于生產(chǎn)性互動的科研社會影響”(Social Impact Assessment MethodsthroughProductiveInteractions,SIAMPI),SIAMPI是ERiC在歐盟的進(jìn)一步推廣,荷蘭、英、法、西班牙參加了該評估在衛(wèi)生、納米、信息技術(shù)等領(lǐng)域的試點(diǎn)。[5]澳大利亞于2004年開發(fā)了 “研究質(zhì)量與可行性評估框架”(Research Quality Framework,RQF), 對公共經(jīng)費(fèi)資助的科學(xué)研究在區(qū)域、國家或國際范圍所產(chǎn)生的經(jīng)濟(jì)、社會、環(huán)境和文化等方面的貢獻(xiàn)進(jìn)行評價。澳大利亞政府本打算在全國高校推行RQF評估,但遺憾的是,執(zhí)政黨更迭導(dǎo)致該計劃流產(chǎn)。[6]

    英國于2014年取消了自1992年以來一直使用的RAE(Research Assessment Exercise)評估,而代之以REF(Research Excellence Framework)評估。REF相對于RAE的改革重點(diǎn)就是,以“科研影響”取代了 “科研聲譽(yù)”板塊。RAE2008評估中三個板塊的內(nèi)容和權(quán)重分別為:科研產(chǎn)出 (70%)、科研聲譽(yù) (10%)、科研環(huán)境(20%),在REF2014評估中調(diào)整為:科研產(chǎn)出(65%)、科研影響 (20%)、科研環(huán)境 (15%)。與上述國家針對項目、某學(xué)科或?qū)W科 (群)領(lǐng)域開發(fā)的影響評估不同,REF采用統(tǒng)一的科研影響評估框架,基本覆蓋了全英高校和科研機(jī)構(gòu)的所有學(xué)科。不同學(xué)科的研究產(chǎn)生社會影響的時間、方式、路徑和效果非常不同,能否采用統(tǒng)一的框架與方法對不同學(xué)科的研究影響進(jìn)行評價,一直是科研影響評估的難點(diǎn)。REF在這一問題上的突破成為科研影響評估理論與實(shí)踐的重要發(fā)展,在國際社會引發(fā)了強(qiáng)烈關(guān)注。我國學(xué)術(shù)界目前對REF評估的研究已相對豐富,但這些研究大多側(cè)重于REF相對于RAE而言在整個評估框架與方法上所進(jìn)行的改革,而缺乏針對其中 “科研影響”評估的深度分析。進(jìn)一步說,我們還沒有從國際上新出現(xiàn)的這一評估“類型”,即非學(xué)術(shù)影響評估的視角來開展對REF科研影響評估的系統(tǒng)研究。近年來,針對我國高??蒲谐晒纳鐣D(zhuǎn)化與應(yīng)用一直處于較低水平的現(xiàn)狀,我國頒發(fā)了一系列政策文件,強(qiáng)調(diào)要提高高校服務(wù)經(jīng)濟(jì)社會發(fā)展的能力,加強(qiáng)對高??蒲匈|(zhì)量與社會貢獻(xiàn)的評價。REF的科研影響評估在 “非學(xué)術(shù)影響”評價方面的創(chuàng)新做法,可為改進(jìn)和完善我國高校的社會服務(wù)與貢獻(xiàn)評價體系提供借鑒經(jīng)驗(yàn)。鑒于此,本文以REF在2014年基礎(chǔ)上最新修訂出臺的2021年評估指南為范本,對其中 “科研影響”板塊的改革進(jìn)行全面分析,尤其著重從 “非學(xué)術(shù)影響”評價的視角來探討其在內(nèi)容、方法及結(jié)果呈現(xiàn)等方面的創(chuàng)新特性。

    一、評估內(nèi)容創(chuàng)新:明確 “非學(xué)術(shù)影響”評價的內(nèi)涵及評價維度

    科學(xué)研究所產(chǎn)生的影響,從廣義上講,包含兩個層面的內(nèi)容:一是在學(xué)術(shù)界之內(nèi)產(chǎn)生的影響,稱為學(xué)術(shù)影響;二是在學(xué)術(shù)界之外產(chǎn)生的影響,稱為非學(xué)術(shù)影響或社會影響。REF評估將 “科研影響”界定為:“對學(xué)術(shù)界以外的經(jīng)濟(jì)、社會、文化、公共政策或服務(wù)、健康、環(huán)境或生活質(zhì)量所產(chǎn)生的影響、改變或益處”,并在評估中把科研影響具體化為 “人類與動物健康”“文化創(chuàng)造”“商業(yè)經(jīng)濟(jì)”“公共政策、法律與服務(wù)”“職業(yè)道德與行為實(shí)踐”“環(huán)境”“生產(chǎn)”“參與學(xué)習(xí)”“社會福利”九個社會維度。[7]顯然,REF的 “科研影響”僅指科學(xué)研究所產(chǎn)生的非學(xué)術(shù)性質(zhì)的社會影響,這種 “狹義”化的概念在評估中是否科學(xué)、可行呢?

    目前,大多數(shù)科研影響評估尚未對研究的學(xué)術(shù)影響與非學(xué)術(shù)影響做出明確區(qū)分。具體而言,很多科研影響評估把H指數(shù)、G指數(shù)、期刊影響因子 (Impact Factor,IF)等學(xué)術(shù)影響評價指標(biāo)與專利轉(zhuǎn)化率、研發(fā)收入、衍生公司數(shù)等非學(xué)術(shù)影響評價指標(biāo)放在一起來評價科研影響。然而,學(xué)術(shù)影響與非學(xué)術(shù)影響形成的路徑與作用機(jī)理不同,高學(xué)術(shù)影響力并不意味著高社會影響力,這從評價指標(biāo)上也可以反映出來。以IF為例,高IF值意味著該期刊發(fā)表的研究成果學(xué)術(shù)影響力高,但是,高IF期刊的封閉性限制了研究成果的社會影響范圍,因?yàn)樵诖蠖鄶?shù)情況下,只有學(xué)者才能接觸到這些研究成果。相比之下,開放期刊 (Open Access Journals)的IF值較低,但讀者群更豐富,受眾更廣泛。由此我們可以合理地推斷,發(fā)表在高IF期刊上的研究成果的學(xué)術(shù)影響大,社會影響反而小。可見,對科研影響不做 “學(xué)術(shù)”與 “非學(xué)術(shù)”的劃分,混用兩者的評價指標(biāo)是有問題的。REF評估采用 “科研影響”的狹義內(nèi)涵避免了這種含混,明確將科研影響評價界定為超出 “學(xué)術(shù)界”之外的社會影響,而將 “學(xué)術(shù)影響”排除在 “科研影響”評價之外,這可謂在厘清科研影響評估的對象上邁出了重要一步。

    當(dāng)然,把科研影響限定為 “非學(xué)術(shù)”性質(zhì)的社會影響,并不意味著REF舍棄了研究的學(xué)術(shù)影響評價,REF評估指南解釋道,“科研影響不包括對學(xué)術(shù)研究的影響或?qū)χR進(jìn)步的貢獻(xiàn),因?yàn)橛嘘P(guān)此部分的內(nèi)容將在REF的 ‘科研產(chǎn)出’部分進(jìn)行”[8]。REF雖然取消了RAE的 “科研聲譽(yù)”板塊,但在11個學(xué)科引入了文獻(xiàn)計量法(bibliometric),把評價科研聲譽(yù)的H指數(shù)、G指數(shù)、期刊影響因子等指標(biāo)調(diào)整到 “科研產(chǎn)出”板塊,這實(shí)際是把 “科研聲譽(yù)”所測量的 “學(xué)術(shù)性質(zhì)的影響”以質(zhì)量評價的方式納入 “科研產(chǎn)出”板塊,從而加強(qiáng)了研究產(chǎn)出的質(zhì)量績效與學(xué)術(shù)影響力評價。REF通過這樣的改革調(diào)整,明確區(qū)分了科研的 “學(xué)術(shù)影響”與 “非學(xué)術(shù)影響”評價的界限,使REF形成了 “投入-產(chǎn)出-績效”和 “產(chǎn)出-應(yīng)用-影響”兩個清晰的評估環(huán)節(jié),前一個環(huán)節(jié)以 “科研產(chǎn)出質(zhì)量與績效”評價為主題,后一個環(huán)節(jié)側(cè)重 “科研社會應(yīng)用與影響”評價。這樣,REF形成了覆蓋 “知識產(chǎn)出-知識質(zhì)量-知識影響”的完整評估鏈,使整個評估框架設(shè)計更加完整而連貫。從評估實(shí)踐來看,正是厘清了科研影響的內(nèi)涵與外延,REF科研影響評估環(huán)節(jié)才能聚焦到研究成果所產(chǎn)生的九大社會領(lǐng)域上來,形成九個明確的評估維度,提高了評估對象的明晰性和評估的可操作性,為采用適切的評估方法奠定了基礎(chǔ)。

    二、評估方法創(chuàng)新:混合評估方法在“非學(xué)術(shù)影響”評價中的整合使用

    大量實(shí)證研究表明,只有在極少數(shù)的情況下,科學(xué)研究所產(chǎn)生的非學(xué)術(shù)性質(zhì)的社會影響才會以直接的、明確可識別的方式呈現(xiàn)出來。因此,對于科研影響評估而言,沒有一種單一的評估方法是充分有效的。尤其對于REF評估而言,全英國有154所高校和科研機(jī)構(gòu)參加,這種大規(guī)模的特點(diǎn)也決定了REF不可能采用單一的評估方法。經(jīng)過多輪咨詢和前期試點(diǎn)之后,REF專家組最終采用了以定性為主、以定量為輔的混合評價方法。

    1.以結(jié)構(gòu)化的案例模板呈現(xiàn)非線性的社會影響

    案例法是REF的基本評估方法。在REF2014評估中,參評院校需要提交 “影響案例”和 “影響模板”,案例占80%的評估權(quán)重,模板占20%。影響案例提供關(guān)于研究產(chǎn)生何種影響的詳細(xì)信息,影響模板闡明學(xué)校在促進(jìn)研究影響產(chǎn)生的過程中所采用的戰(zhàn)略和實(shí)施路徑。REF2021評估將取消 “影響模板”,將其部分內(nèi)容整合到 “科研環(huán)境”板塊,這意味著影響案例將成為未來REF科研影響板塊的唯一評估內(nèi)容。

    影響的發(fā)生不是知識的 “用與不用”這么簡單的兩種狀態(tài),而是源于復(fù)雜的人類和社會的非線性交互過程,尤其是那些改變?nèi)藗兊囊庖?、觀念和信念的影響,往往要經(jīng)歷一個不易察覺的長期過程,其中的影響因素復(fù)雜而隱蔽。量化方法雖然客觀明了,但卻由于簡化而可能忽略掉一些關(guān)鍵的影響因素,導(dǎo)致無法提供科研影響評價的 “完整圖景”。相比之下,案例相對 “寬松”的敘事方式,更容易在知識擴(kuò)散的過程中撒下一張 “廣泛的網(wǎng)”,因而比數(shù)據(jù)、指標(biāo)或公式更能有效地 “捕捉”到影響;案例由科研發(fā)現(xiàn)者來闡述影響與其研究之間的關(guān)系,更有利于影響與研究之間的歸因分析;案例允許靈活自由的分析思路和表達(dá)方式,這使影響在案例 “敘事”中能更好地呈現(xiàn)出來。

    表1 REF2021影響案例模板及填寫指南

    當(dāng)然,案例法也有明顯缺陷。案例的表述如果過于隨意就會導(dǎo)致無法在案例之間進(jìn)行有效比較,案例的撰寫如果摻雜過多的主觀甚至是夸大其詞的內(nèi)容就會干擾評價的客觀性。為克服這些問題,REF制定了高度結(jié)構(gòu)化的案例模板,并對每部分的寫作內(nèi)容、規(guī)范、字?jǐn)?shù)等做了詳細(xì)規(guī)定。案例模板由A、B、C三部分構(gòu)成:A部分填寫參評院校與人員基本信息;C部分主要提供研究資助信息,但不是必填內(nèi)容,評估組要求時才填寫;B部分是主體部分,包括“影響概要”“研究詳情”“研究佐證文獻(xiàn)”“影響詳情”“影響佐證來源”五個部分 (見表1)。限于篇幅,此處只節(jié)選了 “影響詳情”部分的填寫指南。從模板格式與填寫要求可以看出REF案例的特點(diǎn):一是盡量客觀,對研究和影響的描述都需要提供相應(yīng)的證據(jù)和佐證材料;二是重在闡述研究與影響之間的歸因關(guān)系,如果影響與研究沒有實(shí)質(zhì)性關(guān)聯(lián),案例將直接被評為 “無等級”(unclassified)??梢?,通過結(jié)構(gòu)化、標(biāo)準(zhǔn)化、證據(jù)化處理后,REF案例模板將“敘事描述”限定在一個可比較、可分析和可評價的框架內(nèi),避免了案例撰寫的主觀隨意性,加強(qiáng)了案例評估的可行性和有效性。

    資料來源:R E F 2 0 2 1評估指南

    表2 參與科研影響評估的評估組成員類型與職責(zé)

    2.以來自社會各界的 “專家評議”法取代學(xué)術(shù)界的 “同行評議”法

    案例本質(zhì)上是學(xué)術(shù)界就科研成果與其社會影響之間的關(guān)系進(jìn)行的主觀陳述,如果將案例交給同行專家評議,那么,評價結(jié)果仍然局限于學(xué)科或?qū)W界內(nèi)部的看法,而無法反映社會影響。鑒于此,REF在評估方法上的一個重要改革,就是邀請科研用戶和其他利益相關(guān)者參與案例評價。在REF2014評估中,聘請的外部專家占到23%,這些專家的來源非常多樣化,私營、公共和第三部門均有分布,參與評估的角色也非常多元,有主席、顧問、觀察員、評估專員、國際專家等 (見表2)。他們各司其職,為評估提供了不同于學(xué)界專家的獨(dú)特看法。

    表3 REF科研影響評價維度、類型與指標(biāo) (節(jié)選)

    不過,REF評估指出,外部利益相關(guān)者的加入,并不意味著學(xué)術(shù)專家在科研影響評價中的作用式微,他們在影響評估中仍將保持重要的發(fā)言權(quán)。這是因?yàn)榉菍W(xué)術(shù)影響評價不應(yīng)以損害學(xué)術(shù)自治為代價,保持一定比例的學(xué)術(shù)專家參與就是保障學(xué)術(shù)界知識生產(chǎn)的自治權(quán)限。只是參加影響評估的學(xué)術(shù)專家,其身份不再是單一的研究者,而與其他利益相關(guān)者一樣,代表了社會各界中的 “一界”。所以,嚴(yán)謹(jǐn)?shù)卣f,REF科研影響評估是以來自社會各界代表的“專家評價”(expert review)代替了傳統(tǒng)的 “同行評價”(peer review)。專家評議法的優(yōu)勢,一是促進(jìn)學(xué)者將學(xué)術(shù)自由權(quán)與服務(wù)國家戰(zhàn)略的社會責(zé)任統(tǒng)一起來;二是在學(xué)術(shù)界與社會各界之間就科學(xué)研究的社會貢獻(xiàn)與價值標(biāo)準(zhǔn)形成公共對話空間,全面而公正地反映出研究影響的社會 “圖景”。

    3.基于社會影響客觀證據(jù)集的 “去賦值”評價法

    案例法與專家評議法都屬于定性評價方法,容易因摻入評估者的主觀價值判斷而降低評估的有效性。為了克服這一缺陷,REF專家組研發(fā)了一個包含上百個指標(biāo)的證據(jù)集作為輔助評價工具。該證據(jù)集對應(yīng)九個評估維度,在每個影響維度下設(shè)立了相應(yīng)的證據(jù)指標(biāo),以 “措施、證明、書面記錄、點(diǎn)擊量、專利數(shù)、許可證書、合同、收入、銷售額、營業(yè)額、利潤”等可量化形式出現(xiàn) (見表3)。①

    REF開發(fā)與引入證據(jù)集,是以 “循證學(xué)”(Evidence-Based Practice)為學(xué)理依據(jù)的。20世紀(jì)末興起的循證思潮,激發(fā)了對社會科學(xué)進(jìn)行非學(xué)術(shù)評估的需求,并在布萊爾政府任內(nèi)備受推崇。②此次證據(jù)集的開發(fā)可視為該理論在REF評估中的深化應(yīng)用。需要指出的是,證據(jù)指標(biāo)集并不是指標(biāo)評價法,正如REF評估指南指出的,證據(jù)只是 “列舉”而不是窮盡所有的 “影響”,它起指導(dǎo)、參考作用,但不是直接的評價工具。[9]盡管如此,證據(jù)集的引入具有重要作用,一方面為影響案例 “佐證材料”的撰寫提供規(guī)范,另一方面為專家提供評價依據(jù),這就在案例描述與專家評價兩個環(huán)節(jié)之間形成了客觀而統(tǒng)一的 “評價鏈”,較好地實(shí)現(xiàn)了定性描述和定量評估之間的平衡。

    在平衡定性和定量評價問題之后,REF還面臨的一個問題是,如何對不同類型的影響進(jìn)行評分,這涉及影響的價值賦值問題。影響的價值賦值其實(shí)隱含了一個前提假設(shè),即 “影響”一定是有價值的,而價值又有高低之分。斯托克 (Stoker)對此假設(shè)提出了質(zhì)疑,他以藥品沙利度胺 (thalidomide)的例子③來證明:往往最初看起來沒有價值的研究,后來卻被證明對人類有重大貢獻(xiàn);而那些被認(rèn)為有價值的研究成果,后來卻被證明對人類無益甚至有害。在進(jìn)步和貢獻(xiàn)相對確定并易于衡量的醫(yī)學(xué)領(lǐng)域尚且如此,更不用說政治和社會政策領(lǐng)域了。畢竟,“政治是一個利益與價值觀的優(yōu)先次序相互競爭的領(lǐng)域……政治學(xué)家們最關(guān)心的問題在政治上和道德上的好壞更不清晰,因此也更有風(fēng)險……如果使用預(yù)設(shè)的價值來評價影響,其結(jié)果很可能是損害科學(xué)研究的自治本質(zhì)”[10]。鑒于此,REF摒棄了 “回報”“效益”“價值”等評判標(biāo)準(zhǔn),而采用了 “廣度”(reach)與 “強(qiáng)度”(significance)兩個標(biāo)準(zhǔn)來評價影響,形成了五個評價等級。以影響的 “廣度”與 “強(qiáng)度”為標(biāo)準(zhǔn),評價重點(diǎn)不再是 “價值”,而是 “改變”。這種改變包括兩種:一是行為的改變,導(dǎo)致行為改變的影響往往是顯見而易于計量的;二是態(tài)度或觀念的改變,導(dǎo)致觀念改變的影響是長期而潛移默化的,但往往更加重大且深遠(yuǎn)。循證方法更適用于捕捉此類影響,這也佐證了REF采用證據(jù)集的必要性與可行性。

    三、評估結(jié)果創(chuàng)新:“后分析”技術(shù)促進(jìn)科研社會影響力的全球擴(kuò)散

    為了將評價結(jié)果以直觀清晰的形式傳達(dá)給決策者和公眾,REF2014評估結(jié)果發(fā)布之后,英國高等教育撥款委員會 (Higher Education Funding Council for England,HEFCE)還委托蘭德歐洲公司 (LAND Europe)、Techpolics調(diào)查公司、麥克米林公司 (Macmillan)、倫敦國王學(xué)院的數(shù)字人文系 (Department of Digital Humanities)等第三方組織,對REF科研影響評估開展了一系列 “后分析”(post-REF analysis),以更好地呈現(xiàn)英國科研的社會影響力。

    1.在線案例數(shù)據(jù)庫的創(chuàng)建

    麥克米林公司旗下的數(shù)字科學(xué)研究所(Digital Science)對參評機(jī)構(gòu)提交的6000多個影響案例進(jìn)行了通用格式處理,并對案例的佐證文獻(xiàn)鑒定后提供了原文鏈接,在此基礎(chǔ)上成功開發(fā)了一個英國大學(xué)科研影響案例在線數(shù)據(jù)庫,該數(shù)據(jù)庫已在REF官網(wǎng)發(fā)布。該案例庫按照參評院校、評估單元、研究領(lǐng)域、影響類型和影響范圍等進(jìn)行了分類整理,并開發(fā)了簡單檢索、定向檢索、通配符檢索、文本檢索等多種檢索方法,公眾可按分類便捷地搜索到想要查詢的案例。REF官網(wǎng)聲明,“案例數(shù)據(jù)庫是公開免費(fèi)的,任何對此感興趣的英國及海外政策分析人士都可以查閱與下載”[11]。

    2.全球影響力 “地圖”的開發(fā)

    倫敦國王學(xué)院的研究團(tuán)隊采用主題建模、關(guān)鍵字搜索和信息提取等多種文本挖掘技術(shù),對在線案例文本進(jìn)行了綜合分析,以揭示英國科研影響的主題、性質(zhì)、路徑、規(guī)模、學(xué)科分布、受益者類型等特征。其中最引發(fā)關(guān)注的是,項目組開發(fā)了一款可視化地圖軟件,直觀地顯示出目前在世界上的249個國家和地區(qū)中④,英國高校2014年在REF評審中提交的影響案例已經(jīng)覆蓋了205個,表明過去20年里英國高校的科研成果在世界范圍產(chǎn)生了廣泛影響力。地圖還顯示,英國高校科研對 “金磚四國”的影響頗為顯著,在17932個非英國地理標(biāo)簽中,1640個被標(biāo)記為 “金磚四國”,其中,對巴西的影響學(xué)科覆蓋比例最廣,而中國在影響案例中最經(jīng)常被提及,且影響明顯集中于A組和B組,也就是說,在生命醫(yī)學(xué)和自然科學(xué)研究方面,中英開展了更多的合作研究。[12]

    3.“影響力發(fā)現(xiàn)”工具的應(yīng)用

    “影響力發(fā)現(xiàn)”工具 (The ImpactFinder)是以 “影響數(shù)組陣列”的點(diǎn)陣聚集度來呈現(xiàn)影響發(fā)生的密集領(lǐng)域的一款可視化工具,其功能是可以直觀地呈現(xiàn)出科研影響在學(xué)科分布的密度和強(qiáng)度。The ImpactFinder最初是由蘭德歐洲公司開發(fā),用來評估生物醫(yī)學(xué)研究對健康的影響,現(xiàn)已在許多研究資助機(jī)構(gòu)的評估中使用。REF引入科研影響評估后,蘭德公司和Ranmore咨詢集團(tuán)合作,將The ImpactFinder的評估單位從學(xué)科擴(kuò)展到學(xué)校,并開發(fā)了 “分析包”和 “建議包”兩項內(nèi)容,“分析包”的功能提供一個關(guān)于學(xué)校整體科研影響分布狀況的“影響數(shù)組陣列”圖,顯示學(xué)校的影響案例發(fā)生比較密集的學(xué)科,學(xué)校可根據(jù)演示結(jié)果尋找典型案例,進(jìn)而搜集影響證據(jù);“建議包”則在“分析包”的基礎(chǔ)上,指導(dǎo)學(xué)校明確本校科研影響的特征以及科研成果轉(zhuǎn)化的戰(zhàn)略路徑。[13]

    四、關(guān)于REF科研影響評估的爭論

    REF的評估結(jié)果不僅決定了英國官方近20億英鎊的研究經(jīng)費(fèi)在下一個撥款期的分配去向,而且是工商業(yè)界研發(fā)投資和社會慈善捐資的重要參考依據(jù)??蒲杏绊懽鳛橐粋€嶄新的板塊被引入REF評估,勢必對英國高校的經(jīng)費(fèi)分配乃至科研戰(zhàn)略與辦學(xué)方向產(chǎn)生重大影響。因此,自REF2014實(shí)施科研影響評估以來,英國本土關(guān)于這一改革的討論就沒有停止過,爭論的焦點(diǎn)集中在以下三個方面。

    1.非學(xué)術(shù)影響評估是否會危害學(xué)術(shù)自治

    對非學(xué)術(shù)影響評估最普遍的質(zhì)疑就是,學(xué)術(shù)自治將被來自社會的 “他治”關(guān)系所規(guī)制而受到侵蝕。尤其在社會科學(xué)領(lǐng)域,這種質(zhì)疑之聲從未停止過。簡·塞爾比 (Jan Selby)閱讀了REF政治學(xué)科排前15名的學(xué)校提交的43個案例文本,發(fā)現(xiàn)沒有一個案例以馬克思主義、激進(jìn)女權(quán)主義或后殖民主義思想為研究基礎(chǔ),也沒有出現(xiàn) “對抗”、“抵制”或 “譴責(zé)”等字眼的標(biāo)題。這引發(fā)的爭論是,專業(yè)知識沒有用來改進(jìn)政策,而只是用于證明當(dāng)前決策的理性過程,從而為根深蒂固的黨派信仰和既定權(quán)力提供支持。[14]理查德 (Richard)警告說:“為了產(chǎn)生影響而接近權(quán)力帶來了風(fēng)險,學(xué)者們被吸入威斯敏斯特泡沫 (Westminster bubble)之中,他們有意識或無意識地受內(nèi)部特權(quán)(privileged insider access)的誘惑而失去了價值中立的判斷。”[15]然而,持不同意見的學(xué)者認(rèn)為,科研影響評估為研究與社會之間提供了一個公共對話空間,是對研究與社會規(guī)約關(guān)系的積極構(gòu)建,并不侵蝕學(xué)術(shù)自治???(Callon)說:“自治并不是通過將社會與科研問題選擇相分離或通過研究者對知識運(yùn)用的自我隔離來實(shí)現(xiàn)的,而是通過構(gòu)建確保特定情境場域之間知識轉(zhuǎn)化過程中高度自治的機(jī)構(gòu)實(shí)現(xiàn)的。”[16]因此,“研究影響不是一個讓我們充滿恐懼和厭惡的問題,而是作為一名研究人員應(yīng)做事情的一部分”[17]。

    2.非學(xué)術(shù)影響評估是否會損害基礎(chǔ)研究

    THE官網(wǎng)的一篇分析報道指出,老牌的曼徹斯特大學(xué)是REF2014評估中最大的 “輸家”(biggest loser),損失了1060萬英鎊科研經(jīng)費(fèi)。倫敦帝國理工學(xué)院獲得的經(jīng)費(fèi)資助也下降5%,劍橋大學(xué)則出現(xiàn)3.4%的損失。相比之下,一些92后大學(xué) (post-92 universities)卻成為最大的“贏家”。 諾森比亞大學(xué) (Northumbria University)的科研撥款增加330萬英鎊,哈德斯菲爾德大學(xué) (University of Huddersfield)增加280萬英鎊。而在獲得科研經(jīng)費(fèi)低于100萬英鎊的大學(xué)中,科研經(jīng)費(fèi)增幅最大的是貝德福德郡大學(xué)(University of Bedfordshire)和邊緣山大學(xué)(Edge Hill University),經(jīng)費(fèi)資助都翻了一番。[18]一些學(xué)者由此擔(dān)心非學(xué)術(shù)影響評估將研究資金導(dǎo)向更容易證明影響的應(yīng)用研究,而削弱基礎(chǔ)研究:“科研影響評估正在改變研究的性質(zhì),使其更具有實(shí)用性。這是件壞事嗎?如果它破壞了藍(lán)天研究 (blue sky research),如果它缺乏科學(xué)的想象力,那就有可能。”[19]但相反的意見卻認(rèn)為,REF引入科研影響評價有望打破 “馬太效應(yīng)”,使長期以來被羅素集團(tuán)大學(xué)⑤所壟斷的科研經(jīng)費(fèi)流向具有顯著服務(wù)特色和社會影響潛力的新型大學(xué),這實(shí)際給了基礎(chǔ)研究和應(yīng)用研究公平的競爭機(jī)會。因?yàn)榛A(chǔ)研究如果無法在科研影響評價環(huán)節(jié)獲得優(yōu)勢,則可以在 “科研產(chǎn)出”板塊證明自己的卓越性,而 “科研產(chǎn)出”板塊在REF評估中所占權(quán)重高達(dá)65%??梢?,基礎(chǔ)研究不會因?yàn)镽EF引入科研影響評價而處于不利地位,更不會因此而導(dǎo)致基礎(chǔ)研究貶值。

    3.非學(xué)術(shù)影響評估方法是否有效可行

    對于REF2014采用的 “影響案例+影響模板”的評估方法,不少人提出了質(zhì)疑。他們指出,案例的寫作質(zhì)量直接影響評分,一些高校為了獲得高分,甚至雇用 “槍手”來寫作案例,結(jié)果導(dǎo)致案例 “缺乏專業(yè)性,評估專家很可能是根據(jù)案例的寫作水平而不是實(shí)質(zhì)性的影響做出評價的”[20]。還有批評者指出,影響模板反映的大都是學(xué)校的戰(zhàn)略計劃,這些計劃很可能是撰寫人想象出來的,而不是基于現(xiàn)實(shí)的做法,也難以進(jìn)行核實(shí),這讓評估變得很不可靠。有人甚至調(diào)侃說,“影響模板具有 ‘童話性質(zhì)’,影響案例則是一種 ‘修飾性的文字游戲’”[21]。而對REF科研影響評估最直接的批評是其高額成本。根據(jù)蘭德公司對20所院校的分析調(diào)查,準(zhǔn)備一個影響案例的成本約為7500英鎊,一個影響模板的成本約3500英鎊。英國高校共花費(fèi)約5500萬英鎊準(zhǔn)備提交影響評估的材料。[22]一直以來,英國科研評估因成本不斷攀升,耗資巨大而備受詬病,此次REF引入科研影響評估,評估成本不降反升,必然帶來對其可行性的質(zhì)疑。

    這些意見得到了重視和回應(yīng)。為了降低成本,HEFCE決定REF2021評估取消 “影響模板”,并對案例模板進(jìn)行了更加結(jié)構(gòu)化的處理,要求撰寫內(nèi)容聚焦于研究與影響之間關(guān)系的說明。任何評估方法都不是完美無缺的,尤其科學(xué)研究所產(chǎn)生的非學(xué)術(shù)影響具有長期性和非線性特征,其評估方法的完善必然會經(jīng)歷一個長期實(shí)踐與修正的過程??傮w來看,HEFCE對REF的科研影響評估充滿信心,決定2021年繼續(xù)科研影響評估,并將其比重從20%提高至25%。[23]這意味著將近5億的科研經(jīng)費(fèi)與高??蒲挟a(chǎn)生的非學(xué)術(shù)性質(zhì)的社會影響掛鉤??蒲杏绊懺u估的持續(xù)進(jìn)行,對英國大學(xué)的科研行為、發(fā)展戰(zhàn)略所產(chǎn)生的影響由此可想而知。正如一位大學(xué)校長所言,“我們不能保證我們的研究產(chǎn)生什么影響,但是,科研影響評估使我們認(rèn)識到,我們需要觀念和文化的改變來培養(yǎng)影響力的產(chǎn)生”[24]。蘭德公司的調(diào)查也顯示,英國高校正在積極采取應(yīng)對之策,一些高校開始將科研影響納入其研究戰(zhàn)略,利用編制案例模板的經(jīng)驗(yàn)來指導(dǎo)正在進(jìn)行的研究;一些高校正在考慮采用一種系統(tǒng)的機(jī)制或方法來收集、跟蹤和記錄研究影響;還有一些高校通過采取擴(kuò)大宣傳策略,提高研究影響的社會知名度??梢哉f,“高等教育內(nèi)部的文化正在發(fā)生著變化,一種基于社會影響力的文化正在培育之中”[25]。

    注釋:

    ①受篇幅所限,本文僅節(jié)選 “社會、文化和創(chuàng)造力”維度的證據(jù)集。表中的 “影響類型”指影響主要發(fā)生的領(lǐng)域或呈現(xiàn)的形式。

    ②循證學(xué)由David L Sackett教授首次提出,本意是 “基于證據(jù)的實(shí)踐”,其理念始于20世紀(jì)末發(fā)展起來的循證醫(yī)學(xué),最初指醫(yī)生 “將當(dāng)前所能獲得的最佳研究證據(jù)與自身的專業(yè)技能及患者的價值觀整合起來進(jìn)行治療”。此后,它以迅雷不及掩耳之勢席卷了整個醫(yī)療衛(wèi)生領(lǐng)域,并不斷向鄰近學(xué)科滲透,形成了循證心理治療、循證教育學(xué)、循證社會學(xué)等數(shù)十個新的學(xué)科領(lǐng)域。循證學(xué)關(guān)注什么研究是有效的證據(jù),如何提高研究證據(jù)的質(zhì)量,如何更好地使用研究證據(jù)等,這些都促成了對研究的非學(xué)術(shù)影響的關(guān)注。

    ③沙利度胺是人類藥物史上一個著名的案例。沙利度胺被發(fā)現(xiàn)有鎮(zhèn)靜催眠作用,還能夠顯著抑制妊娠反應(yīng)。自20世紀(jì)50年代末開始陸續(xù)投放歐洲、日本、澳大利亞、非洲和拉丁美洲市場,直到60年代初發(fā)現(xiàn),服用沙利度胺使46個國家的超過一萬名新生兒出現(xiàn)畸形。

    ④該地圖軟件的國家單位參照的是ISO3166-1標(biāo)準(zhǔn)制定的國家代碼。目前,世界上有249個國家、地區(qū)在ISO中被指定了代碼,這比聯(lián)合國官方承認(rèn)的國家數(shù)字要高,因?yàn)镮SO編碼包括未被聯(lián)合國承認(rèn)的國家。

    ⑤羅素大學(xué)集團(tuán) (The Russell Group)成立于1994年,由英國最頂尖的24所世界一流研究型大學(xué)組成。該高校聯(lián)盟代表著英國大學(xué)的最高學(xué)術(shù)水平,集團(tuán)成員每年共獲得全英大學(xué)65%以上的科研經(jīng)費(fèi)和贊助資金。

    猜你喜歡
    學(xué)術(shù)案例評估
    案例4 奔跑吧,少年!
    少先隊活動(2021年2期)2021-03-29 05:40:48
    如何理解“Curator”:一個由翻譯引發(fā)的學(xué)術(shù)思考
    中國博物館(2019年2期)2019-12-07 05:40:44
    隨機(jī)變量分布及統(tǒng)計案例拔高卷
    對學(xué)術(shù)造假重拳出擊
    商周刊(2019年2期)2019-02-20 01:14:22
    發(fā)生在你我身邊的那些治超案例
    中國公路(2017年7期)2017-07-24 13:56:38
    一個模擬案例引發(fā)的多重思考
    評估依據(jù)
    立法后評估:且行且盡善
    浙江人大(2014年5期)2014-03-20 16:20:25
    學(xué)術(shù)
    最終評估
    青草久久国产| 亚洲aⅴ乱码一区二区在线播放| 91av网站免费观看| 女警被强在线播放| 美女扒开内裤让男人捅视频| 免费无遮挡裸体视频| 日韩免费av在线播放| 精品国产美女av久久久久小说| 亚洲九九香蕉| 国产成人欧美在线观看| 成人永久免费在线观看视频| 欧美+亚洲+日韩+国产| 久久中文看片网| 亚洲国产精品成人综合色| 国产97色在线日韩免费| 欧美日韩国产亚洲二区| 午夜免费成人在线视频| 免费看美女性在线毛片视频| 国产97色在线日韩免费| 欧美精品啪啪一区二区三区| 少妇丰满av| 搡老妇女老女人老熟妇| xxxwww97欧美| 老司机深夜福利视频在线观看| 欧美又色又爽又黄视频| 九九久久精品国产亚洲av麻豆 | 亚洲七黄色美女视频| 在线观看午夜福利视频| 一进一出抽搐动态| 久久久久精品国产欧美久久久| 色综合婷婷激情| 亚洲精品在线美女| 久久精品夜夜夜夜夜久久蜜豆| 国产精品一及| 成人特级av手机在线观看| 69av精品久久久久久| 国产麻豆成人av免费视频| 国产aⅴ精品一区二区三区波| 看免费av毛片| 欧美高清成人免费视频www| 国产精品亚洲一级av第二区| 久久久久久人人人人人| 日韩欧美一区二区三区在线观看| 俄罗斯特黄特色一大片| tocl精华| 欧美黑人巨大hd| 国产欧美日韩一区二区精品| 国产1区2区3区精品| 亚洲成人免费电影在线观看| 此物有八面人人有两片| 法律面前人人平等表现在哪些方面| 首页视频小说图片口味搜索| 在线播放国产精品三级| 天堂av国产一区二区熟女人妻| 一个人看的www免费观看视频| 欧美不卡视频在线免费观看| 国产毛片a区久久久久| 成人国产综合亚洲| 最好的美女福利视频网| 亚洲av第一区精品v没综合| 熟女人妻精品中文字幕| 中文资源天堂在线| 美女免费视频网站| 最近最新免费中文字幕在线| 久久久久久久久免费视频了| 日韩人妻高清精品专区| 制服丝袜大香蕉在线| 亚洲一区高清亚洲精品| 曰老女人黄片| 午夜a级毛片| 久久天躁狠狠躁夜夜2o2o| 欧美中文综合在线视频| 国产精品1区2区在线观看.| 国产免费av片在线观看野外av| 最近最新免费中文字幕在线| 啦啦啦观看免费观看视频高清| 欧美日韩黄片免| 国产精品一区二区三区四区久久| 很黄的视频免费| 9191精品国产免费久久| www日本黄色视频网| 欧美日韩乱码在线| 蜜桃久久精品国产亚洲av| 成年版毛片免费区| 动漫黄色视频在线观看| 亚洲无线观看免费| 国产精品av视频在线免费观看| 日韩 欧美 亚洲 中文字幕| 国内揄拍国产精品人妻在线| 国产精品一区二区三区四区久久| 国产黄色小视频在线观看| 国产亚洲av嫩草精品影院| 久久精品国产99精品国产亚洲性色| 亚洲人成网站高清观看| 成人av一区二区三区在线看| 国产三级黄色录像| 99久国产av精品| 白带黄色成豆腐渣| 精品国产美女av久久久久小说| 午夜免费激情av| 高潮久久久久久久久久久不卡| 精品电影一区二区在线| 搡老妇女老女人老熟妇| 最近最新中文字幕大全电影3| 成年女人看的毛片在线观看| 嫩草影院精品99| 欧美中文日本在线观看视频| 国产乱人伦免费视频| 亚洲,欧美精品.| 麻豆国产av国片精品| 国产伦精品一区二区三区四那| 欧美又色又爽又黄视频| 国产精品 国内视频| 天堂影院成人在线观看| 国产三级中文精品| 99国产精品一区二区蜜桃av| 高潮久久久久久久久久久不卡| 男人舔女人的私密视频| а√天堂www在线а√下载| 精品99又大又爽又粗少妇毛片 | 听说在线观看完整版免费高清| 最新在线观看一区二区三区| 国产黄片美女视频| 亚洲熟妇熟女久久| 精品一区二区三区四区五区乱码| 曰老女人黄片| 99热只有精品国产| 国产日本99.免费观看| 一个人看视频在线观看www免费 | 日本一二三区视频观看| 99久久99久久久精品蜜桃| 午夜福利18| 久久久久久久精品吃奶| 怎么达到女性高潮| 国产男靠女视频免费网站| 免费大片18禁| svipshipincom国产片| 精品国产亚洲在线| 观看美女的网站| 欧美极品一区二区三区四区| 看黄色毛片网站| 老司机在亚洲福利影院| 亚洲专区中文字幕在线| 国产主播在线观看一区二区| 国产欧美日韩精品亚洲av| 一个人免费在线观看电影 | 亚洲午夜精品一区,二区,三区| 女同久久另类99精品国产91| 亚洲美女黄片视频| 变态另类丝袜制服| 99riav亚洲国产免费| 婷婷丁香在线五月| av在线蜜桃| 舔av片在线| 成人亚洲精品av一区二区| 国产视频一区二区在线看| 亚洲精品美女久久av网站| 欧美色欧美亚洲另类二区| 白带黄色成豆腐渣| a级毛片a级免费在线| 免费看日本二区| 黄色日韩在线| 变态另类丝袜制服| 久久伊人香网站| 老汉色∧v一级毛片| 99国产综合亚洲精品| 国产激情久久老熟女| 999精品在线视频| 亚洲性夜色夜夜综合| 国产精品久久电影中文字幕| 神马国产精品三级电影在线观看| 高清毛片免费观看视频网站| 欧美日韩国产亚洲二区| 欧美黑人欧美精品刺激| а√天堂www在线а√下载| 国产v大片淫在线免费观看| 小说图片视频综合网站| 少妇裸体淫交视频免费看高清| 欧美中文综合在线视频| av中文乱码字幕在线| 亚洲精华国产精华精| 日日夜夜操网爽| 美女免费视频网站| 久久久国产成人免费| 国产精品亚洲美女久久久| 1024香蕉在线观看| 又爽又黄无遮挡网站| 精品不卡国产一区二区三区| 久久中文字幕一级| 国产探花在线观看一区二区| 国产真人三级小视频在线观看| 欧美激情在线99| a级毛片在线看网站| 99在线人妻在线中文字幕| 18禁裸乳无遮挡免费网站照片| 国产淫片久久久久久久久 | 真人做人爱边吃奶动态| 白带黄色成豆腐渣| 色噜噜av男人的天堂激情| 国产黄色小视频在线观看| 亚洲 国产 在线| 日韩中文字幕欧美一区二区| 嫩草影视91久久| 亚洲av成人av| 国产成人aa在线观看| 国产又黄又爽又无遮挡在线| 一二三四在线观看免费中文在| 亚洲国产精品999在线| 90打野战视频偷拍视频| 桃红色精品国产亚洲av| 精品久久蜜臀av无| 中文字幕av在线有码专区| 亚洲一区二区三区色噜噜| 精品国产美女av久久久久小说| 中国美女看黄片| 欧美中文日本在线观看视频| 国产乱人伦免费视频| 久久精品aⅴ一区二区三区四区| 国产精品av久久久久免费| 亚洲五月婷婷丁香| 欧美中文日本在线观看视频| 91老司机精品| 日韩中文字幕欧美一区二区| 国产成年人精品一区二区| 午夜福利在线观看吧| 国产精品亚洲av一区麻豆| 级片在线观看| 国产视频一区二区在线看| 精品一区二区三区视频在线 | 一区二区三区高清视频在线| 婷婷精品国产亚洲av在线| av中文乱码字幕在线| 日本免费a在线| 黄色片一级片一级黄色片| 午夜日韩欧美国产| av天堂在线播放| 19禁男女啪啪无遮挡网站| 香蕉国产在线看| 中出人妻视频一区二区| 麻豆成人av在线观看| 亚洲片人在线观看| 久久久久久久精品吃奶| 狂野欧美白嫩少妇大欣赏| 欧美最黄视频在线播放免费| 国产精品98久久久久久宅男小说| 一个人看视频在线观看www免费 | 国产美女午夜福利| 最近视频中文字幕2019在线8| 久久精品综合一区二区三区| 精品不卡国产一区二区三区| 少妇的逼水好多| 成人一区二区视频在线观看| 国产亚洲精品av在线| 狂野欧美激情性xxxx| 色视频www国产| 99久久成人亚洲精品观看| 亚洲国产精品合色在线| 亚洲午夜精品一区,二区,三区| 亚洲欧美日韩高清在线视频| 久久精品国产综合久久久| 国产伦一二天堂av在线观看| 国产午夜精品论理片| 免费在线观看视频国产中文字幕亚洲| 1000部很黄的大片| 午夜影院日韩av| 五月玫瑰六月丁香| 免费电影在线观看免费观看| 嫩草影视91久久| 精品电影一区二区在线| 亚洲国产看品久久| www.999成人在线观看| 九九久久精品国产亚洲av麻豆 | 男人舔女人下体高潮全视频| 在线观看一区二区三区| 长腿黑丝高跟| 国产黄色小视频在线观看| 午夜福利视频1000在线观看| 狂野欧美白嫩少妇大欣赏| 女人被狂操c到高潮| e午夜精品久久久久久久| 免费在线观看日本一区| 又黄又粗又硬又大视频| 91字幕亚洲| avwww免费| 久久久水蜜桃国产精品网| 听说在线观看完整版免费高清| 男女视频在线观看网站免费| 成人av在线播放网站| 可以在线观看的亚洲视频| 日本黄色片子视频| 久久人妻av系列| 亚洲熟女毛片儿| av欧美777| 久久中文字幕人妻熟女| 久久中文字幕一级| 欧美一区二区国产精品久久精品| 国产成人福利小说| 国产真实乱freesex| 亚洲天堂国产精品一区在线| 国产午夜精品论理片| 成年版毛片免费区| 精华霜和精华液先用哪个| 男女之事视频高清在线观看| 成人特级av手机在线观看| 国产精品女同一区二区软件 | 久久性视频一级片| 精品一区二区三区视频在线 | 亚洲aⅴ乱码一区二区在线播放| 在线永久观看黄色视频| 我要搜黄色片| 国产精品亚洲av一区麻豆| 日韩欧美在线乱码| 成年女人看的毛片在线观看| 夜夜看夜夜爽夜夜摸| 日韩欧美 国产精品| 亚洲国产精品sss在线观看| 午夜免费观看网址| 1024香蕉在线观看| 一边摸一边抽搐一进一小说| 啦啦啦观看免费观看视频高清| av在线蜜桃| a级毛片a级免费在线| 美女高潮的动态| 免费在线观看日本一区| 中文字幕av在线有码专区| 久久香蕉精品热| 日韩三级视频一区二区三区| 日韩高清综合在线| 精品熟女少妇八av免费久了| 亚洲天堂国产精品一区在线| 亚洲熟女毛片儿| 亚洲精品美女久久久久99蜜臀| 亚洲人成电影免费在线| 日韩欧美在线二视频| 国产又黄又爽又无遮挡在线| 亚洲午夜理论影院| 身体一侧抽搐| 一二三四社区在线视频社区8| 最近在线观看免费完整版| 丰满人妻熟妇乱又伦精品不卡| 一级毛片女人18水好多| 午夜日韩欧美国产| 99久久久亚洲精品蜜臀av| 国产欧美日韩精品亚洲av| 久久久久九九精品影院| 丰满人妻熟妇乱又伦精品不卡| 五月玫瑰六月丁香| 天天躁日日操中文字幕| 亚洲精品乱码久久久v下载方式 | 国内久久婷婷六月综合欲色啪| 国产精品1区2区在线观看.| 男人舔奶头视频| 久久天堂一区二区三区四区| 欧美黑人巨大hd| 99久久综合精品五月天人人| 91在线观看av| 精品人妻1区二区| 成年女人永久免费观看视频| 两性夫妻黄色片| 国产人伦9x9x在线观看| 激情在线观看视频在线高清| 国产精品久久久av美女十八| 欧美性猛交╳xxx乱大交人| 黄色片一级片一级黄色片| 中文字幕久久专区| 成年女人看的毛片在线观看| 久久天堂一区二区三区四区| 免费看十八禁软件| 亚洲欧洲精品一区二区精品久久久| 欧美日韩瑟瑟在线播放| 99re在线观看精品视频| 男女之事视频高清在线观看| 少妇的丰满在线观看| 国产精品亚洲美女久久久| 色在线成人网| 久久中文字幕一级| 欧美中文日本在线观看视频| 91九色精品人成在线观看| 亚洲精品一区av在线观看| 亚洲av电影在线进入| 热99re8久久精品国产| 中文字幕av在线有码专区| 好男人电影高清在线观看| 美女高潮喷水抽搐中文字幕| 真人一进一出gif抽搐免费| 日韩大尺度精品在线看网址| 日本与韩国留学比较| 这个男人来自地球电影免费观看| 人人妻人人看人人澡| 免费看光身美女| 国产亚洲av高清不卡| 中文亚洲av片在线观看爽| av国产免费在线观看| 一边摸一边抽搐一进一小说| 啦啦啦观看免费观看视频高清| 日韩欧美 国产精品| 少妇裸体淫交视频免费看高清| 俺也久久电影网| 精品久久久久久成人av| 动漫黄色视频在线观看| 91av网站免费观看| 91老司机精品| 久久人人精品亚洲av| 黄片大片在线免费观看| www.精华液| 脱女人内裤的视频| 两个人的视频大全免费| 久久久国产欧美日韩av| 一个人免费在线观看电影 | 不卡一级毛片| 国产一区二区在线av高清观看| 老司机午夜十八禁免费视频| 丁香六月欧美| 人人妻,人人澡人人爽秒播| cao死你这个sao货| 国产精品一区二区免费欧美| 久久国产乱子伦精品免费另类| or卡值多少钱| xxxwww97欧美| 免费无遮挡裸体视频| 1024香蕉在线观看| 狂野欧美白嫩少妇大欣赏| 熟妇人妻久久中文字幕3abv| 久久亚洲精品不卡| 国产成人av教育| 搡老熟女国产l中国老女人| 美女免费视频网站| 国模一区二区三区四区视频 | 日本 av在线| 一本久久中文字幕| 亚洲国产欧美网| 亚洲国产看品久久| 午夜激情欧美在线| 免费看光身美女| 亚洲精品美女久久av网站| 蜜桃久久精品国产亚洲av| 日韩中文字幕欧美一区二区| 欧美性猛交╳xxx乱大交人| 欧美黄色淫秽网站| 两性午夜刺激爽爽歪歪视频在线观看| 国产精品一及| 国产视频内射| 白带黄色成豆腐渣| 久久久久久大精品| 日韩欧美国产在线观看| 小说图片视频综合网站| 久久天堂一区二区三区四区| 在线观看日韩欧美| 久久久久国产精品人妻aⅴ院| 亚洲av美国av| 欧美3d第一页| 亚洲电影在线观看av| 综合色av麻豆| 精品久久久久久成人av| 日本黄大片高清| 叶爱在线成人免费视频播放| 一夜夜www| 成人国产一区最新在线观看| 最近最新中文字幕大全免费视频| 国产探花在线观看一区二区| 18禁黄网站禁片免费观看直播| 国产亚洲精品久久久com| 精品国内亚洲2022精品成人| 亚洲成人精品中文字幕电影| 成年人黄色毛片网站| 日韩精品中文字幕看吧| 淫秽高清视频在线观看| av黄色大香蕉| 亚洲乱码一区二区免费版| 禁无遮挡网站| 白带黄色成豆腐渣| a级毛片a级免费在线| 午夜久久久久精精品| 在线视频色国产色| 午夜精品久久久久久毛片777| av福利片在线观看| 国产黄色小视频在线观看| 麻豆一二三区av精品| 免费电影在线观看免费观看| 国产v大片淫在线免费观看| 两个人的视频大全免费| 久久精品91无色码中文字幕| 亚洲av中文字字幕乱码综合| 啦啦啦免费观看视频1| 成人性生交大片免费视频hd| 成人高潮视频无遮挡免费网站| 久久精品影院6| 成人18禁在线播放| 无遮挡黄片免费观看| 99热6这里只有精品| 999久久久精品免费观看国产| 一个人观看的视频www高清免费观看 | 午夜福利高清视频| 亚洲精华国产精华精| 香蕉久久夜色| 久久精品影院6| 国产高清三级在线| 国产一区在线观看成人免费| 三级毛片av免费| 久久精品91蜜桃| 国产精品 国内视频| 无限看片的www在线观看| 欧美性猛交黑人性爽| 真实男女啪啪啪动态图| 久久人人精品亚洲av| tocl精华| 国产精品一区二区精品视频观看| 欧美日韩乱码在线| 中文字幕av在线有码专区| 在线免费观看的www视频| 成年女人毛片免费观看观看9| 免费在线观看影片大全网站| 国产精品久久视频播放| 岛国在线观看网站| 一个人免费在线观看电影 | 天堂√8在线中文| 高清在线国产一区| 美女大奶头视频| 国产麻豆成人av免费视频| 黄色日韩在线| 久久久久久大精品| 国产激情偷乱视频一区二区| 亚洲精品美女久久久久99蜜臀| 天堂影院成人在线观看| 少妇丰满av| 精品久久蜜臀av无| 人人妻人人澡欧美一区二区| 久9热在线精品视频| 国产精品国产高清国产av| 天天添夜夜摸| 中文字幕久久专区| 国产欧美日韩一区二区三| 亚洲天堂国产精品一区在线| 亚洲激情在线av| 亚洲第一电影网av| 丰满的人妻完整版| 欧美另类亚洲清纯唯美| 亚洲美女黄片视频| 精品无人区乱码1区二区| 好男人电影高清在线观看| 1024手机看黄色片| 欧美日韩黄片免| tocl精华| 成人特级av手机在线观看| 国产成人一区二区三区免费视频网站| 精品国产超薄肉色丝袜足j| 欧美成人性av电影在线观看| 中文字幕高清在线视频| 亚洲精品美女久久久久99蜜臀| 精品久久久久久久久久久久久| 美女午夜性视频免费| 在线看三级毛片| 999久久久国产精品视频| 一本久久中文字幕| 亚洲欧美精品综合一区二区三区| 国产精品女同一区二区软件 | 欧美大码av| 久久精品aⅴ一区二区三区四区| 女人被狂操c到高潮| 亚洲真实伦在线观看| 国产成人av教育| 国产爱豆传媒在线观看| 美女cb高潮喷水在线观看 | 亚洲七黄色美女视频| 欧美日韩国产亚洲二区| 国产亚洲欧美在线一区二区| 男女那种视频在线观看| 国产精品一及| 国产高清videossex| 久久婷婷人人爽人人干人人爱| 午夜福利成人在线免费观看| 91av网一区二区| 久久精品国产99精品国产亚洲性色| 婷婷精品国产亚洲av在线| 亚洲人成电影免费在线| 999久久久国产精品视频| 99精品久久久久人妻精品| 1000部很黄的大片| 精品熟女少妇八av免费久了| 精品电影一区二区在线| 亚洲人与动物交配视频| 日韩欧美 国产精品| 无人区码免费观看不卡| 欧美又色又爽又黄视频| 亚洲成人久久爱视频| 久久久久久九九精品二区国产| 一边摸一边抽搐一进一小说| 国产精品98久久久久久宅男小说| 夜夜爽天天搞| 日韩国内少妇激情av| 亚洲精品粉嫩美女一区| 亚洲第一电影网av| 久久中文看片网| 国内久久婷婷六月综合欲色啪| 国产三级在线视频| 无人区码免费观看不卡| 亚洲精品在线观看二区| xxxwww97欧美| 欧美又色又爽又黄视频| 老司机午夜十八禁免费视频| 日韩成人在线观看一区二区三区| 亚洲一区高清亚洲精品| 欧美在线黄色| 精品久久久久久久久久久久久| 国产高清视频在线观看网站| 精品国产乱子伦一区二区三区| 久久香蕉国产精品| 欧美成狂野欧美在线观看| 久久香蕉精品热| 精品欧美国产一区二区三| 免费在线观看影片大全网站| 午夜精品久久久久久毛片777| 国内精品美女久久久久久| 麻豆成人午夜福利视频| 又粗又爽又猛毛片免费看|