• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    以社會貢獻界定卓越科研:澳大利亞大學(xué)的社會互動與影響力評價

    2020-03-02 07:50:04宗曉華張強占茜
    大學(xué)教育科學(xué) 2020年1期

    宗曉華 張強 占茜

    摘要: 隨著知識生產(chǎn)模式的現(xiàn)代轉(zhuǎn)型,大學(xué)科研活動面臨日益加重的社會問責(zé),科研評價關(guān)注的焦點逐漸從重視科研數(shù)量與質(zhì)量的內(nèi)部評價轉(zhuǎn)向注重科研社會貢獻度與影響力的外部評價。在大學(xué)卓越科研評估的基礎(chǔ)上,2018年澳大利亞政府引入了社會互動與影響力評價。作為大學(xué)卓越科研評估的配套評價機制,社會互動與影響力評價以其更加精細(xì)化、立體化的指標(biāo)體系設(shè)計,引導(dǎo)大學(xué)在科研活動全過程中積極與政府、產(chǎn)業(yè)及社會進行互動和協(xié)作,較好地兼顧了結(jié)果評價與過程評價,突出了社會貢獻能力培育與機制建設(shè),充分挖掘了科研評價的激勵與導(dǎo)向作用。借鑒社會互動與影響力評價的評估思路,我國在清理“五唯”的過程中應(yīng)明確建立質(zhì)量與貢獻并重的科研績效評價體系,對大學(xué)科研的社會互動過程與實際貢獻給予更多關(guān)注。

    關(guān)鍵詞:澳大利亞大學(xué);科研評價;社會互動;影響力;知識生產(chǎn)模式

    中圖分類號:G649 ? 文獻標(biāo)識碼:A 文章編號:1672-0717(2020)01-0058-08

    一、引言

    大學(xué)科研績效評價對科研活動具有重要的激勵和導(dǎo)向功能。然而,如果評價導(dǎo)向不科學(xué)或者評價方式選取不當(dāng),績效評價不僅會損害科研活動的健康發(fā)展,而且會阻斷科研活動與社會經(jīng)濟的良性互動,降低科研活動的經(jīng)濟和社會效益。目前我國高??蒲性u價工作中存在嚴(yán)重的“五唯”導(dǎo)向,造成大學(xué)學(xué)術(shù)風(fēng)氣浮躁,備受學(xué)界和社會各方詬病[1]。2018年教育部發(fā)布的《關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎項”專項行動的通知》,提出要扭轉(zhuǎn)不科學(xué)的評價導(dǎo)向,注重標(biāo)志性成果的質(zhì)量、貢獻和影響[2]。三部委聯(lián)合出臺的《關(guān)于高等學(xué)校加快“雙一流”建設(shè)的指導(dǎo)意見》強調(diào),要“以人才培養(yǎng)、創(chuàng)新能力、服務(wù)貢獻和影響力為核心要素”,構(gòu)建中國特色“雙一流”建設(shè)的綜合評價體系[3]。同年,國務(wù)院印發(fā)《關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知》,要求建立以創(chuàng)新質(zhì)量和貢獻為導(dǎo)向的績效評價體系,準(zhǔn)確評價科研成果的經(jīng)濟價值、社會價值及文化價值等[4]。

    然而,與科研質(zhì)量相比,科研的貢獻和影響力評價更為復(fù)雜,后者涉及到大學(xué)外部更為多元的價值標(biāo)準(zhǔn)。目前國內(nèi)學(xué)者對科研的社會貢獻和影響力評價研究不多,相關(guān)文獻更多地集中于學(xué)術(shù)領(lǐng)域內(nèi)部的自容性評價及其相關(guān)問題研究[5]。從全球范圍來看,隨著知識生產(chǎn)模式的轉(zhuǎn)型,西方國家越來越注重大學(xué)科研的影響力評價。英國在2014年科研卓越框架(Research Excellence Framework,簡稱REF)評估中,直接在評價指標(biāo)體系內(nèi)增加科研影響力評價一級指標(biāo),引起了我國學(xué)者的廣泛關(guān)注[6]。2018年澳大利亞的卓越科研(Excellence in Research for Australia,簡稱ERA)評估明確提出引入社會互動與影響力(Engagement and Impact,簡稱EI)評價,無論是在評價內(nèi)容、評價標(biāo)準(zhǔn)還是在評價方式上,都作出了新的探索且成效顯著。在2019年荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心(CWTS)的大學(xué)科研影響力排名中,澳大利亞的42所大學(xué)中有5所大學(xué)進入了全球前100名,充分展現(xiàn)了澳大利亞高校在科研影響力方面取得的成就[7]?;诖耍狙芯客ㄟ^系統(tǒng)搜集和整理相關(guān)的一手文獻與數(shù)據(jù),對EI評價進行深度分析與解讀,探究該評價機制的獨特之處及其對我國大學(xué)科研評價改革的啟示。

    二、EI評價的實施背景

    (一)理論基礎(chǔ):知識生產(chǎn)模式的當(dāng)代轉(zhuǎn)型與拓展

    邁克爾·吉本斯等人在《知識生產(chǎn)的新模式:當(dāng)代社會科學(xué)與研究的動力學(xué)》一書中指出,知識生產(chǎn)模式逐漸由以“學(xué)術(shù)范式”為主導(dǎo)的模式1向以新興的“應(yīng)用范式”為核心的模式2轉(zhuǎn)型,更加注重知識生產(chǎn)的跨學(xué)科性、應(yīng)用情境性、社會彌散性及社會問責(zé)等特征[8]。在模式2下,知識生產(chǎn)不再是模式1中大學(xué)教學(xué)與科研內(nèi)部循環(huán)的一種自容性活動,科學(xué)研究并不是置身于社會之外來分配它們的科研成果,而是依托于政府、社會及市場來判定知識的貢獻度、有用性及其生產(chǎn)效率。埃茲赫維茲(Etzkowitz H.)等學(xué)者將模式2的觀點升華為“大學(xué)-產(chǎn)業(yè)-政府”的三螺旋理論,旨在倡導(dǎo)大學(xué)努力實現(xiàn)知識創(chuàng)新,推動科技與產(chǎn)業(yè)創(chuàng)新[9]。然而,模式2導(dǎo)致了知識生產(chǎn)的經(jīng)濟化、功利化傾向,對科學(xué)研究自身和外部社會發(fā)展、生態(tài)環(huán)境等產(chǎn)生了一定的負(fù)面效應(yīng)。為此,卡拉雅尼斯(Carayannis E. G.)對知識生產(chǎn)模式作出革新,提出注重公民參與及社會力量、關(guān)注經(jīng)濟發(fā)展的生態(tài)平衡、倡導(dǎo)持續(xù)性競爭與社會繁榮為特征的知識生產(chǎn)模式3,最終拓展為“學(xué)界-產(chǎn)業(yè)-政府-公民社會”的四重螺旋創(chuàng)新生態(tài)系統(tǒng)模型[10]。

    從知識生產(chǎn)模式1到模式3的演變,揭示了知識生產(chǎn)活動在基礎(chǔ)與應(yīng)用、理論與實踐、科技創(chuàng)新與社會公民等多維度空間中持續(xù)互動與發(fā)展。正是基于對當(dāng)代知識生產(chǎn)新模式的認(rèn)識,澳大利亞政府意識到必須對大學(xué)科研評價系統(tǒng)進行調(diào)整與升級,升級的方式是在原有評價體系的基礎(chǔ)上增加適應(yīng)知識生產(chǎn)模式3的評價內(nèi)容與評價機制,促進大學(xué)科研活動與社會互動,提高科研的影響力。

    (二)現(xiàn)實需求:實現(xiàn)科研活動的經(jīng)濟、社會、文化和環(huán)境等多重效益

    作為科研管理的必要環(huán)節(jié)和支撐工具,科研評價必須隨著知識生產(chǎn)模式的轉(zhuǎn)變而與時俱進。澳大利亞政府一直致力于探索更為科學(xué)、合理的科研評價體系。1995年實施的綜合指數(shù)(Composite Index,簡稱CI)評價因過于注重科研數(shù)量指標(biāo),導(dǎo)致大學(xué)科研成果引用率顯著下降[11],在實施10年后被科研質(zhì)量框架(Research Quality Framework,簡稱RQF)評估所替代。2008年,澳大利亞在RQF的基礎(chǔ)上,設(shè)計出了卓越科研(ERA)評估,更加注重學(xué)科差異與科研成果的質(zhì)量維度,形成了較為成熟的評價方法和運行機制。ERA實施后效果顯著,大學(xué)的科研實力不斷提升,參評成果中超過世界水平的比例由2010年的34%上升到2015年的58%[12]。

    然而,面對科研質(zhì)量提升的成績,澳大利亞政府在科研政策方面并未松懈。2015年11月該國教育部發(fā)布的《科研政策與資助審查報告》冷靜地指出,根據(jù)OECD國家的標(biāo)準(zhǔn),澳大利亞大學(xué)雖然整體科研績效較高,但是在將公共資助的科研轉(zhuǎn)化成商業(yè)利益方面卻表現(xiàn)很差。報告還提出要在科研評價與撥款中設(shè)計激勵機制,以加強大學(xué)科研與社會的互動[13]。正是在此政策導(dǎo)向下,在2010、2012、2015年三次順利地實施ERA評估之后,澳大利亞政府又對ERA評估做出了新的調(diào)整,并于2015年12月宣布在大學(xué)科研評價中增加科研的社會互動和影響力(EI)評價,且將其作為國家創(chuàng)新和科學(xué)議程的一部分,以檢驗大學(xué)如何將科研轉(zhuǎn)化為經(jīng)濟、環(huán)境、社會、文化與其他方面的效益[14](P3)。于是,澳大利亞在2018年開啟第四輪ERA評估時,首次將EI評價作為并行的配套評估機制,對大學(xué)科研活動及其貢獻進行評價。

    三、EI評價的內(nèi)涵與基本框架

    (一)EI評價的內(nèi)涵與目的

    澳大利亞的EI評價,雖然參照了英國科研評價的經(jīng)驗,但更多地是基于本國實際量身定做的兼具世界視野和本土特色的評價體系。與英國科研卓越框架中科研影響力評價相比,EI評價既借鑒了作為結(jié)果的影響力評價,又兼顧了作為過程和路徑的社會互動評價。在EI評價的設(shè)計中,社會互動(Engagement)被界定為科研人員與學(xué)術(shù)界以外的科研成果使用主體之間的互動,是實現(xiàn)知識、技術(shù)、方法與資源的轉(zhuǎn)移機制;影響力(Impact)被界定為科研成果對經(jīng)濟、文化、政治、公民素養(yǎng)等超出學(xué)術(shù)本身的社會貢獻。對大學(xué)科研進行社會互動與影響力評價,其主要目的在于:一方面為澳大利亞政府和公民提供清晰的信息,了解大學(xué)目前實現(xiàn)科研社會互動與影響力的方式,準(zhǔn)確把握對大學(xué)科研的投入所帶來的社會貢獻;另一方面為了改善科研與社會互動的基礎(chǔ)設(shè)施,優(yōu)化科研管理的制度流程,推動科研成果的轉(zhuǎn)化與應(yīng)用,進而實現(xiàn)科研成果的經(jīng)濟和社會效益[14](P5)。

    (二)EI評價的評價主體及構(gòu)成

    澳大利亞研究委員會(Australian Research Council, 簡稱ARC)是科研評價的第三方機構(gòu),主要負(fù)責(zé)ERA評估與EI評價,其宗旨是通過評估科研的質(zhì)量、貢獻、影響力以及為科研事項提供建議,推動科研發(fā)展與創(chuàng)新。2016年3月,前工業(yè)、創(chuàng)新和科學(xué)部長佩恩(Christopher Pyne)參議員和教育與培訓(xùn)部長伯明漢姆(Simon Birmingham)參議員,共同宣布了科研社會互動與影響力評價指導(dǎo)委員會的成員名單。該委員會成員包括高等教育、企業(yè)等行業(yè)領(lǐng)袖,旨在幫助開發(fā)清晰、透明的科研社會互動與影響力評價機制,以此評估澳大利亞大學(xué)的科研績效,并為未來科研撥款提供依據(jù)。同時,澳大利亞研究委員會還成立兩個工作組協(xié)助指導(dǎo)委員會開展EI評價。其中,技術(shù)工作組將專業(yè)指導(dǎo)原則具體轉(zhuǎn)化為開發(fā)合理的評價機制的意見、不同學(xué)科和最終科研成果使用主體的評估要求,以及制定恰當(dāng)?shù)腅I評價指標(biāo);績效與激勵工作組根據(jù)評價方式的潛在激勵效果向ARC提供意見,如所采用的評價模型如何影響關(guān)于大學(xué)科研活動重心的決策[15]。

    (三)EI評價的基本程序

    EI評價的基礎(chǔ)單元是學(xué)科,而且學(xué)科分類是以澳大利亞統(tǒng)計局和新西蘭統(tǒng)計局聯(lián)合發(fā)布的《澳大利亞及新西蘭研究分類標(biāo)準(zhǔn)2008》(Australian and New Zealand Standard Research Classification 2008)為基本依據(jù)。對于參加EI評價的大學(xué),學(xué)校中每一個系或?qū)W術(shù)組織都可以選擇一個對應(yīng)的評估單元(Unit of Assessment,簡稱UoA)準(zhǔn)備和提交評估材料。EI評價將所有評價中涉及的學(xué)科都標(biāo)為2位數(shù)學(xué)科代碼。各大學(xué)提交相關(guān)數(shù)據(jù)時,根據(jù)2位數(shù)的學(xué)科代碼提交,最后這些數(shù)據(jù)會被匯總到相應(yīng)的評估單元。學(xué)科領(lǐng)域一致或相近的評估單元歸并為一個評估小組,而小組評估專家由杰出的學(xué)術(shù)研究人員和經(jīng)驗豐富的科研成果使用主體組成。對于跨學(xué)科或多學(xué)科提交的情況,不同專家組之間可以利用專業(yè)知識相互交叉評估。評估小組將分別使用一套量化指標(biāo)和一份定性陳述來評定大學(xué)科研的社會互動情況,并依據(jù)所提交的能證明參評單位研究影響的案例評定影響力,而影響力評價涵蓋研究影響、研究路徑兩個評級[16]。

    四、EI評價的評價機制與評價結(jié)果分析

    雖然EI評價是ERA評估的配套評價機制,但是由于評價目標(biāo)和內(nèi)容存在差異,因此EI評價在設(shè)計之初就確定了適合自身的學(xué)科劃分方法,并基于ERA評估的相關(guān)數(shù)據(jù)設(shè)定參評閾值。此外,EI評價在指標(biāo)體系、數(shù)據(jù)采集、評價方法、評價標(biāo)準(zhǔn)等方面,都進行了精細(xì)化和創(chuàng)新性的設(shè)計,以最大限度地保證評價結(jié)果的客觀性和決策的參考價值。

    (一)EI評價的學(xué)科劃分與參評閾值

    EI評價根據(jù)學(xué)科性質(zhì)與特點對相近學(xué)科進行歸并,最終形成五個評估小組,具體包括科學(xué)與技術(shù)組、健康與生命科學(xué)組、社會科學(xué)組、創(chuàng)意藝術(shù)與人文科學(xué)組、土著居民及托雷斯海峽島民研究組[17](P10)(見表1)。除土著居民及托雷斯海峽島民研究組①,其余四大評估小組下的所有評估單元都沿用同一套評估方法與評估標(biāo)準(zhǔn)[14](P5)。基于分類評價理念,評估分組最大程度上保障了不同學(xué)科之間評價標(biāo)準(zhǔn)的適用性,體現(xiàn)科學(xué)評價的“分類評價”和“領(lǐng)域適用”原則。

    然而,EI評價并不向所有大學(xué)開放,只有達到參評最低量閾值的大學(xué),才具有參評資格。在制定最低參評標(biāo)準(zhǔn)時,澳大利亞研究委員會根據(jù)大學(xué)向ERA評估提交的科研產(chǎn)出量等相關(guān)數(shù)據(jù)進行統(tǒng)計分析,最終劃定該最低量閾值為150分,即參評大學(xué)在參評時間內(nèi)所發(fā)表的論文或出版物數(shù)量累積總和達到150分,才具有參加EI評價的資格。參評門檻的設(shè)置降低了評估成本,體現(xiàn)了評估委員會對首次EI評價的審慎思考。然而,對于一些滿足最低量閾值的學(xué)科,如果其研究主要是基礎(chǔ)研究,難以提交科研影響力評價的相關(guān)證據(jù)材料,該大學(xué)可以提交一份暫不參與評價的申請,申請內(nèi)容包括:此次無法參評的原因;為該學(xué)科制定的一項戰(zhàn)略說明;該學(xué)科預(yù)期未來參與EI評價的時間框架。申請是否通過最終由澳大利亞研究委員會裁定[17](P7-8)。

    (二)EI評價的評價指標(biāo)與評價方法

    EI評價要求大學(xué)所提交的每個UoA必須包括科研的社會互動、科研影響及影響路徑三方面的材料。這些材料既包含陳述性的定性材料,又包括以指標(biāo)呈現(xiàn)的量化數(shù)據(jù)。它在評價方法上主要采用“模板法+計量法”,將定性與定量方法結(jié)合,促進大學(xué)科研評估的科學(xué)化與合理化。

    1. 科研社會互動評價材料

    參與社會互動評價的評估單位應(yīng)在評估期間遞交關(guān)于社會互動陳述、社會互動定量指標(biāo)數(shù)據(jù)以及社會互動指標(biāo)的解釋性說明三部分材料[19](P12)。社會互動陳述“模板”內(nèi)容包括戰(zhàn)略利益相關(guān)者之間的合作、公眾的參與(公民科學(xué))、為外部利益相關(guān)者提供專業(yè)資源和服務(wù)、提供專業(yè)培訓(xùn)或培訓(xùn)生計劃。陳述材料要求大學(xué)撰寫其與政府、產(chǎn)業(yè)、公民等科研成果使用主體的社會互動案例。各大學(xué)也可提供模板中沒有但與社會互動情況有關(guān)的數(shù)據(jù)。例如:EI2018評價報告顯示,大學(xué)所提供的其他常見指標(biāo)包括獎項、圖書銷售、專利、媒體文章及替代指標(biāo)(如網(wǎng)站訪問量、社交媒體帖子)等[18]。社會互動定量指標(biāo)包括科研成果使用主體的經(jīng)費支持、每年的高等教育科研收入總額、高等教育科研數(shù)據(jù)庫中第1類撥款的比例①、科研商業(yè)化收入及其他定量指標(biāo)[17](P22-24)。由于澳大利亞科研評價系統(tǒng)的高度信息化與開放性,EI評價與ERA評估兩者部分指標(biāo)數(shù)據(jù)可實現(xiàn)共享。社會互動指標(biāo)的解釋性說明主要描述評估單元的社會互動活動與各項指標(biāo)數(shù)據(jù)之間的聯(lián)系。此外,大學(xué)也可以使用社會互動指標(biāo)的解釋性說明來分析數(shù)據(jù)中的任何異常。

    2. 科研影響力評價材料

    科研影響力評價要求參評大學(xué)依據(jù)模板內(nèi)容提交評估期內(nèi)相應(yīng)的案例材料[19](P12)。影響力評價模板中最為核心的兩個部分是研究影響和影響路徑。如所提交材料不在模板范圍之內(nèi),但該材料與科研影響力評價有關(guān),可補充“計量式”材料或數(shù)據(jù)[19](P50-52)(見表2)。

    對于研究影響評價,大學(xué)首先應(yīng)描述研究對經(jīng)濟、文化等方面的社會貢獻,并提供關(guān)于支持這種研究影響的具體證據(jù)。研究影響的證據(jù)不是預(yù)期的結(jié)果,而是在評估期內(nèi)有切實證據(jù)的案例,用來向公眾例證研究的影響(例如對某項研究的成本效益分析)。由EI2018評價報告可知:各大學(xué)提交了有關(guān)研究影響豐富而詳實的信息,主要涉及與合作伙伴共同提供尖端技術(shù)、參與社區(qū)支援及安全、改善日常生活、發(fā)展社區(qū)與應(yīng)對社會挑戰(zhàn)五個主題方面的研究,直接對經(jīng)濟、社會、文化等方面產(chǎn)生了影響[18]。

    對于影響路徑的評價,大學(xué)首先應(yīng)提交具體材料說明提升研究影響的方法或機制,包括該機構(gòu)、學(xué)院或部門所實施的相關(guān)戰(zhàn)略。這些戰(zhàn)略應(yīng)能反映研究影響部分所報告的內(nèi)容,并能解釋其在產(chǎn)生影響方面的作用。其次,大學(xué)應(yīng)報告將科研成果轉(zhuǎn)化為具體影響的方式。雖然影響方式具有多樣性,但在影響路徑評價較高的研究中都存在著一些共性的機制和做法,表現(xiàn)在支持持續(xù)的協(xié)作、提供基礎(chǔ)設(shè)施以及支持知識轉(zhuǎn)移機制等[17](P31)。

    EI2018評價收到了大量的科研影響力評價案例,如悉尼大學(xué)提交的《季節(jié)性貧困、農(nóng)村勞動力市場和移民》,研究了在季節(jié)性饑荒期間澳大利亞政府為孟加拉國農(nóng)村的窮人提供移居城市的激勵措施方案是否能減少饑餓。該研究發(fā)現(xiàn),采取一定的激勵措施,讓貧窮地區(qū)的家庭將其成員送往城市工作,這些貧困地區(qū)的家庭在食品和非食品方面的支出增加了30%~35%,相當(dāng)于每人每天多吃一頓飯。同時,研究人員在確定該激勵措施的有效性后,進而在孟加拉國擴大了激勵措施的使用范圍,并在印度尼西亞推廣使用,直接使16 000戶家庭或90 000人的生活質(zhì)量得到改善。再如,墨爾本大學(xué)與多所大學(xué)共同開展了《減少登革熱病毒在熱帶地區(qū)的傳播》的研究,旨在改變滅蚊方式和探究消滅蚊媒疾病傳播的方式,如對登革熱采用新型生物防治法,使生活在登革熱高發(fā)的熱帶地區(qū)數(shù)百萬居民和企業(yè)等受益。這兩項案例均展示了令人信服的研究影響,因而在評價中都獲得了“高”評級。①

    (三)EI評價的評價標(biāo)準(zhǔn)與等級劃分

    EI評價對科研社會互動的評價,主要是考察科研人員和科研成果使用主體是否為實現(xiàn)知識、技術(shù)、方法與資源的互利傳遞而進行互動,評價級別分為高、中、低三級。如果有證據(jù)表明參評單元很好地將社會互動內(nèi)容融入到研究開發(fā)與進展中,與學(xué)術(shù)界之外的科研成果使用主體之間高效互動,實現(xiàn)了知識、技術(shù)、方法和資源的互利傳遞,則給予“高”評級。如果缺少或者根本未有效互動,則給予“低”評級,介于兩者之間的給予“中”評級。對科研影響力的評價包括兩個方面:一是研究是否產(chǎn)生社會貢獻及貢獻度大小,主要依據(jù)大學(xué)提供影響力研究及影響力案例信息來判斷;二是研究產(chǎn)生影響力的機制和路徑,主要依據(jù)大學(xué)提供的為實現(xiàn)研究影響所采取的策略、方法或路徑等信息。與社會互動評級一致,研究影響與影響路徑的評級也分為高、中、低三級[17](P20)。評估專家會審閱參評大學(xué)所提交的包括案例研究在內(nèi)的陳述性材料,從整體角度對科研的社會互動和影響力進行評級。

    (四)EI評價的評估結(jié)果與等級分布

    此次EI評價,共有來自40所大學(xué)的626個科研社會互動評估單元、637個科研影響力評估單元提交了材料。其中,85%的科研社會互動評估單元評級位于中等以上,說明澳大利亞大學(xué)與產(chǎn)業(yè)、政府和公民建立了廣泛而多樣的合作方式。研究影響、影響路徑評級位于中等以上的評估單元分別占88%、76%,反映了大學(xué)科研已在經(jīng)濟、社會、環(huán)境和文化方面產(chǎn)生重大影響力,且科研成果的轉(zhuǎn)化與應(yīng)用機制仍有完善空間。

    在參評學(xué)科方面,高社會互動性與高影響力的學(xué)科主要集中于建筑環(huán)境與設(shè)計、法律及法律研究、農(nóng)業(yè)與獸醫(yī)科學(xué)、技術(shù)學(xué)、工程學(xué)(見表3)。從三個維度的對比來看,對影響路徑方面評價相對不高,低評級比例占到了24%,高評級比例僅有25%,也說明大學(xué)科研成果向社會轉(zhuǎn)化的過程中,相關(guān)機制和制度建設(shè)并不成熟[18]。

    五、EI評價的特征與啟示

    作為資源依賴型組織,大學(xué)只有注重科研成果的社會貢獻和影響力,才能獲得可持續(xù)發(fā)展的動能。以新的知識生產(chǎn)模式為導(dǎo)向,澳大利亞政府在ERA評估的基礎(chǔ)上設(shè)計并進行EI評價,在關(guān)注科研質(zhì)量的同時,通過更加精細(xì)化、多維化和立體化的評價機制設(shè)計,引導(dǎo)和激勵高校注重科研的社會互動與貢獻。與英國的REF影響力評價相比,澳大利亞的EI評價具有過程與結(jié)果并重、機制與影響兼顧的鮮明特征,超越了診斷和激勵的傳統(tǒng)評價功能,更為注重高校與社會互動的能力培育和機制建設(shè)。澳大利亞的EI評價為我國高??蒲性u價改革與“雙一流”建設(shè)績效評價提供了鏡鑒和啟示。

    (一)正確認(rèn)識知識生產(chǎn)規(guī)律、科研價值與社會環(huán)境三者關(guān)系,構(gòu)建動態(tài)靈活的評價機制

    EI2018評價的順利實施,首先離不開前期的深入調(diào)研和試點評價工作。澳大利亞政府在決定引入科研社會互動與影響力評價后,就開始了對其他國家的廣泛調(diào)研和考察,EI評價中“模板+案例”的評估方式便借鑒了英國的相關(guān)經(jīng)驗。其次,EI評價預(yù)先選擇部分大學(xué)作為試點進行模擬評估,及時修正部分預(yù)設(shè)評估方法的不妥之處。另外,出于對社會貢獻測度復(fù)雜性和激勵不確定性的審慎考慮,EI評價并沒有將評價結(jié)果直接與科研績效撥款掛鉤,而是暫且倡議將其作為參考性信息。EI評價機制的設(shè)計過程和應(yīng)用限度設(shè)定具有很強的參考價值,凸顯了科研評價體系中知識生產(chǎn)規(guī)律、科研價值與社會環(huán)境三者的內(nèi)在邏輯。我國科研評價中糾正“五唯”不良傾向,構(gòu)建新的評價體系,需要考慮這三者的復(fù)合關(guān)系,在科學(xué)頂層設(shè)計的基礎(chǔ)上,充分進行調(diào)研和試點探索,再給予科研評價機制靈活調(diào)度的空間。

    (二)把握知識生產(chǎn)模式轉(zhuǎn)型與評價體系創(chuàng)新的交互影響,強化科研的經(jīng)濟、社會及文化影響力

    EI評價抓住了科研評價體系與新型知識生產(chǎn)模式交互影響的時代脈搏。澳大利亞之前的大學(xué)科研評價局限于科研內(nèi)部,旨在提升國內(nèi)大學(xué)的科研產(chǎn)出水平,并與財政經(jīng)費撥款部分掛鉤,致使大學(xué)更為關(guān)注科研產(chǎn)出的數(shù)量,對科研的社會貢獻度重視不足。引入EI評價后,大學(xué)科研評價機制展現(xiàn)出更為多元和積極的影響,具體表現(xiàn)為:第一,大學(xué)的科研活動以更積極的姿態(tài)有機融入社會,現(xiàn)實影響力在經(jīng)濟、社會及文化領(lǐng)域迅速擴散;第二,評價結(jié)果將影響政策制定和組織決策,為大學(xué)未來教學(xué)與科研經(jīng)費配置提供參考依據(jù);第三,科研成果的轉(zhuǎn)化率持續(xù)提升,在促進經(jīng)濟發(fā)展的同時,激發(fā)了社會創(chuàng)新活力并推動了文化繁榮。EI評價為破解我國科研評價機制中的“五唯”問題提供了鏡鑒?!捌啤迸c“立”是辯證統(tǒng)一的,“破五唯”的關(guān)鍵在于明確“立什么”的問題。我國要完善科研評價體系,應(yīng)充分認(rèn)識到:隨著知識生產(chǎn)模式的轉(zhuǎn)型,大學(xué)知識生產(chǎn)面臨結(jié)構(gòu)性調(diào)整的時代需求,即需要從以科研效率線性提升為主要表現(xiàn)的平面化科研能力,升級為強調(diào)對經(jīng)濟的貢獻、對社會的影響、對文化的傳承及對公民的培養(yǎng)等立體化的科研能力。順應(yīng)知識生產(chǎn)的發(fā)展趨勢,以社會貢獻界定卓越科研,是建構(gòu)更為全面、科學(xué)的評價體系的應(yīng)有之義。

    (三)充分挖掘科研評價的激勵導(dǎo)向作用,引導(dǎo)大學(xué)與政府、產(chǎn)業(yè)及公民之間良性互動

    EI評價成為ERA評估的配套項目,充分體現(xiàn)了澳大利亞科研評價對經(jīng)濟、政治及文化等社會貢獻的重視,打破了傳統(tǒng)學(xué)術(shù)發(fā)展與實際應(yīng)用之間的藩籬,體現(xiàn)了學(xué)術(shù)內(nèi)在價值與外在價值相結(jié)合的評價方針,有利于激勵科研活動實現(xiàn)外部效益的最大化,帶動科研價值鏈的整體提升。同時,科研的社會互動和影響力的評價工作,有助于提升科研工作者對實踐需求把握的準(zhǔn)確度,體現(xiàn)知識生產(chǎn)模式轉(zhuǎn)型下科學(xué)研究與社會之間的聯(lián)接,增強政府、產(chǎn)業(yè)和公民的參與度,實現(xiàn)大學(xué)與政府、產(chǎn)業(yè)及公民的良性互動[20]。雖然我國早已注重科研成果的利用與轉(zhuǎn)化,如支持建設(shè)企業(yè)大學(xué)、鼓勵產(chǎn)學(xué)研合作,但是相關(guān)機制體制仍不成熟,大學(xué)與政府、產(chǎn)業(yè)及社會的合作成效仍存在改進空間,科學(xué)研究與社會之間的隔閡在現(xiàn)有科研評價機制和相應(yīng)管理體制中難以消除。在第五輪學(xué)科評估以及“雙一流”建設(shè)績效評估中,應(yīng)更為明確地設(shè)置科研的社會互動與貢獻度指標(biāo),從賦能和機制建設(shè)的高度,賦予相關(guān)指標(biāo)更高的權(quán)重,從而引導(dǎo)高校在知識生產(chǎn)推動應(yīng)用、知識應(yīng)用反哺生產(chǎn)的良性循環(huán)中,充分展示大學(xué)、政府、產(chǎn)業(yè)及公民之間的互動機制。

    參考文獻

    [1] 操太圣.“五唯”問題:高校教師評價的后果、根源及解困路向[J].大學(xué)教育科學(xué),2019(01):27-32.

    [2] 教育部.關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎項”專項行動的通知[EB/OL].(2018-11-08)[2019-07-18]. http://www.moe.gov.cn/srcsite/A16/s7062/201811/t20181113_354444.html.

    [3] 教育部 財政部 國家發(fā)展改革委.關(guān)于高等學(xué)校加快“雙一流”建設(shè)的指導(dǎo)意見[EB/OL].(2018-08-27)[2019-07-22].http://www.gov.cn/xinwen/content_5316809.htm.

    [4] 國務(wù)院.關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知[EB/OL].(2018-07-24)[2019-07-22].http://www.gov.cn/zhengce/content/content_5308787.htm.

    [5] 陳學(xué)飛,葉祝弟,王英杰,等.中國式學(xué)科評估:問題與出路[J].探索與爭鳴,2016(09):59-74.

    [6] 宗曉華,郝笑影.英國大學(xué)科研績效評估與績效撥款機制——基于科研卓越框架(REF)的分析[J].江蘇高教, 2019(06):112-118.

    [7] Leiden University.CWTS Leiden Ranking 2019 [EB/OL].(2019-05-15)[2019-07-24].https://www.leidenranking.com/ranking/list.

    [8] [英]邁克爾·吉本斯,等.知識生產(chǎn)的新模式——當(dāng)代社會科學(xué)與研究的動力學(xué)[M].陳洪捷,等譯.北京:北京大學(xué)出版社,2011:4-9.

    [9] Etzkowitz H., Leydesdorff L.The Dynamics of Innovation:From National Systems and“Mode 2”to a Triple Helix of University-Industry-Government Relations[J].Research Policy,2000(02):109-123.

    [10] Carayannis E G, Campbell D F J.Open Innovation Diplomacy and a 21st Century Fractal Research, Education and Innovation (FREIE) Ecosystem: Building on the Quadruple and Quintuple Helix Innovation Concepts and the “Mode 3” Knowledge Production System[J].Journal of the Knowledge Economy,2011(03): 327-372.

    [11] Butler L.Explaining Australias Increased Share of ISI Publications — The Effects of a Funding Formula based on Publication Counts[J].Research Policy,2003(32): 143-155.

    [12] Australian Research Council.State of Australian University Research(Volume 2 Institutional Insights)[R/OL].(2016-10-12)[2019-04-10].https://www.arc.gov.au/excellence-research-australia/archived-era-reports,.

    [13] Watt, I.Report of the Review of Research Policy and Funding Arrangements [R/OL].(2015-11-30)[2019-03-20].https://apo.org.au/node/63694.

    [14] Australian Research Council.EI 2018 Framework [EB/OL].(2019-03-15)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.

    [15] EI.Steering Committee and Working Groups

    [EB/OL].(2019-03-20)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-steering-committee-and-working-groups.

    [16] Australian Research Council.Engagement and Impact Assessment Pilot 2017 Report [EB/OL].(2018-06-29)[2019-02-27].https://www.arc.gov.au/engagement-and-impact-assessment/ei-pilot-overview.

    [17] Australian Research Council.EI 2018 Assessment Handbook [EB/OL].(2019-03-15)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.

    [18] Australian Research Council.Engagement and Impact Assessment 2018-19 National Report

    [EB/OL].(2019-04-01)[2019-05-20].https://dataportal.arc.gov.au/EI/National Report/2018.

    [19] Australian Research Council.EI 2018 Submission Guidelines [EB/OL].(2019-03-20)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.

    [20] 余小波,陸啟越,周巍.社會評價介入大學(xué)治理:價值、路徑及條件[J].大學(xué)教育科學(xué),2015(04):23-27.

    Abstract: University scientific research activities are facing increasing social accountability with the approach to modern transformation of knowledge production. The focus of scientific research assessment has gradually shifted from the internal evaluation of quantity and quality of research to the external evaluation of social contribution and influence. Based on the Excellence Research Assessment (ERA), the Australian government introduced “Engagement and Impact Assessment” (EI) in 2018. As an auxiliary mechanism of ERA and with its more refined and tridimensional indicator system, EI encourages universities activities actively interacting and cooperating with government, industry and society in the whole process of research, which balance the results and process evaluation, highlights the ability cultivation and mechanism development, and fully guide the incentive and guiding role of assessment. It is helpful to take EI for reference and attach equal importance to quality and contribution in the process of cleaning up the Five Orientations in China, and pay more attention to the engagement and actual contribution of university scientific research.

    Key words: Australian universities; research assessment; engagement; impact; knowledge production mode

    (責(zé)任編輯? 黃建新)

    亚洲 国产 在线| 国产精品一区二区免费欧美| 亚洲在线自拍视频| 午夜两性在线视频| 97人妻精品一区二区三区麻豆 | 99久久久亚洲精品蜜臀av| 久久人人精品亚洲av| 国产成年人精品一区二区| 99国产综合亚洲精品| 精品免费久久久久久久清纯| a级毛片在线看网站| 极品人妻少妇av视频| 国产成人av激情在线播放| 又黄又粗又硬又大视频| 国产野战对白在线观看| 99国产极品粉嫩在线观看| 国产熟女xx| 99精品欧美一区二区三区四区| 欧美日本中文国产一区发布| 成人亚洲精品一区在线观看| 免费高清视频大片| 亚洲人成77777在线视频| 一级片免费观看大全| 国产精华一区二区三区| 别揉我奶头~嗯~啊~动态视频| 国产色视频综合| 禁无遮挡网站| bbb黄色大片| 性欧美人与动物交配| 亚洲男人的天堂狠狠| 久久人妻av系列| 黄色毛片三级朝国网站| 日韩国内少妇激情av| 精品国内亚洲2022精品成人| 九色国产91popny在线| 中文字幕最新亚洲高清| 99精品在免费线老司机午夜| 亚洲国产日韩欧美精品在线观看 | 亚洲欧美激情综合另类| 欧美一级毛片孕妇| 9色porny在线观看| 91精品国产国语对白视频| 无限看片的www在线观看| 国产精品1区2区在线观看.| 欧美国产精品va在线观看不卡| 国产日韩一区二区三区精品不卡| 中出人妻视频一区二区| 女人被狂操c到高潮| 成年女人毛片免费观看观看9| 无人区码免费观看不卡| 别揉我奶头~嗯~啊~动态视频| bbb黄色大片| 欧美黄色淫秽网站| 色av中文字幕| 午夜久久久在线观看| 亚洲av电影不卡..在线观看| 国产片内射在线| 亚洲在线自拍视频| 老熟妇乱子伦视频在线观看| av天堂在线播放| 一区福利在线观看| av超薄肉色丝袜交足视频| 在线av久久热| 免费在线观看视频国产中文字幕亚洲| 国产一区在线观看成人免费| 久久久久国内视频| 精品一区二区三区av网在线观看| 99久久久亚洲精品蜜臀av| 日本精品一区二区三区蜜桃| 久久午夜亚洲精品久久| 日日爽夜夜爽网站| 亚洲少妇的诱惑av| 黑丝袜美女国产一区| 人人妻人人澡人人看| 国产99久久九九免费精品| 亚洲熟女毛片儿| 免费av毛片视频| av超薄肉色丝袜交足视频| 欧美+亚洲+日韩+国产| 色在线成人网| 国内毛片毛片毛片毛片毛片| 欧美成人免费av一区二区三区| 国产成+人综合+亚洲专区| 久久欧美精品欧美久久欧美| 国产精品爽爽va在线观看网站 | 夜夜夜夜夜久久久久| 丝袜美足系列| 最好的美女福利视频网| 黄频高清免费视频| 91麻豆av在线| 老熟妇乱子伦视频在线观看| 在线观看一区二区三区| av网站免费在线观看视频| 精品无人区乱码1区二区| 正在播放国产对白刺激| 亚洲精品av麻豆狂野| 久久久久精品国产欧美久久久| 窝窝影院91人妻| 国产乱人伦免费视频| 亚洲国产高清在线一区二区三 | 亚洲欧美激情综合另类| 成熟少妇高潮喷水视频| av天堂久久9| 丁香六月欧美| 欧美性长视频在线观看| 夜夜看夜夜爽夜夜摸| 999久久久国产精品视频| 村上凉子中文字幕在线| 婷婷六月久久综合丁香| 午夜福利,免费看| 亚洲熟妇熟女久久| a级毛片在线看网站| 亚洲av电影不卡..在线观看| 国产亚洲av高清不卡| 99热只有精品国产| 精品熟女少妇八av免费久了| 99国产精品99久久久久| 搡老岳熟女国产| 国产成人精品久久二区二区91| 午夜福利成人在线免费观看| 成人特级黄色片久久久久久久| 亚洲av美国av| 国产麻豆69| netflix在线观看网站| 免费看a级黄色片| 免费观看人在逋| 久久久久国产一级毛片高清牌| 天天一区二区日本电影三级 | 淫妇啪啪啪对白视频| 亚洲成人久久性| 91成年电影在线观看| 非洲黑人性xxxx精品又粗又长| 欧美日本视频| 国产野战对白在线观看| 亚洲欧美一区二区三区黑人| 亚洲国产中文字幕在线视频| 妹子高潮喷水视频| 久久人人精品亚洲av| 午夜日韩欧美国产| 99riav亚洲国产免费| 精品日产1卡2卡| 国产精品电影一区二区三区| 日韩国内少妇激情av| 色哟哟哟哟哟哟| 97人妻精品一区二区三区麻豆 | 侵犯人妻中文字幕一二三四区| av天堂在线播放| 91精品三级在线观看| 国产精品 国内视频| 欧美黄色淫秽网站| 日日爽夜夜爽网站| 女性被躁到高潮视频| 欧美不卡视频在线免费观看 | 久久久久国内视频| bbb黄色大片| 成人18禁在线播放| 国产亚洲精品一区二区www| 侵犯人妻中文字幕一二三四区| 男女午夜视频在线观看| 黄色女人牲交| 久久久久久国产a免费观看| a级毛片在线看网站| 免费不卡黄色视频| 国产精品一区二区免费欧美| 亚洲专区国产一区二区| 精品少妇一区二区三区视频日本电影| 黄片大片在线免费观看| 免费不卡黄色视频| 国产成人啪精品午夜网站| 50天的宝宝边吃奶边哭怎么回事| 欧美 亚洲 国产 日韩一| 亚洲成人久久性| 国产又爽黄色视频| 亚洲精品粉嫩美女一区| av视频在线观看入口| 亚洲人成电影免费在线| 亚洲欧美精品综合久久99| 久久久久久久久中文| 亚洲国产欧美日韩在线播放| 黄片小视频在线播放| 电影成人av| 50天的宝宝边吃奶边哭怎么回事| 男女午夜视频在线观看| 男人操女人黄网站| 国产亚洲精品一区二区www| 丰满的人妻完整版| 99久久精品国产亚洲精品| 国产精品98久久久久久宅男小说| 久久久国产精品麻豆| 午夜久久久在线观看| 成人av一区二区三区在线看| av网站免费在线观看视频| 啦啦啦韩国在线观看视频| 久久久国产欧美日韩av| 国产一区二区三区综合在线观看| 日本一区二区免费在线视频| 侵犯人妻中文字幕一二三四区| 欧美日韩中文字幕国产精品一区二区三区 | 丝袜在线中文字幕| 国产av一区在线观看免费| 国产亚洲欧美精品永久| 91九色精品人成在线观看| 激情视频va一区二区三区| 国产又爽黄色视频| 国产成人精品在线电影| 久久精品国产亚洲av高清一级| 性少妇av在线| 欧美丝袜亚洲另类 | 免费在线观看亚洲国产| 亚洲自偷自拍图片 自拍| 免费在线观看完整版高清| 禁无遮挡网站| 中出人妻视频一区二区| 亚洲欧美日韩另类电影网站| 黄色女人牲交| 露出奶头的视频| 日韩欧美在线二视频| 两性午夜刺激爽爽歪歪视频在线观看 | 国产高清有码在线观看视频 | 色综合欧美亚洲国产小说| 国产精品乱码一区二三区的特点 | 欧美中文日本在线观看视频| 美女国产高潮福利片在线看| 久久久水蜜桃国产精品网| 久久久国产成人免费| 亚洲精品av麻豆狂野| 亚洲美女黄片视频| a在线观看视频网站| 精品第一国产精品| 亚洲 国产 在线| 成人免费观看视频高清| 国产精品永久免费网站| 久久婷婷成人综合色麻豆| 久久香蕉国产精品| 在线av久久热| 久久久久久免费高清国产稀缺| 黑丝袜美女国产一区| av片东京热男人的天堂| 国产精品99久久99久久久不卡| 欧美激情 高清一区二区三区| 桃红色精品国产亚洲av| 国产精品一区二区精品视频观看| 国产精品二区激情视频| 性欧美人与动物交配| 亚洲国产欧美日韩在线播放| 欧美激情高清一区二区三区| 九色国产91popny在线| 欧美一区二区精品小视频在线| 一级片免费观看大全| 国产在线精品亚洲第一网站| 老熟妇仑乱视频hdxx| 亚洲精品国产精品久久久不卡| aaaaa片日本免费| 搡老熟女国产l中国老女人| 国产精品免费一区二区三区在线| 国产精品秋霞免费鲁丝片| 成人精品一区二区免费| 18禁国产床啪视频网站| 国产av又大| 夜夜躁狠狠躁天天躁| 久久人人爽av亚洲精品天堂| 午夜影院日韩av| 每晚都被弄得嗷嗷叫到高潮| 精品久久久久久,| 国产亚洲欧美在线一区二区| 中亚洲国语对白在线视频| 亚洲欧美精品综合久久99| av电影中文网址| 大香蕉久久成人网| 桃色一区二区三区在线观看| 香蕉久久夜色| 一区二区三区高清视频在线| 最好的美女福利视频网| 免费av毛片视频| 中文字幕另类日韩欧美亚洲嫩草| 国产精品美女特级片免费视频播放器 | 日本vs欧美在线观看视频| 看免费av毛片| 麻豆成人av在线观看| av在线播放免费不卡| 黄色视频不卡| 一区在线观看完整版| www.熟女人妻精品国产| 亚洲一区中文字幕在线| 精品久久久久久,| 国产一区二区三区在线臀色熟女| 久久天躁狠狠躁夜夜2o2o| 精品午夜福利视频在线观看一区| 久久久久久久久中文| 一进一出抽搐gif免费好疼| 欧美老熟妇乱子伦牲交| 久久精品成人免费网站| 国产成人影院久久av| 久久草成人影院| 久久久久久久久中文| 99国产极品粉嫩在线观看| 亚洲熟妇中文字幕五十中出| 高清黄色对白视频在线免费看| 两性夫妻黄色片| √禁漫天堂资源中文www| 91九色精品人成在线观看| 自线自在国产av| 18禁国产床啪视频网站| 久久精品国产亚洲av高清一级| 老司机午夜十八禁免费视频| 成人免费观看视频高清| 久久久久久久午夜电影| 三级毛片av免费| 久久精品亚洲精品国产色婷小说| 巨乳人妻的诱惑在线观看| 美女 人体艺术 gogo| 国产成人免费无遮挡视频| 久久狼人影院| 日本一区二区免费在线视频| 亚洲av成人一区二区三| 男女下面进入的视频免费午夜 | 99国产精品一区二区蜜桃av| 亚洲第一电影网av| 婷婷精品国产亚洲av在线| 视频在线观看一区二区三区| 777久久人妻少妇嫩草av网站| 国产精品二区激情视频| 亚洲男人的天堂狠狠| 身体一侧抽搐| 一级片免费观看大全| 黄色毛片三级朝国网站| 久久婷婷人人爽人人干人人爱 | 又黄又爽又免费观看的视频| 久久精品人人爽人人爽视色| 国产人伦9x9x在线观看| 成人三级黄色视频| 嫁个100分男人电影在线观看| 国产精品电影一区二区三区| 国产私拍福利视频在线观看| 亚洲成国产人片在线观看| 国产99白浆流出| 18美女黄网站色大片免费观看| 一级毛片高清免费大全| 在线免费观看的www视频| 亚洲一区高清亚洲精品| 色在线成人网| 操出白浆在线播放| 亚洲五月色婷婷综合| 亚洲精品美女久久av网站| 成熟少妇高潮喷水视频| 精品人妻1区二区| 91av网站免费观看| 精品卡一卡二卡四卡免费| 国产欧美日韩一区二区三| 精品国产一区二区久久| 欧美成人午夜精品| 99riav亚洲国产免费| 美国免费a级毛片| 国产av精品麻豆| 在线播放国产精品三级| 久久国产乱子伦精品免费另类| tocl精华| 色综合婷婷激情| 亚洲av日韩精品久久久久久密| 免费久久久久久久精品成人欧美视频| av中文乱码字幕在线| a级毛片在线看网站| 777久久人妻少妇嫩草av网站| 淫秽高清视频在线观看| 久久久久久久久免费视频了| 欧美av亚洲av综合av国产av| 成年女人毛片免费观看观看9| 一区二区三区激情视频| 男女下面插进去视频免费观看| 黑人欧美特级aaaaaa片| 国产成人系列免费观看| 非洲黑人性xxxx精品又粗又长| 97人妻天天添夜夜摸| 久久久久久久久久久久大奶| 国产精品亚洲美女久久久| 国产成年人精品一区二区| 淫妇啪啪啪对白视频| 亚洲国产精品sss在线观看| 欧美日韩一级在线毛片| 一边摸一边做爽爽视频免费| 久久久久九九精品影院| 日韩精品中文字幕看吧| 日韩欧美免费精品| 国产在线精品亚洲第一网站| 国产主播在线观看一区二区| 中出人妻视频一区二区| 久热这里只有精品99| 国产亚洲欧美98| 夜夜看夜夜爽夜夜摸| 亚洲一码二码三码区别大吗| 老司机在亚洲福利影院| 亚洲狠狠婷婷综合久久图片| 可以在线观看毛片的网站| 亚洲熟妇中文字幕五十中出| 成人18禁在线播放| 国产不卡一卡二| 国产精品一区二区三区四区久久 | www.自偷自拍.com| 亚洲,欧美精品.| 97超级碰碰碰精品色视频在线观看| 国产精品99久久99久久久不卡| 大陆偷拍与自拍| 一本大道久久a久久精品| 美女高潮到喷水免费观看| 最新美女视频免费是黄的| 午夜福利一区二区在线看| 色综合欧美亚洲国产小说| 人人妻,人人澡人人爽秒播| 男人操女人黄网站| 国产精品久久久久久亚洲av鲁大| 欧美日韩一级在线毛片| 亚洲一区二区三区色噜噜| 99香蕉大伊视频| 一区二区三区激情视频| 这个男人来自地球电影免费观看| 久久久久久免费高清国产稀缺| 久久久久国内视频| 国产精品99久久99久久久不卡| 日韩大码丰满熟妇| 亚洲一区中文字幕在线| 一二三四社区在线视频社区8| 国产精品美女特级片免费视频播放器 | 极品教师在线免费播放| 国产极品粉嫩免费观看在线| 中文字幕av电影在线播放| 欧美日本亚洲视频在线播放| 亚洲成人国产一区在线观看| 日韩av在线大香蕉| 中文字幕av电影在线播放| 国产野战对白在线观看| а√天堂www在线а√下载| 欧美日韩亚洲国产一区二区在线观看| 变态另类成人亚洲欧美熟女 | 69av精品久久久久久| 国产乱人伦免费视频| 满18在线观看网站| 久久精品亚洲精品国产色婷小说| av网站免费在线观看视频| 99国产精品一区二区三区| 久久精品人人爽人人爽视色| 国产麻豆69| 婷婷精品国产亚洲av在线| 亚洲成av人片免费观看| av免费在线观看网站| 国产色视频综合| 久久香蕉精品热| 久久精品国产亚洲av高清一级| 窝窝影院91人妻| 亚洲 国产 在线| 午夜福利视频1000在线观看 | 在线观看免费视频网站a站| 欧美人与性动交α欧美精品济南到| 国产精品1区2区在线观看.| 两个人视频免费观看高清| 中文字幕高清在线视频| 日韩 欧美 亚洲 中文字幕| 亚洲av电影不卡..在线观看| 亚洲第一av免费看| 性少妇av在线| av欧美777| 欧美丝袜亚洲另类 | 在线视频色国产色| 18禁黄网站禁片午夜丰满| 久久国产乱子伦精品免费另类| 日韩一卡2卡3卡4卡2021年| 麻豆久久精品国产亚洲av| 啪啪无遮挡十八禁网站| 老汉色∧v一级毛片| 久久精品91无色码中文字幕| 欧美日韩精品网址| 女生性感内裤真人,穿戴方法视频| 国产精品一区二区在线不卡| 久久婷婷人人爽人人干人人爱 | 午夜a级毛片| 桃色一区二区三区在线观看| 黄色女人牲交| 丰满人妻熟妇乱又伦精品不卡| 亚洲美女黄片视频| 天堂影院成人在线观看| 欧美老熟妇乱子伦牲交| 黑人欧美特级aaaaaa片| av在线天堂中文字幕| 搡老熟女国产l中国老女人| 大陆偷拍与自拍| 九色亚洲精品在线播放| 一级,二级,三级黄色视频| 欧美性长视频在线观看| av欧美777| 国产片内射在线| 成人国产一区最新在线观看| 免费人成视频x8x8入口观看| 99久久久亚洲精品蜜臀av| 欧美人与性动交α欧美精品济南到| 国产野战对白在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 国产亚洲av高清不卡| 国产国语露脸激情在线看| 一区二区三区高清视频在线| 国产精品秋霞免费鲁丝片| 日本五十路高清| 午夜老司机福利片| www.自偷自拍.com| 美女扒开内裤让男人捅视频| 国产在线观看jvid| 一个人观看的视频www高清免费观看 | or卡值多少钱| 亚洲午夜理论影院| 啦啦啦免费观看视频1| 国产人伦9x9x在线观看| 亚洲av美国av| 精品国内亚洲2022精品成人| 国产伦人伦偷精品视频| 日韩国内少妇激情av| 国产精品精品国产色婷婷| 午夜激情av网站| 免费人成视频x8x8入口观看| 变态另类成人亚洲欧美熟女 | 熟妇人妻久久中文字幕3abv| 亚洲精品粉嫩美女一区| 搞女人的毛片| 久久久久久久精品吃奶| 久久天堂一区二区三区四区| 母亲3免费完整高清在线观看| 国产亚洲精品综合一区在线观看 | 制服丝袜大香蕉在线| 国产精品亚洲av一区麻豆| 欧美日韩黄片免| 国产成人精品在线电影| 国产精品一区二区在线不卡| 日本欧美视频一区| 可以在线观看的亚洲视频| 一级a爱视频在线免费观看| 两个人视频免费观看高清| 老熟妇乱子伦视频在线观看| 一个人免费在线观看的高清视频| 老司机午夜福利在线观看视频| 亚洲欧美激情在线| 亚洲狠狠婷婷综合久久图片| 后天国语完整版免费观看| 午夜日韩欧美国产| 精品一品国产午夜福利视频| 一进一出抽搐动态| 精品国产亚洲在线| 久久天躁狠狠躁夜夜2o2o| 亚洲专区字幕在线| 免费在线观看完整版高清| 嫁个100分男人电影在线观看| 精品久久久久久久人妻蜜臀av | 亚洲av电影不卡..在线观看| 99国产精品一区二区三区| 色综合站精品国产| 亚洲天堂国产精品一区在线| 99热只有精品国产| 人妻丰满熟妇av一区二区三区| 一区福利在线观看| 欧美日韩福利视频一区二区| 国产精品国产高清国产av| 久久久久久大精品| 法律面前人人平等表现在哪些方面| 此物有八面人人有两片| 在线观看日韩欧美| 成年版毛片免费区| 欧美激情高清一区二区三区| 制服人妻中文乱码| 亚洲第一av免费看| 亚洲成国产人片在线观看| 亚洲国产毛片av蜜桃av| 1024香蕉在线观看| 男人的好看免费观看在线视频 | 51午夜福利影视在线观看| 9191精品国产免费久久| 免费少妇av软件| 亚洲人成电影免费在线| 亚洲人成网站在线播放欧美日韩| 大型av网站在线播放| 中文字幕高清在线视频| 在线天堂中文资源库| 亚洲天堂国产精品一区在线| 婷婷六月久久综合丁香| 91麻豆av在线| 巨乳人妻的诱惑在线观看| 国产高清videossex| 国产不卡一卡二| 久久午夜综合久久蜜桃| 国产又爽黄色视频| 国产精品美女特级片免费视频播放器 | 熟妇人妻久久中文字幕3abv| 日韩免费av在线播放| 亚洲中文av在线| 在线播放国产精品三级| 亚洲国产看品久久| 国产单亲对白刺激| 亚洲专区中文字幕在线| 99riav亚洲国产免费| 欧美精品亚洲一区二区| videosex国产| 色尼玛亚洲综合影院| 色综合亚洲欧美另类图片| 免费在线观看黄色视频的| 亚洲一区二区三区不卡视频| 精品久久久久久,| 最新在线观看一区二区三区| 熟妇人妻久久中文字幕3abv| 国产精品日韩av在线免费观看 | xxx96com| 在线观看免费视频网站a站| 久久草成人影院| 精品少妇一区二区三区视频日本电影| 日韩欧美免费精品| 亚洲av片天天在线观看| 成人亚洲精品一区在线观看| 精品国内亚洲2022精品成人| 99热只有精品国产| 日本三级黄在线观看| 搡老岳熟女国产|