• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    以社會(huì)貢獻(xiàn)界定卓越科研:澳大利亞大學(xué)的社會(huì)互動(dòng)與影響力評(píng)價(jià)

    2020-03-02 07:50:04宗曉華張強(qiáng)占茜
    大學(xué)教育科學(xué) 2020年1期

    宗曉華 張強(qiáng) 占茜

    摘要: 隨著知識(shí)生產(chǎn)模式的現(xiàn)代轉(zhuǎn)型,大學(xué)科研活動(dòng)面臨日益加重的社會(huì)問責(zé),科研評(píng)價(jià)關(guān)注的焦點(diǎn)逐漸從重視科研數(shù)量與質(zhì)量的內(nèi)部評(píng)價(jià)轉(zhuǎn)向注重科研社會(huì)貢獻(xiàn)度與影響力的外部評(píng)價(jià)。在大學(xué)卓越科研評(píng)估的基礎(chǔ)上,2018年澳大利亞政府引入了社會(huì)互動(dòng)與影響力評(píng)價(jià)。作為大學(xué)卓越科研評(píng)估的配套評(píng)價(jià)機(jī)制,社會(huì)互動(dòng)與影響力評(píng)價(jià)以其更加精細(xì)化、立體化的指標(biāo)體系設(shè)計(jì),引導(dǎo)大學(xué)在科研活動(dòng)全過程中積極與政府、產(chǎn)業(yè)及社會(huì)進(jìn)行互動(dòng)和協(xié)作,較好地兼顧了結(jié)果評(píng)價(jià)與過程評(píng)價(jià),突出了社會(huì)貢獻(xiàn)能力培育與機(jī)制建設(shè),充分挖掘了科研評(píng)價(jià)的激勵(lì)與導(dǎo)向作用。借鑒社會(huì)互動(dòng)與影響力評(píng)價(jià)的評(píng)估思路,我國在清理“五唯”的過程中應(yīng)明確建立質(zhì)量與貢獻(xiàn)并重的科研績效評(píng)價(jià)體系,對(duì)大學(xué)科研的社會(huì)互動(dòng)過程與實(shí)際貢獻(xiàn)給予更多關(guān)注。

    關(guān)鍵詞:澳大利亞大學(xué);科研評(píng)價(jià);社會(huì)互動(dòng);影響力;知識(shí)生產(chǎn)模式

    中圖分類號(hào):G649 ? 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1672-0717(2020)01-0058-08

    一、引言

    大學(xué)科研績效評(píng)價(jià)對(duì)科研活動(dòng)具有重要的激勵(lì)和導(dǎo)向功能。然而,如果評(píng)價(jià)導(dǎo)向不科學(xué)或者評(píng)價(jià)方式選取不當(dāng),績效評(píng)價(jià)不僅會(huì)損害科研活動(dòng)的健康發(fā)展,而且會(huì)阻斷科研活動(dòng)與社會(huì)經(jīng)濟(jì)的良性互動(dòng),降低科研活動(dòng)的經(jīng)濟(jì)和社會(huì)效益。目前我國高??蒲性u(píng)價(jià)工作中存在嚴(yán)重的“五唯”導(dǎo)向,造成大學(xué)學(xué)術(shù)風(fēng)氣浮躁,備受學(xué)界和社會(huì)各方詬病[1]。2018年教育部發(fā)布的《關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知》,提出要扭轉(zhuǎn)不科學(xué)的評(píng)價(jià)導(dǎo)向,注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)和影響[2]。三部委聯(lián)合出臺(tái)的《關(guān)于高等學(xué)校加快“雙一流”建設(shè)的指導(dǎo)意見》強(qiáng)調(diào),要“以人才培養(yǎng)、創(chuàng)新能力、服務(wù)貢獻(xiàn)和影響力為核心要素”,構(gòu)建中國特色“雙一流”建設(shè)的綜合評(píng)價(jià)體系[3]。同年,國務(wù)院印發(fā)《關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知》,要求建立以創(chuàng)新質(zhì)量和貢獻(xiàn)為導(dǎo)向的績效評(píng)價(jià)體系,準(zhǔn)確評(píng)價(jià)科研成果的經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值及文化價(jià)值等[4]。

    然而,與科研質(zhì)量相比,科研的貢獻(xiàn)和影響力評(píng)價(jià)更為復(fù)雜,后者涉及到大學(xué)外部更為多元的價(jià)值標(biāo)準(zhǔn)。目前國內(nèi)學(xué)者對(duì)科研的社會(huì)貢獻(xiàn)和影響力評(píng)價(jià)研究不多,相關(guān)文獻(xiàn)更多地集中于學(xué)術(shù)領(lǐng)域內(nèi)部的自容性評(píng)價(jià)及其相關(guān)問題研究[5]。從全球范圍來看,隨著知識(shí)生產(chǎn)模式的轉(zhuǎn)型,西方國家越來越注重大學(xué)科研的影響力評(píng)價(jià)。英國在2014年科研卓越框架(Research Excellence Framework,簡稱REF)評(píng)估中,直接在評(píng)價(jià)指標(biāo)體系內(nèi)增加科研影響力評(píng)價(jià)一級(jí)指標(biāo),引起了我國學(xué)者的廣泛關(guān)注[6]。2018年澳大利亞的卓越科研(Excellence in Research for Australia,簡稱ERA)評(píng)估明確提出引入社會(huì)互動(dòng)與影響力(Engagement and Impact,簡稱EI)評(píng)價(jià),無論是在評(píng)價(jià)內(nèi)容、評(píng)價(jià)標(biāo)準(zhǔn)還是在評(píng)價(jià)方式上,都作出了新的探索且成效顯著。在2019年荷蘭萊頓大學(xué)科學(xué)技術(shù)研究中心(CWTS)的大學(xué)科研影響力排名中,澳大利亞的42所大學(xué)中有5所大學(xué)進(jìn)入了全球前100名,充分展現(xiàn)了澳大利亞高校在科研影響力方面取得的成就[7]?;诖?,本研究通過系統(tǒng)搜集和整理相關(guān)的一手文獻(xiàn)與數(shù)據(jù),對(duì)EI評(píng)價(jià)進(jìn)行深度分析與解讀,探究該評(píng)價(jià)機(jī)制的獨(dú)特之處及其對(duì)我國大學(xué)科研評(píng)價(jià)改革的啟示。

    二、EI評(píng)價(jià)的實(shí)施背景

    (一)理論基礎(chǔ):知識(shí)生產(chǎn)模式的當(dāng)代轉(zhuǎn)型與拓展

    邁克爾·吉本斯等人在《知識(shí)生產(chǎn)的新模式:當(dāng)代社會(huì)科學(xué)與研究的動(dòng)力學(xué)》一書中指出,知識(shí)生產(chǎn)模式逐漸由以“學(xué)術(shù)范式”為主導(dǎo)的模式1向以新興的“應(yīng)用范式”為核心的模式2轉(zhuǎn)型,更加注重知識(shí)生產(chǎn)的跨學(xué)科性、應(yīng)用情境性、社會(huì)彌散性及社會(huì)問責(zé)等特征[8]。在模式2下,知識(shí)生產(chǎn)不再是模式1中大學(xué)教學(xué)與科研內(nèi)部循環(huán)的一種自容性活動(dòng),科學(xué)研究并不是置身于社會(huì)之外來分配它們的科研成果,而是依托于政府、社會(huì)及市場(chǎng)來判定知識(shí)的貢獻(xiàn)度、有用性及其生產(chǎn)效率。埃茲赫維茲(Etzkowitz H.)等學(xué)者將模式2的觀點(diǎn)升華為“大學(xué)-產(chǎn)業(yè)-政府”的三螺旋理論,旨在倡導(dǎo)大學(xué)努力實(shí)現(xiàn)知識(shí)創(chuàng)新,推動(dòng)科技與產(chǎn)業(yè)創(chuàng)新[9]。然而,模式2導(dǎo)致了知識(shí)生產(chǎn)的經(jīng)濟(jì)化、功利化傾向,對(duì)科學(xué)研究自身和外部社會(huì)發(fā)展、生態(tài)環(huán)境等產(chǎn)生了一定的負(fù)面效應(yīng)。為此,卡拉雅尼斯(Carayannis E. G.)對(duì)知識(shí)生產(chǎn)模式作出革新,提出注重公民參與及社會(huì)力量、關(guān)注經(jīng)濟(jì)發(fā)展的生態(tài)平衡、倡導(dǎo)持續(xù)性競(jìng)爭(zhēng)與社會(huì)繁榮為特征的知識(shí)生產(chǎn)模式3,最終拓展為“學(xué)界-產(chǎn)業(yè)-政府-公民社會(huì)”的四重螺旋創(chuàng)新生態(tài)系統(tǒng)模型[10]。

    從知識(shí)生產(chǎn)模式1到模式3的演變,揭示了知識(shí)生產(chǎn)活動(dòng)在基礎(chǔ)與應(yīng)用、理論與實(shí)踐、科技創(chuàng)新與社會(huì)公民等多維度空間中持續(xù)互動(dòng)與發(fā)展。正是基于對(duì)當(dāng)代知識(shí)生產(chǎn)新模式的認(rèn)識(shí),澳大利亞政府意識(shí)到必須對(duì)大學(xué)科研評(píng)價(jià)系統(tǒng)進(jìn)行調(diào)整與升級(jí),升級(jí)的方式是在原有評(píng)價(jià)體系的基礎(chǔ)上增加適應(yīng)知識(shí)生產(chǎn)模式3的評(píng)價(jià)內(nèi)容與評(píng)價(jià)機(jī)制,促進(jìn)大學(xué)科研活動(dòng)與社會(huì)互動(dòng),提高科研的影響力。

    (二)現(xiàn)實(shí)需求:實(shí)現(xiàn)科研活動(dòng)的經(jīng)濟(jì)、社會(huì)、文化和環(huán)境等多重效益

    作為科研管理的必要環(huán)節(jié)和支撐工具,科研評(píng)價(jià)必須隨著知識(shí)生產(chǎn)模式的轉(zhuǎn)變而與時(shí)俱進(jìn)。澳大利亞政府一直致力于探索更為科學(xué)、合理的科研評(píng)價(jià)體系。1995年實(shí)施的綜合指數(shù)(Composite Index,簡稱CI)評(píng)價(jià)因過于注重科研數(shù)量指標(biāo),導(dǎo)致大學(xué)科研成果引用率顯著下降[11],在實(shí)施10年后被科研質(zhì)量框架(Research Quality Framework,簡稱RQF)評(píng)估所替代。2008年,澳大利亞在RQF的基礎(chǔ)上,設(shè)計(jì)出了卓越科研(ERA)評(píng)估,更加注重學(xué)科差異與科研成果的質(zhì)量維度,形成了較為成熟的評(píng)價(jià)方法和運(yùn)行機(jī)制。ERA實(shí)施后效果顯著,大學(xué)的科研實(shí)力不斷提升,參評(píng)成果中超過世界水平的比例由2010年的34%上升到2015年的58%[12]。

    然而,面對(duì)科研質(zhì)量提升的成績,澳大利亞政府在科研政策方面并未松懈。2015年11月該國教育部發(fā)布的《科研政策與資助審查報(bào)告》冷靜地指出,根據(jù)OECD國家的標(biāo)準(zhǔn),澳大利亞大學(xué)雖然整體科研績效較高,但是在將公共資助的科研轉(zhuǎn)化成商業(yè)利益方面卻表現(xiàn)很差。報(bào)告還提出要在科研評(píng)價(jià)與撥款中設(shè)計(jì)激勵(lì)機(jī)制,以加強(qiáng)大學(xué)科研與社會(huì)的互動(dòng)[13]。正是在此政策導(dǎo)向下,在2010、2012、2015年三次順利地實(shí)施ERA評(píng)估之后,澳大利亞政府又對(duì)ERA評(píng)估做出了新的調(diào)整,并于2015年12月宣布在大學(xué)科研評(píng)價(jià)中增加科研的社會(huì)互動(dòng)和影響力(EI)評(píng)價(jià),且將其作為國家創(chuàng)新和科學(xué)議程的一部分,以檢驗(yàn)大學(xué)如何將科研轉(zhuǎn)化為經(jīng)濟(jì)、環(huán)境、社會(huì)、文化與其他方面的效益[14](P3)。于是,澳大利亞在2018年開啟第四輪ERA評(píng)估時(shí),首次將EI評(píng)價(jià)作為并行的配套評(píng)估機(jī)制,對(duì)大學(xué)科研活動(dòng)及其貢獻(xiàn)進(jìn)行評(píng)價(jià)。

    三、EI評(píng)價(jià)的內(nèi)涵與基本框架

    (一)EI評(píng)價(jià)的內(nèi)涵與目的

    澳大利亞的EI評(píng)價(jià),雖然參照了英國科研評(píng)價(jià)的經(jīng)驗(yàn),但更多地是基于本國實(shí)際量身定做的兼具世界視野和本土特色的評(píng)價(jià)體系。與英國科研卓越框架中科研影響力評(píng)價(jià)相比,EI評(píng)價(jià)既借鑒了作為結(jié)果的影響力評(píng)價(jià),又兼顧了作為過程和路徑的社會(huì)互動(dòng)評(píng)價(jià)。在EI評(píng)價(jià)的設(shè)計(jì)中,社會(huì)互動(dòng)(Engagement)被界定為科研人員與學(xué)術(shù)界以外的科研成果使用主體之間的互動(dòng),是實(shí)現(xiàn)知識(shí)、技術(shù)、方法與資源的轉(zhuǎn)移機(jī)制;影響力(Impact)被界定為科研成果對(duì)經(jīng)濟(jì)、文化、政治、公民素養(yǎng)等超出學(xué)術(shù)本身的社會(huì)貢獻(xiàn)。對(duì)大學(xué)科研進(jìn)行社會(huì)互動(dòng)與影響力評(píng)價(jià),其主要目的在于:一方面為澳大利亞政府和公民提供清晰的信息,了解大學(xué)目前實(shí)現(xiàn)科研社會(huì)互動(dòng)與影響力的方式,準(zhǔn)確把握對(duì)大學(xué)科研的投入所帶來的社會(huì)貢獻(xiàn);另一方面為了改善科研與社會(huì)互動(dòng)的基礎(chǔ)設(shè)施,優(yōu)化科研管理的制度流程,推動(dòng)科研成果的轉(zhuǎn)化與應(yīng)用,進(jìn)而實(shí)現(xiàn)科研成果的經(jīng)濟(jì)和社會(huì)效益[14](P5)。

    (二)EI評(píng)價(jià)的評(píng)價(jià)主體及構(gòu)成

    澳大利亞研究委員會(huì)(Australian Research Council, 簡稱ARC)是科研評(píng)價(jià)的第三方機(jī)構(gòu),主要負(fù)責(zé)ERA評(píng)估與EI評(píng)價(jià),其宗旨是通過評(píng)估科研的質(zhì)量、貢獻(xiàn)、影響力以及為科研事項(xiàng)提供建議,推動(dòng)科研發(fā)展與創(chuàng)新。2016年3月,前工業(yè)、創(chuàng)新和科學(xué)部長佩恩(Christopher Pyne)參議員和教育與培訓(xùn)部長伯明漢姆(Simon Birmingham)參議員,共同宣布了科研社會(huì)互動(dòng)與影響力評(píng)價(jià)指導(dǎo)委員會(huì)的成員名單。該委員會(huì)成員包括高等教育、企業(yè)等行業(yè)領(lǐng)袖,旨在幫助開發(fā)清晰、透明的科研社會(huì)互動(dòng)與影響力評(píng)價(jià)機(jī)制,以此評(píng)估澳大利亞大學(xué)的科研績效,并為未來科研撥款提供依據(jù)。同時(shí),澳大利亞研究委員會(huì)還成立兩個(gè)工作組協(xié)助指導(dǎo)委員會(huì)開展EI評(píng)價(jià)。其中,技術(shù)工作組將專業(yè)指導(dǎo)原則具體轉(zhuǎn)化為開發(fā)合理的評(píng)價(jià)機(jī)制的意見、不同學(xué)科和最終科研成果使用主體的評(píng)估要求,以及制定恰當(dāng)?shù)腅I評(píng)價(jià)指標(biāo);績效與激勵(lì)工作組根據(jù)評(píng)價(jià)方式的潛在激勵(lì)效果向ARC提供意見,如所采用的評(píng)價(jià)模型如何影響關(guān)于大學(xué)科研活動(dòng)重心的決策[15]。

    (三)EI評(píng)價(jià)的基本程序

    EI評(píng)價(jià)的基礎(chǔ)單元是學(xué)科,而且學(xué)科分類是以澳大利亞統(tǒng)計(jì)局和新西蘭統(tǒng)計(jì)局聯(lián)合發(fā)布的《澳大利亞及新西蘭研究分類標(biāo)準(zhǔn)2008》(Australian and New Zealand Standard Research Classification 2008)為基本依據(jù)。對(duì)于參加EI評(píng)價(jià)的大學(xué),學(xué)校中每一個(gè)系或?qū)W術(shù)組織都可以選擇一個(gè)對(duì)應(yīng)的評(píng)估單元(Unit of Assessment,簡稱UoA)準(zhǔn)備和提交評(píng)估材料。EI評(píng)價(jià)將所有評(píng)價(jià)中涉及的學(xué)科都標(biāo)為2位數(shù)學(xué)科代碼。各大學(xué)提交相關(guān)數(shù)據(jù)時(shí),根據(jù)2位數(shù)的學(xué)科代碼提交,最后這些數(shù)據(jù)會(huì)被匯總到相應(yīng)的評(píng)估單元。學(xué)科領(lǐng)域一致或相近的評(píng)估單元?dú)w并為一個(gè)評(píng)估小組,而小組評(píng)估專家由杰出的學(xué)術(shù)研究人員和經(jīng)驗(yàn)豐富的科研成果使用主體組成。對(duì)于跨學(xué)科或多學(xué)科提交的情況,不同專家組之間可以利用專業(yè)知識(shí)相互交叉評(píng)估。評(píng)估小組將分別使用一套量化指標(biāo)和一份定性陳述來評(píng)定大學(xué)科研的社會(huì)互動(dòng)情況,并依據(jù)所提交的能證明參評(píng)單位研究影響的案例評(píng)定影響力,而影響力評(píng)價(jià)涵蓋研究影響、研究路徑兩個(gè)評(píng)級(jí)[16]。

    四、EI評(píng)價(jià)的評(píng)價(jià)機(jī)制與評(píng)價(jià)結(jié)果分析

    雖然EI評(píng)價(jià)是ERA評(píng)估的配套評(píng)價(jià)機(jī)制,但是由于評(píng)價(jià)目標(biāo)和內(nèi)容存在差異,因此EI評(píng)價(jià)在設(shè)計(jì)之初就確定了適合自身的學(xué)科劃分方法,并基于ERA評(píng)估的相關(guān)數(shù)據(jù)設(shè)定參評(píng)閾值。此外,EI評(píng)價(jià)在指標(biāo)體系、數(shù)據(jù)采集、評(píng)價(jià)方法、評(píng)價(jià)標(biāo)準(zhǔn)等方面,都進(jìn)行了精細(xì)化和創(chuàng)新性的設(shè)計(jì),以最大限度地保證評(píng)價(jià)結(jié)果的客觀性和決策的參考價(jià)值。

    (一)EI評(píng)價(jià)的學(xué)科劃分與參評(píng)閾值

    EI評(píng)價(jià)根據(jù)學(xué)科性質(zhì)與特點(diǎn)對(duì)相近學(xué)科進(jìn)行歸并,最終形成五個(gè)評(píng)估小組,具體包括科學(xué)與技術(shù)組、健康與生命科學(xué)組、社會(huì)科學(xué)組、創(chuàng)意藝術(shù)與人文科學(xué)組、土著居民及托雷斯海峽島民研究組[17](P10)(見表1)。除土著居民及托雷斯海峽島民研究組①,其余四大評(píng)估小組下的所有評(píng)估單元都沿用同一套評(píng)估方法與評(píng)估標(biāo)準(zhǔn)[14](P5)?;诜诸愒u(píng)價(jià)理念,評(píng)估分組最大程度上保障了不同學(xué)科之間評(píng)價(jià)標(biāo)準(zhǔn)的適用性,體現(xiàn)科學(xué)評(píng)價(jià)的“分類評(píng)價(jià)”和“領(lǐng)域適用”原則。

    然而,EI評(píng)價(jià)并不向所有大學(xué)開放,只有達(dá)到參評(píng)最低量閾值的大學(xué),才具有參評(píng)資格。在制定最低參評(píng)標(biāo)準(zhǔn)時(shí),澳大利亞研究委員會(huì)根據(jù)大學(xué)向ERA評(píng)估提交的科研產(chǎn)出量等相關(guān)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,最終劃定該最低量閾值為150分,即參評(píng)大學(xué)在參評(píng)時(shí)間內(nèi)所發(fā)表的論文或出版物數(shù)量累積總和達(dá)到150分,才具有參加EI評(píng)價(jià)的資格。參評(píng)門檻的設(shè)置降低了評(píng)估成本,體現(xiàn)了評(píng)估委員會(huì)對(duì)首次EI評(píng)價(jià)的審慎思考。然而,對(duì)于一些滿足最低量閾值的學(xué)科,如果其研究主要是基礎(chǔ)研究,難以提交科研影響力評(píng)價(jià)的相關(guān)證據(jù)材料,該大學(xué)可以提交一份暫不參與評(píng)價(jià)的申請(qǐng),申請(qǐng)內(nèi)容包括:此次無法參評(píng)的原因;為該學(xué)科制定的一項(xiàng)戰(zhàn)略說明;該學(xué)科預(yù)期未來參與EI評(píng)價(jià)的時(shí)間框架。申請(qǐng)是否通過最終由澳大利亞研究委員會(huì)裁定[17](P7-8)。

    (二)EI評(píng)價(jià)的評(píng)價(jià)指標(biāo)與評(píng)價(jià)方法

    EI評(píng)價(jià)要求大學(xué)所提交的每個(gè)UoA必須包括科研的社會(huì)互動(dòng)、科研影響及影響路徑三方面的材料。這些材料既包含陳述性的定性材料,又包括以指標(biāo)呈現(xiàn)的量化數(shù)據(jù)。它在評(píng)價(jià)方法上主要采用“模板法+計(jì)量法”,將定性與定量方法結(jié)合,促進(jìn)大學(xué)科研評(píng)估的科學(xué)化與合理化。

    1. 科研社會(huì)互動(dòng)評(píng)價(jià)材料

    參與社會(huì)互動(dòng)評(píng)價(jià)的評(píng)估單位應(yīng)在評(píng)估期間遞交關(guān)于社會(huì)互動(dòng)陳述、社會(huì)互動(dòng)定量指標(biāo)數(shù)據(jù)以及社會(huì)互動(dòng)指標(biāo)的解釋性說明三部分材料[19](P12)。社會(huì)互動(dòng)陳述“模板”內(nèi)容包括戰(zhàn)略利益相關(guān)者之間的合作、公眾的參與(公民科學(xué))、為外部利益相關(guān)者提供專業(yè)資源和服務(wù)、提供專業(yè)培訓(xùn)或培訓(xùn)生計(jì)劃。陳述材料要求大學(xué)撰寫其與政府、產(chǎn)業(yè)、公民等科研成果使用主體的社會(huì)互動(dòng)案例。各大學(xué)也可提供模板中沒有但與社會(huì)互動(dòng)情況有關(guān)的數(shù)據(jù)。例如:EI2018評(píng)價(jià)報(bào)告顯示,大學(xué)所提供的其他常見指標(biāo)包括獎(jiǎng)項(xiàng)、圖書銷售、專利、媒體文章及替代指標(biāo)(如網(wǎng)站訪問量、社交媒體帖子)等[18]。社會(huì)互動(dòng)定量指標(biāo)包括科研成果使用主體的經(jīng)費(fèi)支持、每年的高等教育科研收入總額、高等教育科研數(shù)據(jù)庫中第1類撥款的比例①、科研商業(yè)化收入及其他定量指標(biāo)[17](P22-24)。由于澳大利亞科研評(píng)價(jià)系統(tǒng)的高度信息化與開放性,EI評(píng)價(jià)與ERA評(píng)估兩者部分指標(biāo)數(shù)據(jù)可實(shí)現(xiàn)共享。社會(huì)互動(dòng)指標(biāo)的解釋性說明主要描述評(píng)估單元的社會(huì)互動(dòng)活動(dòng)與各項(xiàng)指標(biāo)數(shù)據(jù)之間的聯(lián)系。此外,大學(xué)也可以使用社會(huì)互動(dòng)指標(biāo)的解釋性說明來分析數(shù)據(jù)中的任何異常。

    2. 科研影響力評(píng)價(jià)材料

    科研影響力評(píng)價(jià)要求參評(píng)大學(xué)依據(jù)模板內(nèi)容提交評(píng)估期內(nèi)相應(yīng)的案例材料[19](P12)。影響力評(píng)價(jià)模板中最為核心的兩個(gè)部分是研究影響和影響路徑。如所提交材料不在模板范圍之內(nèi),但該材料與科研影響力評(píng)價(jià)有關(guān),可補(bǔ)充“計(jì)量式”材料或數(shù)據(jù)[19](P50-52)(見表2)。

    對(duì)于研究影響評(píng)價(jià),大學(xué)首先應(yīng)描述研究對(duì)經(jīng)濟(jì)、文化等方面的社會(huì)貢獻(xiàn),并提供關(guān)于支持這種研究影響的具體證據(jù)。研究影響的證據(jù)不是預(yù)期的結(jié)果,而是在評(píng)估期內(nèi)有切實(shí)證據(jù)的案例,用來向公眾例證研究的影響(例如對(duì)某項(xiàng)研究的成本效益分析)。由EI2018評(píng)價(jià)報(bào)告可知:各大學(xué)提交了有關(guān)研究影響豐富而詳實(shí)的信息,主要涉及與合作伙伴共同提供尖端技術(shù)、參與社區(qū)支援及安全、改善日常生活、發(fā)展社區(qū)與應(yīng)對(duì)社會(huì)挑戰(zhàn)五個(gè)主題方面的研究,直接對(duì)經(jīng)濟(jì)、社會(huì)、文化等方面產(chǎn)生了影響[18]。

    對(duì)于影響路徑的評(píng)價(jià),大學(xué)首先應(yīng)提交具體材料說明提升研究影響的方法或機(jī)制,包括該機(jī)構(gòu)、學(xué)院或部門所實(shí)施的相關(guān)戰(zhàn)略。這些戰(zhàn)略應(yīng)能反映研究影響部分所報(bào)告的內(nèi)容,并能解釋其在產(chǎn)生影響方面的作用。其次,大學(xué)應(yīng)報(bào)告將科研成果轉(zhuǎn)化為具體影響的方式。雖然影響方式具有多樣性,但在影響路徑評(píng)價(jià)較高的研究中都存在著一些共性的機(jī)制和做法,表現(xiàn)在支持持續(xù)的協(xié)作、提供基礎(chǔ)設(shè)施以及支持知識(shí)轉(zhuǎn)移機(jī)制等[17](P31)。

    EI2018評(píng)價(jià)收到了大量的科研影響力評(píng)價(jià)案例,如悉尼大學(xué)提交的《季節(jié)性貧困、農(nóng)村勞動(dòng)力市場(chǎng)和移民》,研究了在季節(jié)性饑荒期間澳大利亞政府為孟加拉國農(nóng)村的窮人提供移居城市的激勵(lì)措施方案是否能減少饑餓。該研究發(fā)現(xiàn),采取一定的激勵(lì)措施,讓貧窮地區(qū)的家庭將其成員送往城市工作,這些貧困地區(qū)的家庭在食品和非食品方面的支出增加了30%~35%,相當(dāng)于每人每天多吃一頓飯。同時(shí),研究人員在確定該激勵(lì)措施的有效性后,進(jìn)而在孟加拉國擴(kuò)大了激勵(lì)措施的使用范圍,并在印度尼西亞推廣使用,直接使16 000戶家庭或90 000人的生活質(zhì)量得到改善。再如,墨爾本大學(xué)與多所大學(xué)共同開展了《減少登革熱病毒在熱帶地區(qū)的傳播》的研究,旨在改變滅蚊方式和探究消滅蚊媒疾病傳播的方式,如對(duì)登革熱采用新型生物防治法,使生活在登革熱高發(fā)的熱帶地區(qū)數(shù)百萬居民和企業(yè)等受益。這兩項(xiàng)案例均展示了令人信服的研究影響,因而在評(píng)價(jià)中都獲得了“高”評(píng)級(jí)。①

    (三)EI評(píng)價(jià)的評(píng)價(jià)標(biāo)準(zhǔn)與等級(jí)劃分

    EI評(píng)價(jià)對(duì)科研社會(huì)互動(dòng)的評(píng)價(jià),主要是考察科研人員和科研成果使用主體是否為實(shí)現(xiàn)知識(shí)、技術(shù)、方法與資源的互利傳遞而進(jìn)行互動(dòng),評(píng)價(jià)級(jí)別分為高、中、低三級(jí)。如果有證據(jù)表明參評(píng)單元很好地將社會(huì)互動(dòng)內(nèi)容融入到研究開發(fā)與進(jìn)展中,與學(xué)術(shù)界之外的科研成果使用主體之間高效互動(dòng),實(shí)現(xiàn)了知識(shí)、技術(shù)、方法和資源的互利傳遞,則給予“高”評(píng)級(jí)。如果缺少或者根本未有效互動(dòng),則給予“低”評(píng)級(jí),介于兩者之間的給予“中”評(píng)級(jí)。對(duì)科研影響力的評(píng)價(jià)包括兩個(gè)方面:一是研究是否產(chǎn)生社會(huì)貢獻(xiàn)及貢獻(xiàn)度大小,主要依據(jù)大學(xué)提供影響力研究及影響力案例信息來判斷;二是研究產(chǎn)生影響力的機(jī)制和路徑,主要依據(jù)大學(xué)提供的為實(shí)現(xiàn)研究影響所采取的策略、方法或路徑等信息。與社會(huì)互動(dòng)評(píng)級(jí)一致,研究影響與影響路徑的評(píng)級(jí)也分為高、中、低三級(jí)[17](P20)。評(píng)估專家會(huì)審閱參評(píng)大學(xué)所提交的包括案例研究在內(nèi)的陳述性材料,從整體角度對(duì)科研的社會(huì)互動(dòng)和影響力進(jìn)行評(píng)級(jí)。

    (四)EI評(píng)價(jià)的評(píng)估結(jié)果與等級(jí)分布

    此次EI評(píng)價(jià),共有來自40所大學(xué)的626個(gè)科研社會(huì)互動(dòng)評(píng)估單元、637個(gè)科研影響力評(píng)估單元提交了材料。其中,85%的科研社會(huì)互動(dòng)評(píng)估單元評(píng)級(jí)位于中等以上,說明澳大利亞大學(xué)與產(chǎn)業(yè)、政府和公民建立了廣泛而多樣的合作方式。研究影響、影響路徑評(píng)級(jí)位于中等以上的評(píng)估單元分別占88%、76%,反映了大學(xué)科研已在經(jīng)濟(jì)、社會(huì)、環(huán)境和文化方面產(chǎn)生重大影響力,且科研成果的轉(zhuǎn)化與應(yīng)用機(jī)制仍有完善空間。

    在參評(píng)學(xué)科方面,高社會(huì)互動(dòng)性與高影響力的學(xué)科主要集中于建筑環(huán)境與設(shè)計(jì)、法律及法律研究、農(nóng)業(yè)與獸醫(yī)科學(xué)、技術(shù)學(xué)、工程學(xué)(見表3)。從三個(gè)維度的對(duì)比來看,對(duì)影響路徑方面評(píng)價(jià)相對(duì)不高,低評(píng)級(jí)比例占到了24%,高評(píng)級(jí)比例僅有25%,也說明大學(xué)科研成果向社會(huì)轉(zhuǎn)化的過程中,相關(guān)機(jī)制和制度建設(shè)并不成熟[18]。

    五、EI評(píng)價(jià)的特征與啟示

    作為資源依賴型組織,大學(xué)只有注重科研成果的社會(huì)貢獻(xiàn)和影響力,才能獲得可持續(xù)發(fā)展的動(dòng)能。以新的知識(shí)生產(chǎn)模式為導(dǎo)向,澳大利亞政府在ERA評(píng)估的基礎(chǔ)上設(shè)計(jì)并進(jìn)行EI評(píng)價(jià),在關(guān)注科研質(zhì)量的同時(shí),通過更加精細(xì)化、多維化和立體化的評(píng)價(jià)機(jī)制設(shè)計(jì),引導(dǎo)和激勵(lì)高校注重科研的社會(huì)互動(dòng)與貢獻(xiàn)。與英國的REF影響力評(píng)價(jià)相比,澳大利亞的EI評(píng)價(jià)具有過程與結(jié)果并重、機(jī)制與影響兼顧的鮮明特征,超越了診斷和激勵(lì)的傳統(tǒng)評(píng)價(jià)功能,更為注重高校與社會(huì)互動(dòng)的能力培育和機(jī)制建設(shè)。澳大利亞的EI評(píng)價(jià)為我國高??蒲性u(píng)價(jià)改革與“雙一流”建設(shè)績效評(píng)價(jià)提供了鏡鑒和啟示。

    (一)正確認(rèn)識(shí)知識(shí)生產(chǎn)規(guī)律、科研價(jià)值與社會(huì)環(huán)境三者關(guān)系,構(gòu)建動(dòng)態(tài)靈活的評(píng)價(jià)機(jī)制

    EI2018評(píng)價(jià)的順利實(shí)施,首先離不開前期的深入調(diào)研和試點(diǎn)評(píng)價(jià)工作。澳大利亞政府在決定引入科研社會(huì)互動(dòng)與影響力評(píng)價(jià)后,就開始了對(duì)其他國家的廣泛調(diào)研和考察,EI評(píng)價(jià)中“模板+案例”的評(píng)估方式便借鑒了英國的相關(guān)經(jīng)驗(yàn)。其次,EI評(píng)價(jià)預(yù)先選擇部分大學(xué)作為試點(diǎn)進(jìn)行模擬評(píng)估,及時(shí)修正部分預(yù)設(shè)評(píng)估方法的不妥之處。另外,出于對(duì)社會(huì)貢獻(xiàn)測(cè)度復(fù)雜性和激勵(lì)不確定性的審慎考慮,EI評(píng)價(jià)并沒有將評(píng)價(jià)結(jié)果直接與科研績效撥款掛鉤,而是暫且倡議將其作為參考性信息。EI評(píng)價(jià)機(jī)制的設(shè)計(jì)過程和應(yīng)用限度設(shè)定具有很強(qiáng)的參考價(jià)值,凸顯了科研評(píng)價(jià)體系中知識(shí)生產(chǎn)規(guī)律、科研價(jià)值與社會(huì)環(huán)境三者的內(nèi)在邏輯。我國科研評(píng)價(jià)中糾正“五唯”不良傾向,構(gòu)建新的評(píng)價(jià)體系,需要考慮這三者的復(fù)合關(guān)系,在科學(xué)頂層設(shè)計(jì)的基礎(chǔ)上,充分進(jìn)行調(diào)研和試點(diǎn)探索,再給予科研評(píng)價(jià)機(jī)制靈活調(diào)度的空間。

    (二)把握知識(shí)生產(chǎn)模式轉(zhuǎn)型與評(píng)價(jià)體系創(chuàng)新的交互影響,強(qiáng)化科研的經(jīng)濟(jì)、社會(huì)及文化影響力

    EI評(píng)價(jià)抓住了科研評(píng)價(jià)體系與新型知識(shí)生產(chǎn)模式交互影響的時(shí)代脈搏。澳大利亞之前的大學(xué)科研評(píng)價(jià)局限于科研內(nèi)部,旨在提升國內(nèi)大學(xué)的科研產(chǎn)出水平,并與財(cái)政經(jīng)費(fèi)撥款部分掛鉤,致使大學(xué)更為關(guān)注科研產(chǎn)出的數(shù)量,對(duì)科研的社會(huì)貢獻(xiàn)度重視不足。引入EI評(píng)價(jià)后,大學(xué)科研評(píng)價(jià)機(jī)制展現(xiàn)出更為多元和積極的影響,具體表現(xiàn)為:第一,大學(xué)的科研活動(dòng)以更積極的姿態(tài)有機(jī)融入社會(huì),現(xiàn)實(shí)影響力在經(jīng)濟(jì)、社會(huì)及文化領(lǐng)域迅速擴(kuò)散;第二,評(píng)價(jià)結(jié)果將影響政策制定和組織決策,為大學(xué)未來教學(xué)與科研經(jīng)費(fèi)配置提供參考依據(jù);第三,科研成果的轉(zhuǎn)化率持續(xù)提升,在促進(jìn)經(jīng)濟(jì)發(fā)展的同時(shí),激發(fā)了社會(huì)創(chuàng)新活力并推動(dòng)了文化繁榮。EI評(píng)價(jià)為破解我國科研評(píng)價(jià)機(jī)制中的“五唯”問題提供了鏡鑒?!捌啤迸c“立”是辯證統(tǒng)一的,“破五唯”的關(guān)鍵在于明確“立什么”的問題。我國要完善科研評(píng)價(jià)體系,應(yīng)充分認(rèn)識(shí)到:隨著知識(shí)生產(chǎn)模式的轉(zhuǎn)型,大學(xué)知識(shí)生產(chǎn)面臨結(jié)構(gòu)性調(diào)整的時(shí)代需求,即需要從以科研效率線性提升為主要表現(xiàn)的平面化科研能力,升級(jí)為強(qiáng)調(diào)對(duì)經(jīng)濟(jì)的貢獻(xiàn)、對(duì)社會(huì)的影響、對(duì)文化的傳承及對(duì)公民的培養(yǎng)等立體化的科研能力。順應(yīng)知識(shí)生產(chǎn)的發(fā)展趨勢(shì),以社會(huì)貢獻(xiàn)界定卓越科研,是建構(gòu)更為全面、科學(xué)的評(píng)價(jià)體系的應(yīng)有之義。

    (三)充分挖掘科研評(píng)價(jià)的激勵(lì)導(dǎo)向作用,引導(dǎo)大學(xué)與政府、產(chǎn)業(yè)及公民之間良性互動(dòng)

    EI評(píng)價(jià)成為ERA評(píng)估的配套項(xiàng)目,充分體現(xiàn)了澳大利亞科研評(píng)價(jià)對(duì)經(jīng)濟(jì)、政治及文化等社會(huì)貢獻(xiàn)的重視,打破了傳統(tǒng)學(xué)術(shù)發(fā)展與實(shí)際應(yīng)用之間的藩籬,體現(xiàn)了學(xué)術(shù)內(nèi)在價(jià)值與外在價(jià)值相結(jié)合的評(píng)價(jià)方針,有利于激勵(lì)科研活動(dòng)實(shí)現(xiàn)外部效益的最大化,帶動(dòng)科研價(jià)值鏈的整體提升。同時(shí),科研的社會(huì)互動(dòng)和影響力的評(píng)價(jià)工作,有助于提升科研工作者對(duì)實(shí)踐需求把握的準(zhǔn)確度,體現(xiàn)知識(shí)生產(chǎn)模式轉(zhuǎn)型下科學(xué)研究與社會(huì)之間的聯(lián)接,增強(qiáng)政府、產(chǎn)業(yè)和公民的參與度,實(shí)現(xiàn)大學(xué)與政府、產(chǎn)業(yè)及公民的良性互動(dòng)[20]。雖然我國早已注重科研成果的利用與轉(zhuǎn)化,如支持建設(shè)企業(yè)大學(xué)、鼓勵(lì)產(chǎn)學(xué)研合作,但是相關(guān)機(jī)制體制仍不成熟,大學(xué)與政府、產(chǎn)業(yè)及社會(huì)的合作成效仍存在改進(jìn)空間,科學(xué)研究與社會(huì)之間的隔閡在現(xiàn)有科研評(píng)價(jià)機(jī)制和相應(yīng)管理體制中難以消除。在第五輪學(xué)科評(píng)估以及“雙一流”建設(shè)績效評(píng)估中,應(yīng)更為明確地設(shè)置科研的社會(huì)互動(dòng)與貢獻(xiàn)度指標(biāo),從賦能和機(jī)制建設(shè)的高度,賦予相關(guān)指標(biāo)更高的權(quán)重,從而引導(dǎo)高校在知識(shí)生產(chǎn)推動(dòng)應(yīng)用、知識(shí)應(yīng)用反哺生產(chǎn)的良性循環(huán)中,充分展示大學(xué)、政府、產(chǎn)業(yè)及公民之間的互動(dòng)機(jī)制。

    參考文獻(xiàn)

    [1] 操太圣.“五唯”問題:高校教師評(píng)價(jià)的后果、根源及解困路向[J].大學(xué)教育科學(xué),2019(01):27-32.

    [2] 教育部.關(guān)于開展清理“唯論文、唯帽子、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)的通知[EB/OL].(2018-11-08)[2019-07-18]. http://www.moe.gov.cn/srcsite/A16/s7062/201811/t20181113_354444.html.

    [3] 教育部 財(cái)政部 國家發(fā)展改革委.關(guān)于高等學(xué)校加快“雙一流”建設(shè)的指導(dǎo)意見[EB/OL].(2018-08-27)[2019-07-22].http://www.gov.cn/xinwen/content_5316809.htm.

    [4] 國務(wù)院.關(guān)于優(yōu)化科研管理提升科研績效若干措施的通知[EB/OL].(2018-07-24)[2019-07-22].http://www.gov.cn/zhengce/content/content_5308787.htm.

    [5] 陳學(xué)飛,葉祝弟,王英杰,等.中國式學(xué)科評(píng)估:問題與出路[J].探索與爭(zhēng)鳴,2016(09):59-74.

    [6] 宗曉華,郝笑影.英國大學(xué)科研績效評(píng)估與績效撥款機(jī)制——基于科研卓越框架(REF)的分析[J].江蘇高教, 2019(06):112-118.

    [7] Leiden University.CWTS Leiden Ranking 2019 [EB/OL].(2019-05-15)[2019-07-24].https://www.leidenranking.com/ranking/list.

    [8] [英]邁克爾·吉本斯,等.知識(shí)生產(chǎn)的新模式——當(dāng)代社會(huì)科學(xué)與研究的動(dòng)力學(xué)[M].陳洪捷,等譯.北京:北京大學(xué)出版社,2011:4-9.

    [9] Etzkowitz H., Leydesdorff L.The Dynamics of Innovation:From National Systems and“Mode 2”to a Triple Helix of University-Industry-Government Relations[J].Research Policy,2000(02):109-123.

    [10] Carayannis E G, Campbell D F J.Open Innovation Diplomacy and a 21st Century Fractal Research, Education and Innovation (FREIE) Ecosystem: Building on the Quadruple and Quintuple Helix Innovation Concepts and the “Mode 3” Knowledge Production System[J].Journal of the Knowledge Economy,2011(03): 327-372.

    [11] Butler L.Explaining Australias Increased Share of ISI Publications — The Effects of a Funding Formula based on Publication Counts[J].Research Policy,2003(32): 143-155.

    [12] Australian Research Council.State of Australian University Research(Volume 2 Institutional Insights)[R/OL].(2016-10-12)[2019-04-10].https://www.arc.gov.au/excellence-research-australia/archived-era-reports,.

    [13] Watt, I.Report of the Review of Research Policy and Funding Arrangements [R/OL].(2015-11-30)[2019-03-20].https://apo.org.au/node/63694.

    [14] Australian Research Council.EI 2018 Framework [EB/OL].(2019-03-15)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.

    [15] EI.Steering Committee and Working Groups

    [EB/OL].(2019-03-20)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-steering-committee-and-working-groups.

    [16] Australian Research Council.Engagement and Impact Assessment Pilot 2017 Report [EB/OL].(2018-06-29)[2019-02-27].https://www.arc.gov.au/engagement-and-impact-assessment/ei-pilot-overview.

    [17] Australian Research Council.EI 2018 Assessment Handbook [EB/OL].(2019-03-15)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.

    [18] Australian Research Council.Engagement and Impact Assessment 2018-19 National Report

    [EB/OL].(2019-04-01)[2019-05-20].https://dataportal.arc.gov.au/EI/National Report/2018.

    [19] Australian Research Council.EI 2018 Submission Guidelines [EB/OL].(2019-03-20)[2019-04-10].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.

    [20] 余小波,陸啟越,周巍.社會(huì)評(píng)價(jià)介入大學(xué)治理:價(jià)值、路徑及條件[J].大學(xué)教育科學(xué),2015(04):23-27.

    Abstract: University scientific research activities are facing increasing social accountability with the approach to modern transformation of knowledge production. The focus of scientific research assessment has gradually shifted from the internal evaluation of quantity and quality of research to the external evaluation of social contribution and influence. Based on the Excellence Research Assessment (ERA), the Australian government introduced “Engagement and Impact Assessment” (EI) in 2018. As an auxiliary mechanism of ERA and with its more refined and tridimensional indicator system, EI encourages universities activities actively interacting and cooperating with government, industry and society in the whole process of research, which balance the results and process evaluation, highlights the ability cultivation and mechanism development, and fully guide the incentive and guiding role of assessment. It is helpful to take EI for reference and attach equal importance to quality and contribution in the process of cleaning up the Five Orientations in China, and pay more attention to the engagement and actual contribution of university scientific research.

    Key words: Australian universities; research assessment; engagement; impact; knowledge production mode

    (責(zé)任編輯? 黃建新)

    99在线视频只有这里精品首页| 欧美一级a爱片免费观看看| 亚洲,欧美,日韩| 亚洲人成网站在线播放欧美日韩| 国产伦精品一区二区三区视频9| 一边亲一边摸免费视频| 午夜爱爱视频在线播放| 成人综合一区亚洲| 中文亚洲av片在线观看爽| 国产午夜精品久久久久久一区二区三区| 少妇的逼好多水| 在线观看午夜福利视频| 美女 人体艺术 gogo| 国产欧美日韩精品一区二区| 国产成人午夜福利电影在线观看| 岛国毛片在线播放| 日产精品乱码卡一卡2卡三| av免费观看日本| 色吧在线观看| 日本爱情动作片www.在线观看| 亚洲国产精品成人久久小说 | 亚洲国产精品国产精品| 真实男女啪啪啪动态图| 国产黄色小视频在线观看| 最近手机中文字幕大全| a级毛色黄片| 成人鲁丝片一二三区免费| 日韩欧美国产在线观看| av专区在线播放| 亚洲成av人片在线播放无| 日本-黄色视频高清免费观看| 男女下面进入的视频免费午夜| 国产国拍精品亚洲av在线观看| 日日干狠狠操夜夜爽| 亚洲欧美日韩高清专用| 久久精品国产99精品国产亚洲性色| 黄色欧美视频在线观看| 久久久欧美国产精品| 亚洲国产高清在线一区二区三| 久久99精品国语久久久| 久久久成人免费电影| 91在线精品国自产拍蜜月| 禁无遮挡网站| 毛片女人毛片| 欧美成人免费av一区二区三区| 久久久欧美国产精品| 亚洲国产高清在线一区二区三| 91午夜精品亚洲一区二区三区| 99热网站在线观看| 嫩草影院新地址| 国产精品一区www在线观看| 少妇人妻精品综合一区二区 | 国产色婷婷99| 在线a可以看的网站| 大型黄色视频在线免费观看| 国内揄拍国产精品人妻在线| av在线天堂中文字幕| 能在线免费观看的黄片| 在线播放国产精品三级| 看黄色毛片网站| 免费av不卡在线播放| 深夜a级毛片| 欧美性猛交黑人性爽| 禁无遮挡网站| 亚洲一区高清亚洲精品| 国内精品久久久久精免费| 人体艺术视频欧美日本| 最新中文字幕久久久久| 99热只有精品国产| 一夜夜www| 亚洲国产色片| 欧美成人免费av一区二区三区| 欧美极品一区二区三区四区| 18+在线观看网站| 国产精品一区二区性色av| 搡女人真爽免费视频火全软件| 男女边吃奶边做爰视频| 99国产精品一区二区蜜桃av| 国产亚洲精品久久久com| 久久九九热精品免费| 99久久精品国产国产毛片| 桃色一区二区三区在线观看| 乱码一卡2卡4卡精品| 国产在视频线在精品| 尤物成人国产欧美一区二区三区| 久久久久免费精品人妻一区二区| 国产精品1区2区在线观看.| 黄片wwwwww| 69人妻影院| 啦啦啦啦在线视频资源| 青春草视频在线免费观看| 亚洲欧美日韩东京热| 人人妻人人澡欧美一区二区| 久久这里只有精品中国| 天堂√8在线中文| 黄色视频,在线免费观看| 欧美在线一区亚洲| 亚洲五月天丁香| 老司机影院成人| 又爽又黄无遮挡网站| 久久久a久久爽久久v久久| 看片在线看免费视频| 中文资源天堂在线| 九九在线视频观看精品| 91午夜精品亚洲一区二区三区| 久久精品久久久久久噜噜老黄 | 热99在线观看视频| 一本久久精品| 午夜免费男女啪啪视频观看| 日韩av不卡免费在线播放| av国产免费在线观看| 国产黄色小视频在线观看| 免费观看的影片在线观看| 国产综合懂色| 又粗又爽又猛毛片免费看| 国产精品精品国产色婷婷| 免费看av在线观看网站| av天堂中文字幕网| 亚洲欧洲日产国产| 如何舔出高潮| 欧美三级亚洲精品| 黄色视频,在线免费观看| 国产精品久久久久久久久免| 亚洲第一区二区三区不卡| 少妇的逼好多水| 午夜激情欧美在线| 亚洲av二区三区四区| 美女黄网站色视频| 日本撒尿小便嘘嘘汇集6| 天天一区二区日本电影三级| 91麻豆精品激情在线观看国产| 在现免费观看毛片| 少妇的逼水好多| 村上凉子中文字幕在线| 日韩欧美精品免费久久| 精品久久久久久久人妻蜜臀av| 亚洲精品乱码久久久久久按摩| 美女xxoo啪啪120秒动态图| 久久草成人影院| 人人妻人人澡人人爽人人夜夜 | 天堂网av新在线| 菩萨蛮人人尽说江南好唐韦庄 | 久久精品91蜜桃| 一边亲一边摸免费视频| 夜夜夜夜夜久久久久| www.av在线官网国产| 亚洲av男天堂| 韩国av在线不卡| 少妇高潮的动态图| 床上黄色一级片| 欧美色欧美亚洲另类二区| 久久鲁丝午夜福利片| 日韩欧美一区二区三区在线观看| 久久精品夜色国产| 看十八女毛片水多多多| 九色成人免费人妻av| 麻豆精品久久久久久蜜桃| 人妻制服诱惑在线中文字幕| 精品午夜福利在线看| 非洲黑人性xxxx精品又粗又长| 内射极品少妇av片p| 丰满的人妻完整版| 国产美女午夜福利| 免费av不卡在线播放| 国产成人精品婷婷| 青春草国产在线视频 | 舔av片在线| 成年av动漫网址| 国内精品美女久久久久久| 最近视频中文字幕2019在线8| 精品99又大又爽又粗少妇毛片| 国产精品久久久久久久电影| 久久综合国产亚洲精品| 精品久久久久久久久久久久久| 99久久久亚洲精品蜜臀av| 国产精品精品国产色婷婷| 高清毛片免费看| 成人毛片60女人毛片免费| 青青草视频在线视频观看| 久久精品国产亚洲av天美| 日本黄大片高清| 在线观看美女被高潮喷水网站| 亚洲第一电影网av| 波多野结衣高清无吗| 欧美激情在线99| 成人美女网站在线观看视频| 午夜a级毛片| 欧美色视频一区免费| 亚洲无线观看免费| 久久人人爽人人爽人人片va| 亚洲精品456在线播放app| 在线天堂最新版资源| a级毛片a级免费在线| 成年av动漫网址| 12—13女人毛片做爰片一| 观看美女的网站| 国产亚洲av片在线观看秒播厂 | 亚洲av中文字字幕乱码综合| 色吧在线观看| 欧美极品一区二区三区四区| 国产精品久久久久久亚洲av鲁大| 国产亚洲av嫩草精品影院| kizo精华| 久久精品影院6| 男人狂女人下面高潮的视频| 国产爱豆传媒在线观看| 久久久久九九精品影院| 人妻制服诱惑在线中文字幕| 国产精品爽爽va在线观看网站| 蜜桃久久精品国产亚洲av| 久久久久久九九精品二区国产| 国产黄色小视频在线观看| 国产精品麻豆人妻色哟哟久久 | 人妻夜夜爽99麻豆av| 日本av手机在线免费观看| 男女那种视频在线观看| 26uuu在线亚洲综合色| av女优亚洲男人天堂| 看免费成人av毛片| 欧美性猛交黑人性爽| 亚洲第一电影网av| av在线观看视频网站免费| 一边摸一边抽搐一进一小说| 尾随美女入室| 亚洲内射少妇av| 九九爱精品视频在线观看| 精品人妻偷拍中文字幕| 18禁在线无遮挡免费观看视频| 成人午夜精彩视频在线观看| 亚洲精品色激情综合| 中出人妻视频一区二区| 神马国产精品三级电影在线观看| 好男人在线观看高清免费视频| 亚洲国产日韩欧美精品在线观看| 天堂√8在线中文| 韩国av在线不卡| kizo精华| 国产一区二区在线av高清观看| 99热这里只有精品一区| 免费看a级黄色片| 日本欧美国产在线视频| 婷婷精品国产亚洲av| 久久久精品欧美日韩精品| 国产大屁股一区二区在线视频| 免费看a级黄色片| 久久午夜亚洲精品久久| 大香蕉久久网| 偷拍熟女少妇极品色| 99热这里只有是精品50| avwww免费| 免费在线观看成人毛片| 国产乱人视频| 一本一本综合久久| 国产亚洲精品久久久久久毛片| 18禁在线播放成人免费| 国产激情偷乱视频一区二区| 日韩三级伦理在线观看| 高清在线视频一区二区三区 | 久久久成人免费电影| 国产69精品久久久久777片| 日本黄大片高清| 国产成人a∨麻豆精品| 国产精品不卡视频一区二区| 男女边吃奶边做爰视频| 真实男女啪啪啪动态图| 亚洲av男天堂| 国产av一区在线观看免费| 亚洲欧美精品专区久久| 99热全是精品| 国内少妇人妻偷人精品xxx网站| 亚洲高清免费不卡视频| 国产探花极品一区二区| 中国国产av一级| 国产av一区在线观看免费| 少妇人妻一区二区三区视频| 日韩一区二区三区影片| 欧美精品一区二区大全| 国内精品宾馆在线| 亚洲色图av天堂| 黄色视频,在线免费观看| 中文字幕久久专区| 国产精品人妻久久久影院| 亚洲国产精品久久男人天堂| 精品久久久久久久久亚洲| 午夜激情福利司机影院| 亚洲一区二区三区色噜噜| 六月丁香七月| 伦理电影大哥的女人| 黄色视频,在线免费观看| 99热精品在线国产| 国产亚洲91精品色在线| av天堂在线播放| 亚洲av一区综合| 精品久久久久久成人av| 人体艺术视频欧美日本| 精品一区二区免费观看| 午夜福利在线观看吧| 特大巨黑吊av在线直播| 99久久精品一区二区三区| 日日啪夜夜撸| 日本爱情动作片www.在线观看| 中文字幕制服av| 欧美最新免费一区二区三区| 久久久久久久久久黄片| 久久久色成人| 亚洲国产日韩欧美精品在线观看| 18禁黄网站禁片免费观看直播| 亚洲va在线va天堂va国产| 国产色婷婷99| 人人妻人人澡欧美一区二区| 亚洲欧美日韩卡通动漫| 久久久久久久久久久丰满| 91久久精品电影网| 免费观看人在逋| 看片在线看免费视频| 波多野结衣高清作品| 亚洲第一电影网av| 美女国产视频在线观看| 高清毛片免费看| www日本黄色视频网| 欧美色欧美亚洲另类二区| 22中文网久久字幕| 久久久国产成人免费| 亚洲中文字幕日韩| 99久久精品国产国产毛片| 亚洲成人av在线免费| 一区二区三区四区激情视频 | 女人十人毛片免费观看3o分钟| 亚洲性久久影院| 一级毛片电影观看 | 国产精品不卡视频一区二区| 国产一区二区在线av高清观看| 国产日韩欧美在线精品| 五月玫瑰六月丁香| 啦啦啦观看免费观看视频高清| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | videossex国产| 亚洲av成人精品一区久久| 精品国产三级普通话版| 亚洲国产精品久久男人天堂| 亚洲美女视频黄频| 国内久久婷婷六月综合欲色啪| 国产一区二区在线观看日韩| 成年av动漫网址| 亚洲精品成人久久久久久| 在线免费观看不下载黄p国产| 国产女主播在线喷水免费视频网站 | 99久久精品一区二区三区| 国产男人的电影天堂91| 成人一区二区视频在线观看| 亚洲综合色惰| 久久九九热精品免费| 麻豆一二三区av精品| 此物有八面人人有两片| 性插视频无遮挡在线免费观看| 欧美人与善性xxx| 中文字幕熟女人妻在线| 亚洲无线观看免费| 一夜夜www| 国产伦一二天堂av在线观看| 亚洲av一区综合| 欧美+日韩+精品| 国产精品女同一区二区软件| 欧美+日韩+精品| 少妇裸体淫交视频免费看高清| 久久久久免费精品人妻一区二区| 国产黄色小视频在线观看| 亚洲,欧美,日韩| 一级二级三级毛片免费看| 在线国产一区二区在线| 免费大片18禁| 伊人久久精品亚洲午夜| 日日摸夜夜添夜夜爱| www.av在线官网国产| 久久6这里有精品| 看免费成人av毛片| 亚洲婷婷狠狠爱综合网| 日本黄色视频三级网站网址| 精品一区二区三区视频在线| 日韩人妻高清精品专区| 青春草国产在线视频 | 在线免费十八禁| 悠悠久久av| 简卡轻食公司| 蜜臀久久99精品久久宅男| 麻豆乱淫一区二区| 亚洲自拍偷在线| 欧美丝袜亚洲另类| 99视频精品全部免费 在线| 18禁在线播放成人免费| 亚洲在线观看片| 国产女主播在线喷水免费视频网站 | 国产高清三级在线| 日韩欧美一区二区三区在线观看| 又爽又黄无遮挡网站| 中文字幕av成人在线电影| 美女 人体艺术 gogo| 全区人妻精品视频| 国产精品久久久久久av不卡| 一级黄色大片毛片| 国产精品嫩草影院av在线观看| 两个人的视频大全免费| 中文字幕精品亚洲无线码一区| 国产三级中文精品| 婷婷色av中文字幕| 午夜a级毛片| 亚洲国产精品国产精品| 波多野结衣高清作品| 国产精品野战在线观看| 国产精品精品国产色婷婷| 国产免费男女视频| 天天躁日日操中文字幕| 永久网站在线| 中文字幕精品亚洲无线码一区| 最好的美女福利视频网| 中文字幕制服av| 菩萨蛮人人尽说江南好唐韦庄 | 麻豆一二三区av精品| 激情 狠狠 欧美| 国产免费男女视频| 久久午夜福利片| 永久网站在线| 秋霞在线观看毛片| 久久国产乱子免费精品| 99久久成人亚洲精品观看| 99久久中文字幕三级久久日本| 国产成人精品一,二区 | 看十八女毛片水多多多| 禁无遮挡网站| 日韩av不卡免费在线播放| 久久99热6这里只有精品| 免费观看a级毛片全部| 亚洲图色成人| 国产精品一区二区三区四区久久| 久久久久久久久中文| 观看美女的网站| 三级经典国产精品| 久久久色成人| 国产极品天堂在线| 欧美极品一区二区三区四区| 97超视频在线观看视频| 在线国产一区二区在线| 亚洲aⅴ乱码一区二区在线播放| 一级黄色大片毛片| 人妻少妇偷人精品九色| 美女大奶头视频| 日本在线视频免费播放| 哪里可以看免费的av片| 欧美+日韩+精品| av卡一久久| 在线天堂最新版资源| 人妻少妇偷人精品九色| 少妇人妻一区二区三区视频| 精品人妻一区二区三区麻豆| 男女边吃奶边做爰视频| 亚洲欧美日韩东京热| 日韩欧美精品免费久久| 日韩av不卡免费在线播放| 又爽又黄无遮挡网站| 久久婷婷人人爽人人干人人爱| 欧美一级a爱片免费观看看| 日韩强制内射视频| 欧美人与善性xxx| 国产精品免费一区二区三区在线| 日韩一区二区视频免费看| 国产精品女同一区二区软件| 亚洲色图av天堂| 日本欧美国产在线视频| 自拍偷自拍亚洲精品老妇| 国产91av在线免费观看| 亚洲av免费在线观看| 亚洲av中文字字幕乱码综合| 两个人视频免费观看高清| 国产熟女欧美一区二区| 精品无人区乱码1区二区| 精品久久久久久久久亚洲| 乱码一卡2卡4卡精品| 国产精品日韩av在线免费观看| 特级一级黄色大片| 一本久久中文字幕| 99国产极品粉嫩在线观看| 成年av动漫网址| 亚洲18禁久久av| 欧美日本视频| 嫩草影院入口| 日韩人妻高清精品专区| 欧美极品一区二区三区四区| 国产亚洲91精品色在线| 久久精品国产亚洲av涩爱 | 国产爱豆传媒在线观看| 晚上一个人看的免费电影| 免费不卡的大黄色大毛片视频在线观看 | 在现免费观看毛片| 亚洲自拍偷在线| 日韩欧美国产在线观看| 日韩强制内射视频| 黄色日韩在线| 国产美女午夜福利| 午夜a级毛片| 联通29元200g的流量卡| 校园人妻丝袜中文字幕| 成年女人看的毛片在线观看| 日本黄色片子视频| 免费电影在线观看免费观看| 91精品一卡2卡3卡4卡| 美女内射精品一级片tv| 一进一出抽搐gif免费好疼| 免费看av在线观看网站| 亚洲一级一片aⅴ在线观看| 人人妻人人看人人澡| 69av精品久久久久久| 人妻夜夜爽99麻豆av| 女人被狂操c到高潮| 亚洲av男天堂| 久久亚洲国产成人精品v| videossex国产| 国产三级中文精品| 国产精品永久免费网站| 综合色av麻豆| 成人亚洲欧美一区二区av| 热99re8久久精品国产| 搡女人真爽免费视频火全软件| 成人欧美大片| 日韩av在线大香蕉| 边亲边吃奶的免费视频| 午夜精品国产一区二区电影 | 在线播放国产精品三级| 国产精品爽爽va在线观看网站| 亚洲av二区三区四区| 最近2019中文字幕mv第一页| 在线观看一区二区三区| 国产激情偷乱视频一区二区| 99久久无色码亚洲精品果冻| 一进一出抽搐gif免费好疼| 成熟少妇高潮喷水视频| 久久精品影院6| www.av在线官网国产| 亚洲国产精品成人久久小说 | 久久久精品大字幕| 日本爱情动作片www.在线观看| 国产午夜福利久久久久久| 男人狂女人下面高潮的视频| 中文精品一卡2卡3卡4更新| 国产成人freesex在线| 亚洲欧美日韩高清专用| 看非洲黑人一级黄片| 大又大粗又爽又黄少妇毛片口| 舔av片在线| 高清午夜精品一区二区三区 | 国产私拍福利视频在线观看| av在线亚洲专区| 国产亚洲av嫩草精品影院| 深夜a级毛片| 中文字幕久久专区| 日韩av在线大香蕉| 亚洲精品自拍成人| 亚洲天堂国产精品一区在线| 亚洲av一区综合| 色哟哟哟哟哟哟| 特大巨黑吊av在线直播| 成年女人永久免费观看视频| 亚洲av二区三区四区| 少妇熟女欧美另类| 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 国产精品国产三级国产av玫瑰| 成人永久免费在线观看视频| 给我免费播放毛片高清在线观看| 国产精品无大码| 黄色欧美视频在线观看| 日韩av在线大香蕉| 欧美+亚洲+日韩+国产| 国产在视频线在精品| 一级毛片久久久久久久久女| 麻豆久久精品国产亚洲av| 午夜福利成人在线免费观看| a级毛片免费高清观看在线播放| 欧美最新免费一区二区三区| 桃色一区二区三区在线观看| 亚洲自偷自拍三级| 色综合色国产| 少妇熟女欧美另类| 国产成年人精品一区二区| 欧美激情久久久久久爽电影| 在现免费观看毛片| 久久精品夜夜夜夜夜久久蜜豆| 中文字幕av在线有码专区| 午夜免费激情av| 91av网一区二区| 久久这里有精品视频免费| 欧美xxxx黑人xx丫x性爽| 黄片无遮挡物在线观看| 99精品在免费线老司机午夜| 夜夜爽天天搞| 最好的美女福利视频网| 国产探花在线观看一区二区| 美女内射精品一级片tv| 欧美日韩在线观看h| av专区在线播放| 在线观看午夜福利视频| 亚洲精品日韩av片在线观看| 看片在线看免费视频| 午夜免费激情av| 欧美bdsm另类| 国产成人午夜福利电影在线观看| 久久国内精品自在自线图片| 欧美日韩精品成人综合77777| 看黄色毛片网站| 亚洲av免费高清在线观看| 久久精品夜夜夜夜夜久久蜜豆| 欧美日本视频| 麻豆成人午夜福利视频| 99热网站在线观看| 成人高潮视频无遮挡免费网站| 国产成人aa在线观看| 日韩欧美三级三区|