• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    高??蒲谐晒姆菍W術影響及其評估:是什么,為什么,怎樣做? *

    2020-01-07 03:50:43羅珺文
    關鍵詞:影響

    王 楠 羅珺文

    (1. 首都師范大學教育學院、首都教育發(fā)展協(xié)同創(chuàng)新中心,北京 100048;2. 曼徹斯特大學商學院創(chuàng)新研究所,英國曼徹斯特 M13 9PL)

    一、引言

    上世紀末至本世紀初,伴隨知識生產模式的轉型和新公共管理運動的興起,科學與社會之間的關系不斷重構,時代對知識生產提出新的訴求:既要肩負知識創(chuàng)新的使命,也要兼顧其社會責任。這使各國都對不斷增加的研發(fā)經費所帶來的社會收益空前關注,同時也引發(fā)了對科研評估體系價值導向的反思。

    對已有科研評估制度的梳理不難發(fā)現(xiàn),以往的科研評估體系更多地發(fā)揮了學術導向功能,注重衡量科研成果的原創(chuàng)性和卓越性,但是對科學研究的社會價值關注不夠,這不僅難以順應知識生產模式轉型的浪潮,而且容易造成學術系統(tǒng)的內封閉、自循環(huán),學科發(fā)展的標準化、單一化,研究成果轉化率較低、輻射范圍較小等諸多問題。這些問題不僅不利于構建可持續(xù)發(fā)展的學術生態(tài)環(huán)境,還一度給社會和公眾造成“公共科研投入回報率低”,“科學家的社會責任意識不足”等負面印象,詬病之聲不斷。基于此,世界各國學術界紛紛做出回應。2007年奧地利國家基金委聯(lián)合歐洲基金委組織了名為“重新思考基礎科學對社會和經濟的影響力”論壇;2010年歐盟委員會提出“對科研的公共投資究竟給社會帶來了怎樣的收益”這一議題;美國評估協(xié)會也在2012年將協(xié)會年會主題定為“(社會)影響力”,掀起了各國學術界對科研的非學術影響及其評估框架的熱議。

    在這樣的背景下,國際科研評估范式正在悄然發(fā)生轉型:由單純地關注科研成果的學術影響轉向兼顧其外部非學術影響,更多地關注科研成果在學界以外對整個社會產生的輻射影響(impact)。世界不少國家和地區(qū)都開始對科研評價體系進行改革和創(chuàng)新,其共同點就是在評估體系中陸續(xù)增加了科研成果的“非學術影響”評估這一全新的維度,并且這一維度在評價指標體系中所占的比重不斷增加,比如英國的“科研卓越框架”評估體系,荷蘭的“標準化評估”體系等,都在2010年前后分別引入了這一新維度,并采用了不同于傳統(tǒng)評估模式的新方法開展評估工作,期待通過引入“非學術影響”維度轉變評估的價值導向,引導高校和研究機構更好地利用和轉化科研成果,引導學界理解研究之于社會發(fā)展的重要意義,增強科研工作者的社會責任意識,進而促進研究工作在科學與社會的交互發(fā)展中發(fā)揮更重要的作用,為社會帶來更多積極的改變與影響。這種轉型與相應的實踐探索凸顯了科學研究服務社會的價值導向,也將對世界范圍內的知識創(chuàng)新活動,國家層面的科研戰(zhàn)略選擇,高校和科研機構的學科發(fā)展帶來一系列重要改變。因此,理解和把握非學術影響評估的國際前沿理論和實踐經驗,對我國高校在“雙一流”背景下探索科研評估制度的改革與創(chuàng)新具有重要的現(xiàn)實意義。那么究竟何為科研成果的非學術影響?為什么各國在近十年中開始逐步重視并相繼開展非學術影響評估?面對這一全新的評估維度,應采取何種方法有效開展評估?這是本研究要解決的關鍵問題。

    二、什么是科研成果的“非學術影響”

    科研成果的“影響”往往指科學研究成果帶來的結果或其產生的多方面的效果。一般認為,科學研究會產生兩方面的影響,一是“學術影響”,即研究成果在學術圈內,對某一(或多個)學科領域的知識生產和科學共同體發(fā)展所作出的學術貢獻,我們通常所考量的學術論文數(shù)量、成果引用率、科學獎勵等,就屬于學術共同體對科研成果學術影響的評價指標。而科學研究所產生的“非學術影響”是指科研成果對學術界以外的更寬泛的社會、經濟、文化、公共政策、醫(yī)療、環(huán)境以及公民生活質量所產生的影響、帶來的改變和推動作用(Penfield et al,2014)。這個定義仍比較籠統(tǒng),也遠非共識,因而近年來,一些學者和政策研究者紛紛提出一系列的名詞來指代科研的非學術影響,包括第三主流活動(third stream activities)(Molas-Gallart et al,2002),社會效益(societal benefits)或社會質量(societal quality)(Van& Rip,2000),知識的有用性(usefulness of knowledge)(Department of Education, Science and Training,2005),公眾價值觀(public values)(Bozeman & Sarewitz,2001),知識轉化(knowledge transfer)(Vugh &Ziegele,2011),社會相關性(societal relevance)(Drooge et al,2010)等。就這些名詞的內涵而言,它們實際上都在關注公共資助的科研成果所產生的外部非學術影響。

    同時,非學術影響還有一些不同于學術影響的特點。第一,“非學術影響”具有模糊性。雖然上文闡釋了科研成果對社會所產生的影響包括很多具體的方面,但在下文我們要提到的評估實踐中,上述影響的諸多層面往往互相重疊,難以區(qū)別開來。我們通??梢钥吹窖芯砍晒麕淼挠绊懟旌狭松鲜鲋T多方面,如提升了公民的生活質量,推進了社會的可持續(xù)發(fā)展,加速了人類文明進程,但是卻很難將這些影響進行具體的區(qū)分。特別是經濟方面的影響往往與其他幾類影響之間是高度重合的,界限并不明顯(Martínez & Gallar,2010)。比如,某一種新的藥物治療對健康有益,能大大縮短某些疾病的治愈時間,節(jié)省大量的醫(yī)療資源,其帶來的回報不僅包括社會回報,也在很大程度上包括經濟方面的回報(Salter & Martin,2011)。第二,“非學術影響”具有滯后性。科研的“非學術影響”往往不是在短期內能夠呈現(xiàn)出來的,一般需要經歷比較漫長的轉化周期,最終轉化的影響類型也很多樣。一項科研成果的中期影響可能是形成新的合作網絡、新的產品,而長期的回報有可能是提升了整個工業(yè)界的競爭實力。有相關數(shù)據(jù)顯示,在心血管研究中,從拿到科研經費到最終產生健康回報,大約有17年的時間滯后(Buxton,2011)。第三,“非學術影響”具有偶然性??蒲谐晒麑ι鐣妮椛溆绊懹行┦穷A期之內的,而有些是預期之外的,這種“預期之外”既包括產生影響的結果,影響輻射的地區(qū),也包括影響輻射的受益群體。比如,在1990年代,人們普遍認為關于細胞凋亡的研究是非常具有原創(chuàng)性的高水平研究,但30年后卻發(fā)現(xiàn)這項研究對人類健康沒有可衡量的影響。相反的是,對不同種類的失禁墊的研究在當年絕不會被學術界認為是高質量的研究,卻對社會產生了立竿見影的重要的影響力(Smith,2011)。另外,“非學術影響”的輻射范圍往往也具有偶然性,并不局限于預期中的特定國家或地區(qū),通常是全球性的。綜上,科學研究的“非學術影響”所涵蓋的領域是非常廣泛的,除了對科學自身的貢獻以外,科研對經濟、文化、環(huán)境、社會的所有重要影響都涵蓋其中。另外,由于“非學術影響”的上述特點,加之不同利益相關者對科研的興趣和期待各不相同,幾乎不可能對每一項具體的科研所能產生的非學術影響采用統(tǒng)一的衡量標準。因此,對其進行評估也有著很大的難度和不確定性(Bornmann,2013)。

    三、為什么要開展科研成果的非學術影響評估

    非學術影響評估興起的動因是多方面的,既是知識生產模式轉型的結果,也是大學和研究機構履行社會服務職能的必然選擇。

    (一)回應知識生產模式的變革,遵循知識生產的自身邏輯

    科研成果非學術影響評估的興起與科學研究活動本身的變革密不可分,其順應了知識生產模式轉型的浪潮,遵循了知識生產的自身邏輯(武學超,2015)。

    從科學社會學視角來看,近年來大學知識生產模式正在發(fā)生根本性變革,當下大學的知識生產正在從傳統(tǒng)的“強調學科本位”和“追求高深學問”的知識生產模式1(Mode 1)走向“強調科研的跨學科本質”和“問題解決”的模式2(Mode 2)(Gibbons et al,1994, pp.4-6)。知識生產模式1主要指在傳統(tǒng)的學科結構體系和學科邏輯下進行的知識生產,科學研究恪守學科本位,研究的價值導向是追求高深學問、創(chuàng)造知識的增長。大學及其內部的理論建設者是科學研究的合法主體,科研成果的質量主要依靠同行評價的方式來考量(Gibbons et al,1994, pp.7-11),而考量的主要維度則是成果的原創(chuàng)性和卓越性。

    知識生產模式2則是一種新型的、以問題解決為導向的知識生產組織模式,強調在應用情境中進行知識生產,打破原有的學科邊界,充分尊重科學研究的跨學科本質,同時容納理論框架與實踐模式兩方面要素,兼顧大學的學術使命與社會責任(Gibbons et al,1994, p.36-39)。由于模式2下的知識生產追求使得工業(yè)界或者更廣泛社會群體受益(Gibbons et al,1994, p.5),因此鼓勵學術界與其他利益相關者群體開展合作與互動,強調大學、產業(yè)、政府和公民社會等多元主體對科學的協(xié)同治理。模式2 在追求科研的原創(chuàng)性和卓越性的同時,還需要保證科研成果對外部社會經濟作出貢獻,認為盡管是基礎科學研究也必須考慮終端用戶的需求(Bornmann,2013)。

    在知識生產模式變革的背景下,對知識生產結果與影響的評估也隨之發(fā)生了范式轉型。模式1主導下,我們主要評估研究所產生的知識本身的價值,包括學術質量和學術影響,考察其卓越性和原創(chuàng)性,在模式2主導下,我們則要評估科研成果的社會價值,兼顧其對外部社會、經濟、政治等多方面產生的非學術影響(Bornmann,2013)。這也是順應高級知識經濟社會對知識生產與創(chuàng)新的時代需求(武學超,2015)。

    “林畬鄉(xiāng)旅游業(yè)發(fā)展條件逐步成熟,但全鄉(xiāng)僅有20多個普通標準民宿床位,無法滿足與日俱增的游客住宿需求,更無法留住游客,極大限制了旅游產業(yè)的發(fā)展。”林燕玲舉例說,三明學院“醫(yī)康養(yǎng)”項目缺乏適合的居住環(huán)境,市研學示范基地建設也缺乏有力支撐,到林畬開展紅色教育和農事體驗的游客苦于沒有合適的住宿環(huán)境,大多流向明溪縣城區(qū),當?shù)仄惹行枰l(fā)展民宿來解決游客住宿問題。

    (二)回應公共投入的社會問責,證明研發(fā)經費的社會收益

    科研成果的非學術影響評估需要被用來展現(xiàn)和證明公共研發(fā)投入所帶來的社會收益與社會價值,證明公共經費使用的合理性與合法性,并以此為依據(jù)為未來的經費投入提供必要的決策參考。

    實際上,20世紀90年代以前,政策制定者始終相信公共研發(fā)投入會獲得積極的社會收益與社會回報,他們認為“對科研任何形式的投入都將是對社會有利的”(Bush, 1945, p.11)。從小的方面講,科研成果能夠改善人們的衣、食、住、行,人們的工作方式和生活方式;從大的方面講,科研成果甚至能夠影響人類生命的長度和質量(Burke et al,1985)。因此很多國家都不遺余力地提高研發(fā)強度(研發(fā)投入占GDP的百分比),并懷抱“科技改變生活”的美好愿景。然而,從80年代末開始,一些國家相繼出現(xiàn)的財政赤字迫使科研機構開始以同行評議和績效指標評估等方式對科研成果的質量和非學術影響加以考察和問責,發(fā)現(xiàn)此前對“科研成果必將產生社會收益”的主動信任存在一定的風險,人們不能再盲目相信任何科學研究都將自動給社會帶來福祉,也許在頂尖期刊上發(fā)表高水平論文能夠推動學科的發(fā)展,但卻未必真正產生廣泛的社會收益。當科研成果轉化成可消費的產品或服務時,社會大眾才能更直接、更迅速地從科研成果中獲益。

    歐盟委員會于2010年提出“對科研的公共投資究竟給社會帶來了怎樣的收益”這一議題,引發(fā)了各國政府的廣泛關注和熱切回應。近年來,大多數(shù)OECD國家都將GDP的2%—3%投入到了研發(fā)活動中,政府和公眾都迫切希望獲得科研切實對社會有利的證據(jù)(Martin,2011)。由此,科學研究成果的非學術影響也逐步被納入到科研評估的考察范圍中來,成為了評價的重要維度。非學術影響評估被認為是強有力的武器,它為科學研究帶來的社會價值提供了必要的證據(jù)(Donova,2010),并能夠更好地協(xié)助政府監(jiān)測、管理和協(xié)調公共經費,以便將經費用于最迫切和希望產生影響的社會領域。

    (三)引導研究人員進行科學反思,增強其社會責任意識

    非學術影響評估為知識的創(chuàng)造者和使用者搭建了一種常態(tài)化的協(xié)同與互動機制,有利于加深彼此的相互理解與價值認同,引導和啟發(fā)研究人員進行科學反思,強化研究人員的社會責任意識。

    研究人員在以往的科研活動中對研究帶來的社會影響關注不夠,其原因之一就在于現(xiàn)行的科研評估制度主要發(fā)揮著較強的學術引導性,引導研究者堅持供給導向,而忽略了終端用戶的需求,導致大部分學者都把追求以文章發(fā)表為代表的學術影響作為首要任務,而并未充分意識到科研工作對于推動社會發(fā)展的責任和作用(Benneworth,2017)。新的知識生產模式為科學與社會之間的關系帶來了新變化,強調多元主體對科學的協(xié)同治理。由此,科學與社會正在發(fā)生雙向影響與彼此重構。如我們所見,當下社會部門越來越廣泛地參與著科研活動的全過程,包括對于情境化研究問題的確定,對于研究優(yōu)先次序的選擇,對于研究的績效評估,對于成果的闡釋和傳播等等??茖W研究不再局限于科學共同體內部,而是更大范圍內、多元主體疊加多種因素相互作用的結果?!爸R生產希望對工業(yè)、政府或者更廣泛的社會中的一些群體有用,而這種需求從知識生產的一開始就一直存在,始終面臨不斷的談判、協(xié)商,除非而且直到各個參與者的利益都被兼顧為止”(吉本斯, 2011,第4頁)。

    在這樣的背景下,非學術影響評估將更好地發(fā)揮社會價值引領作用,引導科研工作者關注研究的社會影響,關照不同利益群體的價值偏好,并與其進行價值協(xié)商與價值共建,而由此帶來的彼此理解的深化,也將反過來影響科學家思考究竟什么是值得開展的研究,究竟哪些社會群體和用戶可以從研究中受益。這將使研究者對社會影響更為敏感,使科研工作的社會價值目標更加明確,進而間接影響科學研究的結構與結果。換句話說,開展非學術影響評估的目標不僅在于得到評估結果本身,更在于讓知識的創(chuàng)造者和使用者之間建立起常態(tài)化的互動機制,強化研究者的社會責任意識。

    四、怎樣開展科研成果的非學術影響評估

    近二三十年來,國際上對于科研成果的非學術影響評估開展了廣泛而深入的探討,但由于非學術影響的模糊性、滯后性和偶然性,給評估帶來了一定的難度。目前尚未形成學界公認的、被廣泛推廣的評估方法。澳大利亞、英國、荷蘭等國家都進行了一些實踐探索,為我們提供了一些可資借鑒的經驗。總體而言,當前主流的評估方法包括如下三種:

    (一)計量學:提供發(fā)生非學術影響的證據(jù)

    在科研成果的非學術影響評估中,各種計量學方法被廣泛采用。大家普遍認為,雖然計量學具有一定的局限性,但可以為非學術影響的發(fā)生及程度提供一些有力的證據(jù)。其中,傳統(tǒng)的用于衡量學術影響的科學計量學方法也被借鑒和沿用,評估者可以根據(jù)特定情境來設計和使用計量指標,以考察研究成果產生的外部社會經濟影響。這些指標相較學術影響評估的指標而言,更加靈活多樣,比如包括:科研成果帶來的商業(yè)收入和利潤;用科研成果注冊的專利數(shù)量;因開展科研活動而創(chuàng)造的就業(yè)崗位,培養(yǎng)的博士生和博士后數(shù)量;科技展覽會的來訪者數(shù)量等。如果在考量指標的同時關注指標的特定情境,可以更好地理解影響力的表現(xiàn)及其程度。

    此外,已經發(fā)展得比較成熟的計量經濟學方法也被大量用于衡量科研成果在經濟維度的影響,即考量科學進步對經濟增長的貢獻(Salter & Martin,2010)。比如,有學者通過計量經濟學模型發(fā)現(xiàn)英國1975年至1992年間,對心血管疾病的公立研發(fā)投入帶來的國民健康和GDP的內部收益率約為39%。也就是說,每1英鎊投入在心血管疾病的研究經費都帶來了之后每年0.39英鎊的收益(Health Economics Research Group,Office of Health Economics,RAND Europe,2008)。美國國家健康研究所(NIH)的數(shù)據(jù)分析顯示,公共基礎科研每1%的增長都最終帶來NME類新藥(美國食品醫(yī)藥管理局對新藥的一個重要分類)1.8%的增長(Toole,2011)。顯然,運用計量經濟學測度科研的非學術影響存在一定的學科和領域差異,有些行業(yè)(如計算機)比其他行業(yè)(如金屬制品)從科研成果中獲利更多,有些學科(如醫(yī)藥)比其他學科(如數(shù)學)在可衡量的社會價值和貢獻方面更為顯著。而與其他維度(如文化)相比,科研對經濟增長的貢獻顯然更容易衡量,因此計量經濟學也更廣泛地被使用。

    近年來科研成果的網絡化傳播催生了應用“替代計量學(altmetrics)”來衡量和監(jiān)測非學術影響的趨勢,特別是針對社會和文化這些不太容易量化的維度。隨著網絡信息技術日趨成熟,科學傳播的途徑已經不再局限于傳統(tǒng)的學術期刊和書籍。政府報告、科學博客、報紙雜志等紛紛成為科研成果傳播和推廣的舞臺。年輕學者們也更傾向于借助社交媒體和網絡工具來分享適合大眾傳播的科研成果,交流觀點,傳播思想,進行在線互動和協(xié)作等。這些都可以通過替代計量學來進行追蹤、記錄、分析,進而測度科研成果向外輻射的范圍與程度(劉春麗,2016)。比如,替代計量學指標可以反映研究結論在維基百科或百度百科、網絡數(shù)據(jù)庫、博客、社交媒體等網絡平臺上的被引用和被討論次數(shù),還可以追蹤特定的受眾人群,以及他們對研究成果的態(tài)度等。學者普遍認為,傳統(tǒng)的計量學指標,比如影響因子是基于傳播速度較慢的、嚴格正式的學術交流體系的,而創(chuàng)新的科學思想更多是在零散的、快速傳播的、非正式交流過程中產生的。因此,基于網絡平臺和社交媒體對科研成果的廣泛傳播和使用,替代計量學為科研評價體系帶來新的視角,其開放地記錄了科學傳播的全過程,允許考察科學家們在多個平臺進行知識溝通、創(chuàng)造、再利用的行為蹤跡,有利于更好地記錄和反映科研成果對社會大眾產生的非學術影響(Bornmann,2014)。當然,這一方法的客觀性和操作性仍在探索與討論之中。

    采用計量學方法評估科研成果的非學術影響具有一些明顯的優(yōu)勢,比如,延續(xù)了傳統(tǒng)的學術影響評估的方式,接受程度較高;評估方法較為簡單,過程可操作性強,結果相對客觀且具有橫向可比性;同時,這種方法的操作成本較低。但是,使用標準化計量工具也存在一定的風險:第一,定量指標可為非學術影響的發(fā)生提供相應的證據(jù),但無法描述影響力的全貌,也無法對影響產生的因果進行聯(lián)結和綜合分析。第二,我們容易把注意力集中于可見的、相對容易衡量的影響上,比如經濟貢獻等,容易忽視那些創(chuàng)新研究所傳遞的潛在的、長期的社會價值。第三,影響力的程度容易被貨幣化或被刻意簡單化。

    (二)影響力調查:收集利益相關者的觀點表達

    我們需要將研究成果的非學術影響置于具體的情境中加以評價和分析,因此,在定量指標呈現(xiàn)出非學術影響的結果后,我們還需要回答由此衍生出的“如何發(fā)生”和“那會怎樣”等定性問題。為了呈現(xiàn)非學術影響的全貌,可以采用影響力調查的方式,通過問卷或訪談來收集特定的科研成果的利益相關者和終端用戶的反饋,從而比較詳細地、有針對性地呈現(xiàn)某個具體的研究成果對于特定人群所產生的影響。

    影響力調查能夠涉及的維度遠超計量學中包含的有限指標,運用起來也比較有針對性,既可以針對某項具體的科學研究開展利益相關者調查,也可以針對宏觀的科學研究政策開展民意調查。舉例而言,20世紀90年代初,Mansfield通過問卷調查了美國76家公司的研發(fā)經理,發(fā)現(xiàn)他們所在的公司在過去十年里有平均10%的產品或生產線是完全依靠科學研究的成果來支持的,如果相關的科研工作停滯,這10%的產品或生產線就得全部關停。隨后,在90年代末期,他又對其中的70家企業(yè)進行了追蹤調查,發(fā)現(xiàn)這個比例上升到了15%(產品)和11%(生產線)(Mansfield,1991)。該調查反映了科學研究活動對企業(yè)貢獻的附加值。 Beise和Stahl也沿用了這個方法,調查了德國2300家企業(yè),發(fā)現(xiàn)在1993年至1995年期間,有將近十分之一的創(chuàng)新企業(yè)是依靠科技成果而建立和發(fā)展起來的(Beise &Stahl,1999)。這些調查通過收集研究成果的終端用戶的反饋,為科學研究帶來的社會影響提供了可資參考的證明。

    影響力調查的優(yōu)勢在于能夠獲取豐富的第一手資料。無論是針對某項具體的科學技術產品,還是針對宏觀的科技政策,這些直接面向利益相關者群體得到的第一手資料都是不可替代的、直觀且珍貴的觀點。但也正因為這些第一手資料的豐富性和獨特性,造成評估結果在可量化和可比性方面存在一定的不足。同時,通過開展調查進行非學術影響評估需要付出較高的成本。從收集、捕捉相關信息,到形成評估結論,再到評估結果的呈現(xiàn)與表達,每一個環(huán)節(jié)都是一件耗時耗力的工作,特別是當利益相關者群體比較分散的時候,就更增加了評估者的工作難度。同時,要想完整地搜集、記錄、整理、分析調查資料,并很好地呈現(xiàn)評估的結果,需要評估人員有很好的觀察能力、溝通能力、桌面研究能力等綜合能力。

    (三)影響力案例:講述特定情境下的影響力故事

    影響力案例是近年來接受度較高的非學術影響評估方法,已經被澳大利亞、英國和荷蘭等國家用于高校和科研機構的評估工作中。影響力案例通常由被評估單位的研究人員面向評估者撰寫,案例可以從特定的視角出發(fā),將研究工作置于具體的情境中,通過描述科研成果服務社會的相關事件和活動,來呈現(xiàn)研究所帶來的社會價值的內涵、表現(xiàn)形式和實現(xiàn)路徑。一個完整的影響力案例通常能夠融合計量與敘事兩種方法,使數(shù)據(jù)信息和觀點表達相互印證,像講故事一樣對影響力的發(fā)生與輻射進行詳細、生動的描述。

    澳大利亞的“科研質量框架”(Research Quality Framework,RQF)是全球首個嘗試全面捕捉跨學科研究的社會影響的評估框架,其主要采用了“影響力案例”的方法。被評估單位的研究人員通過撰寫影響力案例,提供必要的數(shù)據(jù)支持和敘事材料,來描述和論證其研究成果為經濟、社會、環(huán)境、文化等方面做出的貢獻(Duryea et al,2007)。同行評議專家將根據(jù)影響力案例的文本判斷其研究帶來的社會價值。

    英國全新的“科研卓越框架”(Research Excellence Framework, REF)評估體系同樣采用了“影響力案例”方法,要求被評估單元通過4頁以內、包含一些特定維度的結構化敘事來描述研究成果對社會產生的輻射影響,同時提供被評估單元為推進科研成果產生非學術影響所采取的戰(zhàn)略措施。評估者將根據(jù)案例描述,從社會影響輻射范圍及影響的重要意義兩個方面來進行評估(王楠,羅珺文,2017)。

    荷蘭近年來強調“特定情境下的科研評估”理念,著眼于捕捉和分析科研進程中研究者與利益相關者群體如何通過高效互動來促進科研的傳播和應用,從而實現(xiàn)“價值創(chuàng)造(Valorisation)”,即通過知識生產創(chuàng)造廣泛的社會價值(De et al,2014)。2015年,荷蘭在其新版《標準化評估指南(2015—2021)》(Standard Evaluation Protocol(2015—2021),SEP 2015)框架中首次將科研成果的“社會相關度”列為評估的三大指標之一,要求被評估單位選擇有代表性的影響力案例來描述和呈現(xiàn)科研工作所帶來的社會價值(KNAW,VSNU,NWO,2014)。

    如上,一個成熟的影響力案例既可以呈現(xiàn)定量數(shù)據(jù),也可以描繪特定情境下的敘事,是一種比較理想的、多維度展現(xiàn)科研成果非學術影響的方法。其優(yōu)勢在于能夠保留和區(qū)分不同學科研究成果的特點和特定的情境視角,展現(xiàn)從自然科學到人文學科等領域中各種類型的研究為社會帶來的多元影響,特別是對于缺乏定量數(shù)據(jù)支持的學科(如藝術、哲學等),同樣允許研究者通過講述完整的“故事”來呈現(xiàn)研究帶來的社會價值。但是,開展影響力案例評估同樣面臨諸多考驗。首先,評估單位的研究人員所提供的影響力案例有可能摻雜了一定的主觀因素,這將對評估者的客觀評價產生一些不利的影響。第二,不同的研究人員撰寫的案例從體例到術語存在較大差異,這增加了橫向比較和評估的難度。盡管已經有學術共同體意識到了這一問題,并已著手匯集和編撰用于描述影響力的標準化術語字典,以用作案例撰寫的參考,但要得到大范圍的認可和推廣尚需時日(Baker et al,2017)。第三,對影響力的評估將受到案例本身撰寫水平的限制。顯然,擅長講故事、寫文章的項目組或者能夠承受額外費用聘請專業(yè)人士來撰寫案例的項目組更有可能獲得較好的評估結果,這將使評估結果產生偏差。最后,開展案例研究的成本也是比較高的,包括案例的收集、資料的整理、文本的撰寫等,都將花費研究者大量的時間和精力。對于評估者而言,案例的閱讀、整理和實證資料的考證也存在一定的難度。

    五、啟示與思考

    綜上,在科研評估范式轉型背景下,不同國家和地區(qū)都陸續(xù)在“非學術影響”評估的實踐領域進行了一些創(chuàng)新與探索,這對構建良好的科研生態(tài)體系、增強研究者的社會責任產生了積極的推動,其中不乏值得思考與借鑒之處。

    (一)發(fā)揮評估的社會價值導向,構建良好的科研生態(tài)體系

    如前所述,近年來國際科研評估范式由單純關注科研成果的學術影響轉向兼顧其非學術影響,這一方面與知識生產模式發(fā)生的根本性變革遙相呼應,另一方面也是對已有評估范式之沉疴痼疾的突破。傳統(tǒng)的科研評估范式更多地發(fā)揮了學術價值導向,關注科研成果在科學共同體內部產生的學術影響,卻忽視了科研活動對外部社會的輻射影響,難免造成學術系統(tǒng)封閉僵化、自說自話的困境??茖W研究的根本目的不僅在于知識創(chuàng)新,更在于利用知識創(chuàng)新尋求解決社會問題的途徑,為人類生產和生活方式的改變,人類文化和生存環(huán)境的改善等作出積極貢獻。然而有時候我們“走的太遠”卻忘記了“為何出發(fā)”。就我國的現(xiàn)實情況而言,現(xiàn)行的科研評估制度和人才考核體系中,“唯論文、唯職稱、唯學歷、唯獎項”(以下簡稱“四唯”)等現(xiàn)象仍然嚴重,這些無不是由于價值偏離而導致的評價異化。日前,科技部、教育部、人力資源社會保障部、中科院、工程院聯(lián)合發(fā)布了《關于開展清理“唯論文、唯職稱、唯學歷、唯獎項”專項行動的通知》,指出要克服科研評價中存在的“四唯”傾向,對“四唯”問題集中清理,注重研究成果的質量、貢獻和影響。然而強制不如自治,治標更需治本。我們可以考慮通過在評估體系中引入“非學術影響”評估來強化研究的外部社會責任,從根本上轉變僵化陳舊的評價導向,更有效地發(fā)揮評估的激勵作用,引導研究成果的學術貢獻與非學術貢獻形成相互協(xié)調的動態(tài)平衡,提升學術系統(tǒng)的活力和多樣性,構建良好的科研生態(tài)體系。

    (二)超越對評估結果的過度關注,聚焦研究者社會責任意識的提升

    進行非學術影響力評估的目的不光在于要得到一個研究者做得“好或不好”的價值判斷結果,更重要的是,要以非學術影響評估作為一個契機和抓手,潛移默化地讓研究者開始關注自身的研究工作所能帶來的社會價值,進而提升研究者的社會責任意識,同時讓知識的創(chuàng)造者和使用者之間建立起一種常態(tài)化的協(xié)同與互動機制??茖W研究從來都不是單純的知識創(chuàng)造過程,它同時也是社會利益反復平衡和博弈的過程。因此,科學家肩負學術使命的同時更肩負著重大的社會責任,后者甚至遠重于前者。日前,學界對這一話題的討論在我國誕生世界首例基因編輯嬰兒之后再次達到了高潮。實際上,促進科研工作者建立與其在學術領域的卓越追求相匹配的社會責任意識至關重要。我們也必須意識到,這種推動力不應是自上而下對學者提出的強制性要求,更要建立自下而上的,有利于引導科研工作者自覺樹立責任意識的機制。非學術影響評估不失為一個有力的抓手。例如,在英國的科研卓越框架(REF)中正式納入“非學術影響”評估維度后,很多高校已經正式為博士研究生開設了關于非學術影響案例的設計與撰寫的專業(yè)必修課程,也就是說未來英國的研究人員不僅要有卓越的研究成果,同樣要在研究過程中充分關注、積極思考以及學會闡釋研究成果之于社會的有用性,而這種關注與思考正是通過“非學術影響”評估的引導而發(fā)生的。

    (三)選擇開放、多元的評估方法,鼓勵真實、多樣的非學術影響

    科研成果非學術影響產生的路徑與學術影響完全不同,具有較強的模糊性、滯后性和不確定性,其影響也必然輻射更廣泛的地區(qū)、人群和社會領域。已有的學術影響評估的思路與方法比較局限,很難有效地捕捉和呈現(xiàn)非學術影響發(fā)生的路徑與效果。要保證評估不偏離其初衷同時發(fā)揮積極的導向作用,必須在方法上進行嘗試與創(chuàng)新,以開放、多元為基調選擇適恰的評估方法,從而鼓勵真實、多樣的非學術影響發(fā)生。比如,近年來伴隨網絡社交媒體的興盛和開放知識運動的蔓延,替代計量指標有效地補充了傳統(tǒng)引文評價指標的不足,從多個角度反映和評價科研成果的社會影響(劉烜貞,湛樂,2017),其在“名”與“實”上都逐步取代了傳統(tǒng)的文獻計量方法,也逐漸被一些高校所認可和采納。如,浙江大學在2017年9月發(fā)布了《優(yōu)秀網絡文化成果認定實施辦法(試行)》,擬將在報刊、電視、互聯(lián)網上刊發(fā)或播報的,具有廣泛網絡傳播的原創(chuàng)文章、影音、動漫等優(yōu)秀網絡文化成果納入學??蒲谐晒y(tǒng)計、各類晉升評聘和評獎評優(yōu)范圍,在評估實踐中將“網文”納入了科研評價體系(劉愛生,2018),賦予了研究成果非學術影響的合法性地位。再如,當前被最廣泛采納和應用的影響力案例方法,允許研究者以自由、開放的方式描述不同情境下的影響力“故事”,更多地關注真實情景中科學發(fā)展和科技進步為社會作出的積極貢獻,使得評估超越了對評估方法技術理性的推崇,更好地回歸了“影響”本身。上述這些評估方法都充分考慮和尊重了學科差異和研究活動的多樣性,不僅有利于在評估中更有效地捕捉和評價影響發(fā)生的路徑和效果,并且有利于反向促進科研活動的多樣化和學科發(fā)展的多樣化,不失為對非學術影響評估的探索,值得借鑒和嘗試。

    最后,有必要強調,當下開展非學術影響評估的相關研究與實踐對于我國高校科研評估制度改革具有重要的現(xiàn)實意義,但是科研成果的學術影響與非學術影響之間是一種動態(tài)、開放的生態(tài)關系,要在具體學科和評估實踐中加以考量。因此,我們也需要非常審慎地看待這一新興的評估維度,并盡量采用適恰的方法來規(guī)避有可能對科研活動產生負面效應的風險,以避免從一個極端走向另一個極端。

    猜你喜歡
    影響
    美食網紅如何影響我們吃什么
    英語文摘(2022年4期)2022-06-05 07:45:18
    是什么影響了滑動摩擦力的大小
    哪些顧慮影響擔當?
    當代陜西(2021年2期)2021-03-29 07:41:24
    影響大師
    沒錯,痛經有時也會影響懷孕
    媽媽寶寶(2017年3期)2017-02-21 01:22:28
    擴鏈劑聯(lián)用對PETG擴鏈反應與流變性能的影響
    中國塑料(2016年3期)2016-06-15 20:30:00
    基于Simulink的跟蹤干擾對跳頻通信的影響
    如何影響他人
    APRIL siRNA對SW480裸鼠移植瘤的影響
    99九九在线精品视频| 啦啦啦啦在线视频资源| 黄色欧美视频在线观看| 国产白丝娇喘喷水9色精品| 欧美精品人与动牲交sv欧美| 成人国产av品久久久| 51国产日韩欧美| 亚洲av不卡在线观看| 欧美一级a爱片免费观看看| 国产探花极品一区二区| 汤姆久久久久久久影院中文字幕| 亚洲欧洲日产国产| 久久午夜福利片| 免费看av在线观看网站| 欧美人与善性xxx| 天天操日日干夜夜撸| 日本wwww免费看| 99九九线精品视频在线观看视频| 久久人人爽人人片av| 一个人免费看片子| 黑丝袜美女国产一区| 男女免费视频国产| av免费在线看不卡| 午夜福利视频精品| 在线亚洲精品国产二区图片欧美 | 视频中文字幕在线观看| 日本黄色片子视频| 亚洲性久久影院| 欧美精品一区二区大全| 日韩精品有码人妻一区| 男女边吃奶边做爰视频| 午夜激情av网站| 乱码一卡2卡4卡精品| 看免费成人av毛片| 大香蕉久久成人网| 欧美日韩视频高清一区二区三区二| 国产精品久久久久成人av| 久久精品国产亚洲av天美| 国产精品99久久久久久久久| 制服诱惑二区| 亚洲国产欧美在线一区| 成人漫画全彩无遮挡| 搡老乐熟女国产| 中国国产av一级| 国产亚洲午夜精品一区二区久久| 午夜免费鲁丝| av电影中文网址| av电影中文网址| av在线观看视频网站免费| 美女大奶头黄色视频| 男的添女的下面高潮视频| 欧美精品一区二区大全| 边亲边吃奶的免费视频| 91aial.com中文字幕在线观看| 最新的欧美精品一区二区| 母亲3免费完整高清在线观看 | 国产高清国产精品国产三级| 91在线精品国自产拍蜜月| 亚洲精品久久午夜乱码| 午夜91福利影院| 精品少妇内射三级| 国产精品嫩草影院av在线观看| 99久久精品国产国产毛片| 在线 av 中文字幕| 亚洲三级黄色毛片| 纵有疾风起免费观看全集完整版| 国产成人精品婷婷| 日本欧美国产在线视频| 亚洲三级黄色毛片| 日韩人妻高清精品专区| 91久久精品国产一区二区三区| 一本一本综合久久| 99久久精品一区二区三区| 满18在线观看网站| 丰满乱子伦码专区| 日韩一区二区三区影片| 久久久久久久久久成人| 日本色播在线视频| 日日摸夜夜添夜夜爱| 亚洲精品456在线播放app| 秋霞伦理黄片| 亚洲一区二区三区欧美精品| 激情五月婷婷亚洲| 婷婷色av中文字幕| 国产又色又爽无遮挡免| 婷婷色麻豆天堂久久| 激情五月婷婷亚洲| 91精品国产九色| 91精品三级在线观看| 欧美日韩在线观看h| 搡老乐熟女国产| 三级国产精品片| 日韩在线高清观看一区二区三区| 只有这里有精品99| 亚洲欧美日韩卡通动漫| 日日啪夜夜爽| 肉色欧美久久久久久久蜜桃| 少妇的逼好多水| 丝袜脚勾引网站| 亚洲丝袜综合中文字幕| 国产黄频视频在线观看| 91精品伊人久久大香线蕉| 99热这里只有精品一区| 高清午夜精品一区二区三区| 色吧在线观看| 国产黄色视频一区二区在线观看| 人人妻人人爽人人添夜夜欢视频| 26uuu在线亚洲综合色| 热re99久久国产66热| 国产在线一区二区三区精| 成人亚洲精品一区在线观看| 国产成人精品婷婷| 久久精品国产亚洲网站| 成人亚洲精品一区在线观看| 99热网站在线观看| 精品国产国语对白av| 老女人水多毛片| 在线看a的网站| 少妇的逼好多水| 在现免费观看毛片| 日韩在线高清观看一区二区三区| 亚洲欧美成人综合另类久久久| 精品卡一卡二卡四卡免费| 丁香六月天网| 伊人亚洲综合成人网| 亚洲欧洲精品一区二区精品久久久 | 性色av一级| 伊人久久精品亚洲午夜| 女人精品久久久久毛片| 97精品久久久久久久久久精品| 少妇被粗大的猛进出69影院 | 看非洲黑人一级黄片| 卡戴珊不雅视频在线播放| 老熟女久久久| 91久久精品电影网| 综合色丁香网| videos熟女内射| 我的老师免费观看完整版| 男女边吃奶边做爰视频| 国产精品蜜桃在线观看| 人妻制服诱惑在线中文字幕| 22中文网久久字幕| 日本午夜av视频| 草草在线视频免费看| 国产av码专区亚洲av| 波野结衣二区三区在线| 亚洲精品亚洲一区二区| 久久精品久久久久久噜噜老黄| 黑人高潮一二区| 亚洲av福利一区| 在线观看美女被高潮喷水网站| 久久青草综合色| 免费日韩欧美在线观看| 热re99久久精品国产66热6| 内地一区二区视频在线| 国产色爽女视频免费观看| 亚洲图色成人| 十八禁网站网址无遮挡| 久久人妻熟女aⅴ| 亚洲色图 男人天堂 中文字幕 | 一区二区av电影网| 久久久久精品性色| 欧美变态另类bdsm刘玥| 国产精品秋霞免费鲁丝片| 一区二区三区四区激情视频| 久久精品国产鲁丝片午夜精品| videosex国产| 男女边吃奶边做爰视频| 国产日韩欧美视频二区| 久久久久久久久久久免费av| av有码第一页| 国产一区亚洲一区在线观看| 少妇人妻精品综合一区二区| 亚洲无线观看免费| 18禁裸乳无遮挡动漫免费视频| 久久99热这里只频精品6学生| 精品99又大又爽又粗少妇毛片| 亚洲在久久综合| 日韩av不卡免费在线播放| 午夜久久久在线观看| 亚洲av免费高清在线观看| 99久久精品一区二区三区| 天天操日日干夜夜撸| 桃花免费在线播放| 少妇熟女欧美另类| 精品少妇黑人巨大在线播放| 亚洲av.av天堂| videossex国产| 九九爱精品视频在线观看| 亚洲欧美一区二区三区黑人 | 午夜av观看不卡| 成人18禁高潮啪啪吃奶动态图 | 看免费成人av毛片| 国产成人91sexporn| 精品一区二区三区视频在线| 国产成人一区二区在线| 中文精品一卡2卡3卡4更新| 2021少妇久久久久久久久久久| 亚洲国产精品999| 汤姆久久久久久久影院中文字幕| 美女福利国产在线| 国产亚洲av片在线观看秒播厂| 国产精品 国内视频| 黑人猛操日本美女一级片| 午夜福利影视在线免费观看| 免费看光身美女| 亚洲色图 男人天堂 中文字幕 | av在线播放精品| 新久久久久国产一级毛片| 国产免费现黄频在线看| 搡女人真爽免费视频火全软件| 曰老女人黄片| kizo精华| 亚洲av福利一区| av免费在线看不卡| 亚洲精品国产av蜜桃| 人妻 亚洲 视频| 亚洲精品日韩av片在线观看| 人妻少妇偷人精品九色| 午夜免费男女啪啪视频观看| 97超视频在线观看视频| 午夜激情福利司机影院| 在线天堂最新版资源| 久久久久久久久大av| 欧美日韩国产mv在线观看视频| videos熟女内射| 老司机影院毛片| 丰满乱子伦码专区| 亚洲精品456在线播放app| 久久99一区二区三区| 九色成人免费人妻av| 18禁观看日本| 国产免费福利视频在线观看| 久久精品久久精品一区二区三区| 久久精品国产亚洲av天美| 日韩一本色道免费dvd| 日韩强制内射视频| 精品久久久噜噜| 人成视频在线观看免费观看| 激情五月婷婷亚洲| 免费少妇av软件| 日韩人妻高清精品专区| 热99国产精品久久久久久7| 久久精品国产鲁丝片午夜精品| 久久久午夜欧美精品| 亚洲精品av麻豆狂野| 亚洲国产精品国产精品| a级毛片在线看网站| 制服人妻中文乱码| 丝袜脚勾引网站| 亚洲成色77777| 日日撸夜夜添| 性色av一级| 亚洲经典国产精华液单| 日本爱情动作片www.在线观看| 久久99热6这里只有精品| 日本免费在线观看一区| 狂野欧美激情性xxxx在线观看| 最近手机中文字幕大全| 欧美最新免费一区二区三区| 七月丁香在线播放| 亚洲人成网站在线播| 午夜日本视频在线| 美女内射精品一级片tv| 亚洲无线观看免费| 女人精品久久久久毛片| 久久久久久久国产电影| 国产一区二区三区av在线| 人人澡人人妻人| 日本黄色片子视频| 18在线观看网站| 国国产精品蜜臀av免费| 久久狼人影院| 婷婷色综合大香蕉| 简卡轻食公司| 日韩成人伦理影院| 国产精品欧美亚洲77777| 日日啪夜夜爽| 蜜臀久久99精品久久宅男| 日本欧美国产在线视频| 国产在线视频一区二区| 日韩强制内射视频| 欧美亚洲日本最大视频资源| 成年人免费黄色播放视频| 亚洲综合色惰| 国产精品久久久久久av不卡| 熟女av电影| 日本av免费视频播放| av一本久久久久| 久久99热6这里只有精品| 免费观看av网站的网址| 亚洲精品av麻豆狂野| 一级爰片在线观看| 久久久久久伊人网av| 成年人午夜在线观看视频| 久久女婷五月综合色啪小说| 日韩强制内射视频| 美女中出高潮动态图| 国产午夜精品久久久久久一区二区三区| 亚洲精品日本国产第一区| 午夜免费男女啪啪视频观看| 欧美另类一区| 内地一区二区视频在线| 最新中文字幕久久久久| 婷婷成人精品国产| 22中文网久久字幕| 免费日韩欧美在线观看| www.av在线官网国产| 制服人妻中文乱码| 极品少妇高潮喷水抽搐| 久久久久久久久大av| 国产黄色视频一区二区在线观看| 欧美精品人与动牲交sv欧美| 一二三四中文在线观看免费高清| 国产一区二区三区综合在线观看 | 综合色丁香网| 精品久久久噜噜| 久久 成人 亚洲| 国产精品人妻久久久久久| 在线观看三级黄色| 日本黄色片子视频| 中文欧美无线码| 黄色视频在线播放观看不卡| 国产在线免费精品| 欧美日韩视频高清一区二区三区二| 中文字幕免费在线视频6| 日本与韩国留学比较| 国模一区二区三区四区视频| 黄色配什么色好看| a级毛片免费高清观看在线播放| 黑人巨大精品欧美一区二区蜜桃 | 久久久久视频综合| 亚洲精品国产av成人精品| 人人妻人人澡人人爽人人夜夜| 日本猛色少妇xxxxx猛交久久| 精品亚洲成国产av| 69精品国产乱码久久久| 国产精品一二三区在线看| 伊人久久精品亚洲午夜| 亚洲精品色激情综合| 国产日韩欧美视频二区| a级毛片在线看网站| 老司机影院成人| 久久鲁丝午夜福利片| 看非洲黑人一级黄片| 精品一区二区三区视频在线| 国产乱人偷精品视频| 少妇丰满av| 2021少妇久久久久久久久久久| 99国产综合亚洲精品| 欧美精品国产亚洲| 男人添女人高潮全过程视频| 少妇被粗大猛烈的视频| 欧美亚洲日本最大视频资源| 亚洲成色77777| 国产国语露脸激情在线看| 久久青草综合色| 国产精品嫩草影院av在线观看| 伊人久久精品亚洲午夜| 高清不卡的av网站| 美女视频免费永久观看网站| 日韩中字成人| 在线 av 中文字幕| 天天躁夜夜躁狠狠久久av| 午夜老司机福利剧场| 精品酒店卫生间| 精品久久久久久久久av| 秋霞伦理黄片| 一本色道久久久久久精品综合| 伊人久久国产一区二区| av福利片在线| 免费看av在线观看网站| 日本色播在线视频| 一级黄片播放器| 日韩人妻高清精品专区| 国产亚洲精品久久久com| 国产av码专区亚洲av| 欧美日韩视频高清一区二区三区二| 国产伦理片在线播放av一区| 99热网站在线观看| 国产一区有黄有色的免费视频| 一区二区三区精品91| 青春草国产在线视频| 看十八女毛片水多多多| 18禁在线无遮挡免费观看视频| 日韩成人伦理影院| 久久青草综合色| 精品少妇黑人巨大在线播放| 成人18禁高潮啪啪吃奶动态图 | av免费观看日本| 久久久精品区二区三区| 国产永久视频网站| 午夜激情福利司机影院| 日本-黄色视频高清免费观看| av不卡在线播放| 女性生殖器流出的白浆| 精品国产国语对白av| 国产精品不卡视频一区二区| 亚洲精品久久午夜乱码| 亚洲经典国产精华液单| 日本爱情动作片www.在线观看| 国产探花极品一区二区| 男女高潮啪啪啪动态图| 国产精品99久久久久久久久| 精品一区在线观看国产| 色5月婷婷丁香| av免费在线看不卡| 国产免费又黄又爽又色| 国产亚洲欧美精品永久| 新久久久久国产一级毛片| 成人国产av品久久久| videos熟女内射| av免费观看日本| 国产爽快片一区二区三区| 亚洲av国产av综合av卡| 啦啦啦啦在线视频资源| 久久久久久久久久久久大奶| 99热全是精品| 亚洲av国产av综合av卡| 男人爽女人下面视频在线观看| 男的添女的下面高潮视频| 性色avwww在线观看| 久久人妻熟女aⅴ| 曰老女人黄片| 边亲边吃奶的免费视频| 三级国产精品片| 亚洲欧美一区二区三区黑人 | 一级片'在线观看视频| 中文字幕免费在线视频6| 极品人妻少妇av视频| 欧美3d第一页| 五月伊人婷婷丁香| 精品亚洲乱码少妇综合久久| 日本午夜av视频| 亚洲美女搞黄在线观看| 日产精品乱码卡一卡2卡三| 亚洲精品中文字幕在线视频| 国产精品成人在线| 自线自在国产av| 大香蕉久久成人网| 亚洲五月色婷婷综合| 欧美xxⅹ黑人| 五月玫瑰六月丁香| 涩涩av久久男人的天堂| 日韩av免费高清视频| 国产色爽女视频免费观看| 免费久久久久久久精品成人欧美视频 | av天堂久久9| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 97在线人人人人妻| 国产精品一国产av| 高清毛片免费看| 亚州av有码| 久久精品国产a三级三级三级| 亚洲精品乱久久久久久| 乱码一卡2卡4卡精品| 久久人人爽人人爽人人片va| 国产日韩欧美在线精品| 国产视频首页在线观看| 日韩一区二区视频免费看| 中国国产av一级| 亚洲丝袜综合中文字幕| 久久久久人妻精品一区果冻| 日本黄色日本黄色录像| 18禁在线播放成人免费| 波野结衣二区三区在线| 99久久综合免费| 寂寞人妻少妇视频99o| 在线免费观看不下载黄p国产| 午夜激情久久久久久久| 国产爽快片一区二区三区| 大香蕉久久成人网| 久久久久久久久久久丰满| 午夜精品国产一区二区电影| 18禁裸乳无遮挡动漫免费视频| 人妻 亚洲 视频| 校园人妻丝袜中文字幕| 国产av精品麻豆| 日韩av免费高清视频| 人妻一区二区av| 热re99久久国产66热| 伦理电影大哥的女人| 2021少妇久久久久久久久久久| 91成人精品电影| 又粗又硬又长又爽又黄的视频| 人妻 亚洲 视频| 精品少妇久久久久久888优播| 性高湖久久久久久久久免费观看| 色视频在线一区二区三区| 久久国产精品大桥未久av| 曰老女人黄片| 观看av在线不卡| 亚洲国产欧美日韩在线播放| 中国三级夫妇交换| a级片在线免费高清观看视频| av一本久久久久| 大香蕉久久网| 我要看黄色一级片免费的| 欧美xxⅹ黑人| 热re99久久精品国产66热6| 午夜日本视频在线| 国产深夜福利视频在线观看| 国产成人精品婷婷| 午夜视频国产福利| 亚洲,一卡二卡三卡| www.av在线官网国产| 亚洲av免费高清在线观看| 大香蕉久久成人网| 国产精品久久久久久精品古装| 亚洲国产精品专区欧美| 女的被弄到高潮叫床怎么办| 大码成人一级视频| 伦精品一区二区三区| 最后的刺客免费高清国语| 日本免费在线观看一区| 日本黄色片子视频| 成人国语在线视频| 一个人免费看片子| 丰满迷人的少妇在线观看| 人人妻人人澡人人爽人人夜夜| 好男人视频免费观看在线| 伊人亚洲综合成人网| 欧美日韩国产mv在线观看视频| 国产有黄有色有爽视频| 免费黄色在线免费观看| freevideosex欧美| av在线app专区| 亚洲国产精品专区欧美| 亚洲精品一二三| 亚洲国产最新在线播放| 美女脱内裤让男人舔精品视频| 亚洲精品成人av观看孕妇| 欧美精品一区二区免费开放| 999精品在线视频| 爱豆传媒免费全集在线观看| 青春草视频在线免费观看| 视频中文字幕在线观看| 免费人成在线观看视频色| 亚洲,一卡二卡三卡| 纵有疾风起免费观看全集完整版| 中文乱码字字幕精品一区二区三区| 日韩av不卡免费在线播放| 天堂俺去俺来也www色官网| 超色免费av| 欧美日韩亚洲高清精品| 久久久国产一区二区| 欧美激情极品国产一区二区三区 | 51国产日韩欧美| 人成视频在线观看免费观看| 熟女人妻精品中文字幕| 少妇人妻 视频| 亚洲国产精品国产精品| 成人18禁高潮啪啪吃奶动态图 | 精品久久久久久久久av| 日韩一区二区视频免费看| 卡戴珊不雅视频在线播放| 男女啪啪激烈高潮av片| 99热这里只有是精品在线观看| 亚洲国产精品专区欧美| 久久精品国产a三级三级三级| 久久ye,这里只有精品| 99精国产麻豆久久婷婷| 久久国内精品自在自线图片| 一区在线观看完整版| 夜夜爽夜夜爽视频| 多毛熟女@视频| 亚洲人成77777在线视频| 日韩一区二区三区影片| 欧美日韩在线观看h| 精品一区二区三卡| 国产亚洲午夜精品一区二区久久| 免费av不卡在线播放| 午夜激情福利司机影院| 亚洲色图 男人天堂 中文字幕 | 亚洲国产欧美日韩在线播放| 自拍欧美九色日韩亚洲蝌蚪91| 精品人妻在线不人妻| 毛片一级片免费看久久久久| 蜜臀久久99精品久久宅男| 热re99久久精品国产66热6| 大码成人一级视频| 少妇高潮的动态图| 一区二区三区乱码不卡18| 日本av免费视频播放| 国产淫语在线视频| 亚洲欧洲精品一区二区精品久久久 | 国产精品99久久久久久久久| 亚洲av免费高清在线观看| 寂寞人妻少妇视频99o| 久久99热6这里只有精品| 在线观看三级黄色| 大又大粗又爽又黄少妇毛片口| 国精品久久久久久国模美| 美女大奶头黄色视频| 少妇熟女欧美另类| 亚洲精品色激情综合| 少妇高潮的动态图| 成人无遮挡网站| 亚洲熟女精品中文字幕| 日韩欧美一区视频在线观看| 免费大片18禁| 亚洲av欧美aⅴ国产| 丝瓜视频免费看黄片| 一本—道久久a久久精品蜜桃钙片| 欧美激情国产日韩精品一区| av女优亚洲男人天堂| 91国产中文字幕| 成年女人在线观看亚洲视频| 精品卡一卡二卡四卡免费| 国产免费一级a男人的天堂| 99久久人妻综合| 视频中文字幕在线观看| 久久久久久久久久久免费av| 国产精品一二三区在线看| 2018国产大陆天天弄谢|