• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    科學(xué)基金績效評估中的風險識別與分類問題研究

    2010-09-29 08:11:24朱衛(wèi)東
    中國科技論壇 2010年2期
    關(guān)鍵詞:科學(xué)基金評估指標

    吳 勇,朱衛(wèi)東,張 晨

    (合肥工業(yè)大學(xué)管理學(xué)院,安徽 合肥 230009)

    科學(xué)基金績效評估中的風險識別與分類問題研究

    吳 勇,朱衛(wèi)東,張 晨

    (合肥工業(yè)大學(xué)管理學(xué)院,安徽 合肥 230009)

    文章對科學(xué)基金績效評估風險的本質(zhì)內(nèi)涵進行了界定,建立了風險因素的識別框架,從績效評估的組織設(shè)計、評估目標和內(nèi)容的確定、評估指標體系的構(gòu)建、評估方法的選擇以及評估結(jié)果的使用五個維度,對科學(xué)基金績效評估全過程的各類風險因素進行合理的分類,為后續(xù)的風險評估和風險控制奠定基礎(chǔ)。

    科學(xué)基金;績效評估;風險識別;風險分類

    1 引言

    國家自然科學(xué)科學(xué)基金委員會(以下簡稱“基金委”)成立于1986年,20多年來,國家自然科學(xué)基金(以下簡稱“科學(xué)基金”)工作立足國情和科技發(fā)展實際,創(chuàng)造性地學(xué)習(xí)和借鑒西方發(fā)達國家的成功經(jīng)驗,不斷發(fā)展和完善中國特色科學(xué)基金制,為推進科技體制改革和增強國家自主創(chuàng)新能力進行了不懈的探索與實踐。科學(xué)基金作為我國科技創(chuàng)新體系中的重要組成部分,對我國自主創(chuàng)新能力的提高,對加強高層次科技人才的培養(yǎng),對解決國民經(jīng)濟、社會發(fā)展和國防安全重要科學(xué)問題的基礎(chǔ)支撐地位日益突出。當前我國基礎(chǔ)研究正處于整體水平由量的擴展向質(zhì)的跨越這一重要階段,科學(xué)基金經(jīng)費從創(chuàng)立之初的3000萬元增長到2008年的63億多元。今天的科學(xué)基金具有比以往更大的規(guī)模、很強的導(dǎo)向性。

    2 相關(guān)研究綜述

    科學(xué)基金資助與管理績效評估是一項復(fù)雜的系統(tǒng)過程,涉及評估主體、評估對象、評估內(nèi)容、評估方法、評估支撐材料和評價結(jié)果等多個層次諸多環(huán)節(jié),在這一復(fù)雜的過程中蘊含了很多不確定性問題,使得科學(xué)基金績效評估工作面臨著諸多風險與挑戰(zhàn)。目前,美國國家科學(xué)基金會(National Science Foundation,NSF)、日本學(xué)術(shù)振興會(Japan Society for the Promotion of Science,JSPS)、英國研究理事會(Research Councils UK,RCUK)、德意志研究聯(lián)合會(Deutsche Forschungs Gemeinschaft,DFG)、澳大利亞研究理事會(Australian Research Council,ARC)和加拿大自然科學(xué)與工程研究委員會(Natural Sciences and Engineering Research Council of Canada,NSERC)等都系統(tǒng)地開展了科學(xué)基金的績效評估。隨著科學(xué)基金績效評估在世界各國的推廣,國內(nèi)外學(xué)者對科學(xué)基金績效評估中存在的風險進行了研究,通過對相關(guān)文獻資料的研讀梳理,科學(xué)基金績效評估中的風險主要表現(xiàn)為:

    ①各參與主體目標差異的風險??茖W(xué)基金管理機構(gòu)屬于政府公共財政管理部門,公共管理領(lǐng)域同經(jīng)濟領(lǐng)域一樣,個人行為的出發(fā)點是基于“自利”,績效評估是對科學(xué)基金資助與管理效果的測量,必然要涉及到部門不合理的利益的制止、是非得失的評判、權(quán)力利益的分配等。這種要求與自利人的行為動機相悖,從而決定部門及其工作人員不可避免地有抵制或消極對待績效評估的動機問題[1-2],這種阻擾力量的大小往往是評估成敗的關(guān)鍵所在。

    ②績效評估選擇指標的風險。科學(xué)基金支持基礎(chǔ)研究的特點,決定了科學(xué)基金的績效必須用綜合指標來衡量,如經(jīng)濟性、效益性(經(jīng)濟效益、社會效益、環(huán)境效益)、效果性、公平性等指標,這種多元化的指標體系形成了績效管理技術(shù)上的困難[3]。同時,衡量科學(xué)基金績效的量化指標在很大程度上僅僅是績效的一種關(guān)聯(lián)因子,而非真正的績效[4]。此外,科學(xué)基金績效評估的指標具有較強的政策導(dǎo)向性,評估指標選擇不當,將會對對科學(xué)家的行為產(chǎn)生影響,甚至誘發(fā)學(xué)術(shù)不端行為的風險[5-7]。在各國政府推行的科研績效評估中,受到批評最多的當屬英國的研究水平評估(Research Assessment Exercise,RAE)。Elton[8](2000)指出 RAE 造成了科技界競爭、敵對的氣氛,對科技長期發(fā)展存在潛在的危害。Talib[9](2000)的研究表明:自推行RAE以來,將同一研究成果拆分發(fā)表或以稍微不同的形式發(fā)表在多個雜志上的現(xiàn)象愈發(fā)普遍。Klas[10](2004)指出被評者傾向于努力提高績效評估指標所考察的方面,而對評估指標未涉及的領(lǐng)域?qū)]有完善的動機。面對績效評估的壓力,科技工作者傾向于將研究轉(zhuǎn)向能夠在短時間內(nèi)獲得成果的方向,然而創(chuàng)新性的成果往往難以在短期內(nèi)獲得認可。

    ③績效評估方法的技術(shù)風險??茖W(xué)基金績效評估存在很多定性問題需要依靠同行專家作出判斷,Brook[11](2002)認為外部專家難以在短時間內(nèi)全面了解科研組織的情況,其評估的可靠性難以保證,評估結(jié)論難以得到認可。另一方面,對科學(xué)基金產(chǎn)出成果的評估普遍會使用一些定量指標,而一些研究證明即使是常用的定量指標也難以保證客觀性。例如:Magnus[12](2008)分別采用影響因子、論著總數(shù)、論著被SSCI的引用數(shù)量等7個定量指標對瑞典國內(nèi)全部經(jīng)濟學(xué)教授進行績效評估,結(jié)果顯示使用不同定量指標產(chǎn)生的排名差異非常大。

    規(guī)避績效評估風險的措施。吳建南[13](2009)指出發(fā)達國家應(yīng)對績效評估中的各類風險挑戰(zhàn)的主要做法包括:積極開展對績效評估的科學(xué)研究、增強績效評估機構(gòu)的獨立性以及進一步關(guān)注有關(guān)績效評估的國際交流與合作等。美國NSF在開展績效評估之前,充分征求利益相關(guān)者的意見,就評估目標、評估原則、評估內(nèi)容等達成廣泛共識的基礎(chǔ)上,再啟動績效評估工作,這樣能很好的減少評估主體目標不一致的風險,而且也能降低績效評估執(zhí)行過程中的風險。同時,績效評估過程中,為避免利益相關(guān)者對評估結(jié)果質(zhì)疑的風險,由第三方認證機構(gòu)(IBM咨詢服務(wù)公司)負責對數(shù)據(jù)信息資料的采集機制進行鑒證,以提高評估結(jié)果的公信力。另外,建立了明確的反饋結(jié)果回應(yīng)機制,以應(yīng)對評估專家提出的改進績效的意見,從而避免了績效評估流于形式的風險。日本JSPS在績效評估過程中建立了公開、透明的信息披露機制,從而使得評估的結(jié)果更容易得到外部利益相關(guān)者的認可,避免績效評估暗箱操作的風險,進而提高了評估結(jié)果的可信力。

    為保障科學(xué)基金資助與管理績效評估能夠順利開展,取得預(yù)期效果,在進行評估總體方案設(shè)計的時候,應(yīng)充分考慮各種風險因素及其產(chǎn)生原因,并提出風險防范措施。

    3 科學(xué)基金績效評估中風險的界定

    3.1 科學(xué)基金績效評估的概念

    績效評估是對特定對象的行為表現(xiàn)和系統(tǒng)運行狀態(tài)的價值判斷,是評估主體對評估對象進行主觀分析,采用科學(xué)合理的評估指標和方法,采集必要的數(shù)據(jù)信息資料,給出客觀、公正的主觀評價結(jié)果的過程?;鹞鳛榭茖W(xué)基金的管理機構(gòu),負責資助與管理工作。借鑒美國NSF的經(jīng)驗,可以將科學(xué)基金績效評估工作分為四個層面的評估:項目層面、科學(xué)部層面、資助計劃層面以及基金管理機構(gòu)整體績效。因為考慮到本次評估的目的之一是全面總結(jié)科學(xué)基金20多年來的實踐經(jīng)驗,評估對象是過去23年來科學(xué)基金資助與管理的整體活動的績效狀況,也即評估基金管理機構(gòu)23年來整體的資助與管理績效,這屬于對公共管理組織的績效評估。目前公共管理組織績效評估的模式有二種:①投入-產(chǎn)出-結(jié)果;②目標-過程-結(jié)果模式。前者主要從投入/產(chǎn)出的效率維度測評績效。后者主要從預(yù)定目標的實現(xiàn)過程及實施效果的維度來分析績效情況??茖W(xué)基金具有產(chǎn)出不確定、成果滯后、社會效益難于衡量等特點,決定了不適合使用第一種模式,此外,科學(xué)基金的戰(zhàn)略目標明確,管理與組織實施過程科學(xué)、規(guī)范,因而采用第二種模式較為科學(xué)合理。

    3.2 績效評估風險的界定

    對于每一個評估對象,從理論上講,均有一個理想客觀值,主觀的評估結(jié)果和評估對象的客觀實際值之間會存在某種程度的不一致(即“測不準”),這是進行績效評估的一種重要風險。產(chǎn)生不一致的主要原因在于績效評估對象的復(fù)雜性以及績效評估過程中存在信息不對稱和多重委托-代理關(guān)系。

    依據(jù)風險是事件未來可能結(jié)果的不確定性的一般定義,科學(xué)基金績效評估風險是指在評估過程中,由于各利益相關(guān)者之間的目標不一致、信息不對稱,科學(xué)基金績效評估存在的諸多不確定因素以及績效信息數(shù)據(jù)缺失等,導(dǎo)致評估結(jié)果失真、無法實現(xiàn)預(yù)期評估目標以及評估結(jié)果不恰當使用的可能性。為了保證完成績效評估的預(yù)期目標,在績效評估過程中,要及時識別、科學(xué)分析和評價影響績效評估目標實現(xiàn)的各種風險因素,按照一定的分析框架,對各種風險因素進行科學(xué)合理的分類,闡釋各類風險產(chǎn)生的原因,并采取應(yīng)對策略。

    4 基于績效評估過程的風險分類框架研究

    科學(xué)基金資助與管理績效評估的風險分類可以有多種維度,諸如評估主體風險和客體風險維度,評估的內(nèi)部風險和外部風險維度。本文基于科學(xué)基金績效評估“戰(zhàn)略→管理與組織→結(jié)果”的整體架構(gòu),從科學(xué)基金績效評估的全過程維度(見圖1),對評估風險進行分類,即從評估組織設(shè)計、評估目標的確定、評估指標和方法的選擇、評估的執(zhí)行和操作、評估結(jié)果的使用五個方面,研究科學(xué)基金資助與管理績效評估中的各類風險問題,并分析風險原因,以便于制定風險控制措施。

    4.1 評估組織設(shè)計的風險

    科學(xué)基金績效評估中涉及的利益相關(guān)主體包括:評估主體(基金管理機構(gòu),委托人),評估專家(評估執(zhí)行者,代理人)、評估對象(評估對象的績效信息主要由基金管理機構(gòu)相關(guān)部門提供),評估過程中存在多重委托-代理,委托人和各參與主體之間存在目標不一致、信息不對稱、權(quán)責不對等和激勵不相容等現(xiàn)象,是評估組織設(shè)計中的一個重要風險因素。他們之間的目標不一致主要表現(xiàn)在:

    ①委托人(評估組織者、基金管理機構(gòu))。可能是追求本部門和本人的利益(主要是權(quán)力)最大化,根據(jù)對本部門和本人的利益綜合考慮來決定其行為模式,評估方案、評估結(jié)果的形成可能是不同利益集團之間利益矛盾博弈、折衷、平衡的結(jié)果。這給績效評估工作帶來的風險是:在確定評估目標、評估方案設(shè)計、選擇評估組織和評估專家方面,評估主體擁有完全的主導(dǎo)權(quán),有可能會導(dǎo)致在評估專家的知識、能力、公信力與選擇對自己有利的專家之間權(quán)衡。

    ②代理人(評估專家)。評估專家按照委托方的要求,在委托方提供必要的數(shù)據(jù)支撐的條件下,根據(jù)自己的知識、經(jīng)驗等,獨立地對各類評估對象進行科學(xué)、公正的評價。但評估專家有其自身的利益,而這些利益可能違背評估組織者的最初意愿,背離評估的預(yù)定目標。一方面,為使得評審結(jié)論更加科學(xué)合理,要有部分評審專家對科學(xué)基金項目非常熟悉,最好參與過科學(xué)基金項目,但如果評審專家與委托人關(guān)系過于緊密,其評價結(jié)論的中肯性如何保證;另外,為了在國際視角下體現(xiàn)科學(xué)基金的績效,需要有國外專家參與,不同國家的專家有著不同的文化、制度背景,如何保證其在短時間內(nèi)能夠熟悉評估材料,并其對評估標準的把握一致,也是一個重要的風險因素。

    ③評估對象。雖然是對科學(xué)基金23年來整體的資助與管理績效評估,但是支撐評估對象績效的數(shù)據(jù)信息,來源于基金委相關(guān)部門,這時各部門員工出于自身和部門利益的考慮,在數(shù)據(jù)提供方面可能會采取一些策略性的行為(如“避重就輕”、“充分展示成績、過少暴露問題”等),特別是基金管理機構(gòu)的工作人員因為主觀失誤導(dǎo)致績效不高而要承擔責任時,會千方百計地抵制評估(如借口評估干擾正常工作秩序、阻擾評估人員接近關(guān)鍵資料、以種種理由拒絕接受和貶低評估結(jié)論等)。從而與評估組織者的目標不一致,這也是組織設(shè)計中的一個重要風險因素。

    4.2 評估目標和內(nèi)容確定的風險

    (1)績效評估目標確定的風險。

    績效評估必須回答三個基本問題:評估的目標是什么?評估組織與程序如何設(shè)計?評估內(nèi)容與方法如何確定?評估目標統(tǒng)領(lǐng)整個評估活動。不同的目標,決定了所采用的評估模式、組織體系、程序、內(nèi)容、指標、標準等不同。

    美國NSF的評估目標是:業(yè)績評價結(jié)果給NSF的利益相關(guān)者和美國納稅人提供了NSF投資回報方面的關(guān)鍵信息;評估報告反映本年度NSF的財務(wù)狀況以及工作運行狀況,反映NSF實現(xiàn)既定戰(zhàn)略目標和計劃的績效。日本JSPS于2002年開展的國際評估的目標是:在充分借鑒發(fā)達國家的同行經(jīng)驗,對已有的資助計劃及其運行等方面進行評估,展望變革后的JSPS在國家科學(xué)體制中的地位與作用,并根據(jù)評估結(jié)果,針對新型體制下自身組織管理提出意見與建議。我國科學(xué)績效評估的目標是:在回顧過去、總結(jié)經(jīng)驗的基礎(chǔ)上,提升科學(xué)基金的管理水平,提高科學(xué)基金的使用效率,增強政府和公眾對科學(xué)基金工作的了解與信任。

    在確定評估目標時,會存在如下的風險:①評估目標是否與國內(nèi)外形勢相符,是否與現(xiàn)行的法律法規(guī)、政策和相關(guān)管理部門權(quán)限相符;②是否有利于改善科學(xué)基金管理與決策;③評估目的是否明確、公開、一致,除了明確表達出來的核心目的外,是否還有其他次要或隱含的目的,這些次要或隱含目的是否會影響核心目的;④各參與主體在認識評估目標和使用評估結(jié)果時,是否存在差異。

    (2)績效評估內(nèi)容分層的風險。

    日本JSPS評估內(nèi)容包括管理、科研基金、人才、國際交流與合作四個方面,重點是評估科研基金資助情況。在確定我國科學(xué)基金績效評估內(nèi)容時,一個重要的風險因素就是,科學(xué)基金績效評估的內(nèi)容分層能否全面真實地反映評估對象的績效管理工作,實現(xiàn)績效評估的預(yù)期目標。此外,針對科學(xué)基金的管理績效如何評估(如同行評議制度、基金管理機構(gòu)日常管理、財務(wù)管理等),是將管理績效分散到各類資助計劃中進行評估,還是像美國、日本一樣,單獨進行評估。

    4.3 績效評估指標和方法選擇的風險

    (1)績效評估指標選擇的風險。

    評估對象是基金委23年來的整體績效,基礎(chǔ)研究具有長期性、積累性、不確定性、滯后性、價值難于衡量性等特點,重大突破產(chǎn)生的時機和發(fā)展方向是無法預(yù)測的,研究成果中最重要的方面也難以僅僅用定量的指標來衡量。決定了在績效評估中,必須要綜合使用一組指標,來衡量整體的績效,同時績效評估指標體系不僅要關(guān)注科學(xué)研究的直接產(chǎn)出,還要關(guān)注科學(xué)研究的成效,進而關(guān)注科學(xué)研究更廣泛的社會影響?;A(chǔ)研究的上述特點,給科學(xué)基金績效評估指標的選擇帶來了內(nèi)生性技術(shù)風險。具體表現(xiàn)為:

    ①由于評估范圍廣、時間跨度大,不同階段科學(xué)基金發(fā)展戰(zhàn)略目標和社會經(jīng)濟、政治條件、科技資源條件均有較大差異,同時科學(xué)基金的資助體系和管理模式、方法也發(fā)生了較大變化,如何應(yīng)用一組關(guān)鍵的事實或指標來表達其目標任務(wù)并測度其效果,是個極其關(guān)鍵的問題,同時如何確定各個階段的評估標準,并保持評估標準的可比性,也是一個重要的問題,由此導(dǎo)致了較大的評估風險。

    ②由于評估指標具有很強的導(dǎo)向性,對科技工作者的行為將產(chǎn)生深遠的影響。評估指標一旦確定,可能會引導(dǎo)或迫使科學(xué)家片面追求完成指標,更多地關(guān)注短期結(jié)果而趨于保守,或者會使科學(xué)家的科學(xué)活動受到來自外部的不必要的干擾。后續(xù)的科研工作者也將在很大程度上圍繞這個評估指標來展開研究工作,如果評估指標選擇不合理,將會帶來非常深遠的影響,這將是一個很大的風險因素。因此評估指標的構(gòu)建中,要考慮可能產(chǎn)生的長遠影響?;A(chǔ)研究激勵創(chuàng)新的特點,決定了必須有寬松的研究環(huán)境和寬容研究失敗的機制,在指標體系構(gòu)建中,如何在寬松的研究環(huán)境和適度的績效評估之間找到均衡點,如何考慮在研究失敗風險很高的情況下,穩(wěn)定支持一批具有濃厚的研究興趣的學(xué)者潛心開展創(chuàng)新性研究。此外,衡量科研人員的績效應(yīng)綜合考慮投入與產(chǎn)出的質(zhì)量和數(shù)量,如何在產(chǎn)出型指標與投入型指標間進行合理的均衡,也是一個風險因素。

    ③借鑒日本JSPS和美國NSF的經(jīng)驗,科學(xué)基金整體績效評估應(yīng)以定性指標為主,定量指標為輔,通過評估支持材料和亮點成果展示的方法,表明科學(xué)基金的績效,此時,風險因素表現(xiàn)為:選取評估材料(指標)的依據(jù)是什么?這些評估材料(指標)是否充分考慮我國科學(xué)基金工作的特點,能否真正反映科學(xué)基金的整體績效?

    (2)績效評估方法選擇的風險。

    績效評估的基本方法可以分為兩類:定量指標評估方法和專家定性判斷方法。按照美國科學(xué)、工程與公共政策委員會(COSEPUP)的觀點,其中定量評估方法包括:科學(xué)計量法(文獻計量法、經(jīng)濟計量法)、經(jīng)濟回報率測算等,而定性評估方法包括:同行評議、案例研究、回溯分析、文本分析等。由于科學(xué)研究的“質(zhì)量”概念非常復(fù)雜,計量指標只能表達其可見的某些方面,因此,評估時如何綜合使用上述方法也是一個重要的風險因素。

    4.4 評估執(zhí)行操作中的風險

    評估執(zhí)行操作是科學(xué)基金績效評估真正落實的基礎(chǔ),該過程中主要存在如下風險因素:

    ①績效評估的執(zhí)行制度不完善的風險??茖W(xué)的評估體系重要,但更重要的是如何確??冃гu估能夠執(zhí)行下去(執(zhí)行風險)。評估體系不僅包括指標體系,還應(yīng)該包括其他配套體系。至少包括以下五個方面:績效評估理念體系、績效評估指標體系、績效評估方式體系、績效評估組織體系(實施的機構(gòu)、體制、評估主體、評估方案、評估程序等)、績效評估制度體系(人事管理制度、財務(wù)管理制度、數(shù)據(jù)收集與統(tǒng)計制度、信息披露與公開制度,、評估結(jié)果的反饋與回應(yīng)制度等),所以績效評估是一個技術(shù)問題,更是一個制度體制問題,是一項復(fù)雜的系統(tǒng)工程。目前實施科學(xué)基金績效評估,我們的相關(guān)配套制度是否適應(yīng)要求,也即目前我們實施績效評估制度的執(zhí)行土壤是否合適,存在那些主要問題;相關(guān)主體是否就績效評估的理念、方案等達成廣泛一致的共識,從而減小執(zhí)行的阻力,這是一個重要的風險因素。

    ②績效信息收集處理機制的風險??冃гu估的執(zhí)行操作過程,很大程度上就是績效信息的采集、處理、報告的過程。由于評估主體、評估專家和評估對象之間存在目標和動機的差異,在對績效信息進行提供、加工、接受和理解過程中,這種目標和動機的差異會導(dǎo)致對績效信息數(shù)據(jù)處理的結(jié)果不能真實反映評估對象的績效狀況,或者偏離了評估組織者績效評估的原則和目標,從而給評估組織者在發(fā)展戰(zhàn)略的制定中提供了不科學(xué)的決策依據(jù)。

    ③績效信息缺失的風險。分析美國、日本、德國、加拿大、澳大利亞、英國等國家科學(xué)基金績效評估的信息,對比目前我國科學(xué)基金績效評估各戰(zhàn)略目標下所需要的數(shù)據(jù)信息和目前可用的信息,可以發(fā)現(xiàn)現(xiàn)有的績效數(shù)據(jù)信息尚不能完成各戰(zhàn)略目標下的部分績效評估。同時,因為本次評估對象是科學(xué)基金23年來的整體績效,時間跨度大,早期數(shù)據(jù)的缺失程度可能較為嚴重,在這種情況下,如何保證評估結(jié)論的客觀、真實、公允,也是一個較大的風險因素。

    4.5 評估結(jié)果及其使用的風險

    科學(xué)基金績效評估的目的在于總結(jié)歷史經(jīng)驗,客觀了解科學(xué)基金現(xiàn)在的運行狀況、存在的問題、未來的發(fā)展機遇等,為提升科學(xué)基金的績效提供好的意見和建議。評估結(jié)果及其使用的風險主要表現(xiàn)為:一是評估結(jié)果沒有達到預(yù)定的評估目標;二是評估結(jié)果失真,不能客觀反映評估對象的實際績效狀況;三是評估結(jié)果不恰當使用。

    ①評估結(jié)果沒有達到預(yù)定的目標。科學(xué)基金績效評估作為一種管理制度,其實施應(yīng)該對基金管理模式產(chǎn)生有益的影響,這種影響應(yīng)該體現(xiàn)在基金管理機構(gòu)工作人員的觀念和行為的改變,資助、管理制度與程序的改變,以及外部行為主體對科學(xué)基金認知的改變等方面。由于績效目標由上級或者評估組織者確定,績效評估方案則由評估組織者和評估專家共同設(shè)計,指標體系則根據(jù)評估專家的要求和評估對象的實際情況設(shè)計,數(shù)據(jù)的收集主要由評估對象自身完成,往往容易產(chǎn)生評估結(jié)果偏離目標,或者出現(xiàn)評估流于形式(評與不評一樣),使得評估結(jié)果缺乏廣泛的公信力,這是一個重要的風險因素。

    ②評估結(jié)果產(chǎn)生評估負效應(yīng)。為了提高評估結(jié)果的公信力,評估專家中有大部分是具有豐富評估經(jīng)驗,并且參與本國科學(xué)基金績效評估的國際專家。但是國際專家在制度、文化上存在差異,并且對我國科學(xué)基金制的特點缺乏了解,可能導(dǎo)致最終的評估結(jié)果不能準確反映評估對象的實際績效狀況,從而可能會產(chǎn)生評估負效應(yīng),使得評估結(jié)果產(chǎn)生一定的評估風險。

    ③評估結(jié)果不恰當使用的風險?;鹞鳛楣藏斦С龅墓芾聿块T,實施整體的大規(guī)模績效評估,在我國基礎(chǔ)研究領(lǐng)域尚屬首次,這種行為可能會給其他公共管理部門帶來很大的壓力,他們有可能會不恰當?shù)氖褂帽敬卧u估的結(jié)論,這將是一種潛在的風險。此外,績效評估的過程和結(jié)果必須在一定程度公開,否則這一過程本身公信力就會受到質(zhì)疑,如何建立完善的信息披露機制也是一個潛在的風險因素。同時對績效評估的結(jié)果需要有明確的、可操作的回應(yīng)機制,否則將使評估流于形式,并挫傷科學(xué)基金的公信力。

    5 績效評估風險控制措施

    5.1 完善績效評估的組織體系

    科學(xué)基金績效評估能否順利開展并達到預(yù)期目標,取決于是否建立了一個旨在保證評估的權(quán)威性和嚴肅性的績效評估委員會[14],而科學(xué)基金績效評估涉及眾多利益相關(guān)者,而各行為主體的目標存在差異,因而評估委員會中的評估主體多元化是保證績效評估有效性的一個基本原則,該委員會中的評估主體除了包括基金委的高層決策者和評估專家之外,還要有上級管理者、委內(nèi)工作人員、科技工作者及普通公眾代表等,利用多元化評估主體之間的制約與制衡機制,避免風險的產(chǎn)生。此外,為了消除各主體之間的目標差異,在全面啟動績效評估工作之前,應(yīng)在基金委內(nèi)進行廣泛深入的宣傳和教育,明確績效評估工作的意義,使得全體工作人員對績效評估的理念、程序、方法等達成廣泛共識,避免抵觸行為的發(fā)生,為績效評估工作順利開展提供環(huán)境保障,從而減少績效評估執(zhí)行過程的阻力。

    5.2 制定規(guī)范的績效評估制度體系

    科學(xué)基金績效評估是一項復(fù)雜的系統(tǒng)工程,既是一個技術(shù)問題,更是一個體制機制的問題,無論是評估過程的方案設(shè)計和組織實施,還是評估結(jié)果的有效使用都必須遵循一定的制度規(guī)范。美國NSF的績效評估是在《政府績效與結(jié)果法案》(GPRA)、總統(tǒng)管理議程(PMA)和計劃評估等級工具(PART)等法律法規(guī)框架內(nèi)進行的,而我國目前對科學(xué)基金績效評估的制度化建設(shè)尚處于探索階段,因此學(xué)術(shù)界、政府部門、科學(xué)基金管理機構(gòu)的部門及其工作人員,應(yīng)抓緊研究制定《科學(xué)基金績效評估準則》、《科學(xué)基金績效評估方法選擇及工作程序》、《科學(xué)基金績效評估標準選擇及指標設(shè)置原則》和《科學(xué)基金績效評估結(jié)果應(yīng)用》等一系列統(tǒng)一連貫的制度規(guī)范,明確整個科學(xué)基金績效評估規(guī)則、程序、組織方式和結(jié)果應(yīng)用等,使科學(xué)基金績效評估逐步規(guī)范化和制度化。

    5.3 構(gòu)建完備的績效評估信息系統(tǒng)

    績效評估過程是一個信息的收集、篩選、加工、輸出、反饋的過程。因此,全面占有評估信息是任何組織實施績效評估的現(xiàn)實基礎(chǔ)??茖W(xué)基金績效評估過程中,由于各主體在所獲取的信息資料以及所擁有的知識、經(jīng)驗等方面存在較大的差異,這種信息的高度不對稱是影響績效評估結(jié)果客觀公正的一個重要的影響因素,由此可見,建立完善的科學(xué)基金績效評估數(shù)據(jù)信息與知識的交流與共享平臺,是實施準確、科學(xué)、高效評估的必然要求。同時,為增強評估過程的透明度,要建立開放的績效評估制度,實施適時的信息披露機制,從而減少信息不對稱。如《日本政府R&D評價指南》強調(diào):“評價方法要透明、清晰,以讓外界理解評價標準和程序。”美國GPRA不僅被作為計劃和管理的更好的工具,也被作為改善項目參與者、國會和公眾之間交流、理解的重要手段。此外,借鑒NSF的經(jīng)驗,在評估報告公布之前,應(yīng)由獨立的第三方,對評估數(shù)據(jù)信息的可靠性以及評估過程的公正性進行鑒證,并且要充分保證績效評估執(zhí)行過程的獨立性,從而增強評估結(jié)果的公信力。

    5.4 建立明確的績效評估結(jié)果回應(yīng)機制

    科學(xué)基金績效評估本身是重視結(jié)果的,因為績效本身就意味著科學(xué)基金管理機構(gòu)資助與管理工作的最后結(jié)果,但是科學(xué)基金績效的提高必須通過工作的改進來保障,從某種意義上說,績效評估也是為了促進科學(xué)基金的資助與管理工作。因此,為了使得績效評估達到預(yù)期的效果,避免績效評估流于形式,應(yīng)對評估結(jié)果有明確的、可操作的回應(yīng)機制,針對評估專家提出的意見和建議,采取切實可行的應(yīng)對措施。同時,通過績效評估彌補基金委一些管理體制方面的缺陷,改進激勵機制、競爭機制、監(jiān)督機制、責任機制,進而優(yōu)化整個基金委的管理運行機制。

    6 結(jié)論

    科學(xué)基金資助與管理績效評估是一項復(fù)雜的系統(tǒng)過程,涉及評估主體、評估對象、評估內(nèi)容、評估方法、評估支撐材料和評價結(jié)果等多個層次諸多環(huán)節(jié),成功實施科學(xué)基金績效評估,需要在獲得績效評估各利益相關(guān)主體理解和支持的基礎(chǔ)上,綜合考慮、嚴格論證、審慎設(shè)計評估方案,多方求證評估細節(jié),精心設(shè)計評估組織與程序,科學(xué)選擇評估對象、評估內(nèi)容、評估指標與方法,確保評估數(shù)據(jù)的質(zhì)量和評估結(jié)果的客觀公正,合理利用評估結(jié)果。這一復(fù)雜的過程中隱藏了諸多的風險因素。

    為了確??茖W(xué)基金績效評估工作取得預(yù)期的成果,在評估總體方案設(shè)計過程中,就必須預(yù)先考慮各種風險因素及其產(chǎn)生的原因,從而規(guī)避風險,避免評估失敗。本文將科學(xué)基金績效評估的過程劃分為評估組織設(shè)計、評估目標及內(nèi)容確定、評估指標及方法選擇、評估過程的執(zhí)行與操作以及評估結(jié)果的使用五個階段,在充分借鑒美國NSF、日本JSPS等國實施科學(xué)基金績效評估經(jīng)驗的基礎(chǔ)上,在委托-代理關(guān)系的分析框架內(nèi),運用新制度經(jīng)濟學(xué)的研究成果,系統(tǒng)地分析了每個階段可能出現(xiàn)的風險及其產(chǎn)生的原因,解決了科學(xué)基金績效評估中風險的識別與分類問題,從而為后續(xù)的風險防范措施的制定奠定了基礎(chǔ)。

    [1]倪星.反思中國政府績效評估實踐[J].中山大學(xué)學(xué)報(社會科學(xué)版),2008,(3):431-439.

    [2]桑助來著.中國政府績效評估報告[M].北京:中共中央黨校出版社,2009.2.

    [3]方宏偉,朱慧.公共部門引入績效管理相關(guān)問題分析[J].南華大學(xué)學(xué)報(社會科學(xué)版),2008,(8):03-07.

    [4]閆召軍.論公共部門績效評估的局限性[J].管理科學(xué)文摘,2007,(7):91-93.

    [5]龔旭,趙學(xué)文,李曉軒等.關(guān)于國家自然科學(xué)基金績效評估的思考[J].科研管理,2004,(4):1-6.

    [6]王任飛,鄭永和,劉云等.關(guān)于我國科學(xué)基金績效評估的若干思考[J].中國基礎(chǔ)科學(xué),2007,(6):52-55.

    [7]周建中,李曉軒.國外科研資助機構(gòu)的學(xué)科評估及其啟示[J].科研管理,2005,(9):121-126.

    [8]Elton L.The UK research assessment exercise:unintended consequences [J].Higher Education Quarterly,2000,(3):274-283.

    [9]Talib A.The RAE and publications:a review of journal editors [J].Higher Education Review,2000,(1):32-46.

    [10]Klas Eric Soderquist,Armelle Godener.Performance measurement in R&D and new product development:setting the scene [J].International Journal of Business Performance Management,Jun 2004:107-109.

    [11]Brook R.The role of evaluation as a tool for innovation in research [C].Proc.2000 Max Planck Forum 5,Innovative Structures in Basic Decision Research.Ringberg Symposium,Munich,2002:173-179.

    [12]Magnus H,Daniel W.How should research performance be measured?Evidence from ranking of academic economists.SSE/EFI Working Paper Series in Economics and Finance.March,2008.

    [13]吳建南.科技計劃(基金)績效評估的國際實踐—參加八國集團研究評估年會議的報告[J].中國科學(xué)基金,2009,(4):240-243.

    [14]汪玉凱,黎映桃.公共部門績效評估——從標準、指標和制度視角的分析[J].中國行政管理,2006,(12):16-18.

    (責任編輯 張九慶)

    Research on the Risk Identification and Classification of the Science Foundation Performance Evaluation

    Wu Yong,Zhu Weidong,Zhang Chen
    (School of Management,Hefei University of Technology,Hefei 230009,China)

    Based on the defination of essential connotation elabrated at the beginning,this paper establishes an identification framework of risk factors.Subsequently,in accordance with the time dimension,there are five steps in the whole process of performance evaluation,including the designment of organization,the identification of evaluation objectives and content,the establishment of index system,the choice of evaluation methods,and the use of the evaluation results.In this paper,we analyzes various risk factors in each step,then makes a reasonable classification of them.We hope that the classification could be a foundation of the subsequent research of risk assessment and risk control.

    science fund;performance evaluation;risk identification;risk classification

    C93

    A

    國家自然科學(xué)基金項目“科學(xué)基金資助與管理績效評估中的風險控制問題研究”(項目編號:J0910017),國家自然科學(xué)基金項目“國家自然科學(xué)基金面上項目及重點項目全過程管理的科學(xué)化與規(guī)范化研究”(J0824104)。

    2009-08-18

    吳勇(1979-),男,安徽廬江人,管理學(xué)碩士,合肥工業(yè)大學(xué)管理學(xué)院講師;研究方向:新制度經(jīng)濟學(xué),科技政策管理。

    猜你喜歡
    科學(xué)基金評估指標
    中國科學(xué)基金制的創(chuàng)立及其對傳統(tǒng)科研體制的變革
    更正
    最新引用指標
    莫讓指標改變初衷
    商周刊(2018年26期)2018-12-29 12:56:00
    2017年度力學(xué)科學(xué)處面上項目、青年科學(xué)基金和地區(qū)科學(xué)基金資助情況介紹
    自動化學(xué)科國家杰出青年科學(xué)基金申請人代表性論著期刊影響力分析
    評估依據(jù)
    Double圖的Kirchhoff指標
    立法后評估:且行且盡善
    浙江人大(2014年5期)2014-03-20 16:20:25
    最終評估
    欧美日韩黄片免| tube8黄色片| 国产成人av教育| 少妇被粗大的猛进出69影院| 中国国产av一级| 女人久久www免费人成看片| 又紧又爽又黄一区二区| 亚洲黑人精品在线| 美女视频免费永久观看网站| 久久久精品94久久精品| 永久免费av网站大全| 日本五十路高清| 国产97色在线日韩免费| 日韩电影二区| 99久久99久久久精品蜜桃| 国产色视频综合| 18禁观看日本| 国产精品一区二区免费欧美 | 男人爽女人下面视频在线观看| 亚洲一卡2卡3卡4卡5卡精品中文| 宅男免费午夜| 亚洲欧美精品综合一区二区三区| 精品久久久久久电影网| 国产亚洲欧美在线一区二区| 97人妻天天添夜夜摸| 国产国语露脸激情在线看| 黄色视频不卡| 亚洲三区欧美一区| 国产区一区二久久| 欧美精品亚洲一区二区| 久久久久久亚洲精品国产蜜桃av| 久久中文看片网| 在线十欧美十亚洲十日本专区| 69精品国产乱码久久久| 国产不卡av网站在线观看| 欧美人与性动交α欧美软件| 狂野欧美激情性xxxx| 日韩视频一区二区在线观看| 精品亚洲成a人片在线观看| 亚洲色图综合在线观看| 免费观看a级毛片全部| 欧美激情极品国产一区二区三区| 久久久久网色| 99久久国产精品久久久| 最近中文字幕2019免费版| 欧美+亚洲+日韩+国产| 亚洲国产欧美网| 老司机午夜十八禁免费视频| 日韩制服丝袜自拍偷拍| 久久这里只有精品19| 99国产综合亚洲精品| 99久久人妻综合| 亚洲欧美清纯卡通| 爱豆传媒免费全集在线观看| 69av精品久久久久久 | 精品国产一区二区久久| 欧美+亚洲+日韩+国产| 精品少妇内射三级| 18禁裸乳无遮挡动漫免费视频| 国内毛片毛片毛片毛片毛片| 啦啦啦免费观看视频1| 看免费av毛片| 十分钟在线观看高清视频www| 性色av乱码一区二区三区2| 午夜福利一区二区在线看| a级毛片黄视频| 欧美少妇被猛烈插入视频| 桃红色精品国产亚洲av| 亚洲成人免费av在线播放| 男男h啪啪无遮挡| 久久久久国产一级毛片高清牌| 中文字幕人妻丝袜一区二区| 欧美+亚洲+日韩+国产| 一本综合久久免费| 亚洲第一欧美日韩一区二区三区 | 国产精品一区二区精品视频观看| 青春草亚洲视频在线观看| 99久久国产精品久久久| 国产伦人伦偷精品视频| 国产主播在线观看一区二区| 欧美性长视频在线观看| 欧美另类一区| 亚洲av日韩在线播放| 国产一卡二卡三卡精品| 国产精品久久久久成人av| 视频区图区小说| av在线老鸭窝| 法律面前人人平等表现在哪些方面 | 搡老岳熟女国产| 在线观看舔阴道视频| 亚洲国产av影院在线观看| 午夜福利在线免费观看网站| 少妇粗大呻吟视频| 在线av久久热| 久久久水蜜桃国产精品网| 秋霞在线观看毛片| av天堂久久9| 国产成人影院久久av| 久久久精品免费免费高清| 国产精品一区二区精品视频观看| √禁漫天堂资源中文www| 伊人亚洲综合成人网| 国产欧美日韩一区二区三 | 国产在线免费精品| 成年av动漫网址| 国产免费一区二区三区四区乱码| 亚洲免费av在线视频| 国产精品.久久久| 欧美黄色片欧美黄色片| 99久久人妻综合| 久久人人97超碰香蕉20202| 国产精品 欧美亚洲| 成人亚洲精品一区在线观看| 999久久久精品免费观看国产| 国产精品一区二区免费欧美 | 中文字幕色久视频| 免费观看人在逋| 日韩 欧美 亚洲 中文字幕| 悠悠久久av| www日本在线高清视频| 国产男人的电影天堂91| 免费观看人在逋| 蜜桃在线观看..| 亚洲中文字幕日韩| 国产免费一区二区三区四区乱码| bbb黄色大片| 亚洲男人天堂网一区| 丰满饥渴人妻一区二区三| 亚洲天堂av无毛| 精品乱码久久久久久99久播| 亚洲精品成人av观看孕妇| 亚洲欧洲精品一区二区精品久久久| 在线观看免费视频网站a站| 岛国在线观看网站| 老司机午夜福利在线观看视频 | 男女边摸边吃奶| 国产欧美亚洲国产| 十八禁网站网址无遮挡| 好男人电影高清在线观看| 夜夜骑夜夜射夜夜干| 亚洲av电影在线观看一区二区三区| 亚洲色图 男人天堂 中文字幕| 久久久水蜜桃国产精品网| 老熟妇仑乱视频hdxx| 久久久久久久久免费视频了| 欧美日韩福利视频一区二区| 午夜福利在线免费观看网站| 精品亚洲成国产av| 99国产精品一区二区三区| 成人影院久久| 国产极品粉嫩免费观看在线| 亚洲一区二区三区欧美精品| 热99久久久久精品小说推荐| 精品少妇久久久久久888优播| 日韩欧美免费精品| 波多野结衣av一区二区av| 国产在视频线精品| 十分钟在线观看高清视频www| 日本一区二区免费在线视频| 精品国产一区二区三区久久久樱花| 亚洲,欧美精品.| 99九九在线精品视频| 色婷婷av一区二区三区视频| 丝袜人妻中文字幕| 19禁男女啪啪无遮挡网站| 美女中出高潮动态图| 国产视频一区二区在线看| 亚洲欧洲精品一区二区精品久久久| 91国产中文字幕| 国产亚洲精品久久久久5区| 亚洲国产精品一区二区三区在线| 国产伦理片在线播放av一区| 欧美av亚洲av综合av国产av| 美女视频免费永久观看网站| netflix在线观看网站| 国产日韩一区二区三区精品不卡| 国产97色在线日韩免费| 99香蕉大伊视频| 精品亚洲成国产av| 少妇 在线观看| 久久久精品94久久精品| 一级片免费观看大全| 男女无遮挡免费网站观看| 在线十欧美十亚洲十日本专区| 免费av中文字幕在线| 18禁黄网站禁片午夜丰满| 成人亚洲精品一区在线观看| 高清视频免费观看一区二区| 国产真人三级小视频在线观看| 亚洲精品第二区| 老司机亚洲免费影院| 麻豆国产av国片精品| 国产av精品麻豆| 一区福利在线观看| 99热全是精品| 国产精品一区二区在线不卡| 日韩有码中文字幕| 午夜福利视频在线观看免费| 黄网站色视频无遮挡免费观看| 老司机福利观看| 国产伦人伦偷精品视频| 国产伦理片在线播放av一区| 19禁男女啪啪无遮挡网站| 男女无遮挡免费网站观看| 丰满饥渴人妻一区二区三| 免费久久久久久久精品成人欧美视频| 亚洲av男天堂| 美女高潮到喷水免费观看| tube8黄色片| 在线观看人妻少妇| 精品少妇内射三级| 久久久久久久久免费视频了| 久久国产精品人妻蜜桃| 我的亚洲天堂| 黄色a级毛片大全视频| 国产97色在线日韩免费| 亚洲黑人精品在线| 十八禁高潮呻吟视频| av在线播放精品| 色综合欧美亚洲国产小说| 日本vs欧美在线观看视频| 免费人妻精品一区二区三区视频| 欧美xxⅹ黑人| 国产欧美亚洲国产| 宅男免费午夜| 天天躁狠狠躁夜夜躁狠狠躁| 新久久久久国产一级毛片| 精品人妻一区二区三区麻豆| 精品一区二区三区av网在线观看 | 午夜福利乱码中文字幕| 97在线人人人人妻| 久久久久国产精品人妻一区二区| 在线观看免费高清a一片| 欧美日韩亚洲国产一区二区在线观看 | kizo精华| 美女高潮喷水抽搐中文字幕| 久久久久精品人妻al黑| 中文字幕精品免费在线观看视频| 夜夜骑夜夜射夜夜干| 日日爽夜夜爽网站| 男女高潮啪啪啪动态图| 午夜成年电影在线免费观看| www.熟女人妻精品国产| 可以免费在线观看a视频的电影网站| 国产国语露脸激情在线看| 欧美亚洲 丝袜 人妻 在线| 日韩三级视频一区二区三区| 久久国产精品影院| 国产亚洲av高清不卡| 成人av一区二区三区在线看 | 国产一区二区激情短视频 | 国产精品亚洲av一区麻豆| 国产区一区二久久| 最新在线观看一区二区三区| 一级片'在线观看视频| 777米奇影视久久| 汤姆久久久久久久影院中文字幕| 人成视频在线观看免费观看| 黄色视频,在线免费观看| 他把我摸到了高潮在线观看 | 国产一级毛片在线| 两性午夜刺激爽爽歪歪视频在线观看 | www.av在线官网国产| 侵犯人妻中文字幕一二三四区| 自拍欧美九色日韩亚洲蝌蚪91| 18在线观看网站| 肉色欧美久久久久久久蜜桃| 在线精品无人区一区二区三| 精品亚洲成国产av| 久久久久国产精品人妻一区二区| 男男h啪啪无遮挡| 亚洲情色 制服丝袜| 91麻豆av在线| 国产精品秋霞免费鲁丝片| 中文字幕人妻熟女乱码| 亚洲av国产av综合av卡| 满18在线观看网站| 色94色欧美一区二区| 99久久综合免费| 法律面前人人平等表现在哪些方面 | 国产91精品成人一区二区三区 | 欧美亚洲 丝袜 人妻 在线| 亚洲精华国产精华精| 色精品久久人妻99蜜桃| 黄色视频,在线免费观看| 人妻 亚洲 视频| 久久亚洲精品不卡| 亚洲,欧美精品.| 亚洲,欧美精品.| 国产一区二区三区综合在线观看| 欧美av亚洲av综合av国产av| 亚洲欧美日韩另类电影网站| 热re99久久国产66热| 久久精品国产综合久久久| bbb黄色大片| 俄罗斯特黄特色一大片| 国产91精品成人一区二区三区 | 美女高潮喷水抽搐中文字幕| 国产一卡二卡三卡精品| 999久久久国产精品视频| 黑人操中国人逼视频| 精品一区二区三区av网在线观看 | 精品第一国产精品| 91麻豆av在线| bbb黄色大片| 精品熟女少妇八av免费久了| 99精品久久久久人妻精品| 国产熟女午夜一区二区三区| 99久久国产精品久久久| 精品久久蜜臀av无| 国产成人精品久久二区二区免费| 午夜福利视频精品| 久久这里只有精品19| 欧美xxⅹ黑人| av网站免费在线观看视频| 少妇被粗大的猛进出69影院| 亚洲av美国av| 国产免费现黄频在线看| 欧美午夜高清在线| 在线精品无人区一区二区三| 男女床上黄色一级片免费看| 国产三级黄色录像| 亚洲精品美女久久av网站| 久久av网站| 他把我摸到了高潮在线观看 | 国产91精品成人一区二区三区 | 日日爽夜夜爽网站| 啦啦啦中文免费视频观看日本| 夜夜骑夜夜射夜夜干| 黄色视频在线播放观看不卡| 50天的宝宝边吃奶边哭怎么回事| 国产亚洲午夜精品一区二区久久| e午夜精品久久久久久久| 最黄视频免费看| 亚洲精品日韩在线中文字幕| 麻豆国产av国片精品| 欧美日韩一级在线毛片| 欧美日韩福利视频一区二区| 成人手机av| 一本—道久久a久久精品蜜桃钙片| 亚洲欧洲精品一区二区精品久久久| 免费在线观看日本一区| 国产免费一区二区三区四区乱码| 黄片播放在线免费| 久久人人爽av亚洲精品天堂| 国产精品一区二区在线不卡| 国产1区2区3区精品| 婷婷丁香在线五月| 精品欧美一区二区三区在线| 国产男人的电影天堂91| e午夜精品久久久久久久| 99久久精品国产亚洲精品| 国产成人欧美在线观看 | 999久久久国产精品视频| 97在线人人人人妻| 91成人精品电影| 久久毛片免费看一区二区三区| 免费观看av网站的网址| 日韩一卡2卡3卡4卡2021年| 啦啦啦在线免费观看视频4| 在线观看www视频免费| 国产av一区二区精品久久| 国产伦人伦偷精品视频| 亚洲国产av新网站| 黄色毛片三级朝国网站| 欧美 亚洲 国产 日韩一| 欧美+亚洲+日韩+国产| 日韩精品免费视频一区二区三区| 国产免费现黄频在线看| 免费高清在线观看日韩| 中文字幕人妻熟女乱码| 少妇的丰满在线观看| 美女福利国产在线| 欧美国产精品va在线观看不卡| 国产精品一区二区精品视频观看| 午夜激情av网站| 妹子高潮喷水视频| 久久人人97超碰香蕉20202| 丝袜喷水一区| 日韩欧美一区视频在线观看| 热99久久久久精品小说推荐| 国产又色又爽无遮挡免| 亚洲男人天堂网一区| 亚洲中文av在线| 少妇裸体淫交视频免费看高清 | 人人妻人人澡人人爽人人夜夜| 叶爱在线成人免费视频播放| 日本a在线网址| 桃红色精品国产亚洲av| 99香蕉大伊视频| 精品国产一区二区久久| 桃花免费在线播放| 国产成人啪精品午夜网站| 久久久久久久久免费视频了| 91精品伊人久久大香线蕉| 青春草亚洲视频在线观看| av天堂久久9| 精品第一国产精品| 三上悠亚av全集在线观看| 精品少妇黑人巨大在线播放| 国产精品一区二区在线观看99| 最近最新中文字幕大全免费视频| 麻豆av在线久日| 欧美精品一区二区免费开放| 精品国产乱码久久久久久小说| 三级毛片av免费| 久久这里只有精品19| 亚洲欧洲日产国产| 国产99久久九九免费精品| 天天躁日日躁夜夜躁夜夜| 亚洲精品一卡2卡三卡4卡5卡 | 欧美国产精品va在线观看不卡| 亚洲国产毛片av蜜桃av| 亚洲成av片中文字幕在线观看| 精品国产乱码久久久久久男人| 亚洲精品自拍成人| 中文欧美无线码| 日韩大片免费观看网站| 国产精品一区二区在线不卡| 久久 成人 亚洲| 久久久久久久精品精品| 搡老熟女国产l中国老女人| av电影中文网址| 久久久久久免费高清国产稀缺| 18禁黄网站禁片午夜丰满| 欧美久久黑人一区二区| 不卡一级毛片| 国产av一区二区精品久久| 亚洲人成77777在线视频| 少妇裸体淫交视频免费看高清 | 黄片大片在线免费观看| 亚洲美女黄色视频免费看| 久久这里只有精品19| 一级毛片电影观看| 国精品久久久久久国模美| 午夜激情av网站| 丝袜脚勾引网站| 精品国产超薄肉色丝袜足j| 欧美黄色片欧美黄色片| 天天操日日干夜夜撸| 9色porny在线观看| 侵犯人妻中文字幕一二三四区| 国产深夜福利视频在线观看| 在线永久观看黄色视频| 叶爱在线成人免费视频播放| 久久九九热精品免费| 自拍欧美九色日韩亚洲蝌蚪91| 国产成人av激情在线播放| 亚洲国产成人一精品久久久| 国产精品久久久人人做人人爽| 免费观看av网站的网址| 成人黄色视频免费在线看| 色播在线永久视频| 亚洲熟女毛片儿| av有码第一页| 国产区一区二久久| 精品少妇内射三级| 久久久欧美国产精品| 又大又爽又粗| 国产片内射在线| 岛国在线观看网站| av欧美777| 1024视频免费在线观看| 日日摸夜夜添夜夜添小说| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲欧美色中文字幕在线| 日韩人妻精品一区2区三区| 男女国产视频网站| 亚洲精品国产区一区二| 中文字幕人妻丝袜制服| 一本色道久久久久久精品综合| 麻豆乱淫一区二区| 亚洲精品粉嫩美女一区| 中文字幕色久视频| 熟女少妇亚洲综合色aaa.| 不卡一级毛片| 国产av精品麻豆| 日韩一卡2卡3卡4卡2021年| 我的亚洲天堂| 国产精品久久久av美女十八| 久久性视频一级片| 国产色视频综合| 午夜福利影视在线免费观看| h视频一区二区三区| 欧美老熟妇乱子伦牲交| 亚洲成国产人片在线观看| 亚洲中文字幕日韩| 女性生殖器流出的白浆| 中国国产av一级| 亚洲成人免费电影在线观看| 亚洲第一青青草原| 免费不卡黄色视频| 侵犯人妻中文字幕一二三四区| 国产免费av片在线观看野外av| 人人妻人人爽人人添夜夜欢视频| bbb黄色大片| 丁香六月欧美| 狠狠精品人妻久久久久久综合| 母亲3免费完整高清在线观看| 亚洲欧洲精品一区二区精品久久久| 三上悠亚av全集在线观看| 少妇裸体淫交视频免费看高清 | 脱女人内裤的视频| 人人妻人人澡人人看| 9色porny在线观看| 久热爱精品视频在线9| av欧美777| 亚洲国产精品一区二区三区在线| 最新在线观看一区二区三区| 国产精品熟女久久久久浪| 国产不卡av网站在线观看| 久久免费观看电影| 亚洲avbb在线观看| 天天躁日日躁夜夜躁夜夜| 亚洲国产精品成人久久小说| 久久久精品免费免费高清| 天天添夜夜摸| 桃花免费在线播放| 99国产精品一区二区三区| 午夜福利,免费看| 成年美女黄网站色视频大全免费| 国产精品一区二区免费欧美 | 日韩欧美一区视频在线观看| 最黄视频免费看| 亚洲av片天天在线观看| 伊人久久大香线蕉亚洲五| 91成年电影在线观看| 91大片在线观看| 亚洲全国av大片| 久久久久国内视频| 久久香蕉激情| 亚洲少妇的诱惑av| 亚洲黑人精品在线| 国产激情久久老熟女| 一级黄色大片毛片| 亚洲精品中文字幕一二三四区 | 久久午夜综合久久蜜桃| 韩国精品一区二区三区| 99国产综合亚洲精品| 亚洲情色 制服丝袜| 久久久久久久国产电影| 69av精品久久久久久 | 中文字幕人妻丝袜一区二区| 欧美人与性动交α欧美精品济南到| 咕卡用的链子| 国产真人三级小视频在线观看| 十分钟在线观看高清视频www| 亚洲五月色婷婷综合| 亚洲成av片中文字幕在线观看| 久久久国产成人免费| 少妇猛男粗大的猛烈进出视频| 韩国精品一区二区三区| 久久女婷五月综合色啪小说| e午夜精品久久久久久久| 两性午夜刺激爽爽歪歪视频在线观看 | 妹子高潮喷水视频| 亚洲黑人精品在线| 精品国产国语对白av| 乱人伦中国视频| 国产免费福利视频在线观看| 国精品久久久久久国模美| 曰老女人黄片| 欧美日韩亚洲高清精品| 日韩熟女老妇一区二区性免费视频| 亚洲精品乱久久久久久| 亚洲精品久久午夜乱码| 国产欧美日韩一区二区三 | 亚洲一码二码三码区别大吗| 丝袜美足系列| avwww免费| 欧美日韩亚洲综合一区二区三区_| 亚洲国产av影院在线观看| 啦啦啦中文免费视频观看日本| 天天躁狠狠躁夜夜躁狠狠躁| 三级毛片av免费| 亚洲午夜精品一区,二区,三区| 宅男免费午夜| 在线av久久热| 丁香六月天网| 午夜福利在线观看吧| 伦理电影免费视频| 蜜桃国产av成人99| 叶爱在线成人免费视频播放| 熟女少妇亚洲综合色aaa.| 国产亚洲一区二区精品| 色94色欧美一区二区| 久久ye,这里只有精品| 国产真人三级小视频在线观看| 色婷婷av一区二区三区视频| 超碰成人久久| 国产av一区二区精品久久| 午夜精品久久久久久毛片777| 久久精品国产综合久久久| 日韩电影二区| 美女主播在线视频| 精品国内亚洲2022精品成人 | 精品少妇黑人巨大在线播放| svipshipincom国产片| 亚洲 国产 在线| 丝袜美腿诱惑在线| 日日摸夜夜添夜夜添小说| 人妻一区二区av| 亚洲国产中文字幕在线视频| 美女视频免费永久观看网站| 俄罗斯特黄特色一大片| 男女高潮啪啪啪动态图| 国产日韩欧美亚洲二区| 日本一区二区免费在线视频| 国产成人欧美| 久久人妻福利社区极品人妻图片| 可以免费在线观看a视频的电影网站| 夜夜骑夜夜射夜夜干| 欧美黑人精品巨大| 欧美人与性动交α欧美精品济南到| netflix在线观看网站|