• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    中美清潔能源聯(lián)合研究中心評(píng)估實(shí)踐與國際科技合作評(píng)估方法

    2016-01-15 05:33:15陶蕊,胡維佳
    中國科技論壇 2015年5期
    關(guān)鍵詞:方法論評(píng)估

    中美清潔能源聯(lián)合研究中心評(píng)估實(shí)踐與國際科技合作評(píng)估方法

    陶蕊1,2,胡維佳2

    (1.科技部科技評(píng)估中心,北京100081;2.中國科學(xué)院自然科學(xué)史研究所,中國科學(xué)院大學(xué),北京100190)

    摘要:本文以中美清潔能源聯(lián)合研究中心評(píng)估實(shí)踐為基礎(chǔ),嘗試歸納出國際科技合作的評(píng)估方法論,包括評(píng)估關(guān)鍵問題、評(píng)估方法和評(píng)估邏輯模型。希望對(duì)今后中國開展國際科技合作評(píng)估活動(dòng)有所啟示。

    關(guān)鍵詞:國際科技合作;評(píng)估;方法論

    基金項(xiàng)目:科技部2012年中美創(chuàng)新對(duì)話資助課題。

    收稿日期:2014-09-16

    作者簡介:陶蕊(1982-),女,陜西西安人,副研究員,博士研究生;研究方向:科技評(píng)價(jià)與績效評(píng)價(jià)。

    中圖分類號(hào):G311

    文獻(xiàn)標(biāo)識(shí)碼:A

    Abstract:Along with the growing importance of international science and technology cooperation in science and technology development,more demand about international science and technology cooperation evaluation emerges in China.However,the methodology designed for China’s S&T cooperation evaluation is not enough at home and abroad.This article takes the example of the evaluation of US-China clean energy research center,trying to study and summarize the methodology of international science and technology cooperation evaluation for China,including key evaluation questions,evaluation methods and logic model.It will be helpful for future evaluation activity of China.

    Methodology Study of International Science and TechnologyCooperation Evaluation——Case of US-China Clean Energy Research Center Midterm Evaluation

    Tao Rui1,2,Hu Weijia2

    (1.National Center for Science and Technology Evaluation,Beijing 100081,China;2.Institute for the History of

    Natural Sciences,Chinese Academy of Sciences,University of Chinese Academy of Sciences,Beijing 100190,China)

    Key words:International science and technology cooperation;Evaluation;Methodology

    1引言

    隨著全球經(jīng)濟(jì)一體化的發(fā)展,國際科技合作作為有效調(diào)節(jié)和配置科技資源的重要途徑,在推動(dòng)國家或地區(qū)的科技發(fā)展水平以及提升科技發(fā)展能力中發(fā)揮著重要作用。政府間的國際科技合作作為外交和科技工作的重要組成部分,作用更加明顯[1]。

    “合作”一直是國際評(píng)估界關(guān)注的評(píng)估視角,無論是發(fā)展評(píng)估還是科技評(píng)估領(lǐng)域都有相關(guān)研究報(bào)道。[2-7]國外相關(guān)研究雖具有啟發(fā)性,但并沒有針對(duì)中國的實(shí)際,沒有體現(xiàn)國際科技合作在中國的定位與意義。國內(nèi)有關(guān)國際科技合作的評(píng)估研究和實(shí)踐報(bào)道較少,主要分為幾類。一是有關(guān)幾十年來中國國際科技合作的總結(jié)與分析[8-11],二是針對(duì)國際科技合作開展的文獻(xiàn)計(jì)量分析與評(píng)估[12-15],三是將國外的評(píng)估工具引入中國國際科技合作評(píng)估中開展的研究[1,16,17]。

    中美清潔能源聯(lián)合研究中心(US-China Clean Energy Research Center,以下簡稱CERC)于2009年11月成立。中美雙方政府同意在5年內(nèi)共同出資1.5億美元,支持清潔煤、清潔能源汽車和建筑節(jié)能等三個(gè)優(yōu)先領(lǐng)域產(chǎn)學(xué)研聯(lián)盟的合作研發(fā)。建立該中心旨在促進(jìn)中美兩國的科學(xué)家和工程師在清潔能源領(lǐng)域開展聯(lián)合研發(fā),并作為信息交換站幫助雙方國內(nèi)的研究人員在互利領(lǐng)域開展合作。中心成立受到了兩國元首的高度關(guān)注,是典型的政府間國際科技合作。2012年,科技部組織對(duì)該中心開展了中期評(píng)估工作。結(jié)合這一任務(wù),研究小組對(duì)國際科技合作的評(píng)估方法論進(jìn)行深入研究,提出了相關(guān)模型和方法。

    2國際科技合作的評(píng)估關(guān)鍵問題

    評(píng)估關(guān)鍵問題是一項(xiàng)評(píng)估活動(dòng)的核心,經(jīng)過評(píng)估人員與委托者溝通而形成。評(píng)估證據(jù)搜集工作圍繞評(píng)估關(guān)鍵問題展開,評(píng)估結(jié)果應(yīng)回答這些關(guān)鍵問題。通過對(duì)中美清潔能源聯(lián)合研究中心的評(píng)估實(shí)踐,研究小組提出針對(duì)中國國際科技合作特點(diǎn)的基本評(píng)估關(guān)鍵問題如下,這些問題可根據(jù)評(píng)估對(duì)象的具體情況予以調(diào)整。

    2.1國際科技合作的戰(zhàn)略目標(biāo)

    由于國際科技合作是國家間的合作,往往涉及中觀或宏觀層面的目標(biāo),政府間合作尤其以此為特點(diǎn)。例如在CERC評(píng)估中,對(duì)其戰(zhàn)略定位十分關(guān)注。評(píng)估發(fā)現(xiàn),CERC成立時(shí)的戰(zhàn)略目標(biāo)定位于“促進(jìn)中美兩國的科學(xué)家和工程師在清潔能源領(lǐng)域開展聯(lián)合研發(fā)”。隨著中美關(guān)系和全球應(yīng)對(duì)氣候變化等國際形勢(shì)的變化,CERC不斷呈現(xiàn)出深層次的戰(zhàn)略意義,包括CERC在中美科技合作歷程中的標(biāo)志意義,成為中美兩國應(yīng)對(duì)氣候變化共同挑戰(zhàn)的務(wù)實(shí)合作,以及兩國積極發(fā)展新型大國關(guān)系的有益嘗試。評(píng)估人員在開展國際科技合作評(píng)估時(shí),首先要明確合作的戰(zhàn)略目標(biāo)是什么,明確戰(zhàn)略目標(biāo)對(duì)全面評(píng)估效果十分必要。若開展中期評(píng)估,則需要分析是否有必要根據(jù)形勢(shì)變化調(diào)整戰(zhàn)略目標(biāo)。

    2.2合作領(lǐng)域具有的特點(diǎn)

    CERC所選擇的清潔能源領(lǐng)域是引領(lǐng)全球科技革命浪潮的領(lǐng)域。文獻(xiàn)計(jì)量數(shù)據(jù)顯示,中美兩國在清潔煤、電動(dòng)汽車、建筑節(jié)能這三個(gè)合作領(lǐng)域研發(fā)實(shí)力在全球位列第一和第二,兩國開展高水平的合作有望產(chǎn)生引領(lǐng)全球清潔能源技術(shù)的成果。三個(gè)合作領(lǐng)域合作方式也不盡相同,清潔煤領(lǐng)域以技術(shù)示范為主,電動(dòng)汽車領(lǐng)域以基礎(chǔ)研究為主,而建筑節(jié)能領(lǐng)域以數(shù)據(jù)調(diào)查和共享為合作內(nèi)容。合作領(lǐng)域及合作內(nèi)容的確定是合作的核心,往往經(jīng)過反復(fù)溝通才能確定。

    2.3合作形式具有的特點(diǎn)

    根據(jù)對(duì)中國國際科技合作戰(zhàn)略的階段劃分,第一階段為國際科技合作由破重立階段(1978—1985年),第二階段為全面開展國際科技合作階段(1986—2000年),第三階段為互利共贏開展國際科技合作階段(2001年-至今)[9]。在不同的合作階段,中國政府的合作戰(zhàn)略不同,對(duì)外合作形式也不同。例如在CERC評(píng)估中發(fā)現(xiàn),CERC改變了過去美方主導(dǎo)的合作方式,首次實(shí)現(xiàn)了中美對(duì)等合作,雙方共同出資,合作議題由雙方商定,合作成果雙方共享。此外,CERC采用產(chǎn)學(xué)研聯(lián)盟合作的機(jī)制,廣邀大學(xué)、院所和企業(yè)參與其中,希望實(shí)現(xiàn)合作成果的轉(zhuǎn)化和商業(yè)化。這體現(xiàn)了中美科技合作在創(chuàng)新和組織模式上的創(chuàng)新,是中美科技合作進(jìn)入加強(qiáng)對(duì)話和深化務(wù)實(shí)合作新階段的重要標(biāo)志。

    2.4參與合作的團(tuán)隊(duì)

    在合作目標(biāo)和領(lǐng)域既定的情況下,參與合作的團(tuán)隊(duì)實(shí)力和優(yōu)勢(shì)需符合合作的要求,評(píng)估人員對(duì)此需做出分析。文獻(xiàn)計(jì)量數(shù)據(jù)顯示,參與CERC的中美兩國合作機(jī)構(gòu)在各自領(lǐng)域?qū)嵙Τ霰?,兩國均派出了?yōu)勢(shì)的團(tuán)隊(duì)參與合作,符合高水平合作的要求。然而,兩國均還有部分優(yōu)勢(shì)團(tuán)隊(duì)沒有加入進(jìn)來。此外,中美兩國參與CERC的機(jī)構(gòu)共129家,其中大學(xué)28家、科研機(jī)構(gòu)28家、企業(yè)73家,這種構(gòu)成也符合產(chǎn)學(xué)研聯(lián)盟的合作目標(biāo)。

    2.5合作目標(biāo)的實(shí)現(xiàn)程度、效果和影響

    效果評(píng)估是國際科技合作評(píng)估中最受關(guān)注的部分。以往的研究多關(guān)注于此方面,例如利用文獻(xiàn)計(jì)量數(shù)據(jù)分析合作論文的情況。國際科技合作的產(chǎn)出和成效是復(fù)雜的,它不同于一般的科技活動(dòng),除了技術(shù)突破等研發(fā)成果外,往往被賦予更多戰(zhàn)略意義,容易產(chǎn)生中觀和宏觀效果,如對(duì)兩國關(guān)系的作用,對(duì)國際事務(wù)的影響等,值得評(píng)估人員關(guān)注。CERC評(píng)估認(rèn)為中美兩國是世界最大的兩個(gè)二氧化碳排放國,兩國聯(lián)手開展清潔能源的技術(shù)合作,打破了傳統(tǒng)上發(fā)達(dá)國家向發(fā)展中國家提供資金援助和能力建設(shè)的模式。若合作取得成功,將有效促進(jìn)低碳產(chǎn)業(yè)的發(fā)展,形成規(guī)?;臏厥覛怏w排放效益,效果將大大高于傳統(tǒng)的項(xiàng)目合作。政府間國際科技合作被賦予多元使命,因此在評(píng)估時(shí)需要拓寬視野,發(fā)現(xiàn)多個(gè)層面的效果。

    2.6合作進(jìn)展、障礙及解決辦法

    對(duì)CERC評(píng)估時(shí)發(fā)現(xiàn),國際科技合作面臨諸多障礙,包括溝通障礙、意識(shí)形態(tài)障礙、兩國關(guān)系等,影響合作的進(jìn)展。評(píng)估人員應(yīng)該關(guān)注是否存在阻礙合作進(jìn)行的障礙以及應(yīng)對(duì)措施,這對(duì)于提出政策建議十分必要。例如,知識(shí)產(chǎn)權(quán)問題是科技合作老生常談的問題,CERC設(shè)計(jì)產(chǎn)學(xué)研聯(lián)盟合作,知識(shí)產(chǎn)權(quán)問題更為棘手。評(píng)估了解到,知識(shí)產(chǎn)權(quán)問題是擺在中美合作雙方間亟待解決的問題,若解決不好將嚴(yán)重影響合作進(jìn)度。CERC的一大成果是中美雙方磋商形成了基于共識(shí)的知識(shí)產(chǎn)權(quán)保護(hù)與共享框架,簽署了技術(shù)管理計(jì)劃(TMP),涵蓋了合作研究中知識(shí)產(chǎn)權(quán)的歸屬、分配、管理和利用。技術(shù)管理計(jì)劃的形成和簽署,為兩國開展跨國產(chǎn)學(xué)研聯(lián)盟合作中的知識(shí)產(chǎn)權(quán)管理提供了一個(gè)實(shí)現(xiàn)利益共享和解決分歧的途徑。但評(píng)估也發(fā)現(xiàn),執(zhí)行技術(shù)管理計(jì)劃存在資金、人員等障礙,需要政府加強(qiáng)培訓(xùn)和管理。

    3國際科技合作的評(píng)估方法

    定量研究方法常用于國際科技合作的評(píng)估,如文獻(xiàn)計(jì)量法。筆者認(rèn)為定量方法用于評(píng)估無法量化的成果具有局限性,評(píng)估人員應(yīng)充分利用定性方法發(fā)掘合作的中宏觀效果。CERC評(píng)估中,綜合運(yùn)用了多種定量定性評(píng)估工具,如下:

    (1) 戰(zhàn)略咨詢。鑒于國際科技合作議題的復(fù)雜性和宏觀性,在評(píng)估的戰(zhàn)略分析部分,有必要就國際科技合作對(duì)雙邊關(guān)系、經(jīng)濟(jì)發(fā)展、全球共同挑戰(zhàn)等宏觀方面的影響做出分析。尤其是政府間科技合作,應(yīng)重視在戰(zhàn)略層面的分析和評(píng)估。CERC評(píng)估中,評(píng)估人員就全球氣候變化談判、中美關(guān)系等議題向中國社科院、布魯金斯研究會(huì)等智庫的專家進(jìn)行了咨詢。

    (2) 同行評(píng)議。同行評(píng)議是科技評(píng)價(jià)中最常用的方法,在國際科技合作中依然適用。同行評(píng)議主要針對(duì)合作選題和成果,同行評(píng)議應(yīng)邀請(qǐng)國內(nèi)外熟悉該領(lǐng)域并具有國際合作經(jīng)驗(yàn)的技術(shù)專家。例如,在CERC評(píng)估中開展了工程院院士的評(píng)議活動(dòng)。院士對(duì)清潔煤領(lǐng)域的評(píng)議認(rèn)為CERC組織開展的研究基本囊括了清潔煤技術(shù)的各個(gè)方面,但應(yīng)進(jìn)一步精煉合作內(nèi)容,貼近國家需求。院士們同時(shí)提出國際科技合作成果應(yīng)強(qiáng)調(diào)創(chuàng)新,將合作成果與歷史成果加以區(qū)分。

    (3) 國內(nèi)外面訪與調(diào)研。對(duì)國際科技合作評(píng)估時(shí)若能在國內(nèi)外開展調(diào)研,對(duì)相關(guān)領(lǐng)域的國內(nèi)外權(quán)威專家進(jìn)行面訪,評(píng)估的證據(jù)將更具說服力。CERC評(píng)估中,委托美國和歐洲的兩位獨(dú)立專家分別在國外開展調(diào)研,重點(diǎn)了解國外利益相關(guān)方對(duì)CERC的觀點(diǎn)。32個(gè)被調(diào)研單位涉及美國科技政策辦公室、布魯金斯學(xué)會(huì)、中歐清潔能源中心等,共有國外專家40余位接受面訪。

    (4) 案卷研究。案卷研究是每項(xiàng)評(píng)估活動(dòng)的基礎(chǔ)工作。對(duì)于國際科技合作項(xiàng)目而言,建議案卷研究時(shí)對(duì)合作的背景文件予以關(guān)注,充分了解國際合作的歷史、科技、經(jīng)濟(jì)、外交等背景,有助于客觀判斷國際科技合作的戰(zhàn)略定位和中宏觀效果。例如對(duì)CERC的評(píng)估中,研究小組對(duì)《中美科技合作協(xié)定》、《聯(lián)合國氣候變化框架公約》、《“十二五”建筑節(jié)能專項(xiàng)規(guī)劃》 等宏觀戰(zhàn)略文件廣泛搜集加以研究。

    (5) 文獻(xiàn)計(jì)量。文獻(xiàn)計(jì)量法在以往研究中使用頗多,常用于對(duì)合作論文進(jìn)行深入細(xì)致的分析,作為合作效果的證據(jù)。本次對(duì)CERC的評(píng)估由于是中期評(píng)估,合作論文數(shù)據(jù)不足以開展系統(tǒng)的文獻(xiàn)計(jì)量分析。文獻(xiàn)計(jì)量法在CERC評(píng)估中主要用于分析中美兩國的研發(fā)實(shí)力以及合作機(jī)構(gòu)的研發(fā)實(shí)力。如表1所示,中美兩國從2006年到2011年間發(fā)表論文的數(shù)據(jù)反映出兩國在該領(lǐng)域的研發(fā)實(shí)力[18]。專利地圖提示中美兩國專利覆蓋的方向都相當(dāng)廣泛,但基本不交叉,中國專利主要涉及液體燃料、脫硫技術(shù)等方面;美國專利主要涉及煤氣化、二氧化碳捕獲、二氧化碳分離等方面[19]。

    表1 中美在清潔煤領(lǐng)域發(fā)表論文的總量和篇均影響力

    數(shù)據(jù)來源:Thomson Reuters數(shù)據(jù)庫Web of KnowledgeSM(2006—2011)及分析報(bào)告Bibliometric Analysis of Clean Technology Research。

    (6) 問卷調(diào)查。在CERC評(píng)估中,評(píng)估小組面向子課題承擔(dān)單位發(fā)放73份問卷,回收56份。問卷調(diào)查用于了解參與合作機(jī)構(gòu)對(duì)合作的觀點(diǎn)和建議。例如有30%的受訪者在加入CERC之前與美方無合作經(jīng)歷,是通過CERC平臺(tái)與美方合作伙伴建立的聯(lián)系。幾乎所有受訪者表示愿意在課題結(jié)束后繼續(xù)與美方合作。這樣的問卷調(diào)查信息間接反映了參與者對(duì)CERC的觀點(diǎn),說明了CERC的作用。圖1顯示了課題負(fù)責(zé)人對(duì)技術(shù)管理計(jì)劃作用的觀點(diǎn)[20]。

    圖1 課題負(fù)責(zé)人對(duì)TMP實(shí)施效果的觀點(diǎn) 資料來源:CERC中期評(píng)估問卷調(diào)查報(bào)告。

    (7) 案例研究。國際科技合作的共性問題頗多,評(píng)估中應(yīng)注重案例研究。對(duì)于成功的國際科技合作案例,有必要分析其成功的要素,推廣經(jīng)驗(yàn)并上升為相應(yīng)的政策建議。例如在CERC評(píng)估中,將中美清潔煤聯(lián)盟如何針對(duì)知識(shí)產(chǎn)權(quán)問題開展磋商作為案例(見表2),并將技術(shù)管理計(jì)劃作為范本在其他聯(lián)盟推廣,同時(shí)也作為今后開展類似國際合作的經(jīng)驗(yàn)推廣[21]。

    (8) 交叉分析。由于評(píng)估從多種渠道獲得的信息不一致,因此有必要交叉分析以確定最準(zhǔn)確的證據(jù)。交叉分析方法在評(píng)估中十分必要,例如CERC經(jīng)費(fèi)投入的數(shù)據(jù)缺少系統(tǒng)準(zhǔn)確的統(tǒng)計(jì),評(píng)估組將新聞報(bào)道、中心年報(bào)、面訪調(diào)研中的數(shù)據(jù)經(jīng)過了交叉分析確定準(zhǔn)確的數(shù)據(jù)。

    4國際科技合作的邏輯模型

    變革理論邏輯模型是國際評(píng)估界公認(rèn)的經(jīng)典評(píng)估工具。國際組織在開展每一項(xiàng)重要的評(píng)估活動(dòng)以前,都要分析評(píng)估對(duì)象的變革理論邏輯模型。變革理論邏輯模型可以幫助評(píng)估人員明確評(píng)估對(duì)象的因果鏈條,區(qū)分產(chǎn)出、效果、影響等要素,有利于得到準(zhǔn)確的評(píng)估發(fā)現(xiàn)。在CERC評(píng)估中,評(píng)估小組使用邏輯模型對(duì)典型的國際科技合作進(jìn)行了分析(見圖2)。

    (1)投入:國際科技合作的投入與其他科技項(xiàng)目一樣,主要是人力、資金方面的投入。

    (2)活動(dòng):國際科技合作開展的活動(dòng)種類很多,這與合作的領(lǐng)域及類型有關(guān),也與合作兩國的實(shí)力相關(guān)。如前面提到,在中國國際科技合作的三個(gè)歷史階段,合作的形式逐漸演變,從技術(shù)引進(jìn)逐漸向聯(lián)合研發(fā)轉(zhuǎn)變,從簡單的人員往來逐漸向產(chǎn)學(xué)研合作轉(zhuǎn)變,這都與中國的綜合國力、科技實(shí)力上升有關(guān)。CERC作為中美科技合作史上一次里程碑式的合作,一改以往在基礎(chǔ)研究和人員往來方面的基礎(chǔ)性合作,嘗試開展產(chǎn)學(xué)研聯(lián)盟之間的合作。三個(gè)領(lǐng)域開展的合作各有特點(diǎn),清潔煤聯(lián)盟以共同研發(fā)、互建基地為主;電動(dòng)汽車聯(lián)盟以基礎(chǔ)研究為主;建筑節(jié)能聯(lián)盟以數(shù)據(jù)調(diào)查比較為主。具體合作方式需根據(jù)兩國在該領(lǐng)域的特點(diǎn)以及兩國研究人員的需求而定。國際科技合作的活動(dòng)特點(diǎn)值得評(píng)估人員關(guān)注,評(píng)估人員應(yīng)從中挖掘合作形式的創(chuàng)新點(diǎn)、合作障礙如何解決等,這對(duì)產(chǎn)生合作效果十分重要,也有助于提出相關(guān)政策建議。

    表2 中美關(guān)于TMP焦點(diǎn)條款的磋商結(jié)果案例

    資料來源:中美清潔能源(清潔煤)聯(lián)合研究項(xiàng)目中技術(shù)管理計(jì)劃和知識(shí)產(chǎn)權(quán)協(xié)議報(bào)告。

    圖2 國際科技合作變革理論邏輯模型

    (3)產(chǎn)出:國際科技合作的產(chǎn)出,如論文、專利、標(biāo)準(zhǔn)等容易受到評(píng)估人員的關(guān)注。分析發(fā)現(xiàn),文獻(xiàn)計(jì)量法常用于分析以合著論文為代表的產(chǎn)出。合著論文的國別、領(lǐng)域、機(jī)構(gòu)等都可深入分析,為國際科技合作宏觀評(píng)估提供依據(jù)。除此之外,合作所研發(fā)的技術(shù)、產(chǎn)生的知識(shí)、形成的市場(chǎng)都可作為國際科技合作的產(chǎn)出。評(píng)估人員應(yīng)關(guān)注對(duì)知識(shí)、技術(shù)本身的表述,以案例的形式體現(xiàn),并說明這一產(chǎn)出如何通過國際合作形成,國際合作在其中的作用。

    (4)效果:國際科技合作的效果一方面是合作形成的知識(shí)、技術(shù)得到應(yīng)用以后的效果,如經(jīng)濟(jì)效益、環(huán)境效益等。此外,還包括合作的溢出效果。筆者認(rèn)為,國際科技合作不同于一般的研發(fā)活動(dòng),可能產(chǎn)生溢出效果,而且溢出效果受到的關(guān)注和影響不次于研發(fā)成果,這也是國際科技合作的特點(diǎn)。評(píng)估人員需格外關(guān)注國際科技合作的雙重效果,尤其對(duì)于政府間科技合作,產(chǎn)生的中宏觀效果是評(píng)估的重點(diǎn),例如合作對(duì)兩國外交關(guān)系的影響,兩國合作為共同應(yīng)對(duì)全球挑戰(zhàn)的貢獻(xiàn)等。CERC評(píng)估中了解到,CERC作為中美兩個(gè)最大的溫室氣體排放國之間的技術(shù)合作平臺(tái),有利于提升中國的國際影響力,是中國履行發(fā)展中國家減排責(zé)任的積極行動(dòng)。這樣的效果能真正反映CERC的價(jià)值,若僅僅羅列研發(fā)成果未免偏失。

    (5)影響:對(duì)影響進(jìn)行評(píng)估是國際評(píng)估界的趨勢(shì),但也具有挑戰(zhàn)。影響評(píng)估需要系統(tǒng)的設(shè)計(jì)、健全的數(shù)據(jù)基礎(chǔ)、充分的準(zhǔn)備工作等。國際科技合作的影響較之效果更為深遠(yuǎn)和復(fù)雜,應(yīng)將合作放置于歷史和全球的維度,利用開放的視野,發(fā)現(xiàn)合作對(duì)于國際政治、經(jīng)濟(jì)、科技發(fā)展的長遠(yuǎn)影響。對(duì)影響的評(píng)估需要較長的時(shí)間周期和更為寬廣的國際背景,對(duì)評(píng)估人員的挑戰(zhàn)也很大。一般情況下,效果層面的評(píng)估已經(jīng)可以滿足政策需求,建議可針對(duì)持續(xù)時(shí)間較長的重大國際科技合作對(duì)象開展影響評(píng)估。

    5關(guān)于評(píng)估方法論適用性的討論

    中美清潔能源聯(lián)合研究中心是典型的政府間國際科技合作,它體現(xiàn)了國際科技合作的幾個(gè)重要特征,一是國際科技合作不同于一般國家公共研發(fā)項(xiàng)目,體現(xiàn)國家在科技、經(jīng)濟(jì)、外交等方面的綜合戰(zhàn)略目標(biāo);二是合作領(lǐng)域受到關(guān)注,并決定了兩國之間的合作方式;三是合作機(jī)制與形式是合作成功的關(guān)鍵因素;四是合作產(chǎn)生的溢出效果值得關(guān)注。中美清潔能源聯(lián)合研究中心的評(píng)估具有代表性,所提出的關(guān)鍵評(píng)估問題適用于其他國際科技合作評(píng)估活動(dòng)。案例所采用的評(píng)估方法涵蓋了科技評(píng)估的常見方法,因此也適用于其他國際科技合作對(duì)象。本文引用的變革理論邏輯模型是國際評(píng)估界通用的評(píng)估工具,筆者通過案例研究歸納出適用于中國國際科技合作的邏輯模型。其中的要素可能在不同的國際科技合作中有所差異,評(píng)估人員可以據(jù)此進(jìn)一步開展針對(duì)性研究。本文提出的評(píng)估方法論希望綜合定量和定性信息,應(yīng)用于國際科技合作對(duì)象的綜合績效評(píng)估。通過提出關(guān)鍵評(píng)估問題,設(shè)計(jì)評(píng)估邏輯模型以及綜合運(yùn)用多種方法有利于把握一項(xiàng)典型國際科技合作活動(dòng)的評(píng)估要點(diǎn),規(guī)范地開展綜合評(píng)估,可以彌補(bǔ)橫斷面定量研究的信息不足。

    參考文獻(xiàn):

    [1]黃河,皮俊鋒.基于平衡計(jì)分卡的國際科技合作績效管理.科技進(jìn)步與對(duì)策,2009,(9):15-20.

    [2]J Uitto.Evaluating Environment and Development:Lessons from International Cooperation.Evaluation,2014,20(1):44-57.

    [3]N Kiyotaka.Evaluation Method of International Cooperation on Climate Change.Japanese Journal of Evaluation,2009,9(1):19-29.

    [4]R Lawrence.A Case-study of Cross-border Cooperation in Central and Eastern Europe.Evaluation,2011,17(4):365-382.

    [5]P Mattsson,P Laget,A Vindefj?rd,C Sundberg.What Do European Research Collaboration Networks in Life Sciences Look Like?Research Evaluation,2010,19(5):373-384.

    [6]E Arnold.Understanding Long-term Impacts of R&D Funding.Research Evaluation,2012,21(5):332-343.

    [7]Expert Group.Interim Evaluation of the Seventh Framework Programme Report[R].Brussels:European Union,2010:42-55.

    [8]吳貽康.60年的中國國際科技合作.中國科技產(chǎn)業(yè),2009,(11):74-75.

    [9]程如煙.30年來中國國際科技合作戰(zhàn)略和政策演變.中國科技論壇,2008,(7):7-13.

    [10]霍光峰,張換兆.中國科技發(fā)展國際合作戰(zhàn)略的評(píng)價(jià)與建議.中國科技論壇,2010,(4):136-142.

    [11]劉秋生,趙廣鳳,彭明立.國際科技合作模式研究.科技進(jìn)步與對(duì)策,2007,(2):38-41.

    [12]金炬,馬崢,梁戰(zhàn)平.從中美合著論文狀況看中美科技合作.科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,(5):41-49.

    [13]金炬,武夷山,梁戰(zhàn)平.國際科技合作文獻(xiàn)計(jì)量學(xué)研究綜述.圖書情報(bào)工作,2007,(3):63-67.

    [14]劉婭.從國際科技合著論文狀況看中國環(huán)境領(lǐng)域國際科技合作態(tài)勢(shì).中國軟科學(xué),2011,(6):34-46.

    [15]劉婭.基于文獻(xiàn)計(jì)量的中國、日本基礎(chǔ)研究領(lǐng)域國際科技合作比較研究.科學(xué)管理研究,2010,(8):58-63.

    [16]葉挺選,劉云,王文平.基于知識(shí)生產(chǎn)函數(shù)的國際科技合作計(jì)劃項(xiàng)目績效評(píng)價(jià)研究.兵工學(xué)報(bào),2009,(11):51-56.

    [17]王碩.國外對(duì)國際科技合作頂目評(píng)沽方法.安徽科技,1998,(7):45-46.

    [18]Thomson Reuters.Bibliometric Analysis of Clean Tech Research(Web of KnowledgeSM).Leeds,UK:Thomson Reuters,2012.

    [19]Thomson Reuters.Patent Survey in Clean Tech(Derwent World Patent Index).Monsanto,USA:Thomson Reuters,2012.

    [20]秦濤.CERC中期評(píng)估問卷調(diào)查報(bào)告.北京,國家科技評(píng)估中心,2012-03.

    [21]余翔,劉珊.中美清潔煤聯(lián)合研究項(xiàng)目技術(shù)管理計(jì)劃和知識(shí)產(chǎn)權(quán)協(xié)議報(bào)告.海南,CERC知識(shí)產(chǎn)權(quán)研討會(huì),2012-02.

    (責(zé)任編輯沈蓉)

    猜你喜歡
    方法論評(píng)估
    每日十分鐘 聚焦日常評(píng)估
    幼兒100(2023年36期)2023-10-23 11:41:26
    漢學(xué)方法論值得關(guān)注
    方法論視角下的制定法解釋
    法律方法(2019年4期)2019-11-16 01:07:02
    法本位的方法論闡釋
    法律方法(2018年2期)2018-07-13 03:22:02
    UAF的方法論意義
    抓改革落實(shí),習(xí)近平的十大方法論
    評(píng)估依據(jù)
    簡述黑格爾的哲學(xué)史觀與方法論
    人間(2015年21期)2015-03-11 15:23:41
    雙信封制和綜合評(píng)估制各有千秋
    立法后評(píng)估:且行且盡善
    浙江人大(2014年5期)2014-03-20 16:20:25
    涩涩av久久男人的天堂| 欧美+日韩+精品| 日韩熟女老妇一区二区性免费视频| 亚洲经典国产精华液单| 日韩熟女老妇一区二区性免费视频| 五月开心婷婷网| 黄色一级大片看看| 国产日韩欧美在线精品| 亚洲丝袜综合中文字幕| 欧美97在线视频| 亚洲男人天堂网一区| 亚洲av美国av| videosex国产| 国产亚洲av高清不卡| 亚洲熟女毛片儿| 黄色 视频免费看| 新久久久久国产一级毛片| 巨乳人妻的诱惑在线观看| 日韩精品免费视频一区二区三区| 亚洲视频免费观看视频| 精品人妻熟女毛片av久久网站| 老司机影院毛片| 欧美日韩亚洲综合一区二区三区_| 日韩视频一区二区在线观看| 欧美在线一区亚洲| 男人的好看免费观看在线视频 | 精品电影一区二区在线| 久久国产乱子伦精品免费另类| 人妻 亚洲 视频| 十八禁网站免费在线| 露出奶头的视频| cao死你这个sao货| 免费观看a级毛片全部| 日本撒尿小便嘘嘘汇集6| 欧美一级毛片孕妇| 中文字幕最新亚洲高清| 91老司机精品| av天堂久久9| 黄色怎么调成土黄色| 久久人人爽av亚洲精品天堂| 黑人操中国人逼视频| 高清欧美精品videossex| 在线观看舔阴道视频| 女人爽到高潮嗷嗷叫在线视频| 中文字幕高清在线视频| 国产成人啪精品午夜网站| 最近最新中文字幕大全电影3 | 亚洲专区字幕在线| 一级a爱片免费观看的视频| 免费女性裸体啪啪无遮挡网站| 国产区一区二久久| 欧美不卡视频在线免费观看 | 大型av网站在线播放| 女人被狂操c到高潮| 女人爽到高潮嗷嗷叫在线视频| 涩涩av久久男人的天堂| 免费人成视频x8x8入口观看| 制服人妻中文乱码| 动漫黄色视频在线观看| 日韩熟女老妇一区二区性免费视频| 久99久视频精品免费| 窝窝影院91人妻| 日韩免费av在线播放| 日韩三级视频一区二区三区| 亚洲av熟女| 久久亚洲精品不卡| 久久久久国产精品人妻aⅴ院 | 国产xxxxx性猛交| 午夜福利一区二区在线看| 啦啦啦 在线观看视频| 国产男女超爽视频在线观看| 俄罗斯特黄特色一大片| 最近最新免费中文字幕在线| 视频区图区小说| 国产精品 欧美亚洲| 亚洲成人手机| 无遮挡黄片免费观看| 午夜亚洲福利在线播放| www.熟女人妻精品国产| 身体一侧抽搐| 久久国产精品大桥未久av| 99久久精品国产亚洲精品| 91九色精品人成在线观看| 色在线成人网| 久久天躁狠狠躁夜夜2o2o| 在线播放国产精品三级| 亚洲精品国产区一区二| 岛国毛片在线播放| 久久这里只有精品19| netflix在线观看网站| 村上凉子中文字幕在线| a级毛片在线看网站| 欧美精品av麻豆av| 91字幕亚洲| 大陆偷拍与自拍| 久久久久久亚洲精品国产蜜桃av| 97人妻天天添夜夜摸| 精品国产美女av久久久久小说| 亚洲人成电影观看| 窝窝影院91人妻| 老熟女久久久| 日本a在线网址| 免费久久久久久久精品成人欧美视频| 精品一区二区三区视频在线观看免费 | 午夜老司机福利片| 免费黄频网站在线观看国产| 在线视频色国产色| 亚洲美女黄片视频| av欧美777| 国产精品一区二区在线观看99| a在线观看视频网站| 久久草成人影院| 下体分泌物呈黄色| 精品国产美女av久久久久小说| 成年人黄色毛片网站| 看片在线看免费视频| 乱人伦中国视频| 中文字幕另类日韩欧美亚洲嫩草| 男女高潮啪啪啪动态图| 日韩免费av在线播放| 国产av精品麻豆| 婷婷丁香在线五月| 欧美久久黑人一区二区| 12—13女人毛片做爰片一| 91成年电影在线观看| av片东京热男人的天堂| 老熟妇乱子伦视频在线观看| 在线免费观看的www视频| 久久久国产成人免费| 亚洲中文日韩欧美视频| 国产高清激情床上av| 中文欧美无线码| 夜夜躁狠狠躁天天躁| 亚洲专区中文字幕在线| 亚洲av欧美aⅴ国产| 久久人妻av系列| 亚洲全国av大片| 天堂中文最新版在线下载| 欧美国产精品一级二级三级| 久久人人97超碰香蕉20202| 国内毛片毛片毛片毛片毛片| 校园春色视频在线观看| 午夜视频精品福利| 亚洲av熟女| 久久热在线av| 无遮挡黄片免费观看| 中亚洲国语对白在线视频| 亚洲欧美日韩高清在线视频| 新久久久久国产一级毛片| 啪啪无遮挡十八禁网站| 夜夜躁狠狠躁天天躁| 日本五十路高清| 久久久久久久精品吃奶| 真人做人爱边吃奶动态| 少妇被粗大的猛进出69影院| 美女 人体艺术 gogo| 女人爽到高潮嗷嗷叫在线视频| 午夜福利乱码中文字幕| 别揉我奶头~嗯~啊~动态视频| 国产在视频线精品| 人人妻人人爽人人添夜夜欢视频| 久久精品国产99精品国产亚洲性色 | 美女高潮到喷水免费观看| 国产精品亚洲av一区麻豆| 亚洲专区国产一区二区| 叶爱在线成人免费视频播放| 午夜免费鲁丝| 国产一区有黄有色的免费视频| 1024视频免费在线观看| 韩国av一区二区三区四区| 成年动漫av网址| 欧美成狂野欧美在线观看| 亚洲国产欧美网| 一a级毛片在线观看| 午夜精品在线福利| 欧美激情久久久久久爽电影 | 久久精品aⅴ一区二区三区四区| 欧美日韩视频精品一区| 91九色精品人成在线观看| 另类亚洲欧美激情| 国产亚洲欧美98| 成年人午夜在线观看视频| 99re6热这里在线精品视频| 99久久精品国产亚洲精品| 久热爱精品视频在线9| 欧美激情极品国产一区二区三区| 夫妻午夜视频| 成人国产一区最新在线观看| 久久精品成人免费网站| 中文字幕精品免费在线观看视频| 免费在线观看完整版高清| aaaaa片日本免费| 欧美精品亚洲一区二区| 久久中文字幕人妻熟女| 国产精品久久电影中文字幕 | 大型黄色视频在线免费观看| 搡老熟女国产l中国老女人| 在线观看66精品国产| 国产主播在线观看一区二区| 国内毛片毛片毛片毛片毛片| 日韩有码中文字幕| 欧美另类亚洲清纯唯美| 国产精品乱码一区二三区的特点 | 国产一区二区三区视频了| 丝袜美腿诱惑在线| 免费观看精品视频网站| 黄色女人牲交| 中文字幕色久视频| 日韩制服丝袜自拍偷拍| 中文欧美无线码| 欧美 亚洲 国产 日韩一| 亚洲精品一二三| 女人精品久久久久毛片| 欧美日韩亚洲高清精品| 国产黄色免费在线视频| 黄片播放在线免费| 少妇猛男粗大的猛烈进出视频| 老司机福利观看| 精品少妇久久久久久888优播| 9热在线视频观看99| 国产又色又爽无遮挡免费看| cao死你这个sao货| 成熟少妇高潮喷水视频| 天天躁日日躁夜夜躁夜夜| 飞空精品影院首页| 日本精品一区二区三区蜜桃| 欧美精品一区二区免费开放| 久久人妻av系列| 老汉色∧v一级毛片| 亚洲熟妇中文字幕五十中出 | 中文字幕人妻丝袜制服| 免费看a级黄色片| 丝袜美腿诱惑在线| 日韩欧美在线二视频 | 日韩三级视频一区二区三区| 欧美色视频一区免费| 91精品国产国语对白视频| 免费黄频网站在线观看国产| 久久精品91无色码中文字幕| 99精品在免费线老司机午夜| 国产精品综合久久久久久久免费 | 国产1区2区3区精品| 悠悠久久av| 成在线人永久免费视频| 国产精品免费大片| 美女视频免费永久观看网站| 国产精品自产拍在线观看55亚洲 | 久久亚洲精品不卡| 91国产中文字幕| 中文字幕高清在线视频| 久久国产精品男人的天堂亚洲| 天堂中文最新版在线下载| 国产高清国产精品国产三级| www.自偷自拍.com| 香蕉丝袜av| 精品国产国语对白av| 新久久久久国产一级毛片| 中文字幕另类日韩欧美亚洲嫩草| 久久久国产成人精品二区 | 新久久久久国产一级毛片| 如日韩欧美国产精品一区二区三区| 老司机亚洲免费影院| 久久香蕉国产精品| 国产成人av激情在线播放| 精品国产一区二区三区四区第35| 久久这里只有精品19| 热re99久久精品国产66热6| 免费人成视频x8x8入口观看| 亚洲专区字幕在线| 久久久久久久午夜电影 | 国产无遮挡羞羞视频在线观看| 99国产精品一区二区蜜桃av | 久久精品91无色码中文字幕| 下体分泌物呈黄色| 国产成人精品久久二区二区91| 国产成人精品久久二区二区免费| 岛国毛片在线播放| 亚洲色图综合在线观看| 99re6热这里在线精品视频| 欧美国产精品一级二级三级| 精品一品国产午夜福利视频| 成人三级做爰电影| 国产一区有黄有色的免费视频| 黄色片一级片一级黄色片| 精品国产超薄肉色丝袜足j| 天天操日日干夜夜撸| 91九色精品人成在线观看| 在线天堂中文资源库| 国产人伦9x9x在线观看| 热99久久久久精品小说推荐| 欧美国产精品一级二级三级| 精品人妻在线不人妻| 老司机午夜福利在线观看视频| 亚洲专区中文字幕在线| 国产极品粉嫩免费观看在线| 欧美日韩亚洲高清精品| 国产熟女午夜一区二区三区| 久久久久久免费高清国产稀缺| 交换朋友夫妻互换小说| 手机成人av网站| 免费观看人在逋| 久久国产亚洲av麻豆专区| 亚洲成av片中文字幕在线观看| 黑人猛操日本美女一级片| 欧美av亚洲av综合av国产av| 女人精品久久久久毛片| 精品亚洲成国产av| 欧美黄色淫秽网站| 午夜福利视频在线观看免费| 首页视频小说图片口味搜索| av中文乱码字幕在线| 日本一区二区免费在线视频| 伊人久久大香线蕉亚洲五| 欧美日韩视频精品一区| 黄色 视频免费看| 国产精华一区二区三区| 精品一区二区三区视频在线观看免费 | 亚洲熟妇熟女久久| 日日夜夜操网爽| 亚洲成av片中文字幕在线观看| 国产高清国产精品国产三级| 亚洲第一青青草原| 久久ye,这里只有精品| 在线观看免费视频网站a站| 中出人妻视频一区二区| 国产真人三级小视频在线观看| av片东京热男人的天堂| 久久久国产欧美日韩av| 国产区一区二久久| 亚洲美女黄片视频| 精品久久蜜臀av无| 精品亚洲成国产av| 老司机午夜福利在线观看视频| 国产日韩欧美亚洲二区| 黄色片一级片一级黄色片| 一进一出抽搐gif免费好疼 | 久久精品国产综合久久久| 美女高潮到喷水免费观看| 精品国产乱子伦一区二区三区| 国产91精品成人一区二区三区| 国产精品永久免费网站| 在线永久观看黄色视频| 最近最新中文字幕大全电影3 | 大片电影免费在线观看免费| 国产淫语在线视频| 国产精品欧美亚洲77777| 亚洲国产看品久久| 国产激情久久老熟女| 国产又色又爽无遮挡免费看| 夫妻午夜视频| 18禁国产床啪视频网站| 国产在线精品亚洲第一网站| 深夜精品福利| 国产精品电影一区二区三区 | 国产精品久久久久成人av| 黑丝袜美女国产一区| 亚洲国产欧美网| 一个人免费在线观看的高清视频| 精品久久久精品久久久| 精品免费久久久久久久清纯 | 久久性视频一级片| 欧美亚洲日本最大视频资源| 日本一区二区免费在线视频| 十八禁高潮呻吟视频| 免费在线观看亚洲国产| 精品亚洲成国产av| 一级片'在线观看视频| 久久国产精品男人的天堂亚洲| 欧美一级毛片孕妇| 久久精品aⅴ一区二区三区四区| 免费久久久久久久精品成人欧美视频| 另类亚洲欧美激情| 丰满迷人的少妇在线观看| 欧美黄色片欧美黄色片| 久久青草综合色| 欧美激情极品国产一区二区三区| 亚洲av片天天在线观看| 午夜亚洲福利在线播放| 欧美日韩精品网址| 日韩大码丰满熟妇| 国产成人欧美| 久久这里只有精品19| 亚洲精品在线观看二区| 欧美一级毛片孕妇| 午夜福利一区二区在线看| 正在播放国产对白刺激| 亚洲精品美女久久久久99蜜臀| 黄色a级毛片大全视频| 久久久久精品人妻al黑| 丝袜美足系列| 国内毛片毛片毛片毛片毛片| 一边摸一边抽搐一进一出视频| 亚洲黑人精品在线| 一区二区三区激情视频| 国产欧美日韩一区二区精品| www.自偷自拍.com| 很黄的视频免费| 少妇粗大呻吟视频| 99国产综合亚洲精品| 中文字幕人妻丝袜制服| 人人澡人人妻人| 精品人妻1区二区| 超色免费av| av免费在线观看网站| 大型av网站在线播放| 亚洲av成人一区二区三| 国产91精品成人一区二区三区| 亚洲精品国产一区二区精华液| 午夜免费成人在线视频| 如日韩欧美国产精品一区二区三区| 美国免费a级毛片| 国产精品二区激情视频| 欧美一级毛片孕妇| 亚洲av成人不卡在线观看播放网| 欧美亚洲 丝袜 人妻 在线| 国产成人精品久久二区二区免费| 两性午夜刺激爽爽歪歪视频在线观看 | 亚洲黑人精品在线| 超碰成人久久| 免费女性裸体啪啪无遮挡网站| 日韩免费高清中文字幕av| 国产午夜精品久久久久久| 亚洲欧洲精品一区二区精品久久久| 亚洲国产看品久久| 亚洲国产看品久久| 免费不卡黄色视频| 亚洲 国产 在线| 午夜精品久久久久久毛片777| 精品少妇一区二区三区视频日本电影| 亚洲av电影在线进入| 国产高清国产精品国产三级| 亚洲欧美色中文字幕在线| 18禁黄网站禁片午夜丰满| 不卡一级毛片| 亚洲精华国产精华精| 免费在线观看视频国产中文字幕亚洲| 久久精品人人爽人人爽视色| 亚洲在线自拍视频| 午夜福利一区二区在线看| 亚洲第一欧美日韩一区二区三区| 99久久人妻综合| 69精品国产乱码久久久| 国产视频一区二区在线看| 亚洲黑人精品在线| 亚洲va日本ⅴa欧美va伊人久久| 久久国产精品大桥未久av| 国产99久久九九免费精品| 久久精品国产清高在天天线| 色综合欧美亚洲国产小说| 十分钟在线观看高清视频www| 国产精品综合久久久久久久免费 | 亚洲久久久国产精品| 少妇猛男粗大的猛烈进出视频| 香蕉丝袜av| 国产精品1区2区在线观看. | 亚洲成人免费电影在线观看| 女警被强在线播放| 精品一区二区三卡| 久久热在线av| 成在线人永久免费视频| 午夜激情av网站| 嫁个100分男人电影在线观看| 一进一出抽搐gif免费好疼 | 老熟妇乱子伦视频在线观看| 制服诱惑二区| 亚洲少妇的诱惑av| 男女高潮啪啪啪动态图| 国产三级黄色录像| 又黄又爽又免费观看的视频| 成年人黄色毛片网站| 国产精品影院久久| 欧美国产精品一级二级三级| 岛国毛片在线播放| 免费日韩欧美在线观看| 嫁个100分男人电影在线观看| 91字幕亚洲| 老司机福利观看| 99热只有精品国产| 搡老熟女国产l中国老女人| 久久亚洲真实| 中文字幕制服av| 可以免费在线观看a视频的电影网站| 日韩欧美一区二区三区在线观看 | 亚洲视频免费观看视频| 热re99久久国产66热| 69av精品久久久久久| 999久久久精品免费观看国产| 精品久久久久久电影网| 在线观看免费视频网站a站| 高潮久久久久久久久久久不卡| 99精国产麻豆久久婷婷| 亚洲五月色婷婷综合| 18禁黄网站禁片午夜丰满| 美女午夜性视频免费| 精品第一国产精品| 欧美黑人欧美精品刺激| 精品久久久久久久久久免费视频 | 国产av精品麻豆| 久久午夜综合久久蜜桃| 天天影视国产精品| 日本一区二区免费在线视频| 老司机靠b影院| 十八禁人妻一区二区| 少妇 在线观看| 天天操日日干夜夜撸| 欧美激情久久久久久爽电影 | 男人舔女人的私密视频| 亚洲熟女精品中文字幕| 建设人人有责人人尽责人人享有的| 视频在线观看一区二区三区| 欧美日韩av久久| 极品教师在线免费播放| 美国免费a级毛片| 久久中文字幕人妻熟女| 黑人操中国人逼视频| 一个人免费在线观看的高清视频| 欧美最黄视频在线播放免费 | 日韩 欧美 亚洲 中文字幕| 久久久久视频综合| 欧美av亚洲av综合av国产av| 国产成人欧美在线观看 | 精品午夜福利视频在线观看一区| 午夜影院日韩av| 成年女人毛片免费观看观看9 | 国产精华一区二区三区| 亚洲欧美日韩另类电影网站| 午夜福利在线观看吧| 欧美成人午夜精品| 99riav亚洲国产免费| 老熟妇仑乱视频hdxx| 熟女少妇亚洲综合色aaa.| 亚洲av成人av| 亚洲一区中文字幕在线| 99热国产这里只有精品6| 国产在线观看jvid| 欧美最黄视频在线播放免费 | 69精品国产乱码久久久| 精品视频人人做人人爽| 一级毛片高清免费大全| 中国美女看黄片| 婷婷精品国产亚洲av在线 | 一个人免费在线观看的高清视频| 亚洲五月色婷婷综合| 99热网站在线观看| 一进一出好大好爽视频| 美国免费a级毛片| 青草久久国产| 99re在线观看精品视频| 中文字幕av电影在线播放| 老鸭窝网址在线观看| 亚洲av成人不卡在线观看播放网| 成人影院久久| 狠狠婷婷综合久久久久久88av| 天堂俺去俺来也www色官网| 首页视频小说图片口味搜索| 亚洲av成人av| 欧美日韩精品网址| 日本撒尿小便嘘嘘汇集6| 日韩欧美三级三区| 老司机亚洲免费影院| 精品熟女少妇八av免费久了| 国产主播在线观看一区二区| 王馨瑶露胸无遮挡在线观看| 大香蕉久久成人网| 国产一区在线观看成人免费| 免费一级毛片在线播放高清视频 | 国产成人精品久久二区二区91| 纯流量卡能插随身wifi吗| 午夜成年电影在线免费观看| 天天添夜夜摸| 妹子高潮喷水视频| 成熟少妇高潮喷水视频| 成人亚洲精品一区在线观看| 黑人巨大精品欧美一区二区mp4| 欧美丝袜亚洲另类 | 80岁老熟妇乱子伦牲交| 91九色精品人成在线观看| 成年人黄色毛片网站| av在线播放免费不卡| 丝袜美足系列| 两性夫妻黄色片| 国产淫语在线视频| 9191精品国产免费久久| 大香蕉久久成人网| 美女午夜性视频免费| 一区二区三区国产精品乱码| 男人的好看免费观看在线视频 | 久久久久久久久久久久大奶| 午夜免费成人在线视频| 午夜免费鲁丝| 亚洲五月天丁香| 免费黄频网站在线观看国产| 国产精品电影一区二区三区 | 日韩制服丝袜自拍偷拍| 丰满迷人的少妇在线观看| 亚洲av熟女| 国产精品影院久久| 午夜免费鲁丝| 最近最新免费中文字幕在线| 久久国产乱子伦精品免费另类| 国产精品电影一区二区三区 | 嫩草影视91久久| av天堂久久9| 国内久久婷婷六月综合欲色啪| 国产一区二区三区在线臀色熟女 | 岛国毛片在线播放| 国产精品亚洲一级av第二区| 精品欧美一区二区三区在线| 色94色欧美一区二区| 妹子高潮喷水视频| 国产精品 欧美亚洲| 国产亚洲精品久久久久5区| 欧美 日韩 精品 国产| 成人影院久久| 男女下面插进去视频免费观看|