• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)方法研究

    2010-10-19 08:49:06楊國(guó)梁Liu李曉軒劉智淵
    中國(guó)科技論壇 2010年6期
    關(guān)鍵詞:科研機(jī)構(gòu)影響力指標(biāo)體系

    楊國(guó)梁,W.B.Liu, 李曉軒,劉智淵

    (1.中國(guó)科學(xué)院科技政策與管理科學(xué)研究所,北京 100190;2.中國(guó)科學(xué)院研究生院,北京 100039;3.肯特大學(xué)商學(xué)院,坎特伯里 CT2 7PE)

    國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)方法研究

    楊國(guó)梁1,2,W.B.Liu3, 李曉軒1,劉智淵1

    (1.中國(guó)科學(xué)院科技政策與管理科學(xué)研究所,北京 100190;2.中國(guó)科學(xué)院研究生院,北京 100039;3.肯特大學(xué)商學(xué)院,坎特伯里 CT2 7PE)

    本文旨在建立一套對(duì)不同國(guó)家的國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力的評(píng)價(jià)方法。首先,以3E理論和“階梯理論”為指導(dǎo),提出了國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力的評(píng)價(jià)模型和指標(biāo)體系;其次,以國(guó)際上不同國(guó)立科研機(jī)構(gòu)為對(duì)象進(jìn)行驗(yàn)證,發(fā)現(xiàn)選取的86個(gè)國(guó)立科研機(jī)構(gòu)具有可比性,并且指標(biāo)體系有較好的效度。

    國(guó)立科研機(jī)構(gòu);學(xué)術(shù)影響力;排名

    Abstract:This paper intends to build an index system of evaluating the academic influence of national research institutes in the world.Firstly,the evaluation logic model and index system of the academic influence evaluation of national research institutes were proposed,based on the 3E Theory and the Ladder Theory.Secondly,according to the empirical analysis of different national research institutes,this study compared 86 national research institutes selected in this research,and proved the validity of the proposed index system.

    Key words:national research institutes; academic influence; ranking

    引言

    16世紀(jì)中葉到17世紀(jì)末,第一次科學(xué)技術(shù)革命期間,意大利佛羅倫薩科學(xué)社、英國(guó)皇家學(xué)會(huì)、法蘭西皇家科學(xué)院、德國(guó)柏林科學(xué)院相繼建立,標(biāo)志著近代科學(xué)成為一種社會(huì)建制。以此為開端,逐漸形成了現(xiàn)代高度建制化的各種國(guó)立科研機(jī)構(gòu)[1],主要包括國(guó)家(中央政府)直接設(shè)立的科研院所,或中央政府部門所屬的科研機(jī)構(gòu)。國(guó)立科研機(jī)構(gòu)承擔(dān)著國(guó)家經(jīng)濟(jì)社會(huì)發(fā)展、國(guó)家安全以及科學(xué)前沿探索等方面的科技創(chuàng)新工作。國(guó)立科研機(jī)構(gòu)與高校、企業(yè)一起構(gòu)成國(guó)家創(chuàng)新體系中的重要組成部分。通過國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)可以促進(jìn)國(guó)立科研機(jī)構(gòu)對(duì)自身發(fā)展?fàn)顩r以及相互之間的了解;有利于國(guó)立科研機(jī)構(gòu)之間的交流與合作;可以促進(jìn)公眾對(duì)國(guó)立科研機(jī)構(gòu)發(fā)展的關(guān)注和監(jiān)督。

    目前,隨著全球化時(shí)代的到來,科技評(píng)價(jià)越來越受到世界各國(guó)科研組織的廣泛重視。通過科技評(píng)價(jià)分析自我發(fā)展態(tài)勢(shì)并與競(jìng)爭(zhēng)對(duì)手比較,已成為國(guó)際科技戰(zhàn)略管理的重要基礎(chǔ)。如今國(guó)際上紛紛開展相關(guān)的評(píng)價(jià)工作,包括創(chuàng)新能力和科技競(jìng)爭(zhēng)力分析、大學(xué)排名、國(guó)際競(jìng)爭(zhēng)力排名等[2-17]。美國(guó)國(guó)家科學(xué)基金會(huì)每?jī)赡甓瘸霭娴摹犊茖W(xué)與工程指標(biāo)》系列報(bào)告,分析美國(guó)科學(xué)和工程研究以及教育狀況,將美國(guó)和世界范圍內(nèi)的人才、研發(fā)能力、高技術(shù)行業(yè)等進(jìn)行對(duì)比分析,是關(guān)于美國(guó)大學(xué)、企業(yè)、聯(lián)邦政府以及國(guó)際科學(xué)和工程組織進(jìn)行研發(fā)的最全面信息源。歐盟委員會(huì)公布的《歐洲科技指標(biāo)》,對(duì)歐盟國(guó)家的研發(fā)水平、創(chuàng)新能力和科技競(jìng)爭(zhēng)力進(jìn)行全面分析,并與世界其他國(guó)家和地區(qū)進(jìn)行對(duì)比,為科技政策和措施的制定提供支持。自1983年《美國(guó)新聞與世界報(bào)道》發(fā)布美國(guó)大學(xué)排名以來,美國(guó)已有幾十個(gè)機(jī)構(gòu)發(fā)布了形形色色的美國(guó)大學(xué)排名。世界各國(guó)也開始對(duì)本國(guó)的大學(xué)排名,《泰晤士報(bào)》于1986年發(fā)布了英國(guó)大學(xué)排名,《明鏡》周刊于1989年發(fā)布了德國(guó)大學(xué)排名,《麥克林》雜志自1991年起開始進(jìn)行加拿大大學(xué)排名,《鉆石周刊》自1993年起開始發(fā)布日本大學(xué)排名。此后,這些國(guó)家中又有多家機(jī)構(gòu)相繼發(fā)布各類排名。但很少有專門針對(duì)各國(guó)國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力的評(píng)價(jià)和排名。

    國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力涉及國(guó)立科研機(jī)構(gòu)賴以履行其使命的研究水平、競(jìng)爭(zhēng)能力以及對(duì)科學(xué)和社會(huì)的實(shí)際影響等若干方面。國(guó)立科研機(jī)構(gòu)必須從國(guó)家戰(zhàn)略需求出發(fā),開展定向基礎(chǔ)研究、戰(zhàn)略高技術(shù)創(chuàng)新與系統(tǒng)集成以及事關(guān)經(jīng)濟(jì)社會(huì)全面協(xié)調(diào)可持續(xù)發(fā)展的重大公益性創(chuàng)新,為社會(huì)提供相關(guān)公共品和服務(wù),從而滿足國(guó)家和社會(huì)的需求。由于國(guó)立科研機(jī)構(gòu)在滿足不同國(guó)家戰(zhàn)略需求方面缺少一個(gè)統(tǒng)一的衡量標(biāo)準(zhǔn),難以比較,因此本文所探討的學(xué)術(shù)影響力主要集中在國(guó)立科研機(jī)構(gòu)學(xué)術(shù)研究水平這一層面。

    國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)與其他科技評(píng)價(jià)如大學(xué)評(píng)價(jià)、國(guó)家和區(qū)域科技競(jìng)爭(zhēng)力評(píng)價(jià)等有相似的地方,但有很大不同。主要體現(xiàn)在不同國(guó)立科研機(jī)構(gòu)在定位、使命以及組織設(shè)計(jì)等多方面有很大差異。比如,國(guó)立科研機(jī)構(gòu)從所屬關(guān)系上來看,大致可分為:(1)國(guó)家大型綜合性科研機(jī)構(gòu),即由若干研究所、實(shí)驗(yàn)室和研究組等組成的全國(guó)性、綜合性的大型科研機(jī)構(gòu),如法國(guó)的國(guó)家科研中心、馬普學(xué)會(huì)以及中國(guó)科學(xué)院等;(2)部門所屬專業(yè)性綜合科研機(jī)構(gòu),如美國(guó)能源部所屬國(guó)家實(shí)驗(yàn)室等。因此,如何設(shè)計(jì)針對(duì)國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力的評(píng)價(jià)模型和指標(biāo)體系,使之滿符合不同國(guó)立科研機(jī)構(gòu)特點(diǎn),是一個(gè)需要深入研究和探討的問題。

    1 評(píng)估模型

    國(guó)立科研機(jī)構(gòu)自身的科學(xué)水平是其學(xué)術(shù)影響力的基礎(chǔ)和來源。國(guó)立科研機(jī)構(gòu)的學(xué)術(shù)影響力評(píng)價(jià)應(yīng)從機(jī)構(gòu)自身的科學(xué)水平入手。由科學(xué)水平所產(chǎn)生的學(xué)術(shù)影響力的廣度和深度主要取決于機(jī)構(gòu)所發(fā)表的研究成果,以及成果被他人重視、認(rèn)可和引用的情況。一般說來,研究成果發(fā)表得越多、被他人引用得越多,就越能說明此機(jī)構(gòu)在學(xué)術(shù)領(lǐng)域產(chǎn)生的影響越大。同時(shí),研究成果的產(chǎn)生需要人力、財(cái)力和物力的投入,從科研機(jī)構(gòu)的投入產(chǎn)出效率可以看出機(jī)構(gòu)本身的運(yùn)行情況。

    本文按3E理論進(jìn)行評(píng)估模型的設(shè)計(jì)。對(duì)于國(guó)立科研機(jī)構(gòu)來說,其自身的科學(xué)水平是學(xué)術(shù)影響力的基礎(chǔ)和來源。因此,國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)估模型可以從三個(gè)方面考慮:

    ①科研成果的產(chǎn)出數(shù)量。國(guó)立科研機(jī)構(gòu)的成果產(chǎn)出指研究開發(fā)活動(dòng)所產(chǎn)生的直接成果,形式包括公開發(fā)表的學(xué)術(shù)論文、出版學(xué)術(shù)專著(編著、譯著、教材)、科研項(xiàng)目、專利申請(qǐng)與授權(quán)等,這些產(chǎn)出形式都能體現(xiàn)科研機(jī)構(gòu)在科學(xué)上的貢獻(xiàn)。

    ②科研成果的投入產(chǎn)出效率。科技活動(dòng)的開展離不開科技人(擁有的科技人員)、財(cái)(投入的科技經(jīng)費(fèi))、物(占有的科研設(shè)施)的投入等。而國(guó)立科研機(jī)構(gòu)往往是由中央政府直接進(jìn)行財(cái)政撥款,預(yù)算有相應(yīng)的限度,因此國(guó)立科研機(jī)構(gòu)需要在有限的資源約束下,盡可能的提高機(jī)構(gòu)整體的運(yùn)行效率,增加機(jī)構(gòu)自身的成果產(chǎn)出數(shù)量和質(zhì)量,這也是科研機(jī)構(gòu)擴(kuò)大自身學(xué)術(shù)影響力的一個(gè)重要方面。

    ③科研成果的質(zhì)量。是否擁有高影響、高質(zhì)量的科研成果是機(jī)構(gòu)自身學(xué)術(shù)影響力的重要體現(xiàn)和來源??蒲谐晒挠绊戵w現(xiàn)在機(jī)構(gòu)所發(fā)論文的引用情況、專利的引用情況、所獲的各類獎(jiǎng)勵(lì)、研究人員在各類學(xué)術(shù)組織任職情況、各類期刊編委任職情況等。有學(xué)術(shù)影響力的科研成果是科研機(jī)構(gòu)研究質(zhì)量的重要體現(xiàn)。高質(zhì)量的科研成果對(duì)外界的影響可以分為國(guó)內(nèi)層面和國(guó)際層面,由于本文主要探討國(guó)際國(guó)立科研機(jī)構(gòu)的學(xué)術(shù)影響力問題,因此國(guó)際層面的科研成果的影響是本文重點(diǎn)考察的內(nèi)容。國(guó)際層面的影響包括國(guó)際論文引用情況、國(guó)際重要科學(xué)組織的任職情況以及國(guó)際重要獎(jiǎng)勵(lì)情況等。

    從以上三個(gè)方面可以概括得出國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)的基本框架,即機(jī)構(gòu)學(xué)術(shù)影響力由科研成果的產(chǎn)出、效率和效果來反映。其中,產(chǎn)出方面的學(xué)術(shù)專著、科研項(xiàng)目等信息,效率方面的科研經(jīng)費(fèi)和科研設(shè)備等信息難以采集。因此在實(shí)際應(yīng)用中,部分信息會(huì)有所缺失。根據(jù)以上針對(duì)國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力分析的基本框架,構(gòu)建評(píng)價(jià)指標(biāo)體系。

    此外,為了清晰描繪國(guó)立科研機(jī)構(gòu)科研發(fā)展的格局和態(tài)勢(shì),本文進(jìn)一步提出國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力分析與排名指標(biāo)數(shù)據(jù)表達(dá)的“階梯理論”。所謂“階梯理論”就是指同類科研產(chǎn)出(效率、效果)應(yīng)遵循質(zhì)量越高其重要性就越大的基本理念進(jìn)行階梯形分層采樣,質(zhì)量越高的科研產(chǎn)出(效率、效果)應(yīng)被賦予越高的權(quán)重,并逐次降低,從而體現(xiàn)不同質(zhì)量科研產(chǎn)出(效率、效果)的層次,有利于描述科研機(jī)構(gòu)在本項(xiàng)產(chǎn)出(效率、效果)上的發(fā)展態(tài)勢(shì)和格局。

    各科研機(jī)構(gòu)往往處于不同的發(fā)展階段,有的機(jī)構(gòu)已經(jīng)是世界頂尖的研究機(jī)構(gòu),有些則還處于逐步提高的過程之中。處于不同階段的科研機(jī)構(gòu),科研產(chǎn)出(效率、效果)也相應(yīng)的處于不同狀態(tài)。如果某項(xiàng)指標(biāo)僅僅采用最頂級(jí)的表現(xiàn)形式(比如:高質(zhì)量論文采用Top0.1%高被引論文表達(dá)),則難以反映那些發(fā)展態(tài)勢(shì)較好,發(fā)展速度較快,但還沒有頂級(jí)產(chǎn)出或影響的成果的研究機(jī)構(gòu);如果某項(xiàng)指標(biāo)只是采用較為寬泛的標(biāo)準(zhǔn)(比如:高質(zhì)量論文采用Top10%高被引論文表達(dá)),那么又難以體現(xiàn)頂尖研究機(jī)構(gòu)與普通研究機(jī)構(gòu)的區(qū)別。再之最頂級(jí)的指標(biāo)通常隨機(jī)性很強(qiáng),單獨(dú)用必然給最終評(píng)價(jià)結(jié)果帶來較大的隨機(jī)性。因此,可以說“階梯理論”穩(wěn)定,有效地描述各類科研機(jī)構(gòu)發(fā)展?fàn)顟B(tài),處于各階段的科研機(jī)構(gòu)的科研產(chǎn)出(效率、效果)在科學(xué)發(fā)展的“階梯”上的有不同的分布。

    2 指標(biāo)體系

    評(píng)價(jià)指標(biāo)的選取是國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)的基礎(chǔ)。一般來講,國(guó)立科研機(jī)構(gòu)學(xué)科領(lǐng)域涵蓋面廣,涉及了從基礎(chǔ)研究、應(yīng)用研究到高科技研發(fā)等不同科研過程。不同學(xué)科,不同研發(fā)過程有其自身特點(diǎn)。不區(qū)分學(xué)科特點(diǎn)、缺乏對(duì)科研功能特點(diǎn)的深入分析而對(duì)科研機(jī)構(gòu)進(jìn)行學(xué)術(shù)影響力分析和排名可能會(huì)由于可比性弱導(dǎo)致評(píng)價(jià)結(jié)果缺乏公信力。

    不同國(guó)家的國(guó)立科研機(jī)構(gòu)的機(jī)構(gòu)使命、立法環(huán)境、資助渠道、統(tǒng)計(jì)口徑等存在顯著差異。例如:科研經(jīng)費(fèi)統(tǒng)計(jì)口徑不一致且完整性不夠,如MPG、RIKEN經(jīng)費(fèi)數(shù)據(jù)中既包括總經(jīng)費(fèi)又包括各學(xué)科經(jīng)費(fèi)分布、外部爭(zhēng)取經(jīng)費(fèi)等;某些機(jī)構(gòu)如RAS、CSIC僅提供部分年份總經(jīng)費(fèi)數(shù)據(jù);有的機(jī)構(gòu)明確標(biāo)明統(tǒng)計(jì)來源而有的不提供等。此外,某些機(jī)構(gòu),如DOE、NIH因肩負(fù)國(guó)家防御、環(huán)境治理等任務(wù),其投入經(jīng)費(fèi)的產(chǎn)出有相當(dāng)部分體現(xiàn)在文獻(xiàn)計(jì)量指標(biāo)之外。此外,大科學(xué)裝置價(jià)值,交換留學(xué)生、聯(lián)合試驗(yàn)室、合作研究項(xiàng)目數(shù)、研究生總數(shù)、高質(zhì)量研究生數(shù)及每博士學(xué)位人員博士學(xué)位產(chǎn)出指標(biāo)、外爭(zhēng)經(jīng)費(fèi)、承擔(dān)的外部項(xiàng)目等指標(biāo)因在選定樣本只有幾個(gè)機(jī)構(gòu)提供部分?jǐn)?shù)據(jù),因此難以進(jìn)行評(píng)價(jià)數(shù)據(jù)采集。

    根據(jù)以上對(duì)國(guó)立科研機(jī)構(gòu)學(xué)科差異和評(píng)價(jià)數(shù)據(jù)可獲得性的分析,本文在基于3E理論對(duì)國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力的系統(tǒng)分析和“階梯理論”的指導(dǎo)之下,建立了不同學(xué)科的3E指標(biāo)體系(E1:產(chǎn)出;E2:效率;E3:效果)并設(shè)置了各指標(biāo)權(quán)重,權(quán)重設(shè)置方式為各一級(jí)指標(biāo)等權(quán)。學(xué)科分類采用ESI標(biāo)準(zhǔn)的22個(gè)學(xué)科分類(見表1)。

    表1 ESI學(xué)科分類表

    指標(biāo)體系分為自然科學(xué)(含社會(huì)科學(xué))學(xué)科指標(biāo)體系和反映機(jī)構(gòu)工程領(lǐng)域研究的指標(biāo)體系,各一級(jí)指標(biāo)見表2,下級(jí)指標(biāo)在“階梯理論”的指導(dǎo)下進(jìn)行設(shè)計(jì)。

    表2 3E指標(biāo)體系一級(jí)指標(biāo)列表

    各指標(biāo)定義和采集口徑如下:

    機(jī)構(gòu)人員:機(jī)構(gòu)人員以機(jī)構(gòu)的官方網(wǎng)站或年報(bào)中提供的與科研相關(guān)的人員數(shù)據(jù)。

    SCI論文:以SCI擴(kuò)展版數(shù)據(jù)庫(含SSCI,下同)為準(zhǔn),通過ISI Web of Knowledge平臺(tái)檢索獲取。

    高質(zhì)量論文:TOP0.1%、TOP1%、TOP10%論文數(shù)據(jù)根據(jù)ESI 2009年5月發(fā)布的ESI7引文基線統(tǒng)計(jì)得到。

    SCI引文總量:各機(jī)構(gòu)SCI論文被引數(shù)量的總和。按ESI數(shù)據(jù)庫中21個(gè)學(xué)科(不含多學(xué)科)類分別統(tǒng)計(jì)各樣本機(jī)構(gòu)SCI論文被引頻次,多學(xué)科數(shù)據(jù)分別劃分到其余的21個(gè)學(xué)科。通過ISI Web of Knowledge平臺(tái)檢索獲取。

    篇均被引頻次:機(jī)構(gòu)引文總量除以SCI論文數(shù)量。

    EI指標(biāo):通過EI數(shù)據(jù)庫平臺(tái)檢索獲取。

    專利指標(biāo):以德溫特專利數(shù)據(jù)庫(Derwent Innovations Index,DII)為基準(zhǔn)采集。

    期刊編委任職:SCI收錄172個(gè)學(xué)科TOP1%、TOP5%、TOP10%的刊物編委數(shù)據(jù)根據(jù)Thomson發(fā)布的 《2007年期刊引用報(bào)告》(2007 Journal Citation Reports),按期刊影響因子從高到低排序得到,并按Thomson公司2008年10月發(fā)布的ESI-JCR學(xué)科歸類表進(jìn)行歸類。

    國(guó)際一級(jí)學(xué)術(shù)組織任職:以科技部?jī)?nèi)部研究資料“《國(guó)際一級(jí)科學(xué)組織及國(guó)際標(biāo)準(zhǔn)化組織(ISO)名稱》”為基礎(chǔ),檢索各一級(jí)學(xué)術(shù)組織的主席和副主席。

    獲獎(jiǎng):在學(xué)科分類基礎(chǔ)上,采用各學(xué)科的跨學(xué)科加學(xué)科獎(jiǎng)和跨學(xué)科獎(jiǎng)作為評(píng)價(jià)指標(biāo)。獎(jiǎng)勵(lì)列表采用Wikipedia(http://www.wikipedia.org) 給出的 List of prizes,medals,and awards。

    此外,經(jīng)由以上方法構(gòu)建的指標(biāo)體系中的指標(biāo)內(nèi)容和結(jié)構(gòu)是否全面、科學(xué),還需要進(jìn)行信度和效度檢驗(yàn)?;诂F(xiàn)實(shí)的情況,本文將指標(biāo)體系與其他類似的知名研究報(bào)告采用的指標(biāo)體系進(jìn)行了比照分析,結(jié)果顯示采用的指標(biāo)具有較高的相容性。

    3 計(jì)算方法

    (1)學(xué)科排名。學(xué)科排名是國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)的一個(gè)重要基石。21個(gè)學(xué)科中,每個(gè)學(xué)科分別計(jì)算其產(chǎn)出(E1)、效果 (E3)兩類指標(biāo)的得分。E1和E3得分的計(jì)算方法為,其所屬的一級(jí)指標(biāo)分別以最大值為標(biāo)準(zhǔn)進(jìn)行歸一化處理并按等權(quán)加和。另外,E1與E3加和后得到各學(xué)科的綜合得分,并以E1和E3的綜合得分進(jìn)行學(xué)科排名。

    (2)綜合排名。在學(xué)科排名基礎(chǔ)上,按各學(xué)科產(chǎn)出(E1)等權(quán)加和以及效果(E3)等權(quán)加和后,得出機(jī)構(gòu)整體的產(chǎn)出(E1)和效果(E3),效率(E2)指標(biāo)采用機(jī)構(gòu)整體投入和產(chǎn)出進(jìn)行測(cè)算得到機(jī)構(gòu)E2得分,三者加和得到各機(jī)構(gòu)的綜合得分,并以綜合得分進(jìn)行機(jī)構(gòu)學(xué)術(shù)影響力排名。

    (3)數(shù)據(jù)可靠性分析。為了對(duì)評(píng)價(jià)數(shù)據(jù)的可靠性進(jìn)行分析,本文采用兩種數(shù)據(jù)可靠性分析方法:隨機(jī)擾動(dòng)法和最大區(qū)間法。隨機(jī)擾動(dòng)法是指針對(duì)特定數(shù)據(jù)項(xiàng),采用隨機(jī)擾動(dòng)的方式(擾動(dòng)幅度為±10%,±5%等),計(jì)算學(xué)科排名(E1,E3)結(jié)果的變化幅度,其思想是看在其他數(shù)據(jù)不變的情況下,考察某些數(shù)據(jù)在一定范圍內(nèi)變化后,對(duì)最后的指標(biāo)值以及排名結(jié)果會(huì)造成的影響。該方法的運(yùn)用的出發(fā)點(diǎn),主要是考慮到數(shù)據(jù)搜集過程有遺落,缺失或者重復(fù)等不可避免的情況下,產(chǎn)生的影響有多大。最大區(qū)間法是在樣本機(jī)構(gòu)學(xué)科排名(產(chǎn)出指標(biāo)和效果指標(biāo))結(jié)果不變的前提下,計(jì)算各樣本機(jī)構(gòu)各項(xiàng)指標(biāo)變動(dòng)的最大范圍區(qū)間,其思想是在其他數(shù)據(jù)不變的情況下,考察某些數(shù)據(jù)在不對(duì)最終排名結(jié)果產(chǎn)生影響的前提下,其值域的最大范圍,以體現(xiàn)本項(xiàng)數(shù)據(jù)的最大誤差范圍。

    4 實(shí)證結(jié)果

    本文針對(duì)ESI各學(xué)科中的SCI論文總量,或引文總量,或篇均引文排在前100名的國(guó)際上所有類型的研究機(jī)構(gòu)進(jìn)行搜尋和篩選,選出了26個(gè)國(guó)家86個(gè)國(guó)立科研機(jī)構(gòu)進(jìn)行學(xué)術(shù)影響力評(píng)價(jià)。美國(guó)入選機(jī)構(gòu)最多,達(dá)到12個(gè)。美、日、德、加、法5國(guó)入選機(jī)構(gòu)占了全部86個(gè)入選機(jī)構(gòu)的50%。在86個(gè)樣本機(jī)構(gòu)之中,有20個(gè)機(jī)構(gòu)覆蓋了ESI全部21個(gè)學(xué)科(不含多學(xué)科),占總數(shù)的23%,覆蓋16~20個(gè)學(xué)科的機(jī)構(gòu)數(shù)為25個(gè),占總數(shù)的29%,覆蓋11~15個(gè)學(xué)科的機(jī)構(gòu)數(shù)為18個(gè),占總數(shù)的21%,其余23個(gè)機(jī)構(gòu)覆蓋10個(gè)學(xué)科以下(含10個(gè)),占總數(shù)的27%??傮w而言,86個(gè)入選機(jī)構(gòu)絕大多數(shù)覆蓋了21個(gè)學(xué)科(不含多學(xué)科)的全部或多數(shù)學(xué)科。由此可見,從學(xué)科情況的分析結(jié)果來看86個(gè)樣本機(jī)構(gòu)具有可比性。

    此外,本文針對(duì)ESI21個(gè)學(xué)科領(lǐng)域 (不含多學(xué)科),分別得到了以上86個(gè)機(jī)構(gòu)的E1、E3指標(biāo)的學(xué)科排名,并以E1、E3指標(biāo)學(xué)科排名以及E2指標(biāo)機(jī)構(gòu)排名為基礎(chǔ),得到了機(jī)構(gòu)的學(xué)術(shù)影響力總體排名(見表3)。以農(nóng)業(yè)學(xué)科E1指標(biāo)為例,美國(guó)農(nóng)業(yè)部、法國(guó)農(nóng)業(yè)科學(xué)研究院、西班牙科學(xué)研究委員會(huì)、丹麥獸醫(yī)和食品管理局、加拿大農(nóng)業(yè)及農(nóng)業(yè)食品部等機(jī)構(gòu)排名結(jié)果處于前幾位,說明E1指標(biāo)具有合理性。

    表3 農(nóng)業(yè)學(xué)科學(xué)術(shù)影響力排名前七位的機(jī)構(gòu)

    5 結(jié)論與討論

    本文提出了國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力的三個(gè)方面的構(gòu)成要素,即科研產(chǎn)出、效率和效果。同時(shí),按“階梯理論”對(duì)指標(biāo)結(jié)構(gòu)進(jìn)行了設(shè)計(jì),這樣經(jīng)過若干階梯的提升而得到了有較好系統(tǒng)性的指標(biāo)體系,一方面體現(xiàn)了科學(xué)研究的質(zhì)量的重要性,另一方面不同研究水平都能得到體現(xiàn),可以平衡不同階梯指標(biāo)的數(shù)據(jù)的隨機(jī)性。在此基礎(chǔ)上,提出了國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)的指標(biāo)體系,此指標(biāo)體系基于學(xué)科領(lǐng)域,在學(xué)科分析的基礎(chǔ)上進(jìn)行綜合排名。

    本文是對(duì)國(guó)際國(guó)立科研機(jī)構(gòu)學(xué)術(shù)影響力評(píng)價(jià)的一次嘗試,還有一些問題需要進(jìn)一步探討:

    (1)評(píng)價(jià)假設(shè)。國(guó)立科研機(jī)構(gòu)評(píng)價(jià)是基于學(xué)科排名且各學(xué)科均同等重要的假設(shè)前提,E1和E3指標(biāo)評(píng)價(jià)結(jié)果存在學(xué)科覆蓋面越寬的機(jī)構(gòu)占優(yōu)的傾向,即某個(gè)單項(xiàng)學(xué)科優(yōu)秀但學(xué)科覆蓋面相對(duì)較窄的機(jī)構(gòu)排名會(huì)相對(duì)靠后。

    (2)樣本差異性。國(guó)際國(guó)立科研機(jī)構(gòu)大體可分為兩類:一類以美國(guó)農(nóng)業(yè)部為代表的,部委特色和行業(yè)特色明顯的機(jī)構(gòu)。這類機(jī)構(gòu)一方面表現(xiàn)為論文不是機(jī)構(gòu)的主要產(chǎn)出,另一方面是機(jī)構(gòu)的學(xué)科(行業(yè))特色明顯,其相關(guān)(行業(yè))學(xué)科論文總數(shù)占到總論文數(shù)的半數(shù)以上。另一類機(jī)構(gòu)是綜合性的機(jī)構(gòu)(如法國(guó)科研中心、馬普學(xué)會(huì)、中科院等),研究領(lǐng)域覆蓋學(xué)科相對(duì)全面、完整的機(jī)構(gòu)。

    (3)數(shù)據(jù)完整性。盡管理論上對(duì)科研機(jī)構(gòu)學(xué)術(shù)影響力已建立了相對(duì)科學(xué)完整的指標(biāo)體系,但除了基于科學(xué)計(jì)量學(xué)數(shù)據(jù)庫的指標(biāo)易獲得并具有連續(xù)性和可比性外,其他指標(biāo)需要通過其他途徑獲得。由于樣本所在國(guó)家經(jīng)濟(jì)體制差異、統(tǒng)計(jì)口徑不同以及網(wǎng)頁提供信息差異等導(dǎo)致相當(dāng)部分的指標(biāo)數(shù)據(jù)采集不完整而無法使用,例如各機(jī)構(gòu)的經(jīng)費(fèi)數(shù)據(jù)。因此實(shí)際可獲取并具有可比性的指標(biāo)主要是反映基礎(chǔ)研究成果的科學(xué)計(jì)量學(xué)指標(biāo)。

    [1]科技革命與中國(guó)的現(xiàn)代化——關(guān)于中國(guó)面向2050年科技發(fā)展戰(zhàn)略的思考[M].北京:科學(xué)出版社,2009.

    [2] Campbell,D.F.J.The Evaluation of University Research in the United Kingdom and the Netherlands,Germany and Austria.In P.Shapira,S.Kuhlmann(eds)Learning from Science and Technology Policy Evaluation [M].Edward Elgar,2003.98-131.

    [3] Lyall,C.,Bruce,A.,Firn,J.,Firn,M.and tait,J.Assessing end-use relevance of public sector research organizations [J].Research Policy,2004,33(1):73-87.

    [4] Jordan,G.B.and Streit,D.Recognizing the Competing Values in Science and Technology Organization:Implications for Evaluation.In P.Shapira,S.Kuhlmann(eds)Learning from Science and Technology Policy Evaluation [M].Edward Elgar,2003.316-338.

    [5]邱均平等.世界大學(xué)科研競(jìng)爭(zhēng)力排行榜是怎樣產(chǎn)生的?[J].評(píng)價(jià)與管理,2006,4(1):38-43.

    [6] Checkland,P.B.Towards a system-based methodology for real-word problem solving [J].Journal of System Engineering,1972,(3):87-116.

    [7] Jacobs,B.Using soft systems methodology for performance improvement and organizational change in the English national health service [J].Journal of Contingencies and Crisis Management,2004,12(4):138-149.

    [8] 孟 ,John Mingers,劉文斌.關(guān)于構(gòu)建科技評(píng)價(jià)系統(tǒng)的探討 [J].科研管理,2007,28(2):1-8.

    [9] Shapira,P.and S.Kuhlmann(eds).Learning from Science and Technology Policy Evaluation [M].Edward Elgar,2003.

    [10]浙江大學(xué)大學(xué)評(píng)價(jià)研究課題組.大學(xué)評(píng)價(jià)和學(xué)科評(píng)價(jià):指標(biāo)體系設(shè)計(jì)探討 [J].評(píng)價(jià)與管理,2005,3(1):32-42.

    [11] International Institute for Management Development.World Competitiveness Yearbook [R].Lausanne,2004.

    [12] OECD.Main Science and Technology Indicators [S].2003.

    [13] World Economic Forum.Global Competitiveness Report 2002-2003 [M].Oxford:Oxford University Press,2003.

    [14] National Science Board.Science and Engineering Indicators [M].Arlington,VA:National Science Foundation,2006.

    [15] Economic and Social Commission for Western Asia.New Indicators for Science,Technology and Innovation in the Knowledge-Based Society [R].United Nations,New York,2003.

    [16] European Commission.Towards a European Research Area Science,Technology and Innovation Key Figures 2003-2004 [R].European Commission Office SDME 11/16 B-1049 Brussels,2003.

    [17]邱均平等.世界大學(xué)及科研機(jī)構(gòu)競(jìng)爭(zhēng)力排名:國(guó)際化視野下的中國(guó)科學(xué) [EB/OL].http://www.sciencenet.cn/dz/upload/20074160223859.pdf,2009-01-30.

    (責(zé)任編輯 遲鳳玲)

    Study on the Academic Influence Evaluation of National Research Institutes

    Yang Guoliang1,2, W.B.Liu3, Li Xiaoxuan1, Liu Zhiyuan1
    (1.Institute of Policy and Management,Chinese Academy of Sciences,Beijing 100190, China;2.Graduate University, Chinese Academy of Sciences,Beijing 100039, China;3.Kent Bussiness School,University of Kent,CT2 7PE Canterbury,UK)

    G311

    A

    中國(guó)科學(xué)院規(guī)劃戰(zhàn)略局資助項(xiàng)目。

    2010-01-24

    楊國(guó)梁(1977-),男,河北人,中國(guó)科學(xué)院科技政策與管理科學(xué)研究所助理研究員;研究方向:科技評(píng)價(jià)與科技管理。

    猜你喜歡
    科研機(jī)構(gòu)影響力指標(biāo)體系
    天才影響力
    NBA特刊(2018年14期)2018-08-13 08:51:40
    層次分析法在生態(tài)系統(tǒng)健康評(píng)價(jià)指標(biāo)體系中的應(yīng)用
    供給側(cè)改革指標(biāo)體系初探
    黃艷:最深遠(yuǎn)的影響力
    科研機(jī)構(gòu)科技成果規(guī)?;D(zhuǎn)化模式研究
    企業(yè)-科研機(jī)構(gòu)合作創(chuàng)新的演化博弈分析
    3.15消協(xié)三十年十大影響力事件
    傳媒不可估量的影響力
    人間(2015年21期)2015-03-11 15:24:39
    優(yōu)勢(shì)互補(bǔ),共同發(fā)展 德基機(jī)械與多家知名科研機(jī)構(gòu)展開技術(shù)合作
    霍尼韋爾新型制冷劑獲歐盟科研機(jī)構(gòu)認(rèn)可
    亚洲欧美一区二区三区久久| 欧美日韩黄片免| 亚洲少妇的诱惑av| 日本黄色日本黄色录像| 嫁个100分男人电影在线观看 | 蜜桃国产av成人99| kizo精华| 国产福利在线免费观看视频| 狂野欧美激情性xxxx| 国产免费视频播放在线视频| 婷婷色av中文字幕| 欧美日本中文国产一区发布| 亚洲人成电影观看| 91老司机精品| 天堂俺去俺来也www色官网| av欧美777| 免费观看av网站的网址| 性少妇av在线| 91精品伊人久久大香线蕉| 久久精品久久久久久久性| 两个人免费观看高清视频| 精品免费久久久久久久清纯 | 波多野结衣av一区二区av| 大香蕉久久网| 国产精品秋霞免费鲁丝片| 精品少妇久久久久久888优播| 亚洲精品成人av观看孕妇| 亚洲国产看品久久| 一级片免费观看大全| 国产精品人妻久久久影院| 91九色精品人成在线观看| 天天躁夜夜躁狠狠躁躁| 亚洲成人国产一区在线观看 | 久久人人爽人人片av| 国产xxxxx性猛交| 欧美日韩亚洲综合一区二区三区_| 久久性视频一级片| 男女高潮啪啪啪动态图| 国产成人精品久久二区二区免费| 精品一区二区三区av网在线观看 | 国产不卡av网站在线观看| 日本欧美视频一区| 精品国产乱码久久久久久男人| 久久久久久久久久久久大奶| 首页视频小说图片口味搜索 | 午夜激情av网站| 精品少妇久久久久久888优播| 免费看av在线观看网站| 亚洲图色成人| 亚洲成人国产一区在线观看 | 无限看片的www在线观看| 丝袜脚勾引网站| 国产成人系列免费观看| 亚洲成色77777| 日本a在线网址| 丝袜人妻中文字幕| 亚洲精品国产一区二区精华液| 亚洲精品av麻豆狂野| 国产片特级美女逼逼视频| 啦啦啦啦在线视频资源| 女性生殖器流出的白浆| 人体艺术视频欧美日本| 69精品国产乱码久久久| √禁漫天堂资源中文www| 亚洲精品av麻豆狂野| 国产欧美日韩一区二区三区在线| 国产欧美日韩一区二区三 | 欧美黑人欧美精品刺激| 在线看a的网站| 亚洲人成电影免费在线| 亚洲欧洲精品一区二区精品久久久| 亚洲欧美一区二区三区国产| 波多野结衣av一区二区av| 国产一卡二卡三卡精品| 日韩大码丰满熟妇| 欧美另类一区| 手机成人av网站| 精品人妻一区二区三区麻豆| 美女脱内裤让男人舔精品视频| 91国产中文字幕| 成年女人毛片免费观看观看9 | 自线自在国产av| 人妻 亚洲 视频| 久久人妻福利社区极品人妻图片 | 亚洲一区二区三区欧美精品| 国产欧美日韩综合在线一区二区| 99九九在线精品视频| 飞空精品影院首页| 成年av动漫网址| 亚洲欧美激情在线| 亚洲人成网站在线观看播放| 国产精品成人在线| 久久久精品94久久精品| 丰满饥渴人妻一区二区三| 宅男免费午夜| 国产精品久久久久久人妻精品电影 | 在线av久久热| 男男h啪啪无遮挡| 亚洲中文字幕日韩| 精品国产一区二区三区四区第35| 男的添女的下面高潮视频| 日韩制服骚丝袜av| 亚洲精品av麻豆狂野| 黄网站色视频无遮挡免费观看| 黄片小视频在线播放| 亚洲av欧美aⅴ国产| 日韩制服骚丝袜av| 午夜福利视频精品| 国产精品麻豆人妻色哟哟久久| 精品人妻熟女毛片av久久网站| 日韩人妻精品一区2区三区| 国产精品亚洲av一区麻豆| 久久热在线av| 激情视频va一区二区三区| 男女无遮挡免费网站观看| 99国产精品一区二区蜜桃av | 欧美亚洲日本最大视频资源| 1024香蕉在线观看| 亚洲欧美一区二区三区黑人| 一边亲一边摸免费视频| 欧美日韩国产mv在线观看视频| 亚洲精品国产区一区二| 十八禁高潮呻吟视频| 岛国毛片在线播放| 99精品久久久久人妻精品| 日韩大片免费观看网站| 老司机在亚洲福利影院| 韩国精品一区二区三区| 国产三级黄色录像| 男人操女人黄网站| 亚洲欧美清纯卡通| 久久精品久久久久久噜噜老黄| www.熟女人妻精品国产| 日韩免费高清中文字幕av| 天天躁狠狠躁夜夜躁狠狠躁| 国产亚洲精品久久久久5区| 精品久久久久久电影网| 天天躁日日躁夜夜躁夜夜| 亚洲国产看品久久| 亚洲欧洲国产日韩| 在线av久久热| 国产精品免费视频内射| kizo精华| 欧美精品一区二区大全| 欧美日韩福利视频一区二区| 亚洲精品久久午夜乱码| 自线自在国产av| 中文字幕人妻丝袜一区二区| 视频在线观看一区二区三区| 汤姆久久久久久久影院中文字幕| 爱豆传媒免费全集在线观看| 自拍欧美九色日韩亚洲蝌蚪91| 高清av免费在线| 日韩人妻精品一区2区三区| 国产在线观看jvid| 亚洲国产精品999| 久久亚洲精品不卡| 久久精品人人爽人人爽视色| 久久精品亚洲av国产电影网| 精品一区在线观看国产| 中文字幕精品免费在线观看视频| 成年av动漫网址| 在线观看一区二区三区激情| 亚洲av日韩在线播放| 日本wwww免费看| 校园人妻丝袜中文字幕| 亚洲欧美激情在线| 国产欧美日韩精品亚洲av| 免费高清在线观看日韩| 国产成人av教育| av一本久久久久| 亚洲成人免费电影在线观看 | 美女主播在线视频| 婷婷色综合www| 另类精品久久| 精品一品国产午夜福利视频| 精品福利永久在线观看| 天堂8中文在线网| 国产日韩欧美视频二区| 久久天堂一区二区三区四区| 你懂的网址亚洲精品在线观看| 在线观看免费午夜福利视频| 91精品国产国语对白视频| 啦啦啦啦在线视频资源| 考比视频在线观看| 午夜av观看不卡| 一级毛片电影观看| 国产日韩欧美视频二区| 免费女性裸体啪啪无遮挡网站| 女警被强在线播放| 色播在线永久视频| 热99久久久久精品小说推荐| 超色免费av| 亚洲精品国产色婷婷电影| 欧美成人精品欧美一级黄| 亚洲av美国av| 男人操女人黄网站| 最近中文字幕2019免费版| 黄色视频在线播放观看不卡| 婷婷色综合大香蕉| 久久久精品免费免费高清| 亚洲精品国产区一区二| 午夜激情av网站| 日日夜夜操网爽| 男男h啪啪无遮挡| av国产久精品久网站免费入址| 自线自在国产av| 国产在线免费精品| 国产精品三级大全| 亚洲欧美精品综合一区二区三区| 亚洲视频免费观看视频| 男女之事视频高清在线观看 | 天天躁日日躁夜夜躁夜夜| 亚洲av成人不卡在线观看播放网 | 国产伦人伦偷精品视频| 午夜av观看不卡| 麻豆av在线久日| 亚洲中文av在线| 中文字幕亚洲精品专区| av福利片在线| 伊人久久大香线蕉亚洲五| 亚洲欧美中文字幕日韩二区| av国产久精品久网站免费入址| 久久久久久免费高清国产稀缺| 一区二区日韩欧美中文字幕| 男女免费视频国产| 国产精品亚洲av一区麻豆| 午夜91福利影院| 精品人妻一区二区三区麻豆| 母亲3免费完整高清在线观看| 亚洲免费av在线视频| 国产欧美日韩综合在线一区二区| 啦啦啦在线免费观看视频4| 麻豆乱淫一区二区| 男女之事视频高清在线观看 | 操美女的视频在线观看| 在现免费观看毛片| 成人午夜精彩视频在线观看| 久久性视频一级片| 国产男女内射视频| 成年av动漫网址| 黑丝袜美女国产一区| 亚洲伊人久久精品综合| 亚洲欧美一区二区三区久久| 免费少妇av软件| 满18在线观看网站| 国产高清videossex| 久久久久久免费高清国产稀缺| 老汉色av国产亚洲站长工具| 日本色播在线视频| 女性被躁到高潮视频| 久久狼人影院| 大香蕉久久成人网| 一本大道久久a久久精品| 国产成人系列免费观看| 日韩一本色道免费dvd| 午夜91福利影院| 午夜影院在线不卡| 人成视频在线观看免费观看| xxx大片免费视频| 午夜激情av网站| 久久亚洲国产成人精品v| 亚洲国产欧美一区二区综合| 真人做人爱边吃奶动态| 欧美黑人精品巨大| 亚洲人成电影观看| 国产精品熟女久久久久浪| 精品视频人人做人人爽| 波多野结衣一区麻豆| 久久久久网色| 国产91精品成人一区二区三区 | 91精品三级在线观看| 欧美日韩成人在线一区二区| av在线播放精品| 男女午夜视频在线观看| 精品亚洲乱码少妇综合久久| 每晚都被弄得嗷嗷叫到高潮| 日韩av不卡免费在线播放| 欧美精品一区二区免费开放| 欧美亚洲 丝袜 人妻 在线| 精品视频人人做人人爽| 婷婷色综合www| 亚洲自偷自拍图片 自拍| 亚洲自偷自拍图片 自拍| 日韩一区二区三区影片| 国产精品久久久av美女十八| 国产成人精品无人区| bbb黄色大片| 自拍欧美九色日韩亚洲蝌蚪91| 精品一区在线观看国产| 狂野欧美激情性xxxx| 两人在一起打扑克的视频| 极品人妻少妇av视频| 观看av在线不卡| 制服诱惑二区| 亚洲精品乱久久久久久| a 毛片基地| 黄片小视频在线播放| 女警被强在线播放| 国产精品.久久久| 国产一区二区三区av在线| 我的亚洲天堂| av在线老鸭窝| 亚洲国产毛片av蜜桃av| 一级黄片播放器| 亚洲人成77777在线视频| 久久精品国产亚洲av涩爱| 美女中出高潮动态图| 午夜福利,免费看| 男女免费视频国产| 一区二区av电影网| 国产男女内射视频| 99热国产这里只有精品6| 51午夜福利影视在线观看| 老汉色av国产亚洲站长工具| 天天添夜夜摸| 在线观看免费日韩欧美大片| e午夜精品久久久久久久| e午夜精品久久久久久久| 狂野欧美激情性xxxx| 又粗又硬又长又爽又黄的视频| 大码成人一级视频| 成人三级做爰电影| 超碰成人久久| 国产成人系列免费观看| 午夜福利乱码中文字幕| 国产又色又爽无遮挡免| 99re6热这里在线精品视频| 亚洲第一青青草原| 欧美黑人精品巨大| 美女福利国产在线| www日本在线高清视频| 一级a爱视频在线免费观看| 新久久久久国产一级毛片| 女性生殖器流出的白浆| 99国产精品99久久久久| 欧美激情极品国产一区二区三区| 欧美中文综合在线视频| 一区福利在线观看| 中文字幕色久视频| 精品卡一卡二卡四卡免费| 男女床上黄色一级片免费看| 国产成人91sexporn| 下体分泌物呈黄色| 国产又色又爽无遮挡免| 亚洲精品国产一区二区精华液| 久久久精品区二区三区| 九草在线视频观看| 久久人人爽av亚洲精品天堂| 女人高潮潮喷娇喘18禁视频| 男女边摸边吃奶| 女性被躁到高潮视频| 看免费成人av毛片| 国产精品人妻久久久影院| 精品亚洲成a人片在线观看| 亚洲一区二区三区欧美精品| 美女扒开内裤让男人捅视频| 国产xxxxx性猛交| 欧美精品一区二区免费开放| 97人妻天天添夜夜摸| 纵有疾风起免费观看全集完整版| 精品少妇久久久久久888优播| 欧美av亚洲av综合av国产av| 别揉我奶头~嗯~啊~动态视频 | 女人精品久久久久毛片| 久久久久久久国产电影| 交换朋友夫妻互换小说| 91精品伊人久久大香线蕉| 日韩 欧美 亚洲 中文字幕| 这个男人来自地球电影免费观看| 天天躁日日躁夜夜躁夜夜| 天天添夜夜摸| 亚洲欧美日韩高清在线视频 | 高清不卡的av网站| 欧美 日韩 精品 国产| 一区在线观看完整版| 中文乱码字字幕精品一区二区三区| 少妇裸体淫交视频免费看高清 | 欧美在线黄色| 午夜激情久久久久久久| 三上悠亚av全集在线观看| 麻豆国产av国片精品| 日韩 亚洲 欧美在线| 久久精品人人爽人人爽视色| 好男人视频免费观看在线| 国产伦理片在线播放av一区| 一本色道久久久久久精品综合| 国产日韩欧美亚洲二区| 久久精品久久久久久噜噜老黄| 国产成人欧美| 亚洲av国产av综合av卡| 高清欧美精品videossex| 捣出白浆h1v1| 亚洲欧美日韩高清在线视频 | 在线观看国产h片| 久久精品国产a三级三级三级| 老鸭窝网址在线观看| 午夜激情av网站| 大陆偷拍与自拍| 亚洲欧洲日产国产| 涩涩av久久男人的天堂| 女警被强在线播放| 午夜免费成人在线视频| 男人操女人黄网站| 亚洲av综合色区一区| 精品福利永久在线观看| 夜夜骑夜夜射夜夜干| 国产亚洲精品久久久久5区| 久久久久久久精品精品| videos熟女内射| av又黄又爽大尺度在线免费看| 天天躁夜夜躁狠狠躁躁| 99久久精品国产亚洲精品| 婷婷色av中文字幕| 纵有疾风起免费观看全集完整版| 秋霞在线观看毛片| av网站免费在线观看视频| 欧美精品亚洲一区二区| 亚洲av日韩在线播放| 日日摸夜夜添夜夜爱| 黑丝袜美女国产一区| xxxhd国产人妻xxx| 亚洲av美国av| 久久国产精品人妻蜜桃| 免费黄频网站在线观看国产| 免费久久久久久久精品成人欧美视频| 黑人巨大精品欧美一区二区蜜桃| 视频区图区小说| 一级a爱视频在线免费观看| 国产免费现黄频在线看| 王馨瑶露胸无遮挡在线观看| 国产一区二区三区综合在线观看| 欧美中文综合在线视频| 宅男免费午夜| 2018国产大陆天天弄谢| avwww免费| 最新在线观看一区二区三区 | 少妇裸体淫交视频免费看高清 | 19禁男女啪啪无遮挡网站| 人人妻人人添人人爽欧美一区卜| 新久久久久国产一级毛片| 19禁男女啪啪无遮挡网站| netflix在线观看网站| 亚洲国产看品久久| 18在线观看网站| 免费看av在线观看网站| 国产精品国产三级专区第一集| 亚洲成人手机| 大香蕉久久网| 欧美日韩视频高清一区二区三区二| 看十八女毛片水多多多| 人人妻人人添人人爽欧美一区卜| 精品人妻在线不人妻| 一级片'在线观看视频| 精品人妻一区二区三区麻豆| 国产精品免费大片| 欧美在线黄色| 欧美精品av麻豆av| 人妻 亚洲 视频| av片东京热男人的天堂| av网站免费在线观看视频| 亚洲情色 制服丝袜| 各种免费的搞黄视频| 精品亚洲乱码少妇综合久久| 91麻豆av在线| 在线观看人妻少妇| 国产激情久久老熟女| 免费黄频网站在线观看国产| 99精品久久久久人妻精品| 国产野战对白在线观看| 国产成人av教育| 亚洲国产毛片av蜜桃av| 国产一区亚洲一区在线观看| av天堂在线播放| 美女扒开内裤让男人捅视频| 亚洲欧美色中文字幕在线| 又粗又硬又长又爽又黄的视频| 搡老岳熟女国产| 少妇人妻久久综合中文| 日韩电影二区| 大码成人一级视频| 悠悠久久av| 成年人黄色毛片网站| 一级黄片播放器| 女警被强在线播放| 国产爽快片一区二区三区| 日韩一卡2卡3卡4卡2021年| 国产深夜福利视频在线观看| 免费观看人在逋| 99热全是精品| 久久精品成人免费网站| 99九九在线精品视频| 国产av精品麻豆| www.熟女人妻精品国产| 亚洲国产日韩一区二区| 黄色怎么调成土黄色| 老司机影院毛片| 脱女人内裤的视频| 国产一卡二卡三卡精品| 丁香六月欧美| 亚洲国产日韩一区二区| 2021少妇久久久久久久久久久| 人体艺术视频欧美日本| 中文字幕av电影在线播放| 51午夜福利影视在线观看| 婷婷色综合www| 大香蕉久久网| 国产成人精品久久二区二区免费| 国产精品久久久人人做人人爽| 脱女人内裤的视频| 国产三级黄色录像| 国产老妇伦熟女老妇高清| 永久免费av网站大全| 老司机亚洲免费影院| 男女之事视频高清在线观看 | 亚洲国产成人一精品久久久| 波多野结衣一区麻豆| 一个人免费看片子| 亚洲精品乱久久久久久| 老熟女久久久| 久久久久久亚洲精品国产蜜桃av| 亚洲 国产 在线| 国产精品三级大全| 人妻 亚洲 视频| 脱女人内裤的视频| 国产精品.久久久| 国产精品三级大全| 视频区欧美日本亚洲| 丁香六月欧美| 美女大奶头黄色视频| 曰老女人黄片| 中文字幕另类日韩欧美亚洲嫩草| 女性被躁到高潮视频| 性色av乱码一区二区三区2| 日韩一区二区三区影片| 国产色视频综合| 成人国产一区最新在线观看 | 欧美成人午夜精品| 性色av乱码一区二区三区2| 欧美人与性动交α欧美软件| 最近中文字幕2019免费版| 99热全是精品| 亚洲美女黄色视频免费看| 老司机靠b影院| 久9热在线精品视频| 亚洲国产毛片av蜜桃av| 欧美中文综合在线视频| 国产真人三级小视频在线观看| 亚洲欧洲日产国产| 亚洲图色成人| 久久久精品94久久精品| 18禁国产床啪视频网站| 欧美乱码精品一区二区三区| 肉色欧美久久久久久久蜜桃| 国产av国产精品国产| 捣出白浆h1v1| 50天的宝宝边吃奶边哭怎么回事| 欧美日韩亚洲综合一区二区三区_| 美国免费a级毛片| 成人手机av| 亚洲av综合色区一区| 精品久久蜜臀av无| 亚洲精品久久成人aⅴ小说| 欧美黄色淫秽网站| 久久av网站| 国产99久久九九免费精品| 人人妻人人澡人人爽人人夜夜| 咕卡用的链子| 美女脱内裤让男人舔精品视频| 久久影院123| 亚洲国产毛片av蜜桃av| 亚洲免费av在线视频| 亚洲国产精品999| 亚洲欧美日韩高清在线视频 | 免费看av在线观看网站| 日韩中文字幕视频在线看片| 青春草视频在线免费观看| 日日摸夜夜添夜夜爱| 美女脱内裤让男人舔精品视频| 一区二区三区激情视频| 精品国产乱码久久久久久小说| 午夜福利乱码中文字幕| 两个人看的免费小视频| 在线观看免费视频网站a站| 国产成人a∨麻豆精品| 大香蕉久久网| 精品少妇一区二区三区视频日本电影| e午夜精品久久久久久久| 男女床上黄色一级片免费看| 亚洲一区中文字幕在线| bbb黄色大片| kizo精华| 无限看片的www在线观看| 欧美人与性动交α欧美精品济南到| 男人添女人高潮全过程视频| 啦啦啦视频在线资源免费观看| 亚洲国产欧美一区二区综合| 国产亚洲av片在线观看秒播厂| 高潮久久久久久久久久久不卡| 一级片免费观看大全| 国产在线一区二区三区精| 精品一区二区三区av网在线观看 | 亚洲精品国产av成人精品| 日本av免费视频播放| 精品亚洲成国产av| 日本猛色少妇xxxxx猛交久久| www.999成人在线观看| 国产精品熟女久久久久浪| 少妇人妻 视频| 欧美黑人欧美精品刺激| 人妻人人澡人人爽人人| 母亲3免费完整高清在线观看| 亚洲精品国产区一区二| av片东京热男人的天堂| 日韩欧美一区视频在线观看|