• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    基于代表作制度的科研成果定量分析評(píng)價(jià)初探

    2022-12-27 13:56:44
    圖書館學(xué)刊 2022年11期
    關(guān)鍵詞:評(píng)價(jià)研究

    溫 暖

    (東北大學(xué)圖書館,遼寧 沈陽(yáng) 110819)

    1 代表作制度

    1.1 代表作制度及研究現(xiàn)狀

    代表作,意指最能體現(xiàn)作者思想水平和藝術(shù)風(fēng)格的作品[1]。在高校和科研機(jī)構(gòu),代表作狹義上可以理解為代表性的學(xué)術(shù)論文著作,通常是在人才遴選、職稱晉升、學(xué)術(shù)評(píng)獎(jiǎng)、項(xiàng)目評(píng)定等評(píng)價(jià)活動(dòng)中,由被評(píng)價(jià)者所提供的最能代表其自身學(xué)術(shù)水平的若干代表性研究成果。在英國(guó)REF(Research Excellence Framework,科研卓越框架)[2]高??蒲性u(píng)估體系中, “科研產(chǎn)出” 模塊賦予了研究成果更寬泛的定義,即除印刷學(xué)術(shù)著作外,研究成果可包括但不限于:新材料、裝置、圖像、手工藝品、產(chǎn)品和建筑物;鑒定報(bào)告或技術(shù)報(bào)告;知識(shí)產(chǎn)權(quán)(專利或其他形式);表演、展覽或活動(dòng);在非印刷媒體上發(fā)表的作品。REF的一個(gè)基本原則是,所有形式的研究成果都將在公平和平等的基礎(chǔ)上進(jìn)行評(píng)估,評(píng)估委員會(huì)不會(huì)將任何特定形式的輸出視為質(zhì)量高于或低于另一種形式。

    高校承擔(dān)著科學(xué)研究的重要職能,是國(guó)家創(chuàng)新體系的重要組成部分,也是我國(guó)科研產(chǎn)出的重要力量。切實(shí)提升研究質(zhì)量和水平,形成一批有分量、有影響、能發(fā)揮作用的高質(zhì)量創(chuàng)新成果,是高校的責(zé)任和使命??茖W(xué)、客觀、公平的科研評(píng)價(jià)體系的構(gòu)建,對(duì)于提升學(xué)術(shù)成果質(zhì)量、端正學(xué)術(shù)風(fēng)氣、營(yíng)造良好的學(xué)術(shù)環(huán)境起著積極的作用。筆者試從代表作角度出發(fā),探討定量分析方法在代表作篩選評(píng)定中應(yīng)用的可行性,圍繞科研評(píng)估中的產(chǎn)出和影響力部分以及科學(xué)計(jì)量學(xué)的基本準(zhǔn)則,擬構(gòu)建多維度的代表作遴選框架。

    代表作制度最早在媒體上公開(kāi)提出見(jiàn)于2003年12月5日《中國(guó)青年報(bào)》的報(bào)道: “為了解決當(dāng)前學(xué)術(shù)成果評(píng)定機(jī)制中‘重?cái)?shù)量輕質(zhì)量’的問(wèn)題,南開(kāi)大學(xué)將在今后的學(xué)術(shù)成果評(píng)定和職務(wù)晉升評(píng)審中實(shí)行‘代表作’制度”[3]。在學(xué)術(shù)論文中的相關(guān)報(bào)道最早見(jiàn)于2006年,北京大學(xué)在中文系等院系試點(diǎn)實(shí)行論文代表作制度[4]。在中國(guó)知網(wǎng)的專業(yè)檢索界面,運(yùn)用如下檢索式:TKA=((′代表作/NEAR 2評(píng)價(jià)′)+(′代表作 /NEAR 2制度′)),進(jìn)行跨庫(kù)檢索,得到211篇論文,去除與科研評(píng)價(jià)和評(píng)估無(wú)關(guān)主題論文后剩余105篇,發(fā)文量趨勢(shì)如圖1所示??傮w來(lái)看研究的體量并不大,相關(guān)研究始于2006年,即北大中文系試點(diǎn)實(shí)行代表作制度,年發(fā)文量在2012年出現(xiàn)過(guò)一次高峰,研究?jī)?nèi)容主要集中在對(duì)代表作制度施行與否的探討,而后回落呈波動(dòng)下降趨勢(shì),直至2021年達(dá)到新的峰值,研究?jī)?nèi)容轉(zhuǎn)向了對(duì)科研評(píng)價(jià)和職稱制度的深化改革以及代表作制度的實(shí)行和推進(jìn),研究層次更深入,觀點(diǎn)更加明確。探究出現(xiàn)這兩次研究熱潮的主要原因,一是國(guó)內(nèi)一些高校推行 “代表作制度” 所引發(fā)的業(yè)內(nèi)熱議,二是國(guó)家有關(guān)部門出臺(tái)相關(guān)政策從而引起國(guó)內(nèi)科研機(jī)構(gòu)的響應(yīng)。

    圖1 代表作制度相關(guān)研究發(fā)文量總體趨勢(shì)

    文獻(xiàn)內(nèi)容采用定量分析進(jìn)行代表作遴選的數(shù)量并不多。劉雪立等[5]提出了利用論文被引頻次基準(zhǔn)線遴選學(xué)者代表作的方法,提出了論文PR8分值指標(biāo);張學(xué)梅[6]以代表作制度為基礎(chǔ),使用h指數(shù)核心法和representative方法選取學(xué)者代表作,對(duì)Prathap提出的z指數(shù)原理進(jìn)行改進(jìn);姜春林等[7-8]探討了科學(xué)計(jì)量方法輔助代表作評(píng)價(jià),探討了代表性論文評(píng)價(jià)指標(biāo)的選取,包括傳統(tǒng)科學(xué)計(jì)量指標(biāo)、引用位置指標(biāo)、社會(huì)網(wǎng)絡(luò)指標(biāo)、替代計(jì)量學(xué)指標(biāo)等,并構(gòu)建了人文社會(huì)科學(xué)代表性論文評(píng)價(jià)指標(biāo)體系;朱軍文等[9]針對(duì)高校科研評(píng)價(jià)定量方法中的質(zhì)量屬性進(jìn)行了細(xì)致的研究。

    相較于國(guó)內(nèi)的推行進(jìn)度以及研究現(xiàn)狀,代表作制度在國(guó)外已推行多年,成為評(píng)價(jià)學(xué)者學(xué)術(shù)水平的慣常手段。如,2005年由美國(guó)加利福尼亞大學(xué)圣地亞哥分校的物理學(xué)家喬治·希爾施(Jorge E.Hirsch)提出的h指數(shù)[10]以及Egghe提出的基于學(xué)者以往貢獻(xiàn)的g指數(shù)[11],從內(nèi)在邏輯上都可以歸結(jié)為代表作制度。放眼全球,國(guó)際學(xué)術(shù)界的慣例以采用同行評(píng)議來(lái)更加客觀地考評(píng)科研人員的成果。2012年12月16日,在美國(guó)加州舊金山舉辦的全美細(xì)胞生物學(xué)學(xué)會(huì)年會(huì)上,部分學(xué)術(shù)期刊的編輯和出版商提出了一系列改善學(xué)術(shù)評(píng)價(jià)的建議,這些建議后來(lái)被稱為《舊金山科研評(píng)價(jià)宣言》(San Francisco Declaration on Research Assessmen,簡(jiǎn)稱DORA),其中強(qiáng)調(diào)研究人員工作的價(jià)值取決于論文的內(nèi)容,而不取決于論文發(fā)表在何種刊物上[12];DORA對(duì)資助機(jī)構(gòu)、科研機(jī)構(gòu)、出版機(jī)構(gòu)、計(jì)量指標(biāo)提供方和研究人員分別給出了建議。目前,已有來(lái)自全球143個(gè)國(guó)家和地區(qū)的18832名科研人員及機(jī)構(gòu)簽署了DORA,共同推動(dòng)著學(xué)術(shù)評(píng)價(jià)向更科學(xué)的方向進(jìn)化。

    綜上,在我國(guó),代表作制度的進(jìn)一步完善和推進(jìn)還依賴于更可靠的政策保障,存在著諸多的可能性,同時(shí)也有更多的研究視角和切入點(diǎn)等待科研評(píng)價(jià)工作者進(jìn)行深入探索。

    1.2 代表作制度與分類評(píng)價(jià)

    如前所述,代表作制度引發(fā)的熱議大多伴隨著國(guó)家有關(guān)部門出臺(tái)的職稱評(píng)定和科技評(píng)價(jià)的相關(guān)政策。早在2018年,中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見(jiàn)》[13](以下簡(jiǎn)稱《意見(jiàn)》)以及《關(guān)于分類推進(jìn)人才評(píng)價(jià)機(jī)制改革的指導(dǎo)意見(jiàn)》[14](以下簡(jiǎn)稱《指導(dǎo)意見(jiàn)》)?!兑庖?jiàn)》指出,推行代表作評(píng)價(jià)制度,注重標(biāo)志性成果的質(zhì)量、貢獻(xiàn)、影響,提出建立科學(xué)的人才分類評(píng)價(jià)體系和機(jī)制,堅(jiān)持分類評(píng)價(jià)的原則,針對(duì)自然科學(xué)、哲學(xué)社會(huì)科學(xué)、軍事科學(xué)等不同學(xué)科門類特點(diǎn),建立分類評(píng)價(jià)指標(biāo)體系和評(píng)價(jià)程序規(guī)范。分類評(píng)價(jià)的內(nèi)涵,即圍繞不同研究層次所側(cè)重的研究目的以及研究成果不同,選擇不同的評(píng)價(jià)主體,采用不同的評(píng)價(jià)標(biāo)準(zhǔn)。例如對(duì)于基礎(chǔ)研究,側(cè)重于探索未知,其研究的成果產(chǎn)出主要是科技論文,因此選擇將論文的創(chuàng)新性作為主要評(píng)價(jià)維度;對(duì)于應(yīng)用研究,其主要目的是為了解決技術(shù)難題以及對(duì)內(nèi)在機(jī)制等的探究,研究活動(dòng)主要圍繞技術(shù)原理和方法等開(kāi)展,因此應(yīng)當(dāng)圍繞應(yīng)用性前景展開(kāi)科學(xué)評(píng)價(jià);對(duì)于試驗(yàn)發(fā)展研究,主要是為了解決現(xiàn)實(shí)生產(chǎn)中遇到的難題而進(jìn)行技術(shù)改進(jìn),那么應(yīng)以解決的實(shí)際問(wèn)題為主要評(píng)價(jià)維度。為貫徹落實(shí)上述《意見(jiàn)》和《指導(dǎo)意見(jiàn)》,近年來(lái)科技部在深化科技評(píng)價(jià)制度改革中,已在國(guó)家科技獎(jiǎng)勵(lì),如自然科學(xué)獎(jiǎng)評(píng)審、科技人才評(píng)價(jià)等領(lǐng)域?qū)嵭辛苏撐拇碜髦贫龋〉昧朔e極成效。

    2020年2月17日,科技部印發(fā)《關(guān)于破除科技評(píng)價(jià)中 “唯論文” 不良導(dǎo)向的若干措施(試行)》[15](以下簡(jiǎn)稱《若干措施》),根據(jù)不同科技活動(dòng)特點(diǎn)分類,提出了評(píng)價(jià)重點(diǎn)和量化指標(biāo),提出對(duì)于基礎(chǔ)研究類科技活動(dòng)、基礎(chǔ)研究類項(xiàng)目(課題)、國(guó)家實(shí)驗(yàn)室、國(guó)家重點(diǎn)實(shí)驗(yàn)室等科學(xué)與工程研究類基地、基礎(chǔ)研究類機(jī)構(gòu)、自然科學(xué)獎(jiǎng)、中青年科技創(chuàng)新領(lǐng)軍人才、重點(diǎn)領(lǐng)域創(chuàng)新團(tuán)隊(duì),對(duì)論文評(píng)價(jià)實(shí)行代表作制度。其中對(duì)于基礎(chǔ)研究類科技活動(dòng),強(qiáng)化代表作同行評(píng)議,實(shí)行定量評(píng)價(jià)與定性評(píng)價(jià)相結(jié)合,重點(diǎn)評(píng)價(jià)學(xué)術(shù)價(jià)值及影響、與當(dāng)次科技評(píng)價(jià)的相關(guān)性以及相關(guān)人員的貢獻(xiàn)等。2020年11月3日,教育部學(xué)位與研究生教育發(fā)展中心公布了《第五輪學(xué)科評(píng)估工作方案》[16],評(píng)估的基本原則是強(qiáng)化分類評(píng)價(jià),強(qiáng)化 “代表作” 和 “典型案例” 評(píng)價(jià),評(píng)價(jià)科研水平不唯論文和獎(jiǎng)項(xiàng),設(shè)置 “代表性學(xué)術(shù)著作” “專利轉(zhuǎn)化” “新藥研發(fā)” 等指標(biāo),進(jìn)行多維度科研成效評(píng)價(jià)。本輪學(xué)科評(píng)估的總體改革思路也進(jìn)一步強(qiáng)化分類特色評(píng)價(jià),評(píng)價(jià)學(xué)術(shù)論文是否聚焦標(biāo)志性學(xué)術(shù)成果,采用 “計(jì)量評(píng)價(jià)與專家評(píng)價(jià)相結(jié)合” “中國(guó)期刊與國(guó)外期刊相結(jié)合” 的 “代表作評(píng)價(jià)” 方法,充分運(yùn)用基于定量數(shù)據(jù)和客觀證據(jù)的專家融合評(píng)價(jià)方法,堅(jiān)持代表性成果專家評(píng)價(jià)與高水平成果定量評(píng)價(jià)相結(jié)合。

    綜上,近年來(lái)國(guó)家有關(guān)部門陸續(xù)出臺(tái)了各項(xiàng)政策措施,以分類評(píng)價(jià)為基本原則實(shí)行代表作制度,明確了將科技評(píng)價(jià)的重點(diǎn)從看數(shù)量轉(zhuǎn)到評(píng)質(zhì)量上來(lái)。而如何科學(xué)合理地制定代表作的遴選標(biāo)準(zhǔn),把握代表性成果專家評(píng)價(jià)以及高水平成果定量評(píng)價(jià)的平衡,需要科研評(píng)價(jià)和決策部門結(jié)合本單位科研工作的現(xiàn)狀進(jìn)行深入探討,同時(shí)也需要結(jié)合長(zhǎng)期的評(píng)價(jià)成效和學(xué)者反饋不斷作出完善調(diào)整。

    2 定量分析方法輔助代表作篩選

    2.1 運(yùn)用定量分析方法篩選代表作的原則

    回歸代表作制度的核心問(wèn)題,一是代表作代表什么,二是代表作如何選擇。《若干措施》里的闡述可以帶給上述兩個(gè)問(wèn)題的啟示是,要依據(jù)分類評(píng)價(jià)的思想,代表作的代表性體現(xiàn)在其所在的研究領(lǐng)域和方向,還要能夠充分反映它的價(jià)值與影響,包括質(zhì)量、成效、特色、貢獻(xiàn)等。而對(duì)于代表性成果的選擇,《若干措施》中指出要堅(jiān)持定量與定性相結(jié)合,同時(shí)對(duì)國(guó)內(nèi)外論文給出了明確的比例要求,以便更合理地確定代表作的數(shù)量。借助科研評(píng)估的邏輯模型也能夠幫助評(píng)估人員定義如何評(píng)價(jià)一個(gè)項(xiàng)目是否成功以及一項(xiàng)有效的評(píng)估所需要獲取的數(shù)據(jù)。一個(gè)邏輯模型通常由投入(Inputs)、產(chǎn)出(Outputs)與成果(Outcomes)3部分組成,其中成果部分也包含了科研產(chǎn)出的影響力,包括學(xué)術(shù)影響力、經(jīng)濟(jì)效益和社會(huì)效益等。普賴斯獎(jiǎng)得主、荷蘭著名科學(xué)計(jì)量學(xué)家Henk F.Moed在關(guān)于科研評(píng)價(jià)的最新論文[17]中提出了一種多維度輸出和影響力模型(見(jiàn)表1),從科學(xué)-學(xué)術(shù)、教育、經(jīng)濟(jì)和技術(shù)、社會(huì)和文化4個(gè)方面概述不同類型的研究成果和影響力,反映了科研績(jī)效評(píng)價(jià)的多維性。

    表1 多維度輸出和影響力模型

    REF也同樣注重科研成果對(duì)經(jīng)濟(jì)、社會(huì)、文化的影響,將 “科研影響力” 納入其評(píng)價(jià)指標(biāo)體系[2](見(jiàn)表2),更加注重跨學(xué)科和合作研究,實(shí)行以同行評(píng)議為主、文獻(xiàn)計(jì)量為輔的評(píng)價(jià)方式。因此在科研評(píng)價(jià)的過(guò)程中,應(yīng)注重多維度的科研產(chǎn)出和影響力,這也是制定代表作篩選定量指標(biāo)時(shí)應(yīng)該充分考量的重要因素。

    表2 REF評(píng)價(jià)指標(biāo)體系

    Henk F.Moed也給出了科研評(píng)估中的文獻(xiàn)計(jì)量和信息計(jì)量指標(biāo),其中不僅包括引文和其他文獻(xiàn)計(jì)量指標(biāo),還包括專利、使用、研究數(shù)據(jù)、聲譽(yù)、網(wǎng)絡(luò)和基礎(chǔ)設(shè)施指標(biāo),以及Altmetrics和經(jīng)濟(jì)計(jì)量、網(wǎng)絡(luò)計(jì)量指標(biāo)[17]。引文數(shù)量是進(jìn)行學(xué)術(shù)影響力的定量評(píng)估時(shí)最常用的指標(biāo)。引文是科學(xué)對(duì)話的一種方法,是作者認(rèn)為對(duì)自己的研究 “有用” 的資料,這同時(shí)也體現(xiàn)了引文含義的復(fù)雜性,它是作者的 “主觀” 判斷,但有多個(gè)作者有這樣的 “主觀” 判斷,其引文的 “數(shù)據(jù)” 則是 “客觀” 的,因此它既是定性的,又是定量的[18]。引文的數(shù)量并不能夠完全體現(xiàn)論文的質(zhì)量,它代表的是論文的有用性或可用性,更多反映的是學(xué)術(shù)論文的影響力及表現(xiàn)。

    綜上,通過(guò)科學(xué)計(jì)量指標(biāo)如基于引文的指標(biāo)進(jìn)行代表性研究成果的篩選和評(píng)定時(shí),應(yīng)遵循科學(xué)性和價(jià)值性的原則,必須將多維度的影響力作為指導(dǎo)思想,采用的評(píng)價(jià)方法應(yīng)該直接并易于解釋,以便其他人能夠理解并進(jìn)行核查,即公開(kāi)、客觀地呈現(xiàn)評(píng)估結(jié)果,這也是運(yùn)用科學(xué)計(jì)量學(xué)的最高準(zhǔn)則。要強(qiáng)調(diào)的是,基于引文分析的定量方法并不能取代專家評(píng)議的定性分析,正如比利時(shí)著名科學(xué)計(jì)量學(xué)家魯索(Ronald Rousseau)所說(shuō),運(yùn)用文獻(xiàn)計(jì)量學(xué)指標(biāo)是為了能夠?qū)ρ芯抗ぷ鬟M(jìn)行觀察和評(píng)論,從而使專家掌握足夠的信息,形成根據(jù)更充分的意見(jiàn),并在更高的信息集成水平上更具權(quán)威性。REF2021采用定性與定量結(jié)合的綜合評(píng)價(jià)方法,評(píng)估小組需要在正式評(píng)價(jià)階段向各專家組提供高校提交的科研成果的引用數(shù)等定量數(shù)據(jù),作為同行評(píng)議的參考。

    2.2 定量指標(biāo)的確定

    通過(guò)詳細(xì)解讀《若干措施》中關(guān)于對(duì)論文評(píng)價(jià)實(shí)行代表作制度的具體評(píng)價(jià)要求,可以得出如下結(jié)論,即對(duì)于代表性論文的評(píng)價(jià)和篩選,應(yīng)當(dāng)充分體現(xiàn)創(chuàng)新性和前沿性,并始終圍繞著科研成果的影響力而展開(kāi),包括學(xué)術(shù)影響和經(jīng)濟(jì)社會(huì)影響。其中創(chuàng)新思想是科研評(píng)價(jià)的核心指標(biāo),學(xué)術(shù)影響力和社會(huì)影響力是科研評(píng)價(jià)的重要指標(biāo),同時(shí)也要考慮學(xué)者在團(tuán)隊(duì)中的參與度和貢獻(xiàn)度。結(jié)合東北大學(xué)訂購(gòu)的科研分析評(píng)價(jià)平臺(tái)和工具,筆者擬從創(chuàng)新性、國(guó)際前沿性、國(guó)際學(xué)術(shù)影響力、經(jīng)濟(jì)社會(huì)影響力以及合著中的主導(dǎo)性5個(gè)維度來(lái)選取代表性論文的定量評(píng)價(jià)指標(biāo)。

    (1)創(chuàng)新性

    衡量科技論文的創(chuàng)新性,使用頻率最高的是傳統(tǒng)科學(xué)計(jì)量指標(biāo)中的引文數(shù)量,即論文自發(fā)表以來(lái)統(tǒng)計(jì)當(dāng)年被引用的次數(shù),通常直接用被引頻次來(lái)表示。通常情況下,如果一篇論文被引頻次越高,說(shuō)明該論文被同行重視的程度越高,其學(xué)術(shù)影響力也就越大,國(guó)際上已廣泛接受將其作為一種對(duì)論文質(zhì)量進(jìn)行后期評(píng)估的主要方式和重要的綜合評(píng)價(jià)定量指標(biāo)。借助科學(xué)引文索引(SCI),通過(guò)引文網(wǎng)絡(luò)分析,可以從一篇高質(zhì)量的論文出發(fā),深入了解一項(xiàng)科學(xué)研究的來(lái)龍去脈,同時(shí)發(fā)現(xiàn)科研脈絡(luò)中的開(kāi)拓性、新領(lǐng)域和新的研究分支。除被引頻次外,也可以參考與引用論文數(shù)量相關(guān)的其他指標(biāo),如h指數(shù)、平均被引用數(shù)量和論文被引百分比等進(jìn)行輔助評(píng)價(jià)。

    (2)國(guó)際前沿性

    掌握科研的動(dòng)態(tài)和進(jìn)展尤其是跟蹤新興專業(yè)領(lǐng)域?qū)τ趧?chuàng)新科研工作來(lái)說(shuō)具有重要意義。由前述的引文思想可知,通過(guò)持續(xù)跟蹤全球重要的科研動(dòng)態(tài)和學(xué)術(shù)論文,研究分析論文被引用的模式和聚類,特別是成簇的高被引論文頻繁地共同被引用的情況,可以發(fā)現(xiàn)研究前沿。在ESI(Essential Science Indicators,基本科學(xué)指標(biāo))數(shù)據(jù)庫(kù)中,通過(guò)聚類分析方法測(cè)度高被引論文之間的共被引關(guān)系而形成高被引論文的聚類,再通過(guò)對(duì)聚類中論文題目的分析形成了相應(yīng)的研究前沿(Research Fronts)[19]。研究前沿是一組高被引論文,是通過(guò)聚類分析確定的核心論文。通過(guò)查看和對(duì)比學(xué)者及其所在團(tuán)隊(duì)的學(xué)術(shù)論文在研究前沿中的命中數(shù)量,可以了解其科研產(chǎn)出與相關(guān)的國(guó)際前沿是否具有主題上的關(guān)聯(lián)性,如,哪篇論文奠定了課題基礎(chǔ),哪篇論文為最新研究成果,哪篇論文開(kāi)創(chuàng)了新的研究分支等,以掌握科研成果在研究前沿中的參與度。

    (3)國(guó)際學(xué)術(shù)影響力

    由于引文數(shù)據(jù)會(huì)受到學(xué)科、發(fā)表年份和文獻(xiàn)類型等影響,進(jìn)行國(guó)際學(xué)術(shù)影響力評(píng)價(jià)要特別注意遴選指標(biāo)的標(biāo)準(zhǔn)化。常用的規(guī)范化的指標(biāo)包括CNCI(Category Normalized Citation Impact,學(xué)科規(guī)范化引文影響力)、百分位等。CNCI是通過(guò)計(jì)算單篇論文的實(shí)際被引次數(shù)除以同文獻(xiàn)類型、同出版年、同學(xué)科領(lǐng)域的期望被引次數(shù)而獲得的[20],如果一篇文獻(xiàn)被劃歸至多于一個(gè)學(xué)科領(lǐng)域時(shí),那么就采用它的使用實(shí)際被引次數(shù)與期望被引次數(shù)比值的平均值。由于CNCI是一個(gè)排除了出版年、學(xué)科領(lǐng)域與文獻(xiàn)類型作用的無(wú)偏差影響力指標(biāo),因此極具權(quán)威性、客觀性,可直接反映高校、科研機(jī)構(gòu)及研究院所的科研成果產(chǎn)出能力的大小。2019年1月,中國(guó)農(nóng)業(yè)科學(xué)院利用論文的CNCI指標(biāo),評(píng)選出了20篇2014—2018年中長(zhǎng)期代表作論文[21]。百分位是基于同行比較,依據(jù)在同行中所處的位置來(lái)衡量論文引用的活躍度。

    除考慮論文的影響力之外,期刊的影響力級(jí)別也是衡量代表作的重要指標(biāo)。對(duì)于期刊級(jí)別的規(guī)定,《若干措施》中明確指出要鼓勵(lì)發(fā)表高質(zhì)量論文,包括發(fā)表在具有國(guó)際影響力的國(guó)內(nèi)科技期刊、業(yè)界公認(rèn)的國(guó)際頂級(jí)或重要科技期刊的論文以及在國(guó)內(nèi)外頂級(jí)學(xué)術(shù)會(huì)議上進(jìn)行報(bào)告的論文[15],即 “三高論文” ,對(duì)于上述期刊的界定標(biāo)準(zhǔn)都有著各自明確的規(guī)定。同時(shí),對(duì)于期刊水平和影響力的評(píng)定,可以參考JIF期刊影響因子和分區(qū)、JNCI(Journal Normalized Citation Impact)期刊規(guī)范化的引文影響力等行業(yè)內(nèi)公認(rèn)、客觀的定量指標(biāo)。

    另外,同樣也可以從引文影響力的角度即發(fā)散的角度,通過(guò)對(duì)核心論文的施引文獻(xiàn)進(jìn)行分析,進(jìn)一步了解核心論文的國(guó)際影響力。查看施引文獻(xiàn)是否為高被引或熱點(diǎn)論文,有多少篇高被引或熱點(diǎn)論文,反映施引文獻(xiàn)的影響力;查看施引作者的學(xué)術(shù)成就、研究領(lǐng)域,是否每年都有新的學(xué)者引用了核心論文等,反映研究的水平和熱度增長(zhǎng)態(tài)勢(shì);也可以通過(guò)查看施引期刊的分區(qū)分布、施引機(jī)構(gòu)分布、施引論文的學(xué)科交叉與分布等情況,反映論文的學(xué)術(shù)影響力和水平。

    (4)經(jīng)濟(jì)社會(huì)影響力

    從定量的角度衡量學(xué)術(shù)論文的經(jīng)濟(jì)社會(huì)影響,可以采用論文的專利引用情況、藥物研發(fā)應(yīng)用情況、橫向合作情況以及企業(yè)基金資助情況等經(jīng)濟(jì)和社會(huì)化指標(biāo)。

    (5)合著中的主導(dǎo)性

    通過(guò)作者在論文署名當(dāng)中的排序情況(如第一作者、通訊作者)和單位署名情況,可以較為客觀地反映其在合著中的主導(dǎo)性,從側(cè)面反映出其參與成果產(chǎn)出的貢獻(xiàn)度。

    將上述的相關(guān)指標(biāo)總結(jié)如圖2所示,初步形成了基于定量指標(biāo)的代表性研究成果遴選框架。其中各個(gè)評(píng)價(jià)指標(biāo)體系的權(quán)重分配因科研機(jī)構(gòu)及學(xué)科領(lǐng)域不同存在著較大的差異性,最終應(yīng)結(jié)合實(shí)際情況,通過(guò)咨詢專家來(lái)確定。

    圖2 基于定量指標(biāo)的代表性研究成果遴選框架

    3 結(jié)語(yǔ)

    筆者概述了代表作制度在國(guó)內(nèi)外科研評(píng)價(jià)領(lǐng)域的研究現(xiàn)狀和推廣情況,明確了代表作制度應(yīng)以分類評(píng)價(jià)作為基本準(zhǔn)則。探討了運(yùn)用定量分析方法篩選代表作應(yīng)遵循的原則,圍繞多維度的影響力試選取了代表性論文的部分定量指標(biāo)。筆者堅(jiān)持高水平成果定量評(píng)價(jià)與代表性成果專家評(píng)價(jià)相結(jié)合,即定量分析與同行評(píng)議結(jié)合的方法。在同行評(píng)議的基礎(chǔ)上,結(jié)合科學(xué)計(jì)量學(xué)的深入分析,目的是為評(píng)估人員和科研決策者提供更加客觀、準(zhǔn)確的信息。

    高校圖書館是高校信息服務(wù)的重要陣地,承擔(dān)著為學(xué)校教學(xué)科研提供資源保障和智力支持的重要職責(zé)。研究型大學(xué)圖書館應(yīng)當(dāng)充分利用自身的資源優(yōu)勢(shì)、學(xué)科館員的專業(yè)優(yōu)勢(shì)以及獨(dú)立于管理決策層和科學(xué)研究層的第三方優(yōu)勢(shì),利用文獻(xiàn)計(jì)量學(xué)定量評(píng)估的手段,積極主動(dòng)地參與到高??蒲锌?jī)效管理與評(píng)估的工作中去,促進(jìn)高??茖W(xué)研究、學(xué)科建設(shè)和人才培養(yǎng)。

    人才評(píng)價(jià)由于涉及到多方面的因素,是一項(xiàng)十分復(fù)雜的工作。代表作制度的推廣和實(shí)踐,有賴于長(zhǎng)期的探索和修正,科研評(píng)價(jià)應(yīng)當(dāng)始終堅(jiān)持以創(chuàng)新質(zhì)量和學(xué)術(shù)貢獻(xiàn)度、影響力為核心的評(píng)價(jià)導(dǎo)向,充分參考和借鑒國(guó)外先進(jìn)的科研評(píng)價(jià)體系和模式,不斷探索建立更加符合本機(jī)構(gòu)科研實(shí)際的論文評(píng)價(jià)指標(biāo),推動(dòng)傳統(tǒng) “以刊論文” 與 “唯影響因子” 式評(píng)價(jià)向?qū)φ撐谋旧碣|(zhì)量的評(píng)價(jià)轉(zhuǎn)變。

    猜你喜歡
    評(píng)價(jià)研究
    FMS與YBT相關(guān)性的實(shí)證研究
    SBR改性瀝青的穩(wěn)定性評(píng)價(jià)
    石油瀝青(2021年4期)2021-10-14 08:50:44
    2020年國(guó)內(nèi)翻譯研究述評(píng)
    遼代千人邑研究述論
    中藥治療室性早搏系統(tǒng)評(píng)價(jià)再評(píng)價(jià)
    視錯(cuò)覺(jué)在平面設(shè)計(jì)中的應(yīng)用與研究
    科技傳播(2019年22期)2020-01-14 03:06:54
    EMA伺服控制系統(tǒng)研究
    新版C-NCAP側(cè)面碰撞假人損傷研究
    基于Moodle的學(xué)習(xí)評(píng)價(jià)
    關(guān)于項(xiàng)目后評(píng)價(jià)中“專項(xiàng)”后評(píng)價(jià)的探討
    国产精品一区二区在线观看99| 欧美亚洲日本最大视频资源| 两性夫妻黄色片| av欧美777| 热99国产精品久久久久久7| 日韩有码中文字幕| 国产欧美日韩精品亚洲av| 亚洲欧美色中文字幕在线| 午夜福利在线观看吧| 法律面前人人平等表现在哪些方面| 午夜福利在线免费观看网站| 欧美日韩黄片免| 久久热在线av| 青草久久国产| 精品国产乱子伦一区二区三区| 欧美亚洲 丝袜 人妻 在线| 色94色欧美一区二区| 巨乳人妻的诱惑在线观看| 国产无遮挡羞羞视频在线观看| 精品国内亚洲2022精品成人 | 亚洲国产成人一精品久久久| 亚洲av片天天在线观看| 中文字幕色久视频| 超色免费av| 国产伦人伦偷精品视频| a级片在线免费高清观看视频| 99久久99久久久精品蜜桃| 精品久久蜜臀av无| 日本av免费视频播放| 久久99一区二区三区| 精品少妇黑人巨大在线播放| 国产xxxxx性猛交| 美国免费a级毛片| 亚洲精品久久午夜乱码| av又黄又爽大尺度在线免费看| 操出白浆在线播放| 后天国语完整版免费观看| 欧美激情高清一区二区三区| 国产男女超爽视频在线观看| 亚洲成人免费av在线播放| 国产精品久久久久久精品古装| 亚洲熟女毛片儿| 亚洲精品久久午夜乱码| 别揉我奶头~嗯~啊~动态视频| 99精国产麻豆久久婷婷| 考比视频在线观看| 老汉色∧v一级毛片| 成人永久免费在线观看视频 | 欧美日韩精品网址| 国产成人啪精品午夜网站| 国产成人影院久久av| 欧美日本中文国产一区发布| 欧美亚洲日本最大视频资源| 一本综合久久免费| 亚洲欧洲精品一区二区精品久久久| 99香蕉大伊视频| 人成视频在线观看免费观看| 国产欧美日韩精品亚洲av| 久久狼人影院| 男人舔女人的私密视频| 色播在线永久视频| 色视频在线一区二区三区| 国产单亲对白刺激| 十八禁人妻一区二区| 女性生殖器流出的白浆| 他把我摸到了高潮在线观看 | 精品免费久久久久久久清纯 | 新久久久久国产一级毛片| 国产精品99久久99久久久不卡| 色综合婷婷激情| 黄色丝袜av网址大全| 高清av免费在线| 91国产中文字幕| 国内毛片毛片毛片毛片毛片| 亚洲精品美女久久久久99蜜臀| 国产不卡一卡二| 日韩免费av在线播放| 超碰97精品在线观看| 一本综合久久免费| 久久午夜综合久久蜜桃| 桃花免费在线播放| 久9热在线精品视频| 又大又爽又粗| 天天操日日干夜夜撸| 日本a在线网址| 国产亚洲精品久久久久5区| 精品视频人人做人人爽| 丰满饥渴人妻一区二区三| 少妇 在线观看| 久久国产亚洲av麻豆专区| 正在播放国产对白刺激| 夫妻午夜视频| 男女高潮啪啪啪动态图| 欧美另类亚洲清纯唯美| 精品久久蜜臀av无| 久久久精品国产亚洲av高清涩受| 色精品久久人妻99蜜桃| 在线看a的网站| 欧美激情极品国产一区二区三区| 757午夜福利合集在线观看| 超碰成人久久| 超碰成人久久| 欧美国产精品va在线观看不卡| 国产成+人综合+亚洲专区| 老司机深夜福利视频在线观看| 日日爽夜夜爽网站| 欧美精品av麻豆av| 女警被强在线播放| 在线看a的网站| avwww免费| 日韩制服丝袜自拍偷拍| 一区二区三区激情视频| 亚洲精品中文字幕在线视频| 午夜免费成人在线视频| 丰满饥渴人妻一区二区三| 亚洲一区中文字幕在线| 午夜福利视频精品| 精品一区二区三区av网在线观看 | 两个人看的免费小视频| 亚洲精品国产色婷婷电影| 国产激情久久老熟女| 国产激情久久老熟女| 丰满迷人的少妇在线观看| 高潮久久久久久久久久久不卡| 欧美一级毛片孕妇| 视频区图区小说| 欧美日韩一级在线毛片| 国产区一区二久久| 成年女人毛片免费观看观看9 | 天堂中文最新版在线下载| 日韩欧美免费精品| 亚洲av第一区精品v没综合| 亚洲av第一区精品v没综合| 母亲3免费完整高清在线观看| 51午夜福利影视在线观看| 一个人免费在线观看的高清视频| 久久国产精品大桥未久av| 91av网站免费观看| 欧美精品一区二区大全| 麻豆av在线久日| 精品国产亚洲在线| av电影中文网址| 国产免费视频播放在线视频| 国产99久久九九免费精品| 久久99热这里只频精品6学生| 久久国产精品人妻蜜桃| 国产精品一区二区在线不卡| 操出白浆在线播放| 亚洲精华国产精华精| 国产精品自产拍在线观看55亚洲 | 涩涩av久久男人的天堂| tube8黄色片| 日韩欧美一区二区三区在线观看 | av网站在线播放免费| 女警被强在线播放| 99久久精品国产亚洲精品| 一区二区av电影网| 成人国产av品久久久| 精品少妇一区二区三区视频日本电影| 国产成人精品久久二区二区免费| 亚洲欧美一区二区三区久久| 国产精品久久久久久精品电影小说| 激情在线观看视频在线高清 | 国产成+人综合+亚洲专区| 日韩免费高清中文字幕av| 亚洲成人手机| 国产高清videossex| 国产区一区二久久| 午夜老司机福利片| 99精品久久久久人妻精品| 亚洲五月婷婷丁香| 两性夫妻黄色片| 男女下面插进去视频免费观看| 欧美激情极品国产一区二区三区| 欧美日本中文国产一区发布| 日韩精品免费视频一区二区三区| 久久久精品免费免费高清| 欧美激情 高清一区二区三区| 天堂动漫精品| 国产成人精品在线电影| cao死你这个sao货| 男女边摸边吃奶| 午夜福利免费观看在线| 色94色欧美一区二区| 久久久久精品人妻al黑| 宅男免费午夜| 国产精品二区激情视频| 久久精品aⅴ一区二区三区四区| 午夜精品国产一区二区电影| 久久精品aⅴ一区二区三区四区| 丝袜喷水一区| www.自偷自拍.com| 无遮挡黄片免费观看| 免费少妇av软件| 亚洲精品一二三| 露出奶头的视频| 亚洲av第一区精品v没综合| 91国产中文字幕| 热99re8久久精品国产| 99精品久久久久人妻精品| 国产精品美女特级片免费视频播放器 | 午夜福利免费观看在线| 丝袜美腿诱惑在线| 亚洲一区二区三区欧美精品| 三级毛片av免费| 99久久精品国产亚洲精品| 久久久久久亚洲精品国产蜜桃av| 日韩一卡2卡3卡4卡2021年| 99久久国产精品久久久| 国产麻豆69| 制服人妻中文乱码| 老司机亚洲免费影院| 欧美国产精品va在线观看不卡| 老熟妇乱子伦视频在线观看| 在线观看66精品国产| 91字幕亚洲| 国产成人系列免费观看| 欧美黑人欧美精品刺激| 男女免费视频国产| 欧美日韩福利视频一区二区| 亚洲国产欧美在线一区| 精品少妇久久久久久888优播| 搡老熟女国产l中国老女人| 国产视频一区二区在线看| 国产精品一区二区精品视频观看| 亚洲精品在线美女| 成人国产一区最新在线观看| 少妇精品久久久久久久| 亚洲精品在线观看二区| 在线观看人妻少妇| kizo精华| 午夜福利免费观看在线| 18禁美女被吸乳视频| 一级片免费观看大全| 日韩有码中文字幕| svipshipincom国产片| 精品高清国产在线一区| 亚洲三区欧美一区| 精品亚洲成a人片在线观看| 精品一品国产午夜福利视频| 女性生殖器流出的白浆| 最新的欧美精品一区二区| 视频区图区小说| 国产成人免费观看mmmm| 精品欧美一区二区三区在线| 人妻久久中文字幕网| 国产亚洲欧美精品永久| 高清av免费在线| 欧美精品av麻豆av| 亚洲精品久久午夜乱码| 亚洲av成人一区二区三| 变态另类成人亚洲欧美熟女 | 99国产精品一区二区三区| 欧美成人午夜精品| 丝瓜视频免费看黄片| 日本五十路高清| 国产不卡一卡二| 啦啦啦 在线观看视频| 久久免费观看电影| 操美女的视频在线观看| 精品国产乱子伦一区二区三区| 9热在线视频观看99| av线在线观看网站| 天堂动漫精品| 在线看a的网站| 桃红色精品国产亚洲av| bbb黄色大片| 免费久久久久久久精品成人欧美视频| 搡老乐熟女国产| 午夜福利视频精品| 亚洲精品成人av观看孕妇| 亚洲 国产 在线| av欧美777| 老司机影院毛片| 99riav亚洲国产免费| 可以免费在线观看a视频的电影网站| 99国产精品99久久久久| 在线观看www视频免费| 久久亚洲精品不卡| 黄色视频在线播放观看不卡| 搡老熟女国产l中国老女人| 悠悠久久av| 国产高清激情床上av| 91av网站免费观看| 精品国产乱码久久久久久小说| 黄片播放在线免费| 9热在线视频观看99| 亚洲第一av免费看| 91成年电影在线观看| 成人手机av| 国产精品亚洲一级av第二区| 亚洲三区欧美一区| 日韩视频在线欧美| 国产亚洲欧美在线一区二区| 亚洲人成电影观看| 91麻豆av在线| 久久精品亚洲精品国产色婷小说| 亚洲精品在线观看二区| 丝袜美腿诱惑在线| 欧美黄色淫秽网站| 99久久99久久久精品蜜桃| 99久久人妻综合| 深夜精品福利| 日本a在线网址| 婷婷丁香在线五月| 国产精品电影一区二区三区 | 久久青草综合色| 欧美日韩黄片免| 两个人免费观看高清视频| 国产一区二区激情短视频| 免费人妻精品一区二区三区视频| 大片电影免费在线观看免费| 一区二区三区国产精品乱码| 每晚都被弄得嗷嗷叫到高潮| 高清视频免费观看一区二区| 久久精品91无色码中文字幕| 自拍欧美九色日韩亚洲蝌蚪91| 免费在线观看视频国产中文字幕亚洲| 成人国产一区最新在线观看| 亚洲国产看品久久| 成人亚洲精品一区在线观看| 国产极品粉嫩免费观看在线| 国产一区二区 视频在线| 女性被躁到高潮视频| 久久久久久久国产电影| 国产又爽黄色视频| 久久久水蜜桃国产精品网| 99riav亚洲国产免费| 成人国产av品久久久| 757午夜福利合集在线观看| 亚洲中文字幕日韩| 午夜免费成人在线视频| 欧美日韩中文字幕国产精品一区二区三区 | 国产精品1区2区在线观看. | 下体分泌物呈黄色| 精品国产一区二区三区四区第35| 性色av乱码一区二区三区2| 欧美黄色淫秽网站| 午夜日韩欧美国产| 丝瓜视频免费看黄片| 日韩三级视频一区二区三区| 香蕉国产在线看| 中文字幕最新亚洲高清| 手机成人av网站| 日韩欧美一区视频在线观看| 香蕉丝袜av| 日韩大片免费观看网站| 91九色精品人成在线观看| av天堂在线播放| 露出奶头的视频| 黄色片一级片一级黄色片| 国产99久久九九免费精品| 狠狠精品人妻久久久久久综合| 亚洲成av片中文字幕在线观看| cao死你这个sao货| av网站在线播放免费| 又黄又粗又硬又大视频| 少妇精品久久久久久久| 亚洲九九香蕉| 操美女的视频在线观看| 天天躁日日躁夜夜躁夜夜| av线在线观看网站| 国产精品一区二区在线观看99| 99热国产这里只有精品6| av国产精品久久久久影院| 国产高清视频在线播放一区| 十八禁网站网址无遮挡| 国产欧美日韩一区二区精品| 久久热在线av| 国产精品久久久久久精品古装| 亚洲成av片中文字幕在线观看| 一区二区三区精品91| 国产一区二区 视频在线| 日本黄色视频三级网站网址 | 午夜福利欧美成人| 视频在线观看一区二区三区| 天堂8中文在线网| 久久久国产欧美日韩av| 久久久久久久精品吃奶| 亚洲欧洲日产国产| 国产亚洲一区二区精品| 久久久精品免费免费高清| av超薄肉色丝袜交足视频| 黄色丝袜av网址大全| 欧美日韩亚洲高清精品| 久久久国产精品麻豆| 亚洲国产av影院在线观看| 国产男女内射视频| 亚洲欧美精品综合一区二区三区| 深夜精品福利| 国产成人av教育| 亚洲中文日韩欧美视频| 极品少妇高潮喷水抽搐| 亚洲七黄色美女视频| 国产人伦9x9x在线观看| 欧美日韩亚洲高清精品| 国产一区二区三区综合在线观看| 国产欧美日韩综合在线一区二区| 国产在视频线精品| av在线播放免费不卡| 亚洲av欧美aⅴ国产| 免费av中文字幕在线| 免费在线观看影片大全网站| www.999成人在线观看| 操美女的视频在线观看| 亚洲自偷自拍图片 自拍| 精品视频人人做人人爽| 国产黄色免费在线视频| 国产一区二区 视频在线| 亚洲国产成人一精品久久久| 日韩熟女老妇一区二区性免费视频| 亚洲成a人片在线一区二区| 国产不卡一卡二| a级毛片在线看网站| 国产精品一区二区免费欧美| 12—13女人毛片做爰片一| 91成年电影在线观看| 亚洲国产欧美在线一区| 亚洲欧美日韩另类电影网站| 人人妻人人爽人人添夜夜欢视频| 最黄视频免费看| 在线观看舔阴道视频| h视频一区二区三区| 中文字幕人妻熟女乱码| 大片免费播放器 马上看| 国产又爽黄色视频| 丝袜人妻中文字幕| av国产精品久久久久影院| 亚洲av成人不卡在线观看播放网| 性色av乱码一区二区三区2| 国产麻豆69| 国产精品1区2区在线观看. | 在线观看免费高清a一片| 少妇粗大呻吟视频| 成在线人永久免费视频| 久久久久国产一级毛片高清牌| 变态另类成人亚洲欧美熟女 | 亚洲性夜色夜夜综合| 一级毛片电影观看| 动漫黄色视频在线观看| 大香蕉久久网| 成人国产av品久久久| 一本一本久久a久久精品综合妖精| 亚洲一卡2卡3卡4卡5卡精品中文| 午夜91福利影院| 国产精品久久久av美女十八| 欧美精品一区二区大全| 91大片在线观看| 人人妻,人人澡人人爽秒播| 狠狠狠狠99中文字幕| 手机成人av网站| 老熟女久久久| av超薄肉色丝袜交足视频| 精品少妇久久久久久888优播| 精品亚洲成a人片在线观看| av超薄肉色丝袜交足视频| 一级毛片女人18水好多| 精品一区二区三卡| 成年人黄色毛片网站| 美女福利国产在线| 国产精品香港三级国产av潘金莲| 精品一区二区三区四区五区乱码| 亚洲欧美日韩另类电影网站| 肉色欧美久久久久久久蜜桃| 人人澡人人妻人| 国产亚洲精品第一综合不卡| 中亚洲国语对白在线视频| 一区二区三区国产精品乱码| 亚洲视频免费观看视频| 日本撒尿小便嘘嘘汇集6| 美女国产高潮福利片在线看| 黑丝袜美女国产一区| 黄片播放在线免费| 啦啦啦免费观看视频1| 久9热在线精品视频| 欧美激情久久久久久爽电影 | 久久久久精品人妻al黑| 色综合欧美亚洲国产小说| 丝袜在线中文字幕| 中文字幕另类日韩欧美亚洲嫩草| 国产日韩一区二区三区精品不卡| 欧美精品高潮呻吟av久久| 女警被强在线播放| 九色亚洲精品在线播放| 天天添夜夜摸| xxxhd国产人妻xxx| 久热这里只有精品99| 黄色片一级片一级黄色片| 黑人巨大精品欧美一区二区mp4| 99在线人妻在线中文字幕 | 最近最新中文字幕大全电影3 | 免费观看av网站的网址| 777久久人妻少妇嫩草av网站| cao死你这个sao货| 建设人人有责人人尽责人人享有的| 一区在线观看完整版| 丝瓜视频免费看黄片| 久久久久视频综合| 午夜福利乱码中文字幕| 国产精品一区二区在线不卡| 成年人免费黄色播放视频| 国产1区2区3区精品| 精品国产乱码久久久久久男人| 一边摸一边抽搐一进一出视频| 亚洲国产欧美一区二区综合| 成人特级黄色片久久久久久久 | 国产精品98久久久久久宅男小说| 日韩大码丰满熟妇| 日韩免费av在线播放| 国产区一区二久久| 久久精品aⅴ一区二区三区四区| 丰满迷人的少妇在线观看| 精品人妻熟女毛片av久久网站| 国产成人免费无遮挡视频| 国内毛片毛片毛片毛片毛片| a级毛片黄视频| 嫁个100分男人电影在线观看| 老熟妇仑乱视频hdxx| 最新在线观看一区二区三区| 久久久精品免费免费高清| 国产成人av激情在线播放| 久久精品人人爽人人爽视色| 一本大道久久a久久精品| a级毛片在线看网站| 亚洲精品中文字幕在线视频| 日本wwww免费看| 欧美av亚洲av综合av国产av| av一本久久久久| 亚洲精品美女久久av网站| 国产免费视频播放在线视频| 精品免费久久久久久久清纯 | 亚洲男人天堂网一区| 成人精品一区二区免费| 国产一区二区三区在线臀色熟女 | 一级毛片精品| 免费高清在线观看日韩| 老司机在亚洲福利影院| 久久久久国内视频| 大型黄色视频在线免费观看| 色综合欧美亚洲国产小说| 精品乱码久久久久久99久播| 午夜日韩欧美国产| 亚洲av欧美aⅴ国产| 国产精品久久久久久精品古装| 日本vs欧美在线观看视频| 久久亚洲精品不卡| av国产精品久久久久影院| 亚洲性夜色夜夜综合| 午夜激情av网站| 免费观看a级毛片全部| 亚洲美女黄片视频| 正在播放国产对白刺激| 视频区欧美日本亚洲| 99re在线观看精品视频| √禁漫天堂资源中文www| 亚洲精品美女久久久久99蜜臀| 91九色精品人成在线观看| 老鸭窝网址在线观看| 妹子高潮喷水视频| 久久久久久亚洲精品国产蜜桃av| 久久毛片免费看一区二区三区| 看免费av毛片| 一夜夜www| 建设人人有责人人尽责人人享有的| 精品国产一区二区久久| 国产主播在线观看一区二区| 夫妻午夜视频| 国产xxxxx性猛交| 老司机午夜福利在线观看视频 | 69av精品久久久久久 | 国产成人精品久久二区二区91| 757午夜福利合集在线观看| 91成年电影在线观看| 大片免费播放器 马上看| 亚洲人成77777在线视频| 亚洲国产欧美网| 99国产综合亚洲精品| 亚洲av片天天在线观看| 成在线人永久免费视频| 女人爽到高潮嗷嗷叫在线视频| 亚洲av电影在线进入| 99精品在免费线老司机午夜| 亚洲精品美女久久久久99蜜臀| 国产aⅴ精品一区二区三区波| 亚洲国产看品久久| 亚洲avbb在线观看| 国产高清激情床上av| 美女扒开内裤让男人捅视频| 久久精品aⅴ一区二区三区四区| 欧美一级毛片孕妇| 精品人妻在线不人妻| 黄色丝袜av网址大全| 另类亚洲欧美激情| 国产精品一区二区在线不卡| 精品乱码久久久久久99久播| 久久久久久久久免费视频了| 一区二区日韩欧美中文字幕| 一级毛片电影观看| 他把我摸到了高潮在线观看 | 两个人免费观看高清视频| 亚洲欧洲精品一区二区精品久久久| 欧美变态另类bdsm刘玥| av网站在线播放免费| 日本欧美视频一区| 婷婷丁香在线五月| 久久狼人影院| 免费av中文字幕在线| 蜜桃在线观看..| 国产成人av激情在线播放| 日本黄色日本黄色录像| 黄色a级毛片大全视频| 亚洲久久久国产精品| 两个人看的免费小视频| 精品久久久久久久毛片微露脸| 在线观看免费视频日本深夜|