• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    歐盟項(xiàng)目ACUMEN的研究人員評(píng)價(jià)方法及啟示

    2016-05-14 02:46耿海英
    現(xiàn)代情報(bào) 2016年7期
    關(guān)鍵詞:歐盟評(píng)價(jià)方法啟示

    耿海英

    〔摘 要〕[目的/意義]研究人員評(píng)價(jià)作為科研評(píng)價(jià)的一部分在科研管理過程中具有重要意義。[方法/過程]介紹了歐盟科研人員評(píng)價(jià)標(biāo)準(zhǔn)聯(lián)合框架ACUMEN的基本情況,闡釋了該項(xiàng)目中研究人員評(píng)價(jià)體系設(shè)計(jì)的思想與模型以及具體的評(píng)價(jià)指標(biāo)和方法,重點(diǎn)分析了該評(píng)價(jià)方法的特點(diǎn)。[結(jié)果/結(jié)論] ACUMEN評(píng)價(jià)方法對(duì)我國(guó)研究人員評(píng)價(jià)實(shí)踐的啟示與思考。

    〔關(guān)鍵詞〕歐盟;ACUMEN;研究人員;評(píng)價(jià)方法;啟示

    DOI:10.3969/j.issn.1008-0821.2016.07.007

    〔中圖分類號(hào)〕G3212 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821(2016)07-0034-07

    同行評(píng)議法是一種重要的研究人員評(píng)價(jià)方法,在科研評(píng)價(jià)工作中發(fā)揮著積極作用,但其評(píng)價(jià)結(jié)果的主觀性,甚至是偏見性問題也不容忽視[1]。隨著文獻(xiàn)計(jì)量學(xué)的發(fā)展,文獻(xiàn)計(jì)量學(xué)方法被引入科研評(píng)價(jià)中。發(fā)表論文數(shù)、被引次數(shù)和h指數(shù)是評(píng)價(jià)研究人員的主要文獻(xiàn)計(jì)量學(xué)指標(biāo)[2],P指數(shù)[3]、Pt指數(shù)[4]等新的綜合評(píng)價(jià)指標(biāo)也逐漸被應(yīng)用到研究人員評(píng)價(jià)中。隨著信息獲取和學(xué)術(shù)交流方式的改變,Altmetrics作為學(xué)術(shù)影響力評(píng)價(jià)方法的有效補(bǔ)充[5-6],可以更充分地了解研究人員的學(xué)術(shù)工作以及他們?cè)趯W(xué)術(shù)界和學(xué)術(shù)界之外的影響[7],但目前以理論研究為主。歐盟項(xiàng)目ACUMEN(Academic Careers Understood through Measurement and Norms,簡(jiǎn)稱ACUMEN)在參考?xì)W盟同行評(píng)議系統(tǒng)基礎(chǔ)上,提出一種包含文獻(xiàn)計(jì)量學(xué)指標(biāo)和Altmetrics指標(biāo)的研究人員綜合評(píng)價(jià)體系。本文以期通過對(duì)ACUMEN評(píng)價(jià)方法的分析,為我國(guó)研究人員評(píng)價(jià)實(shí)踐提供參考。

    1 ACUMEN項(xiàng)目基本情況

    ACUMEN是歐盟的一個(gè)研究人員評(píng)價(jià)標(biāo)準(zhǔn)聯(lián)合研究計(jì)劃,于2010年啟動(dòng),2014年完成,是歐盟第7框架計(jì)劃(FP7)科研體系改革的重要組成部分。ACUMEN由荷蘭萊頓大學(xué)、以色列巴伊蘭大學(xué)、西班牙最高科研理事會(huì)、英國(guó)胡弗漢頓大學(xué)、愛沙尼亞研究委員會(huì)、德國(guó)洪森堡大學(xué)、德國(guó)維爾道應(yīng)用技術(shù)大學(xué)、丹麥哥本哈根大學(xué)皇家圖書情報(bào)學(xué)院和荷蘭皇家科學(xué)院數(shù)字人文組(eHumanities Group-KNAW),共計(jì)9個(gè)研究機(jī)構(gòu)聯(lián)合完成,并由萊頓大學(xué)科學(xué)技術(shù)研究中心(Center for Science and Technology Studies)主任——Paul Wouters擔(dān)任首席研究員[8]。

    ACUMEN項(xiàng)目組指出,目前研究人員評(píng)價(jià)實(shí)踐中存在以下不足之處[9]:(1)目前的研究人員評(píng)價(jià)標(biāo)準(zhǔn)以單學(xué)科評(píng)價(jià)為主,能在一定程度上反映學(xué)術(shù)成果質(zhì)量,但不夠全面。例如,期刊的影響因子和被引次數(shù)等文獻(xiàn)計(jì)量指標(biāo)可在一定程度上反映一篇論文的學(xué)術(shù)質(zhì)量,但卻不能反映出這篇論文與社會(huì)經(jīng)濟(jì)發(fā)展之間的關(guān)系。(2)隨著研究人員規(guī)模的增加,學(xué)術(shù)研究體系的日益復(fù)雜,已有的評(píng)價(jià)方法,如同行評(píng)議法的局限性逐漸顯現(xiàn)。(3)原有的評(píng)價(jià)體系不能評(píng)價(jià)新的知識(shí)創(chuàng)新模式和學(xué)術(shù)交流方式,例如研究人員間以網(wǎng)絡(luò)為媒介進(jìn)行的合作和交流。(4)有些文獻(xiàn)計(jì)量學(xué)指標(biāo)是宏觀、中觀層面的測(cè)度指標(biāo),并不適合微觀層面,如研究人員個(gè)體層面的測(cè)度。(5)原有的評(píng)價(jià)指標(biāo)未涉及性別差異,但由于社會(huì)分工的存在,性別差異帶來的影響確實(shí)存在。

    ACUMEN項(xiàng)目組為解決以上評(píng)價(jià)實(shí)踐中的問題和不足,將項(xiàng)目任務(wù)分為6個(gè)子項(xiàng)目[9]:(1)分析比較了歐洲當(dāng)前的同行評(píng)審系統(tǒng),分析了當(dāng)前評(píng)價(jià)和同行評(píng)審實(shí)踐中的經(jīng)驗(yàn)和觀點(diǎn),深入探索新的個(gè)體研究人員評(píng)價(jià)方法。(2)重點(diǎn)關(guān)注研究人員的網(wǎng)絡(luò)顯示度,開發(fā)了一系列基于網(wǎng)絡(luò)數(shù)據(jù)的評(píng)價(jià)指標(biāo)和工具。(3)研究了學(xué)術(shù)研究如何在網(wǎng)絡(luò)上討論,重點(diǎn)關(guān)注社交媒體平臺(tái)。(4)分析了評(píng)價(jià)指標(biāo)、定性標(biāo)準(zhǔn)和評(píng)價(jià)過程對(duì)女性研究人員職業(yè)發(fā)展的影響。(5)評(píng)估了現(xiàn)有績(jī)效評(píng)價(jià)中的科學(xué)計(jì)量指標(biāo),從已有指標(biāo)中選擇部分指標(biāo),同時(shí)還考慮了指標(biāo)可能的負(fù)面影響,分析了如何使用好指標(biāo)來測(cè)量生產(chǎn)力、影響、合作和多樣性。(6)匯集以上各子項(xiàng)目信息,在以上研究基礎(chǔ)上設(shè)計(jì)出ACUMEN 評(píng)價(jià)指標(biāo)體系,并制定了評(píng)價(jià)實(shí)踐指南。

    ACUMEN設(shè)計(jì)出的研究人員評(píng)價(jià)指標(biāo)體系包含了研究人員學(xué)術(shù)生涯的3個(gè)主要方面(專長(zhǎng)、產(chǎn)出和影響力)。該評(píng)價(jià)指標(biāo)體系能夠凸顯研究人員的成績(jī),更好地展示每一個(gè)研究人員,還可作為傳統(tǒng)個(gè)人簡(jiǎn)歷的補(bǔ)充。

    2 ACUMEN評(píng)價(jià)方法

    21 評(píng)價(jià)思想與模型

    傳統(tǒng)的評(píng)價(jià)過程中,科研績(jī)效評(píng)價(jià)通常是機(jī)構(gòu)、團(tuán)隊(duì)或科研人員產(chǎn)出的直接測(cè)量,研究人員在評(píng)價(jià)過程中僅僅是評(píng)價(jià)對(duì)象而不是重要參與者。評(píng)估者的視野往往局限于特定的評(píng)價(jià),不能對(duì)科研人員在科學(xué)或?qū)W術(shù)系統(tǒng)更高層面的影響力進(jìn)行全面評(píng)價(jià),評(píng)價(jià)過程又往往保密。ACUMEN項(xiàng)目組擯棄以上做法,提出全新的評(píng)價(jià)視角。ACUMEN項(xiàng)目組認(rèn)為評(píng)價(jià)是評(píng)估者與被評(píng)者之間復(fù)雜的互動(dòng)過程,而不是簡(jiǎn)單的研究人員的績(jī)效測(cè)量,評(píng)估者與被評(píng)者之間可以就選擇合適的評(píng)價(jià)標(biāo)準(zhǔn)和評(píng)價(jià)材料進(jìn)行交流;應(yīng)該考慮評(píng)價(jià)系統(tǒng)對(duì)科研人員職業(yè)發(fā)展的影響。同時(shí)還分析比較了不同國(guó)家、不同學(xué)科和不同機(jī)構(gòu)已有的評(píng)價(jià)實(shí)踐,以及這些評(píng)價(jià)實(shí)踐對(duì)科研人員職業(yè)發(fā)展的影響[10]。基于以上思想,ACUMEN項(xiàng)目組提出讓科研人員在評(píng)價(jià)實(shí)踐中發(fā)出自己聲音的評(píng)價(jià)模式。其評(píng)價(jià)模型以研究人員陳述為中心,輻射以專長(zhǎng)、產(chǎn)出和影響力。評(píng)價(jià)模型見圖1。ACUMEN項(xiàng)目組在此模型基礎(chǔ)上設(shè)計(jì)出了一套評(píng)價(jià)工具,即ACUMEN研究人員評(píng)價(jià)指標(biāo)體系。

    22 ACUMEN研究人員評(píng)價(jià)指標(biāo)體系

    ACUMEN研究人員評(píng)價(jià)指標(biāo)體系就是ACUMEN項(xiàng)目組在其評(píng)價(jià)思想和評(píng)價(jià)模型基礎(chǔ)上設(shè)計(jì)出的一套評(píng)價(jià)工具。該指標(biāo)體系包含科研人員3個(gè)方面的主要信息:專長(zhǎng)、產(chǎn)出和影響力。具體有4個(gè)文件組成:陳述與學(xué)術(shù)年齡計(jì)算、專長(zhǎng)、產(chǎn)出和影響力[11]。每一個(gè)研究人員都要填寫這4個(gè)文件,每一個(gè)文件里都包含了研究人員職業(yè)和成績(jī)方面的材料。

    221 文件1——陳述與學(xué)術(shù)年齡計(jì)算

    陳述:學(xué)者可以在此部分闡釋本人作為研究人員的價(jià)值,盡可能輔以證據(jù)。學(xué)者可以陳述本人的主要貢獻(xiàn),比如是在發(fā)表文章方面,還是學(xué)生教育方面抑或是媒體方面,類似于國(guó)內(nèi)人才評(píng)價(jià)(如職稱評(píng)審等)中的個(gè)人主要業(yè)績(jī)的自述部分。

    學(xué)術(shù)年齡:學(xué)術(shù)年齡計(jì)算方法及詳細(xì)說明見表1。

    表1 學(xué)術(shù)年齡計(jì)算方法及說明

    學(xué)術(shù)年齡計(jì)算 說 明

    博士起始日

    博士答辯日

    博士答辯完后養(yǎng)育孩子數(shù)和特殊情況

    學(xué)術(shù)年齡=博士答辯后全職工作年限-養(yǎng)育孩子數(shù)-特殊情況(其中計(jì)算單位都是年)?!肌?學(xué)術(shù)年齡有助于評(píng)委準(zhǔn)確評(píng)判

    其中養(yǎng)育孩子數(shù),如果一個(gè)孩子出生后由本人獨(dú)自撫養(yǎng),則計(jì)數(shù)為1,如果由夫妻兩人撫養(yǎng),則計(jì)數(shù)為05。特殊情況則指由于生病等其他原因而沒有從事學(xué)術(shù)工作的時(shí)間。

    “學(xué)術(shù)年齡”主要是考慮到研究人員真正從事學(xué)術(shù)活動(dòng)的時(shí)間,尤其是女性研究人員。不考慮性別年齡因素而直接對(duì)評(píng)價(jià)結(jié)果進(jìn)行比較顯然有失公允。ACUMEN項(xiàng)目組的調(diào)查結(jié)果證實(shí)了傳統(tǒng)的性別模式,即男性出版物產(chǎn)出數(shù)量平均比女性要高,女性在合著中的地位不能平等地體現(xiàn)出來[12]。因此,ACUMEN項(xiàng)目組在評(píng)價(jià)體系中充分考慮了性別因素。同時(shí),一些研究人員由于撫養(yǎng)孩子、生病或其他原因從事科研活動(dòng)的實(shí)際時(shí)間與工作年限會(huì)有所不同,因此,ACUMEN項(xiàng)目組提出了學(xué)術(shù)年齡的概念。

    222 文件2——專長(zhǎng)

    研究人員可以在此部分闡述自己在學(xué)術(shù)、教學(xué)、技術(shù)、交流、組織等方面的能力,同時(shí)可以輔以定量數(shù)據(jù)或者具體事例加以佐證。具體指標(biāo)和說明詳見表2。

    此部分多是研究人員通過示例或描述來證明自己各方面的專長(zhǎng)或技能,其中很多指標(biāo)在國(guó)內(nèi)研究人員評(píng)價(jià)時(shí)也會(huì)用到,如授課時(shí)間、做報(bào)告、論文獲獎(jiǎng)、接受媒體采訪、行政職務(wù)等。

    223 文件3——產(chǎn)出

    研究人員可以在此部分展示其在學(xué)術(shù)、教學(xué)等方面的成果產(chǎn)出。此部分成果產(chǎn)出不僅包括傳統(tǒng)的期刊論文、圖書、專利等產(chǎn)出,也包括數(shù)據(jù)集、軟件工具等,還包括在社交媒體等網(wǎng)站上的貢獻(xiàn)等,需要有定量數(shù)據(jù)和具體事例加以佐證。具體指標(biāo)和說明詳見表3。

    224 文件4——影響力

    研究人員可以在此部分展示其在科學(xué)或?qū)W術(shù)、社會(huì)、經(jīng)濟(jì)、教學(xué)等方面的影響力,要有定量數(shù)據(jù)或者具體事例加以佐證。具體指標(biāo)和說明詳見表4。

    文件3和文件4則是目前研究人員評(píng)價(jià)中經(jīng)常用到的兩項(xiàng)內(nèi)容,只不過評(píng)價(jià)內(nèi)容更加細(xì)化和全面,而且增加了新型媒體環(huán)境下的產(chǎn)出和影響。如今,學(xué)者可以通過網(wǎng)絡(luò)這種非正式途徑進(jìn)行學(xué)術(shù)交流,如通過個(gè)人網(wǎng)站、研究小組網(wǎng)站、機(jī)構(gòu)庫、預(yù)印本、研究博客或社交網(wǎng)站。研究人員還可以通過添加標(biāo)簽和評(píng)論,與網(wǎng)絡(luò)上他人的出版物進(jìn)行互動(dòng)和反饋[13]。因此,網(wǎng)絡(luò)指標(biāo)和Altmetrics指標(biāo)可以作為傳統(tǒng)影響力指標(biāo)的補(bǔ)充,為測(cè)量學(xué)者和出版物影響力提供了一種新方式[14-15]。ACUMNE主要在“產(chǎn)出”和“影響力”評(píng)價(jià)方面采用了網(wǎng)絡(luò)計(jì)量指標(biāo)和Altmetrics指標(biāo)。

    文件4中引入學(xué)術(shù)搜索引擎數(shù)據(jù)。科研評(píng)價(jià)中常用的數(shù)據(jù)源就是Web of Science和Scopus。Web of Science數(shù)據(jù)庫更傾向于收錄英文語種出版物,而且收錄期刊文獻(xiàn)中社會(huì)科學(xué)中的部分學(xué)科和人文藝術(shù)類覆蓋不足[16]。Scopus數(shù)據(jù)庫系統(tǒng)覆蓋范圍起始于1995年,收錄年限較短,不適于評(píng)價(jià)青年學(xué)者。因此,ACUMEN項(xiàng)目組充分考慮了這些數(shù)據(jù)源的優(yōu)缺點(diǎn),使用這些傳統(tǒng)引文數(shù)據(jù)庫的同時(shí),引入了Google數(shù)據(jù)作為補(bǔ)充,使用了Google Scholar和Google Books引文指標(biāo)以及基于Google Scholar的h指數(shù)。

    文件3和文件4中的指標(biāo)比較全面,但同時(shí)也存在某些指標(biāo)數(shù)據(jù)不易獲?。ㄈ缟虡I(yè)活動(dòng)收入),某些指標(biāo)數(shù)據(jù)可能不真實(shí)(如Altmetrics指標(biāo)數(shù)據(jù))等問題,因此具體使用時(shí)應(yīng)根據(jù)評(píng)價(jià)目的、評(píng)價(jià)對(duì)象、數(shù)據(jù)可獲取性等因素對(duì)指標(biāo)進(jìn)行有選擇性地刪減。

    3 ACUMEN評(píng)價(jià)方法特點(diǎn)

    ACUMEN評(píng)價(jià)方法作為歐盟項(xiàng)目的一個(gè)研究成果,歷經(jīng)5年,其研制過程也是眾多學(xué)者潛心研究的過程。透過其研制過程及各階段研究成果,可發(fā)現(xiàn)該評(píng)價(jià)方法具有以下特點(diǎn)。

    31 研究人員在評(píng)價(jià)過程中扮演著重要的角色

    ACUMEN項(xiàng)目組一改傳統(tǒng)評(píng)價(jià)過程中研究人員僅僅是評(píng)價(jià)對(duì)象的做法,而是讓研究人員在評(píng)價(jià)過程中發(fā)出自己的聲音,具體表現(xiàn)在:(1)研究人員可以在文件1的“陳述”部分以“故事”的形式講述自己所做的主要學(xué)術(shù)成績(jī)、貢獻(xiàn)及社會(huì)經(jīng)濟(jì)價(jià)值等;(2)研究人員可以在其他指標(biāo)部分輔以說明性或證據(jù)式的描述。因此,該方法中研究人員通過示例或描述來證明自己的成績(jī)或技能,而不是僅僅列出成果和活動(dòng)清單。通過研究人員的參與,有助于評(píng)估者了解隱藏于數(shù)字背后的東西。

    32 多維度、多角度綜合評(píng)價(jià)研究人員

    研究人員除了從事科研活動(dòng)有直接的科研產(chǎn)出如論文、圖書等,還有其他職責(zé)或活動(dòng),如教學(xué)、準(zhǔn)備教學(xué)材料,也會(huì)接受媒體采訪,也會(huì)參加企業(yè)活動(dòng)或者參加其他同行評(píng)議活動(dòng)。ACUMEN項(xiàng)目組從科研活動(dòng)的社會(huì)經(jīng)濟(jì)功能出發(fā),從研究人員的專長(zhǎng)、成果產(chǎn)出及影響力3個(gè)維度綜合衡量。其中每一個(gè)維度里又包含多方面,而不僅僅是學(xué)術(shù),如影響力就包括學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)、教學(xué)等多方面。指標(biāo)選取方面既有諸如引文數(shù)這樣的定量指標(biāo),也有獲獎(jiǎng)、受邀講話等之類的定性指標(biāo)。因此,該方法試圖全方位、多視角地反映出研究人員學(xué)術(shù)、社會(huì)、經(jīng)濟(jì)等方面的綜合價(jià)值。

    33 評(píng)價(jià)指標(biāo)體系的靈活性

    ACUMEN研究人員評(píng)價(jià)指標(biāo)體系可謂是一個(gè)針對(duì)研究人員的文件包,但是不同學(xué)科領(lǐng)域研究人員從事的活動(dòng)相差巨大,研究形式各異。人文社會(huì)科學(xué)領(lǐng)域圖書扮演著重要角色,而工程學(xué)領(lǐng)域和應(yīng)用科學(xué)領(lǐng)域會(huì)議論文和技術(shù)參考作品起重要作用[16-17]。如果每位研究人員都填寫統(tǒng)一的文檔表格,則不僅浪費(fèi)時(shí)間精力,也可能不適用。因此,ACUMEN項(xiàng)目組建議不同學(xué)科、不同領(lǐng)域、不同目的的評(píng)估者可以依據(jù)本身的特點(diǎn),對(duì)評(píng)價(jià)指標(biāo)體系進(jìn)行不同程度有針對(duì)性的刪減,僅保留能體現(xiàn)評(píng)價(jià)需求的重要指標(biāo),以減少研究人員的填寫壓力,適應(yīng)具體的評(píng)價(jià)需求。

    34 有相應(yīng)的指南用以指導(dǎo)評(píng)價(jià)

    ACUMEN項(xiàng)目組在設(shè)計(jì)評(píng)價(jià)指標(biāo)體系的同時(shí),創(chuàng)建了評(píng)價(jià)指南,指南里不僅解釋了各種數(shù)據(jù)源的優(yōu)缺點(diǎn),還解釋了各種定量方法和指標(biāo),指出各種方法和指標(biāo)的優(yōu)勢(shì)及不足,指導(dǎo)評(píng)估者根據(jù)其評(píng)價(jià)目的、所在學(xué)科領(lǐng)域選擇適用的評(píng)價(jià)指標(biāo),并通過具體評(píng)價(jià)樣例詳細(xì)說明如何利用此評(píng)價(jià)方法開展評(píng)價(jià)。該指南不僅有利于評(píng)估者和研究人員深入了解此套評(píng)價(jià)方法,有助于評(píng)估者開展評(píng)價(jià),也有利于研究人員參與到評(píng)價(jià)過程。

    4 啟 示

    ACUMEN作為歐盟第7框架計(jì)劃的一個(gè)重要部分,其參與成員機(jī)構(gòu)多達(dá)9個(gè),其中包括多個(gè)從事計(jì)量學(xué)和科學(xué)評(píng)價(jià)的重要研究機(jī)構(gòu)。因此,作為其研究成果的ACUMEN研究人員評(píng)價(jià)方法也體現(xiàn)了歐盟研究人員評(píng)價(jià)發(fā)展的最新趨勢(shì)。ACUMEN評(píng)價(jià)方法對(duì)于我國(guó)研究人員評(píng)價(jià),甚至于科研評(píng)價(jià)實(shí)踐具有一定的啟發(fā)意義。

    41 擴(kuò)展研究人員評(píng)價(jià)內(nèi)容、構(gòu)建多維度的評(píng)價(jià)體系 評(píng)價(jià)是指從人類活動(dòng)的行為中發(fā)現(xiàn)行為的意義與價(jià)值,揭示價(jià)值內(nèi)涵的一種方法與手段,實(shí)質(zhì)是人把握被評(píng)價(jià)對(duì)象對(duì)人類社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展以及人類生存環(huán)境的改善等方面產(chǎn)生的意義與價(jià)值這樣一種觀念性活動(dòng)[18]。由此可推,研究人員的評(píng)價(jià)就是對(duì)研究人員從事學(xué)術(shù)活動(dòng)對(duì)人類社會(huì)發(fā)展、經(jīng)濟(jì)發(fā)展以及人類生存環(huán)境的改善等方面所產(chǎn)生的意義和價(jià)值做出一種觀念性的判斷。因此,研究人員的評(píng)價(jià)體系中應(yīng)納入社會(huì)價(jià)值或公共價(jià)值、經(jīng)濟(jì)價(jià)值之類的考量指標(biāo)。作為科研活動(dòng)主體的研究人員并不是僅僅從事發(fā)表論文、出版圖書等直接的科研活動(dòng),也有其他職責(zé)和活動(dòng),如教學(xué)、接受媒體采訪、參加企業(yè)活動(dòng)或者參與其他同行評(píng)議活動(dòng)。這些活動(dòng)都是重要的評(píng)價(jià)內(nèi)容,因此,簡(jiǎn)單以論文、專利、項(xiàng)目和經(jīng)費(fèi)作為主要評(píng)價(jià)內(nèi)容的學(xué)術(shù)評(píng)價(jià)體系已不適用,需要構(gòu)建全面衡量研究人員的多維度評(píng)價(jià)體系,除評(píng)價(jià)研究人員的學(xué)術(shù)成績(jī)外,還要測(cè)度研究人員教學(xué)、技術(shù)、經(jīng)濟(jì)、社會(huì)和文化方面的影響或價(jià)值。

    42 引入網(wǎng)絡(luò)計(jì)量學(xué)和Altemetrics

    隨著網(wǎng)絡(luò)在社會(huì)生活各方面的滲透和普及、Web20技術(shù)的推廣,各種網(wǎng)絡(luò)平臺(tái)與社交媒體平臺(tái)正在改變著研究人員的科研模式和學(xué)術(shù)交流模式,以及科研成果的傳播與擴(kuò)散方式。傳統(tǒng)文獻(xiàn)數(shù)據(jù)庫已經(jīng)無法滿足目前信息技術(shù)環(huán)境下的科學(xué)評(píng)價(jià),網(wǎng)絡(luò)計(jì)量指標(biāo)與Altemetrics指標(biāo)的加入成為必然。網(wǎng)絡(luò)計(jì)量指標(biāo)在測(cè)度某些學(xué)術(shù)影響力(如學(xué)術(shù)成果的網(wǎng)絡(luò)影響力)或教學(xué)影響力(如網(wǎng)絡(luò)課件的利用情況)時(shí)具有優(yōu)勢(shì),而Altemetrics在測(cè)度社會(huì)影響力時(shí)更具優(yōu)勢(shì)。

    43 分類評(píng)價(jià)、分學(xué)科評(píng)價(jià)

    分類、分學(xué)科是評(píng)價(jià)工作的基本原則。實(shí)際上,即使分類評(píng)價(jià),同一類里,如基礎(chǔ)研究中不同學(xué)科也存在較大差異。評(píng)價(jià)中的很多指標(biāo)(如引用)學(xué)科差異明顯,因此,在考慮學(xué)科差異性基礎(chǔ)上,充分考慮學(xué)科特點(diǎn),有選擇性地制定適用于本學(xué)科的評(píng)價(jià)標(biāo)準(zhǔn),避免“一刀切”現(xiàn)象。2013年底,教育部在《教育部關(guān)于深化高等學(xué)??萍荚u(píng)價(jià)改革的意見》中也曾指出“實(shí)施分類評(píng)價(jià)”,“按照基礎(chǔ)研究、應(yīng)用研究、技術(shù)轉(zhuǎn)移、成果轉(zhuǎn)化等不同工作的特點(diǎn)”建立科學(xué)合理、各有側(cè)重的評(píng)價(jià)標(biāo)準(zhǔn)[19]。

    44 鼓勵(lì)研究人員參與評(píng)價(jià)

    目前我國(guó)科研評(píng)價(jià)過程中,研究人員作為評(píng)價(jià)客體一直處于被評(píng)價(jià)的位置,幾乎不參與到評(píng)價(jià)過程。其實(shí),評(píng)價(jià)與被評(píng)價(jià)應(yīng)該是一個(gè)互動(dòng)的過程,評(píng)估者可能會(huì)對(duì)學(xué)科科學(xué)活動(dòng)缺乏深入了解,在評(píng)價(jià)標(biāo)準(zhǔn)制定的過程中通過與研究人員的溝通交流能夠選取更適用于本學(xué)科、更易被研究人員接受的指標(biāo),這樣也促使研究人員在評(píng)價(jià)之初就對(duì)評(píng)價(jià)方法和指標(biāo)有個(gè)感性認(rèn)識(shí),減少評(píng)價(jià)過程中的抵觸情緒。同時(shí),研究人員參與評(píng)價(jià)還可通過提供定量數(shù)據(jù)的同時(shí)輔以描述性的文字作為定量數(shù)據(jù)的證據(jù)支撐,為評(píng)估者提供參考。

    45 公開評(píng)價(jià)指標(biāo)體系并制定使用指南

    我國(guó)研究人員評(píng)價(jià)體系多是由科研管理者制定,研究人員對(duì)指標(biāo)體系雖有一定了解,但不并深入,很多科研人員不清楚指標(biāo)的具體含義,因此出現(xiàn)了研究人員要求檢索機(jī)構(gòu)檢索其論文“影響因子”的現(xiàn)象。科研管理部門應(yīng)在制定好評(píng)價(jià)指標(biāo)體系后,輔以使用指南,用以解釋需要的數(shù)據(jù)源、指標(biāo)含義、指標(biāo)的使用范圍等,并將這些材料公布于眾,真正做到公開、公平、公正地評(píng)價(jià),讓研究人員了解具體評(píng)價(jià)方法的同時(shí)也能起到研究人員自評(píng)的效果,促使最后評(píng)價(jià)結(jié)果的可靠性。

    參考文獻(xiàn)

    [1]Lee C J,Sugimoto C R,Zhang G,et al.Bias in peer review[J].Journal of the American Society for Information Science and Technology,2013,64(1):2-17.

    [2]王煉.科學(xué)計(jì)量學(xué)應(yīng)用于科研人員績(jī)效評(píng)價(jià)的挑戰(zhàn)[J].科學(xué)學(xué)與科學(xué)技術(shù)管理,2007,28(4):165-168.

    [3]王志軍,鄭德俊.p指數(shù)運(yùn)用于人才評(píng)價(jià)的有效性實(shí)證研究[J].圖書情報(bào)工作,2012,56(14):93-97.

    [4]韓毅,夏慧.時(shí)間因素視角下科研人員評(píng)價(jià)的Pt指數(shù)研究[J].中國(guó)圖書館學(xué)報(bào),2015,(6):73-85.

    [5]Bornmann L.Do altmetrics point to the broader impact of research?An overview of benefits and disadvantages of altmetrics[J].Journal of Informetrics,2014,8(4):895-903.

    [6]Moed H F,Halevi G.Multidimensional assessment of scholarly research impact[J].Journal of the Association for Information Science and Technology,2015,66(10):1988-2002.

    [7]Konkiel S,Scherer D.New opportunities for repositories in the age of altmetrics[J].Bulletin of the American Society for Information Science and Technology,2013,39(4):22-26.

    [8]ACUMEN about[EB/OL].http:∥research-acumen.eu/about,2015-01-25.

    [9]ACUMEN Report Summary-Periodic Report Summary 2[EB/OL].http:∥cordis.europa.eu/result/rcn/157417en.html,2015-01-25.

    [10]ACUMEN Report Summary-Final Report Summary[EB/OL].http:∥cordis.europa.eu/result/rcn/157423en.html,2015-01-25.

    [11]ACUMEN Portfolio[EB/OL].http:∥research-acumen.eu/wp-content/uploads/BlankAcumenPortfolio.v13x.pdf,2015-01-25.

    [12]Van der Weijden I,Calero Medina C.Gender,Academic Position and Scientific Publishing:a bibliometric analysis of the oeuvres of researchers:International Conference on Science and Technology Indicators,Leiden,2014[C].

    [13]Neylon C,Wu S.Article-Level Metrics and the Evolution of Scientific Impact[J].PLoS Biol,2009,7(11):e1000242.

    [14]Bar-Ilan J,Haustein S,Peters I,et al.Beyond citations:Scholars visibility on the social Web:the 17th International Conference on Science and Technology Indicators,Montreal,Canada,2012[C].

    [15]Kousha K,Thelwall M.Web Impact Metrics for Research Assessment[M].Cronin B,Sugimoto C R.Beyond Bibliometrics:Harnessing Multidimensional Indicators of Scholarly Impact.MIT Press,2014.

    [16]Moed H F.Citation Analysis in Research Evaluation[M].Netherland:Springer Netherlands,2005:135.

    [17]Moed H F.Citation Analysis in Research Evaluation[M].Netherland:Springer Netherlands,2005:133-134.

    [18]潘云濤.科技評(píng)價(jià)理論、方法及實(shí)證[G].北京:科學(xué)技術(shù)文獻(xiàn)出版社,2008:1.

    [19]教育部關(guān)于深化高等學(xué)??萍荚u(píng)價(jià)改革的意見[EB/OL].http:∥www.gov.cn/gzdt/2013-12/20/content2551954.htm,2015-01-25.

    (本文責(zé)任編輯:郭沫含)

    猜你喜歡
    歐盟評(píng)價(jià)方法啟示
    歐盟鋼材反傾銷對(duì)酒鋼(集團(tuán))公司出口影響的調(diào)查
    探究反傾銷措施中的價(jià)格承諾
    國(guó)外跨境電子商務(wù)稅收發(fā)展經(jīng)驗(yàn)對(duì)我國(guó)的啟示
    英國(guó)退出歐盟對(duì)市場(chǎng)的沖擊效應(yīng)研究
    亚洲aⅴ乱码一区二区在线播放| 尤物成人国产欧美一区二区三区| 精品少妇黑人巨大在线播放 | 国产精品女同一区二区软件| 亚洲国产色片| 久久久久久久亚洲中文字幕| 亚洲av二区三区四区| 国产精品福利在线免费观看| 亚洲国产欧美人成| 非洲黑人性xxxx精品又粗又长| 欧美一级a爱片免费观看看| 亚洲在线观看片| 国产精品人妻久久久久久| 国产午夜福利久久久久久| 日日啪夜夜撸| 精品人妻偷拍中文字幕| 成人性生交大片免费视频hd| 晚上一个人看的免费电影| 啦啦啦韩国在线观看视频| 亚洲国产日韩欧美精品在线观看| 日本黄色视频三级网站网址| 日韩精品青青久久久久久| av免费观看日本| 少妇的逼好多水| 亚洲va在线va天堂va国产| 欧美高清性xxxxhd video| 欧美人与善性xxx| 神马国产精品三级电影在线观看| 最近视频中文字幕2019在线8| av女优亚洲男人天堂| 国产高清三级在线| 一区二区三区高清视频在线| 国产一区二区在线av高清观看| 日本一二三区视频观看| 日韩视频在线欧美| 亚洲精品亚洲一区二区| 欧美性感艳星| 干丝袜人妻中文字幕| 99久久精品一区二区三区| 你懂的网址亚洲精品在线观看 | 又爽又黄无遮挡网站| 97超碰精品成人国产| 欧美不卡视频在线免费观看| 国产一区有黄有色的免费视频 | 99久久九九国产精品国产免费| 黄片无遮挡物在线观看| 一个人免费在线观看电影| 99热全是精品| 国产成人午夜福利电影在线观看| 日韩一本色道免费dvd| 国产av不卡久久| 在现免费观看毛片| 99热这里只有是精品50| 国产精品综合久久久久久久免费| 欧美性猛交黑人性爽| 国产精品美女特级片免费视频播放器| 国产精品不卡视频一区二区| 久久久午夜欧美精品| 九九热线精品视视频播放| 国产淫片久久久久久久久| 国产色爽女视频免费观看| 99视频精品全部免费 在线| 亚洲av成人精品一二三区| 免费搜索国产男女视频| 99久久成人亚洲精品观看| 国产精品.久久久| 久久精品国产自在天天线| or卡值多少钱| 少妇猛男粗大的猛烈进出视频 | 一本—道久久a久久精品蜜桃钙片 精品乱码久久久久久99久播 | 色视频www国产| 蜜桃久久精品国产亚洲av| 晚上一个人看的免费电影| 极品教师在线视频| 午夜久久久久精精品| 亚洲在线观看片| 精品久久久久久久人妻蜜臀av| 天天一区二区日本电影三级| 亚洲色图av天堂| 成年版毛片免费区| 高清午夜精品一区二区三区| 国产av码专区亚洲av| 欧美精品一区二区大全| 亚洲真实伦在线观看| 黄片无遮挡物在线观看| 黄片wwwwww| 亚洲aⅴ乱码一区二区在线播放| 国产91av在线免费观看| 成年女人看的毛片在线观看| 亚洲av福利一区| 性色avwww在线观看| 国产精品久久久久久久久免| 午夜爱爱视频在线播放| 精品午夜福利在线看| 久久久精品94久久精品| 亚洲国产最新在线播放| 好男人视频免费观看在线| 久久久久网色| 欧美成人免费av一区二区三区| 亚洲三级黄色毛片| av天堂中文字幕网| 男女下面进入的视频免费午夜| 高清av免费在线| 精品久久久久久久末码| 国产成人aa在线观看| 国产中年淑女户外野战色| 国产中年淑女户外野战色| 午夜激情福利司机影院| 午夜久久久久精精品| 99久久九九国产精品国产免费| 中文欧美无线码| 有码 亚洲区| 中文精品一卡2卡3卡4更新| 免费观看人在逋| videossex国产| 国产精品一区www在线观看| 午夜福利视频1000在线观看| 国产麻豆成人av免费视频| 免费看av在线观看网站| 国产亚洲av片在线观看秒播厂 | 我的老师免费观看完整版| 只有这里有精品99| 五月玫瑰六月丁香| 99久久无色码亚洲精品果冻| 韩国av在线不卡| 久久久久久久久久成人| 亚洲欧美成人综合另类久久久 | 成人毛片60女人毛片免费| a级毛片免费高清观看在线播放| 国产视频内射| 亚洲国产精品合色在线| 国产精品一区二区三区四区久久| 女人被狂操c到高潮| 国产白丝娇喘喷水9色精品| 国产精品国产三级国产av玫瑰| 亚洲欧美中文字幕日韩二区| 人妻一区二区av| 日韩伦理黄色片| 午夜福利影视在线免费观看| 久久久精品免费免费高清| 黄片无遮挡物在线观看| 少妇猛男粗大的猛烈进出视频| 精品亚洲成国产av| 日产精品乱码卡一卡2卡三| 亚洲色图综合在线观看| 亚洲伊人色综图| 免费女性裸体啪啪无遮挡网站| √禁漫天堂资源中文www| 国产日韩欧美视频二区| 色94色欧美一区二区| 日韩大片免费观看网站| 精品一区二区三区视频在线| 国产成人一区二区在线| 我的女老师完整版在线观看| 中文字幕最新亚洲高清| freevideosex欧美| 亚洲av日韩在线播放| 制服诱惑二区| 成人18禁高潮啪啪吃奶动态图| 亚洲高清免费不卡视频| 久久久久精品性色| 国产精品国产三级国产专区5o| 涩涩av久久男人的天堂| 久热这里只有精品99| 亚洲人成网站在线观看播放| 成人免费观看视频高清| 欧美精品人与动牲交sv欧美| 欧美精品一区二区免费开放| 亚洲美女视频黄频| 丰满乱子伦码专区| 亚洲国产色片| 国产白丝娇喘喷水9色精品| 爱豆传媒免费全集在线观看| 建设人人有责人人尽责人人享有的| 女性生殖器流出的白浆| 有码 亚洲区| 亚洲成人一二三区av| 国产男女超爽视频在线观看| 国国产精品蜜臀av免费| 丝瓜视频免费看黄片| 天天操日日干夜夜撸| 精品第一国产精品| 国产日韩欧美在线精品| 五月伊人婷婷丁香| 侵犯人妻中文字幕一二三四区| 看免费成人av毛片| 有码 亚洲区| 亚洲国产成人一精品久久久| 精品人妻偷拍中文字幕| 午夜老司机福利剧场| 午夜视频国产福利| 十分钟在线观看高清视频www| 国产成人aa在线观看| 国产在线视频一区二区| 大码成人一级视频| 国产精品蜜桃在线观看| 伊人亚洲综合成人网| 亚洲精品久久午夜乱码| 国产av一区二区精品久久| 99香蕉大伊视频| 中文乱码字字幕精品一区二区三区| 亚洲,欧美,日韩| 国产欧美另类精品又又久久亚洲欧美| 亚洲精品国产av蜜桃| 国产成人精品久久久久久| 丰满迷人的少妇在线观看| 精品亚洲乱码少妇综合久久| 91国产中文字幕| 一本大道久久a久久精品| 亚洲,欧美精品.| 成人国语在线视频| 中文字幕亚洲精品专区| 亚洲av欧美aⅴ国产| 丰满乱子伦码专区| 欧美日韩国产mv在线观看视频| xxx大片免费视频| 青春草亚洲视频在线观看| 国产精品一区www在线观看| 免费人成在线观看视频色| av.在线天堂| 爱豆传媒免费全集在线观看| 中文字幕精品免费在线观看视频 | 日韩人妻精品一区2区三区| 色吧在线观看| 咕卡用的链子| 午夜精品国产一区二区电影| 少妇被粗大的猛进出69影院 | 26uuu在线亚洲综合色| 男女边吃奶边做爰视频| 国产片特级美女逼逼视频| 新久久久久国产一级毛片| 国产探花极品一区二区| 22中文网久久字幕| 国产男人的电影天堂91| av不卡在线播放| 97在线人人人人妻| 色网站视频免费| 日韩制服骚丝袜av| 国产免费一区二区三区四区乱码| av在线app专区| 午夜福利在线观看免费完整高清在| 精品午夜福利在线看| 香蕉精品网在线| 成人毛片a级毛片在线播放| 久久97久久精品| 考比视频在线观看| 一边亲一边摸免费视频| 国产高清三级在线| 色婷婷av一区二区三区视频| 婷婷成人精品国产| 这个男人来自地球电影免费观看 | av国产精品久久久久影院| 精品一品国产午夜福利视频| 日日撸夜夜添| 熟女av电影| 一本—道久久a久久精品蜜桃钙片| 亚洲av综合色区一区| 国产成人精品无人区| 啦啦啦视频在线资源免费观看| 一区二区日韩欧美中文字幕 | 天堂俺去俺来也www色官网| 午夜福利在线观看免费完整高清在| 人人澡人人妻人| 建设人人有责人人尽责人人享有的| 人妻少妇偷人精品九色| 大片免费播放器 马上看| 欧美日韩亚洲高清精品| 成人免费观看视频高清| 免费在线观看黄色视频的| 国产综合精华液| 超碰97精品在线观看| 一本一本久久a久久精品综合妖精 国产伦在线观看视频一区 | 亚洲av免费高清在线观看| 精品人妻一区二区三区麻豆| 亚洲精华国产精华液的使用体验| 超色免费av| 久久青草综合色| 国产一级毛片在线| 国产成人一区二区在线| 免费不卡的大黄色大毛片视频在线观看| 人妻人人澡人人爽人人| 考比视频在线观看| 街头女战士在线观看网站| 夫妻午夜视频| 久久精品国产a三级三级三级| 男女边摸边吃奶| 久久青草综合色| 狠狠精品人妻久久久久久综合| 一级片免费观看大全| 少妇的逼好多水| 麻豆精品久久久久久蜜桃| 国产欧美亚洲国产| 免费高清在线观看视频在线观看| 有码 亚洲区| 性色avwww在线观看| 日本欧美视频一区| 少妇高潮的动态图| 一边亲一边摸免费视频| 国产精品一区www在线观看| 秋霞伦理黄片| 1024视频免费在线观看| 黑人欧美特级aaaaaa片| 国产老妇伦熟女老妇高清| 午夜影院在线不卡| 这个男人来自地球电影免费观看 | 黄片无遮挡物在线观看| 午夜91福利影院| 18+在线观看网站| 日韩av在线免费看完整版不卡| 欧美性感艳星| 欧美 亚洲 国产 日韩一| a级片在线免费高清观看视频| 欧美xxⅹ黑人| 久久这里只有精品19| 欧美日韩国产mv在线观看视频| 亚洲人成网站在线观看播放| 欧美精品人与动牲交sv欧美| 亚洲情色 制服丝袜| 免费黄频网站在线观看国产| 黄色一级大片看看| 国产精品人妻久久久影院| 建设人人有责人人尽责人人享有的| 国产色爽女视频免费观看| 插逼视频在线观看| 人人澡人人妻人| 亚洲丝袜综合中文字幕| 国产熟女午夜一区二区三区| 在线观看免费高清a一片| 欧美精品高潮呻吟av久久| 肉色欧美久久久久久久蜜桃| 男女高潮啪啪啪动态图| 99久久人妻综合| 91精品三级在线观看| 日本vs欧美在线观看视频| 久久久久精品性色| 成人免费观看视频高清| 桃花免费在线播放| 激情视频va一区二区三区| 热99久久久久精品小说推荐| 视频区图区小说| 国产成人aa在线观看| 久久久国产精品麻豆| 制服人妻中文乱码| 丁香六月天网| freevideosex欧美| 亚洲情色 制服丝袜| 999精品在线视频| 高清黄色对白视频在线免费看| 中文字幕av电影在线播放| 久久精品国产鲁丝片午夜精品| 日本黄色日本黄色录像| 国产精品无大码| 国产精品久久久久成人av| 久久精品国产a三级三级三级| 交换朋友夫妻互换小说| 伦理电影免费视频| 18禁观看日本| 国产黄色免费在线视频| 高清欧美精品videossex| 国产成人午夜福利电影在线观看| 草草在线视频免费看| 亚洲欧美清纯卡通| 在线天堂中文资源库| 我的女老师完整版在线观看| 最近的中文字幕免费完整| 久久这里有精品视频免费| 久久这里只有精品19| 久久99热6这里只有精品| 国产白丝娇喘喷水9色精品| 有码 亚洲区| 美女视频免费永久观看网站| 国产女主播在线喷水免费视频网站| 国产成人免费无遮挡视频| 午夜福利乱码中文字幕| 久久精品国产自在天天线| 色婷婷久久久亚洲欧美| 日韩熟女老妇一区二区性免费视频| 亚洲av电影在线观看一区二区三区| 国产亚洲精品第一综合不卡 | 久久精品国产综合久久久 | 777米奇影视久久| 韩国精品一区二区三区 | 熟女人妻精品中文字幕| 天天影视国产精品| 波多野结衣一区麻豆| 精品少妇内射三级| 精品视频人人做人人爽| 日韩av不卡免费在线播放| 91在线精品国自产拍蜜月| 国产精品人妻久久久久久| 美女主播在线视频| 精品少妇黑人巨大在线播放| 桃花免费在线播放| 精品卡一卡二卡四卡免费| 欧美激情国产日韩精品一区| 亚洲精品色激情综合| 女性被躁到高潮视频| 国产一区二区激情短视频 | 国产一区二区在线观看av| 亚洲欧美一区二区三区国产| 深夜精品福利| 亚洲综合色网址| 午夜精品国产一区二区电影| 亚洲第一区二区三区不卡| 欧美精品av麻豆av| 亚洲国产精品国产精品| 制服诱惑二区| 美国免费a级毛片| 99re6热这里在线精品视频| 日本猛色少妇xxxxx猛交久久| 国产精品99久久99久久久不卡 | 精品99又大又爽又粗少妇毛片| 亚洲精品乱码久久久久久按摩| videossex国产| 亚洲精品久久成人aⅴ小说| av片东京热男人的天堂| 欧美 日韩 精品 国产| 日产精品乱码卡一卡2卡三| 最近手机中文字幕大全| 岛国毛片在线播放| 人人妻人人添人人爽欧美一区卜| 在线观看人妻少妇| 成人黄色视频免费在线看| 狂野欧美激情性bbbbbb| 精品熟女少妇av免费看| 亚洲色图综合在线观看| 精品人妻在线不人妻| 少妇人妻 视频| 国产无遮挡羞羞视频在线观看| 不卡视频在线观看欧美| 狂野欧美激情性xxxx在线观看| 欧美成人午夜精品| 国产免费福利视频在线观看| 91久久精品国产一区二区三区| 亚洲精品国产av蜜桃| 免费高清在线观看视频在线观看| 91精品国产国语对白视频| 18禁国产床啪视频网站| 久久久久久伊人网av| 人妻少妇偷人精品九色| 最近最新中文字幕大全免费视频 | 国产免费又黄又爽又色| 久久这里只有精品19| 国产69精品久久久久777片| 久久久久久久久久久久大奶| 成人18禁高潮啪啪吃奶动态图| 一区二区日韩欧美中文字幕 | 免费日韩欧美在线观看| 久久久久精品人妻al黑| 成人18禁高潮啪啪吃奶动态图| 久久毛片免费看一区二区三区| 免费在线观看黄色视频的| 亚洲四区av| 亚洲在久久综合| 七月丁香在线播放| 一二三四在线观看免费中文在 | 99热网站在线观看| 久久精品国产亚洲av天美| 日韩不卡一区二区三区视频在线| 18禁在线无遮挡免费观看视频| 性高湖久久久久久久久免费观看| 国产成人av激情在线播放| 亚洲国产精品999| 制服人妻中文乱码| 国产一级毛片在线| 精品福利永久在线观看| 亚洲四区av| 大陆偷拍与自拍| 午夜福利视频精品| 91精品三级在线观看| 久久午夜综合久久蜜桃| 亚洲丝袜综合中文字幕| 亚洲av福利一区| 国产一区有黄有色的免费视频| 日韩制服骚丝袜av| 欧美成人午夜免费资源| 观看av在线不卡| 在线观看www视频免费| 婷婷色麻豆天堂久久| 午夜激情av网站| 亚洲av欧美aⅴ国产| a级毛片黄视频| 日本-黄色视频高清免费观看| 亚洲婷婷狠狠爱综合网| 国产白丝娇喘喷水9色精品| 亚洲,一卡二卡三卡| 亚洲精品美女久久av网站| 9色porny在线观看| 国产精品国产av在线观看| 国产激情久久老熟女| 久久狼人影院| 中文精品一卡2卡3卡4更新| 精品一品国产午夜福利视频| 久久综合国产亚洲精品| 亚洲人成77777在线视频| a级毛片黄视频| 亚洲色图 男人天堂 中文字幕 | 日本色播在线视频| 欧美精品高潮呻吟av久久| 成人影院久久| 成人免费观看视频高清| av女优亚洲男人天堂| 男女边摸边吃奶| 99热这里只有是精品在线观看| 欧美亚洲 丝袜 人妻 在线| 欧美丝袜亚洲另类| 一个人免费看片子| 日韩中字成人| 成人黄色视频免费在线看| 国产欧美日韩一区二区三区在线| 人人妻人人澡人人看| 十八禁高潮呻吟视频| 日韩三级伦理在线观看| 美女中出高潮动态图| 国产精品欧美亚洲77777| 欧美变态另类bdsm刘玥| 久久综合国产亚洲精品| 欧美激情极品国产一区二区三区 | 青春草视频在线免费观看| 啦啦啦在线观看免费高清www| 亚洲国产看品久久| 伦理电影免费视频| 十八禁网站网址无遮挡| 国产精品久久久久久av不卡| 美女脱内裤让男人舔精品视频| 日本欧美国产在线视频| 91午夜精品亚洲一区二区三区| 建设人人有责人人尽责人人享有的| 一区二区三区精品91| 麻豆乱淫一区二区| 亚洲天堂av无毛| 99久久人妻综合| 18禁裸乳无遮挡动漫免费视频| 一个人免费看片子| 亚洲av福利一区| 成人午夜精彩视频在线观看| 男女高潮啪啪啪动态图| 亚洲成av片中文字幕在线观看 | 国产在视频线精品| 最近最新中文字幕大全免费视频 | 免费看光身美女| 91精品国产国语对白视频| 久久国产精品大桥未久av| 亚洲国产最新在线播放| 亚洲av电影在线进入| 大香蕉97超碰在线| 永久网站在线| 亚洲五月色婷婷综合| 日本与韩国留学比较| 亚洲av综合色区一区| 久久精品久久久久久噜噜老黄| 中文字幕免费在线视频6| 精品久久久久久电影网| 黑人巨大精品欧美一区二区蜜桃 | 亚洲五月色婷婷综合| 午夜av观看不卡| 男人舔女人的私密视频| 日本vs欧美在线观看视频| 一级爰片在线观看| 一级a做视频免费观看| 中国美白少妇内射xxxbb| 久久热在线av| 日韩,欧美,国产一区二区三区| av在线播放精品| 久久女婷五月综合色啪小说| 最近的中文字幕免费完整| 精品久久久久久电影网| 久久亚洲国产成人精品v| 欧美日韩国产mv在线观看视频| 超色免费av| 在线观看一区二区三区激情| 久久综合国产亚洲精品| 日本黄大片高清| 精品99又大又爽又粗少妇毛片| 丰满乱子伦码专区| 一级毛片黄色毛片免费观看视频| 亚洲精品中文字幕在线视频| 国产男人的电影天堂91| 女性生殖器流出的白浆| 最近2019中文字幕mv第一页| 日本wwww免费看| 蜜桃在线观看..| 亚洲综合精品二区| 五月伊人婷婷丁香| 少妇的逼水好多| 一级毛片我不卡| 黄片无遮挡物在线观看| 日韩电影二区| 欧美日韩国产mv在线观看视频| 久久99蜜桃精品久久| 成人综合一区亚洲| 少妇猛男粗大的猛烈进出视频| 91午夜精品亚洲一区二区三区| 男女午夜视频在线观看 | 欧美日韩一区二区视频在线观看视频在线| 婷婷成人精品国产| 多毛熟女@视频| 欧美日韩一区二区视频在线观看视频在线| 成人二区视频| 黑人猛操日本美女一级片| 插逼视频在线观看| 晚上一个人看的免费电影| 精品久久国产蜜桃| 国产熟女欧美一区二区| 欧美3d第一页| 夫妻午夜视频| 99视频精品全部免费 在线| 国产无遮挡羞羞视频在线观看| 免费久久久久久久精品成人欧美视频 | 看十八女毛片水多多多| 国产日韩欧美视频二区| 少妇的丰满在线观看| 亚洲精品美女久久av网站| 免费黄色在线免费观看| 日韩中文字幕视频在线看片|