• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    質(zhì)量視角下中國區(qū)域人文社科研究水平評(píng)價(jià)研究

    2021-11-22 13:04:08陳玉卿俞立平
    情報(bào)雜志 2021年11期
    關(guān)鍵詞:期刊論文社科標(biāo)準(zhǔn)化

    陳玉卿 俞立平

    (1.貴州財(cái)經(jīng)大學(xué) 貴州綠色發(fā)展戰(zhàn)略高端智庫 貴陽 550025;2.浙江工商大學(xué) 統(tǒng)計(jì)與數(shù)學(xué)學(xué)院 杭州 310018)

    0 引 言

    人文社會(huì)科學(xué)是人類的精神家園,對(duì)人類社會(huì)的發(fā)展具有深遠(yuǎn)的影響。人文科學(xué)主要研究人類社會(huì)的本質(zhì)和發(fā)展規(guī)律,社會(huì)科學(xué)研究社會(huì)整體物質(zhì)客體及其內(nèi)在聯(lián)系,以及人的主體意識(shí)及其內(nèi)在聯(lián)系,廣義的人文社會(huì)科學(xué)一般也稱為哲學(xué)社會(huì)科學(xué)。一個(gè)沒有發(fā)達(dá)的自然科學(xué)的國家不可能走在世界前列,一個(gè)沒有繁榮的哲學(xué)社會(huì)科學(xué)的國家也不可能走在世界前列,這一點(diǎn)已經(jīng)取得人們的普遍共識(shí)。向世界展示中國特色、中國風(fēng)格、中國氣派,是中國人文社會(huì)科學(xué)發(fā)展的歷史使命,構(gòu)建中國特色哲學(xué)社會(huì)科學(xué)體系已上升為國家戰(zhàn)略。

    提高人文社會(huì)科學(xué)研究質(zhì)量是人文社科發(fā)展的重要目標(biāo)。《高等學(xué)校哲學(xué)社會(huì)科學(xué)繁榮計(jì)劃(2011-2020年)》強(qiáng)調(diào)要完善以創(chuàng)新和質(zhì)量為導(dǎo)向的科研評(píng)價(jià)制度。我國人文社會(huì)科學(xué)論文質(zhì)量有待提高,根據(jù)科睿唯安數(shù)據(jù),2018年全球發(fā)表SSCI論文33.20萬篇,其中高水平論文2 177篇,中國SSCI論文2.50萬篇,其中高水平論文241篇。中國SSCI論文總量占7.54%,高水平SSCI論文占11.07%。據(jù)中國知網(wǎng)的統(tǒng)計(jì)數(shù)據(jù),2018年國內(nèi)期刊共發(fā)表大陸人文社科論文113.58萬篇,是全球SSCI論文的3.42倍,其中核心期刊論文13.73萬篇。中國人文社科論文總量太多,質(zhì)量不高,這是制約我國人文社科發(fā)展的重要問題。

    地區(qū)人文社科研究水平對(duì)區(qū)域經(jīng)濟(jì)社會(huì)發(fā)展具有重要意義。中國地大物博,人口眾多,不同地區(qū)形成了不同的文化和特色,這一切給區(qū)域經(jīng)濟(jì)社會(huì)發(fā)展也打上了深深的烙印。加強(qiáng)人文社科研究,對(duì)地方政府的決策會(huì)產(chǎn)生重要影響,進(jìn)而會(huì)影響到經(jīng)濟(jì)社會(huì)發(fā)展,從而彰顯區(qū)域經(jīng)濟(jì)與社會(huì)發(fā)展特色,弘揚(yáng)傳統(tǒng)文化,展現(xiàn)傳統(tǒng)特色,促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。

    在高質(zhì)量發(fā)展背景下,開展區(qū)域人文社科研究評(píng)價(jià)具有重要意義。首先,相關(guān)領(lǐng)域的研究總體較少,現(xiàn)有研究只涉及人文社科研究效率、人文社科全要素生產(chǎn)率等,對(duì)區(qū)域人文社科研究水平缺乏研究。人文社科學(xué)術(shù)期刊,因?qū)W科門類龐雜、研究范式多元,稿件的質(zhì)量判斷始終是一個(gè)讓人頭疼的問題[1]。其次,研究區(qū)域人文社科研究的基本原則和理論架構(gòu),有助于豐富科學(xué)計(jì)量學(xué)與文獻(xiàn)計(jì)量學(xué)理論。再次,在實(shí)踐角度,也有利于地方政府相關(guān)部門明確差距,從而加大投入,促進(jìn)人文社科健康快速發(fā)展。

    1 文獻(xiàn)綜述

    關(guān)于人文社科的研究質(zhì)量的界定,Talib[2]提出科研評(píng)估必須權(quán)衡數(shù)量與質(zhì)量。Mazlish等[3]指出人文社會(huì)科學(xué)的質(zhì)量包括學(xué)術(shù)界內(nèi)部質(zhì)量和社會(huì)外部質(zhì)量,內(nèi)部質(zhì)量主要指同行認(rèn)可的學(xué)術(shù)價(jià)值,外部質(zhì)量是科研成果的外部貢獻(xiàn)。Moed[4]研究發(fā)現(xiàn)英國的科技評(píng)價(jià)工作經(jīng)歷數(shù)量—質(zhì)量—數(shù)量三個(gè)階段。

    關(guān)于人文社科研究質(zhì)量評(píng)價(jià)的相關(guān)研究,蔣玲等[5]提出人文社會(huì)科學(xué)成果具有主觀性和廣泛性,標(biāo)新立異和百家爭鳴才能推動(dòng)人文社會(huì)學(xué)向前發(fā)展,科研成果的獨(dú)創(chuàng)性是價(jià)值基礎(chǔ),大數(shù)據(jù)可以為同行評(píng)議提供一定的補(bǔ)充。高自龍等[6]認(rèn)為對(duì)于人文社科成果,必須堅(jiān)持質(zhì)量為本原則,不斷完善評(píng)估指標(biāo)體系的設(shè)置,改進(jìn)實(shí)施策略,尋求較為科學(xué)可行的評(píng)估方式和手段。李貞等[7]強(qiáng)調(diào)協(xié)同創(chuàng)新和質(zhì)量標(biāo)準(zhǔn)是科研團(tuán)隊(duì)水平的重要標(biāo)志,但具體質(zhì)量評(píng)價(jià)指標(biāo)選取尚有待研究。潘啟亮[8]認(rèn)為人文社科評(píng)價(jià)包括同行評(píng)議和科學(xué)計(jì)量,同行評(píng)議主要是質(zhì)量的評(píng)價(jià),科學(xué)計(jì)量主要是數(shù)量的評(píng)價(jià)。

    關(guān)于人文社科評(píng)價(jià)對(duì)象,視角也是多元的。第一是從學(xué)科角度,高自龍等[9]研究發(fā)現(xiàn),在人文地理學(xué)、社會(huì)學(xué)、管理學(xué)、經(jīng)濟(jì)學(xué)等學(xué)科中,某些指標(biāo)合作論文水平優(yōu)于獨(dú)著論文,在哲學(xué)、馬克思主義理論、外國語言文學(xué)以及圖情檔、法學(xué)學(xué)科中,合作論文的個(gè)別指標(biāo)水平低于獨(dú)著論文。第二是從大學(xué)評(píng)價(jià)角度,蔣玉梅[10]發(fā)現(xiàn)國外大學(xué)對(duì)人文社科研究評(píng)價(jià)包括研究成果的數(shù)量、質(zhì)量、影響,以及產(chǎn)生的社會(huì)效益方面的途徑。第三是從學(xué)術(shù)期刊角度,Prathap[11]在數(shù)量和質(zhì)量的基礎(chǔ)上,提出引文分布一致性系數(shù),并構(gòu)建出z指數(shù)進(jìn)行評(píng)價(jià)。劉仲翔[12]認(rèn)為2018年是中國社科學(xué)術(shù)期刊發(fā)展的重要轉(zhuǎn)折年份,學(xué)術(shù)期刊進(jìn)入了高質(zhì)量發(fā)展的關(guān)鍵階段。第四是從博士論文角度,Ives等[13]研究發(fā)現(xiàn),項(xiàng)目參與對(duì)人文社科博士論文的綜合質(zhì)量、前沿涉獵、創(chuàng)新性均有積極正向影響,課堂討論、跨學(xué)科學(xué)習(xí)和導(dǎo)師交流對(duì)博士論文的綜合質(zhì)量和成果創(chuàng)新性均沒有影響。李霞等[14]將人文社科博士學(xué)位論文質(zhì)量的要素分為形式要素和實(shí)質(zhì)要素,后者就是指論文質(zhì)量,并對(duì)博士論文質(zhì)量進(jìn)行評(píng)價(jià)。

    關(guān)于宏觀區(qū)域視角的人文社科評(píng)價(jià),Kocher等[15]對(duì)國際經(jīng)濟(jì)合作組織21個(gè)國家經(jīng)濟(jì)學(xué)科研效率進(jìn)行了比較分析。姜彤彤[16]采用基于DEA的Malmquist 分析方法,對(duì)我國大陸省際高校人文社科研究的全要素生產(chǎn)率進(jìn)行評(píng)價(jià)和分解研究。同時(shí)還基于DEA分析方法,對(duì)我國省際高校人文社科科研效率及其區(qū)域差異情況進(jìn)行分析[17]。

    從現(xiàn)有的研究看,關(guān)于人文社科研究成果的評(píng)價(jià)研究,已經(jīng)有不少研究涉獵,對(duì)其研究質(zhì)量的認(rèn)識(shí)和界定已經(jīng)取得共識(shí)。關(guān)于人文社科質(zhì)量評(píng)價(jià)方法總體上是零碎的,相關(guān)研究并不充分,涉及同行評(píng)議、文獻(xiàn)計(jì)量、大數(shù)據(jù)、指標(biāo)體系方法等。學(xué)術(shù)界普遍認(rèn)識(shí)到對(duì)人文社科質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)要強(qiáng)調(diào)多元化和創(chuàng)新。單純對(duì)人文社科評(píng)價(jià)的研究,研究視角包括學(xué)科評(píng)價(jià)、大學(xué)評(píng)價(jià)、學(xué)術(shù)期刊評(píng)價(jià)、博士論文評(píng)價(jià)等,區(qū)域全要素生產(chǎn)率與效率評(píng)價(jià)等,研究視角有待進(jìn)一步拓展??傮w上在以下方面有待進(jìn)一步深入研究:

    第一,關(guān)于質(zhì)量視角下區(qū)域人文社科研究的評(píng)價(jià)理論,現(xiàn)有研究很少有涉及,需要進(jìn)一步開展研究。相關(guān)內(nèi)容包括:區(qū)域人文社科評(píng)價(jià)的基本原則、數(shù)量與質(zhì)量的關(guān)系、宏觀評(píng)價(jià)與微觀評(píng)價(jià)的關(guān)系等。

    第二,關(guān)于質(zhì)量視角下區(qū)域人文社科研究的評(píng)價(jià)方法,也有待進(jìn)一步探索。相關(guān)研究包括:同行評(píng)議的地位、文獻(xiàn)計(jì)量學(xué)的運(yùn)用、多屬性評(píng)價(jià)方法的選擇等等。其中,基于傳統(tǒng)線性加權(quán)評(píng)價(jià)方法的改進(jìn)研究也需要深入。

    2 質(zhì)量視角下區(qū)域人文社科評(píng)價(jià)理論與方法

    2.1評(píng)價(jià)規(guī)模與評(píng)價(jià)方法的關(guān)系評(píng)價(jià)規(guī)模與評(píng)價(jià)方法的關(guān)系如圖1所示。學(xué)術(shù)評(píng)價(jià)包括宏觀評(píng)價(jià)、中觀評(píng)價(jià)與微觀評(píng)價(jià),宏觀評(píng)價(jià)方法主要采用多屬性評(píng)價(jià)方法,中觀評(píng)價(jià)采用多屬性評(píng)價(jià)與同行評(píng)議,以多屬性評(píng)價(jià)為主,微觀評(píng)價(jià)主要采用同行評(píng)議方法。

    圖1 評(píng)價(jià)規(guī)模與評(píng)價(jià)方法的關(guān)系

    宏觀評(píng)價(jià)包括國家或地區(qū)層面的人文社科評(píng)價(jià),其評(píng)價(jià)視角可以采用單個(gè)指標(biāo),也可以采用多個(gè)指標(biāo)。單個(gè)指標(biāo)就是文獻(xiàn)計(jì)量指標(biāo)或科技統(tǒng)計(jì)指標(biāo),如論文數(shù)量、研發(fā)經(jīng)費(fèi)投入總額等等,可以直接進(jìn)行比較。如果采用多個(gè)指標(biāo),一般要采用某種多屬性評(píng)價(jià)方法將其轉(zhuǎn)化為一個(gè)匯總的評(píng)價(jià)結(jié)果,比如國家創(chuàng)新指數(shù)評(píng)價(jià)就是類似的評(píng)價(jià)。多屬性評(píng)價(jià)方法目前有幾十種,如線性加權(quán)匯總、主成分分析、灰色關(guān)聯(lián)、粗糙集、TOPSIS、CRITIC等等,目前已廣泛應(yīng)用在學(xué)術(shù)評(píng)價(jià)中。

    中觀評(píng)價(jià)包括大學(xué)評(píng)價(jià)、學(xué)科評(píng)價(jià)、團(tuán)隊(duì)評(píng)價(jià)、院系評(píng)價(jià)、學(xué)術(shù)期刊評(píng)價(jià)等等,由于評(píng)價(jià)對(duì)象范圍相對(duì)較大,評(píng)價(jià)成果眾多,所以一般采用多屬性評(píng)價(jià)方法為主,同行評(píng)議作為必要的補(bǔ)充,比如教育部第四輪學(xué)科評(píng)價(jià)就采用這種方法。在同行評(píng)議中,主要針對(duì)高水平成果以及那些難以用具體指標(biāo)展示的成果進(jìn)行評(píng)價(jià),比如社會(huì)影響力等。

    微觀評(píng)價(jià)主要包括學(xué)者評(píng)價(jià)、單篇論文評(píng)價(jià)、個(gè)人獎(jiǎng)勵(lì)評(píng)價(jià)等等。在學(xué)術(shù)期刊中采用的雙向匿名審稿采用的就是同行評(píng)議的方法,職稱評(píng)審中的論文送審類似。但是一些微觀評(píng)價(jià)有時(shí)接近中觀評(píng)價(jià),比如對(duì)于成果較多的學(xué)者進(jìn)行評(píng)價(jià)?,F(xiàn)在推行的代表作制度就是強(qiáng)調(diào)用同行評(píng)議代替評(píng)價(jià)指標(biāo),對(duì)論文本身的創(chuàng)新進(jìn)行評(píng)價(jià)。

    2.2微觀評(píng)價(jià)指標(biāo)在宏觀評(píng)價(jià)中的異化所謂微觀評(píng)價(jià)指標(biāo)在宏觀評(píng)價(jià)中的異化,就是人們公認(rèn)的一些存在問題的微觀評(píng)價(jià)指標(biāo),在宏觀評(píng)價(jià)中卻總體上是適用的,這是一個(gè)十分有意思的問題。

    比如單篇論文的被引次數(shù),在微觀評(píng)價(jià)中,我們永遠(yuǎn)不能采用被引次數(shù)來判定一篇論文的質(zhì)量,對(duì)單篇論文質(zhì)量的認(rèn)定,唯一的方法就是采用同行評(píng)議,這一點(diǎn)幾乎已經(jīng)得到公認(rèn)。但是在宏觀評(píng)價(jià)中,一個(gè)國家或地區(qū)平均每篇論文的被引次數(shù)一定程度卻能說明論文質(zhì)量。這是因?yàn)閷?duì)于單篇論文而言,永遠(yuǎn)可以將其作為統(tǒng)計(jì)學(xué)上的異常點(diǎn),但對(duì)于一個(gè)國家或地區(qū)的論文總體而言,從統(tǒng)計(jì)學(xué)意義上,這些文獻(xiàn)計(jì)量指標(biāo)是能說明一定問題的。

    還有一個(gè)典型的指標(biāo)是核心期刊論文,同時(shí)涉及到以刊評(píng)文問題。在微觀視角,學(xué)術(shù)界對(duì)簡單用核心期刊論文來判斷論文水平高低的現(xiàn)象詬病很深。曹駿等[18]認(rèn)為核心期刊不是優(yōu)秀論文???,不能保證刊出的每篇文章都是精品。周興旺[19]指出用刊物影響力的高低來推斷論文影響力的高低,這在邏輯上是不對(duì)的,期刊影響力并不等同于論文影響力。但是如果換一個(gè)視角,從地區(qū)層面,每個(gè)省市的核心期刊論文數(shù)量一定程度上就可以代表其人文社科的水平,這其實(shí)并沒有太大的爭議。

    所以對(duì)于微觀層面的文獻(xiàn)計(jì)量指標(biāo),往往可以適用于中觀和宏觀層面,對(duì)于一些中觀層面的文獻(xiàn)計(jì)量指標(biāo),往往適用于宏觀層面,但是如果這個(gè)次序顛倒則不一定可以,宏觀層面的指標(biāo)不一定能用于中觀或微觀,中觀層面的指標(biāo)也不一定能用于微觀。在學(xué)術(shù)評(píng)價(jià)中,微觀、中觀和宏觀并不是簡單的加總關(guān)系。當(dāng)然具體指標(biāo)要看其內(nèi)涵并進(jìn)行進(jìn)一步分析,這個(gè)原則并不是簡單適用于任何指標(biāo)。

    2.3省際人文社科評(píng)價(jià)中數(shù)量與質(zhì)量的關(guān)系人文社科研究的數(shù)量與質(zhì)量問題是一對(duì)矛盾,并且與評(píng)價(jià)規(guī)模緊密相關(guān)。評(píng)價(jià)數(shù)量質(zhì)量與評(píng)價(jià)規(guī)模的關(guān)系如圖2所示。

    圖2 評(píng)價(jià)數(shù)量質(zhì)量與評(píng)價(jià)規(guī)模的關(guān)系

    第一,在微觀評(píng)價(jià)層面,一定要強(qiáng)調(diào)研究質(zhì)量。盡管人文社科研究具有自己的特點(diǎn),與自然科學(xué)研究存在較大差異,但是在學(xué)術(shù)研究質(zhì)量上,還是要堅(jiān)持質(zhì)量至上的原則。2018年科技部、教育部等聯(lián)合發(fā)文,要求開展清理“唯論文、唯職稱、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專項(xiàng)行動(dòng)。隨后不久,兩辦印發(fā)《關(guān)于深化項(xiàng)目評(píng)審、人才評(píng)價(jià)、機(jī)構(gòu)評(píng)估改革的意見》,推行代表作評(píng)價(jià)制度,注重標(biāo)志性成果的質(zhì)量水平、貢獻(xiàn)高低、影響力大小。2020年教育部、科技部研究制定了《關(guān)于規(guī)范高等學(xué)校SCI論文相關(guān)指標(biāo)使用 樹立正確評(píng)價(jià)導(dǎo)向的若干意見》,破除論文“SCI至上”。這些舉措的根源就是為了解決研究質(zhì)量問題。固然不同學(xué)者的研究水平存在差異,但是只要樹立質(zhì)量至上的原則,就會(huì)鼓勵(lì)廣大學(xué)者進(jìn)行高水平的研究,而不是僅僅追求論文數(shù)量。

    第二,在中觀和宏觀層面,不僅要追求數(shù)量,也要追求質(zhì)量。質(zhì)量代表了人文社科科研成果的高度,而數(shù)量代表了人文社科科研成果的廣度,兩者不可偏廢。如果一個(gè)機(jī)構(gòu)一共只有10篇公認(rèn)的高質(zhì)量成果,而另外一個(gè)機(jī)構(gòu)擁有50篇公認(rèn)的高質(zhì)量成果。兩個(gè)機(jī)構(gòu)孰強(qiáng)孰弱一目了然,所以對(duì)于機(jī)構(gòu)評(píng)價(jià),采用代表作制度是要慎重的。

    第三,微觀質(zhì)量要求是宏觀兼顧數(shù)量與質(zhì)量評(píng)價(jià)的基礎(chǔ)。只有在微觀學(xué)者層面強(qiáng)調(diào)科研質(zhì)量,那么中觀和宏觀層面結(jié)合數(shù)量和質(zhì)量的評(píng)價(jià)才有意義,如果微觀層面科研質(zhì)量得不到保證,急功近利行為并不是個(gè)別現(xiàn)象,那么中觀和宏觀評(píng)價(jià)就會(huì)失去質(zhì)量至上的基礎(chǔ),從而導(dǎo)致評(píng)價(jià)異化??萍疾?、教育部“反四唯”,推進(jìn)論文代表作制度的根本動(dòng)因,就是為了保證微觀層面的質(zhì)量的基礎(chǔ)。

    2.4地區(qū)人文社科評(píng)價(jià)體系地區(qū)人文社科評(píng)價(jià)體系如圖3所示,一級(jí)指標(biāo)包括3個(gè),分別是科研投入、成果數(shù)量、成果質(zhì)量,成果數(shù)量和成果質(zhì)量均為產(chǎn)出指標(biāo),因此地區(qū)人文社科評(píng)價(jià)也反映了科研成果的投入產(chǎn)出關(guān)系。

    圖3 地區(qū)人文社科評(píng)價(jià)體系

    第一,科研投入包括兩個(gè)指標(biāo),分別是研發(fā)經(jīng)費(fèi)和研發(fā)人員。從可見度看,研發(fā)經(jīng)費(fèi)和研發(fā)人員是人文社科研究的兩大重要投入,當(dāng)然其他因素還包括國家或地方政府的相關(guān)政策、外部環(huán)境等等,由于相關(guān)數(shù)據(jù)難以獲得,因此沒有選取。對(duì)于人文社科而言,科研人員的重要性相對(duì)重要,這和人文社科研究的特點(diǎn)有關(guān)。相對(duì)自然科學(xué)而言,人文社科的大多數(shù)學(xué)科對(duì)研發(fā)經(jīng)費(fèi)的依賴程度相對(duì)較弱,當(dāng)然一般情況下,人文社科科研經(jīng)費(fèi)的資助力度也遠(yuǎn)遠(yuǎn)小于自然科學(xué)。

    第二,成果數(shù)量指標(biāo)包括學(xué)術(shù)著作、核心期刊論文、非核心期刊論文。之所以將學(xué)術(shù)論文分為核心期刊論文和非核心期刊論文,主要目的也是為了加強(qiáng)質(zhì)量視角下的評(píng)價(jià)。對(duì)于人文社科而言,學(xué)術(shù)著作的研究更加全面系統(tǒng),近兩年國家新聞出版廣電總局加大了學(xué)術(shù)專著刊號(hào)的管理,學(xué)術(shù)專著質(zhì)量得到大幅提高。所以學(xué)術(shù)著作和核心期刊論文數(shù)量既是數(shù)量指標(biāo),也是質(zhì)量指標(biāo),代表著較高水平的研究成果,而非核心期刊論文總體上屬于數(shù)量指標(biāo)。

    第三,成果質(zhì)量指標(biāo)包括核心期刊論文比、地區(qū)h指數(shù)兩個(gè)指標(biāo)。核心期刊論文比就是地區(qū)核心期刊論文數(shù)量占論文總量的比重。地區(qū)h指數(shù)是仿照h指數(shù)提出的一個(gè)新的指標(biāo),其含義是:某地區(qū)過去兩年發(fā)表的論文在統(tǒng)計(jì)當(dāng)年至少有h篇論文被引用了h次。地區(qū)論文h指數(shù)某種程度上是一種更高水平論文的影響指標(biāo),而核心期刊論文比是一種高水平論文的指標(biāo),兩者表示的質(zhì)量等級(jí)有所區(qū)別。

    如果將地區(qū)人文社科的評(píng)價(jià)指標(biāo)分為來源指標(biāo)與影響力指標(biāo),那么學(xué)術(shù)著作、核心期刊論文數(shù)量、非核心期刊論文數(shù)量、核心期刊論文比均屬于來源指標(biāo),只有地區(qū)論文h指數(shù)為影響力指標(biāo)。

    總體上,本文建立的評(píng)價(jià)體系兼顧了人文社科研究的投入與產(chǎn)出、數(shù)量與質(zhì)量、來源指標(biāo)與影響力指標(biāo)、絕對(duì)指標(biāo)和相對(duì)指標(biāo),是一個(gè)相對(duì)完善系統(tǒng)的評(píng)價(jià)體系。

    2.5評(píng)價(jià)方法與指標(biāo)權(quán)重

    2.5.1 指標(biāo)權(quán)重的確定 評(píng)價(jià)指標(biāo)的權(quán)重采用專家會(huì)議法確定,本文之所以不用客觀賦權(quán)法的原因,是沒有哪種客觀賦權(quán)法能夠保證評(píng)價(jià)質(zhì)量的權(quán)重最大。邀請(qǐng)相關(guān)領(lǐng)域的10名專家,采用背對(duì)背遠(yuǎn)程打分形式,每次將平均值再反饋給各位專家,如有需要請(qǐng)他們進(jìn)行必要的調(diào)整,如此經(jīng)過專家三輪討論,權(quán)重設(shè)定如表1所示。關(guān)于投入產(chǎn)出的權(quán)重,投入指標(biāo)的權(quán)重為0.40,產(chǎn)出指標(biāo)的權(quán)重為0.60。產(chǎn)出指標(biāo)中,成果數(shù)量指標(biāo)為0.25,成果質(zhì)量指標(biāo)為0.35。實(shí)際上,由于成果數(shù)量指標(biāo)中,學(xué)術(shù)著作和核心期刊論文數(shù)量均是高質(zhì)量成果,所以實(shí)際上質(zhì)量指標(biāo)的權(quán)重更高,符合質(zhì)量視角下的評(píng)價(jià)原則。

    在科研投入指標(biāo)中,研發(fā)經(jīng)費(fèi)和研發(fā)人員采用等權(quán)重處理。在成果數(shù)量指標(biāo)中,學(xué)術(shù)著作和核心期刊論文數(shù)量的權(quán)重均為0.40,非核心期刊論文的權(quán)重為0.20。成果質(zhì)量指標(biāo)中,核心期刊論文比的權(quán)重為0.40,地區(qū)h指數(shù)為0.60,因?yàn)楹笳呤歉咚降难芯砍晒?/p>

    表1 評(píng)價(jià)指標(biāo)與權(quán)重

    2.5.2 評(píng)價(jià)方法的選擇 本文采用線性加權(quán)方法匯總,這種評(píng)價(jià)方法是一種線性評(píng)價(jià)方法,能夠更好地尊重專家權(quán)重。在目前主流的學(xué)術(shù)評(píng)價(jià)中,比如英國泰晤士報(bào)大學(xué)排名、軟科大學(xué)排名、南京大學(xué)CSSCI期刊評(píng)價(jià)、北大核心期刊評(píng)價(jià)等應(yīng)用中,均采用這種方法。

    在線性加權(quán)中,指標(biāo)標(biāo)準(zhǔn)化一般采用極大值法,標(biāo)準(zhǔn)化公式為:

    (1)

    其中,X為指標(biāo)原始值,Y為標(biāo)準(zhǔn)化后的指標(biāo)值。

    在線性加權(quán)中,有一個(gè)關(guān)鍵問題被忽略了,就是由于評(píng)價(jià)指標(biāo)標(biāo)準(zhǔn)化后指標(biāo)均值不等,這會(huì)導(dǎo)致實(shí)際權(quán)重偏離專家設(shè)定的權(quán)重,俞立平[20]將這種現(xiàn)象稱為自然權(quán)重問題。比如小學(xué)生考試,語文的平均成績?yōu)?2,數(shù)學(xué)的平均成績?yōu)?7,在計(jì)算總分時(shí),語文的實(shí)際權(quán)重就比較低,這就是自然權(quán)重導(dǎo)致的。所以采用線性加權(quán)匯總,最重要的是通過某種標(biāo)準(zhǔn)化方法,使得不同指標(biāo)的均值接近相等。為了解決這個(gè)問題,可以采用sigmoid函數(shù)進(jìn)行標(biāo)準(zhǔn)化。

    采用sigmoid函數(shù)進(jìn)行標(biāo)準(zhǔn)化,第一步是計(jì)算z值:

    (2)

    其中,X為指標(biāo)原始值,μ為指標(biāo)均值,σ為指標(biāo)標(biāo)準(zhǔn)差。

    第二步是根據(jù)z值計(jì)算標(biāo)準(zhǔn)化后的指標(biāo)Y,即:

    (3)

    Sigmoid函數(shù)圖像如圖4所示,可以明顯看出,sigmoid函數(shù)和成長曲線非常相似,這符合人文社科發(fā)展的規(guī)律和成長特征。標(biāo)準(zhǔn)化后其極大值為1,極小值為0,標(biāo)準(zhǔn)化值具有絕對(duì)打分功能,比較適合用于評(píng)價(jià)。通常情況下,標(biāo)準(zhǔn)化后的均值相差不大,可以有效解決自然權(quán)重問題。同時(shí)可以通過對(duì)評(píng)價(jià)結(jié)果進(jìn)一步標(biāo)準(zhǔn)化處理,分析各個(gè)省份人文社科發(fā)展階段。在sigmoid函數(shù)中,拐點(diǎn)位置為(0,0.5),進(jìn)入成長期的坐標(biāo)為(-1.317,0.211),進(jìn)入成熟期的坐標(biāo)是(1.317,0.789)。

    需要說明的是,本文采用截面數(shù)據(jù)進(jìn)行評(píng)價(jià),難以體現(xiàn)成長性,但是對(duì)于每個(gè)地區(qū)的人文社科發(fā)展而言,從時(shí)間序列數(shù)據(jù)角度,是具有成長曲線特征的。此外,即使對(duì)于截面數(shù)據(jù)而言,本著發(fā)達(dá)地區(qū)今天就是欠發(fā)達(dá)地區(qū)未來的思想,一定程度上也具有成長特征。

    圖4 sigmoid函數(shù)

    3 數(shù)據(jù)來源與實(shí)證結(jié)果

    3.1數(shù)據(jù)來源研發(fā)經(jīng)費(fèi)、研發(fā)人員、學(xué)術(shù)著作:這3個(gè)指標(biāo)采用教育部人文社科網(wǎng)站公布的省際高校數(shù)據(jù)。人文社科研究的主要陣地是廣大高校,另外還有各地哲學(xué)社科科研院所、各級(jí)政府的研究機(jī)構(gòu)等部門,但相關(guān)數(shù)據(jù)難以獲取,加上高校研發(fā)投入所占比重較大,因此采用高校數(shù)據(jù)作為人文社科評(píng)價(jià)的替代變量,本文各指標(biāo)數(shù)據(jù)采用的均為2018年的數(shù)據(jù)。

    其他指標(biāo):其他所有指標(biāo)均來自中國知網(wǎng)的引文數(shù)據(jù)庫,學(xué)科包括所有的人文社科學(xué)科,即哲學(xué)與人文科學(xué)、社會(huì)科學(xué)Ⅰ輯、社會(huì)科學(xué)Ⅱ輯、經(jīng)濟(jì)與管理科學(xué)4大類,并不包括基礎(chǔ)科學(xué)、工程科技Ⅰ輯、工程科技Ⅱ輯、農(nóng)業(yè)科技、醫(yī)藥衛(wèi)生科技、信息科技。在自然科學(xué)期刊中發(fā)表的少量人文社科論文,或與自然科學(xué)存在學(xué)科交叉的人文社科論文,并不在統(tǒng)計(jì)之列,但這些論文總體數(shù)量不多,并不影響宏觀統(tǒng)計(jì)結(jié)果。

    機(jī)構(gòu)h指數(shù)、論文總數(shù)、核心期刊論文數(shù)為直接查詢數(shù)據(jù),在此基礎(chǔ)上計(jì)算出非核心期刊論文數(shù)和核心期刊論文比。對(duì)于來源指標(biāo),所有論文數(shù)據(jù)均為2018年數(shù)據(jù),對(duì)于機(jī)構(gòu)h指數(shù)的計(jì)算,考慮到時(shí)效性,參照影響因子計(jì)算的時(shí)間跨度,載文時(shí)間為2016-2017年,被引數(shù)據(jù)為2018年。

    3.2評(píng)價(jià)結(jié)果分析評(píng)價(jià)結(jié)果如表2所示。根據(jù)評(píng)價(jià)結(jié)果,通過sigmoid函數(shù)計(jì)算z值,以判定地區(qū)人文社科的發(fā)展階段,當(dāng)z值小于-1.317時(shí),處于起步期,當(dāng)z值在[-1.317,1.317]時(shí),處于成長期,當(dāng)z值大于1.317時(shí),處于成熟期。

    表2 地區(qū)人文社科評(píng)價(jià)結(jié)果

    從評(píng)價(jià)結(jié)果看,北京、廣東、上海、江蘇處于第一方陣,均處于成熟期,北京得分最高,為90.79分,是唯一超過90分的地區(qū)。寧夏、西藏、青海排序最低,屬于第三方陣,均處于起步期。其他地區(qū)均在第二方陣,處在成長期。

    3.3一級(jí)指標(biāo)評(píng)價(jià)結(jié)果比較分析一級(jí)指標(biāo)評(píng)價(jià)結(jié)果如表3所示。從人文社科科研投入看,廣東、北京、江蘇、浙江排在第四位。人文社科發(fā)展,離不開研發(fā)經(jīng)費(fèi)與研發(fā)勞動(dòng)力的投入支持,廣東省由于經(jīng)濟(jì)發(fā)達(dá),在研發(fā)投入方面具有優(yōu)勢,近年來發(fā)展較快。浙江省人文社科投入發(fā)展勢頭良好。

    表3 一級(jí)指標(biāo)分析

    從人文社科成果數(shù)量看,北京、江蘇、上海、湖北排在前四位。北京作為首都,其人文社科數(shù)量具有明顯優(yōu)勢,湖北省作為人文社科大省,其人文社科成果數(shù)量發(fā)展態(tài)勢較好。

    從人文社科成果質(zhì)量看,北京、上海、湖北、天津排在前四位,北京、上海研究質(zhì)量高是正常的,比較有特色的是天津,其研發(fā)投入排序22位,成果數(shù)量排序20位,而成果質(zhì)量排在第4位,天津規(guī)模較小,但研究質(zhì)量較高,有兩點(diǎn)啟示:第一,在人文社科研究質(zhì)量方面,天津可圈可點(diǎn),值得學(xué)習(xí)。第二,從評(píng)價(jià)的角度,單純?cè)u(píng)價(jià)質(zhì)量是有問題的,必須兼顧數(shù)量進(jìn)行評(píng)價(jià),光有質(zhì)量沒有規(guī)模不能算是人文社科強(qiáng)省。

    3.4評(píng)價(jià)結(jié)果與傳統(tǒng)標(biāo)準(zhǔn)化評(píng)價(jià)結(jié)果比較采用本文方法得到的評(píng)價(jià)總分與采用傳統(tǒng)標(biāo)準(zhǔn)化方法得到的傳統(tǒng)得分及一級(jí)指標(biāo)評(píng)價(jià)結(jié)果如表4所示。采用傳統(tǒng)標(biāo)準(zhǔn)化方法進(jìn)行評(píng)價(jià),其問題主要表現(xiàn)在以下幾個(gè)方面:

    第一,評(píng)價(jià)得分偏倚。采用極大值標(biāo)準(zhǔn)化,意味著每項(xiàng)指標(biāo)的極大值就是滿分,但是這沒有任何依據(jù),而采用sigmoid函數(shù)標(biāo)準(zhǔn)化,極大值很難是滿分,俞立平等[21]討論了這個(gè)問題,認(rèn)為傳統(tǒng)標(biāo)準(zhǔn)化將極大值認(rèn)定為滿分理論依據(jù)不足。

    由于評(píng)價(jià)得分偏倚,傳統(tǒng)評(píng)價(jià)得分超過60分的只有3個(gè)省市,這明顯與人們的感覺不符。而采用sigmoid函數(shù)標(biāo)準(zhǔn)化后,評(píng)價(jià)得分超過60分的有8個(gè)省市,明顯更加合理。

    第二,傳統(tǒng)標(biāo)準(zhǔn)化的評(píng)價(jià)得分以及各一級(jí)指標(biāo)評(píng)價(jià)得分的均值并不相等,也就是說存在自然權(quán)重問題,比如期刊質(zhì)量的均分為38.87分,而期刊數(shù)量的均分為21.39分,那么期刊質(zhì)量就顯得更加重要,問題是在專家賦權(quán)時(shí),這個(gè)因素已經(jīng)被考慮進(jìn)去了,最終結(jié)果就是期刊質(zhì)量的權(quán)重被進(jìn)一步加大了。

    表4 最終結(jié)果與傳統(tǒng)標(biāo)準(zhǔn)化結(jié)果比較

    第三,排序結(jié)果有差異。雖然評(píng)價(jià)對(duì)象不多,只有31個(gè)省市,但對(duì)比評(píng)價(jià)結(jié)果,還是存在較大差異。說明評(píng)價(jià)方法由于自身的瑕疵會(huì)導(dǎo)致評(píng)價(jià)結(jié)果產(chǎn)生較大變化,進(jìn)而影響排序。由于目前主流學(xué)術(shù)評(píng)價(jià)均采用傳統(tǒng)評(píng)價(jià)方法,因此有必要進(jìn)行改進(jìn)。

    圖5 最終結(jié)果的數(shù)據(jù)分布

    第四,評(píng)價(jià)結(jié)果數(shù)據(jù)分布差異。最終結(jié)果的數(shù)據(jù)分布如圖5所示,Jarque-Bera檢驗(yàn)結(jié)果為1.488,相伴概率為0.475,不能拒絕正態(tài)分布原假設(shè),說明采用sigmoid函數(shù)標(biāo)準(zhǔn)化進(jìn)行評(píng)價(jià)后,最終評(píng)價(jià)結(jié)果服從正態(tài)分布,這對(duì)評(píng)價(jià)是非常有益的。

    傳統(tǒng)標(biāo)準(zhǔn)化方法評(píng)價(jià)結(jié)果的數(shù)據(jù)分布如圖6所示,Jarque-Bera檢驗(yàn)結(jié)果為0.351,相伴概率為0.042,拒絕正態(tài)分布原假設(shè),說明其并不服從正態(tài)分布,作為區(qū)域人文社科水平評(píng)價(jià),應(yīng)盡可能服從正態(tài)分布。

    圖6 傳統(tǒng)結(jié)果的數(shù)據(jù)分布

    4 研究結(jié)論

    a.在研究質(zhì)量視角下進(jìn)行區(qū)域人文社科評(píng)價(jià)非常獨(dú)特。在高質(zhì)量發(fā)展背景下,對(duì)區(qū)域人文社科水平進(jìn)行評(píng)價(jià)意義重大。本文通過理論分析認(rèn)為,在微觀評(píng)價(jià)中,應(yīng)更多采用同行評(píng)議,而在中觀與宏觀評(píng)價(jià)中,應(yīng)該更多采用指標(biāo)體系進(jìn)行多屬性評(píng)價(jià)。一些科學(xué)計(jì)量指標(biāo)或文獻(xiàn)計(jì)量指標(biāo),盡管不能用在微觀評(píng)價(jià)中,但可以用在宏觀評(píng)價(jià)中。微觀評(píng)價(jià)應(yīng)該以質(zhì)量評(píng)價(jià)為主,而宏觀評(píng)價(jià)必須兼顧數(shù)量和質(zhì)量。

    b.我國地區(qū)人文社科總體發(fā)展態(tài)勢良好。研究發(fā)現(xiàn),人文社科水平較高的省市主要是北京、廣東、上海、江蘇等地,相對(duì)較弱的地區(qū)是寧夏、西藏、青海等地。31個(gè)省市自治區(qū)中,處在成熟期的省市有4個(gè),處在起步期的省市有3個(gè),其他均處于成長期,這和我國地區(qū)人文社科發(fā)展情況總體上是相符的。北京、上海、江蘇屬于傳統(tǒng)人文社科水平較高地區(qū),而廣東由于經(jīng)濟(jì)發(fā)展迅速,人文社科投入規(guī)模較大,近年來發(fā)展較快。單純從成果質(zhì)量看,北京、上海、湖北、天津位居前列。天津規(guī)模較小,但人文社科研究質(zhì)量較高,當(dāng)然這是值得鼓勵(lì)的。但是從另外一個(gè)角度,地區(qū)人文社科發(fā)展如果僅僅追求質(zhì)量,不追求人文社科的規(guī)模和數(shù)量,那也不利于人文社科的發(fā)展。

    c.傳統(tǒng)線性加權(quán)匯總評(píng)價(jià)中標(biāo)準(zhǔn)化方法有待改進(jìn)。傳統(tǒng)線性加權(quán)匯總評(píng)價(jià)方法作為一種主流的學(xué)術(shù)評(píng)價(jià)方法,采用極大值進(jìn)行指標(biāo)標(biāo)準(zhǔn)化是值得商榷的。第一是存在自然權(quán)重問題,即標(biāo)準(zhǔn)化后指標(biāo)均值不相等導(dǎo)致實(shí)際權(quán)重偏倚。第二是打分缺乏絕對(duì)標(biāo)準(zhǔn),某個(gè)評(píng)價(jià)對(duì)象指標(biāo)為極大值并不代表其就是滿分。第三是標(biāo)準(zhǔn)化方法不同也會(huì)影響評(píng)價(jià)結(jié)果。

    d.基于sigmoid函數(shù)標(biāo)準(zhǔn)化的線性加權(quán)是一種優(yōu)秀的評(píng)價(jià)方法。本文的實(shí)證研究表明,采用sigmoid函數(shù)標(biāo)準(zhǔn)化可以有效解決傳統(tǒng)線性加權(quán)匯總中的幾個(gè)問題,并且標(biāo)準(zhǔn)化后指標(biāo)均值接近相等,這樣會(huì)直接導(dǎo)致一級(jí)指標(biāo)評(píng)價(jià)結(jié)果的均值也接近相等,徹底解決了自然權(quán)重問題。此外,sigmoid函數(shù)接近成長曲線,符合事物發(fā)展規(guī)律,擁有絕對(duì)的打分標(biāo)準(zhǔn)。并且評(píng)價(jià)結(jié)果更加接近正態(tài)分布,這對(duì)宏觀地區(qū)人文社科評(píng)價(jià)而言更有應(yīng)用價(jià)值。

    猜你喜歡
    期刊論文社科標(biāo)準(zhǔn)化
    社科成功展示
    社科成果展示
    標(biāo)準(zhǔn)化簡述
    社科成果展示
    醫(yī)學(xué)期刊論文中常見統(tǒng)計(jì)學(xué)錯(cuò)誤
    標(biāo)準(zhǔn)化是綜合交通運(yùn)輸?shù)谋U稀庾x《交通運(yùn)輸標(biāo)準(zhǔn)化體系》
    中國公路(2017年9期)2017-07-25 13:26:38
    人文社科
    全國新書目(2016年5期)2016-06-08 08:54:10
    公共圖書館不應(yīng)認(rèn)可的職稱期刊論文探析——基于重慶圖書館職稱期刊論文的實(shí)證調(diào)研
    人文社科期刊論文被引頻次和下載頻次相關(guān)性研究
    論汽車維修診斷標(biāo)準(zhǔn)化(上)
    午夜福利视频1000在线观看| а√天堂www在线а√下载| 国产蜜桃级精品一区二区三区| 99re在线观看精品视频| 国产精品av视频在线免费观看| 国产av一区二区精品久久| 欧美黄色片欧美黄色片| 长腿黑丝高跟| 极品教师在线免费播放| 啪啪无遮挡十八禁网站| 一本一本综合久久| 可以在线观看的亚洲视频| 一进一出抽搐动态| 婷婷丁香在线五月| 精品一区二区三区av网在线观看| 国产午夜精品论理片| 成人国产一区最新在线观看| 91成年电影在线观看| 久9热在线精品视频| 最新美女视频免费是黄的| 欧美日韩精品网址| 91麻豆精品激情在线观看国产| 欧美zozozo另类| 老司机午夜福利在线观看视频| 一区二区三区国产精品乱码| 神马国产精品三级电影在线观看 | 成熟少妇高潮喷水视频| 日韩国内少妇激情av| 欧美+亚洲+日韩+国产| 亚洲18禁久久av| 91国产中文字幕| 国产成人啪精品午夜网站| 国产午夜精品论理片| 老熟妇乱子伦视频在线观看| 国产亚洲精品综合一区在线观看 | 亚洲人成网站高清观看| 黄色a级毛片大全视频| 黄色毛片三级朝国网站| 亚洲午夜理论影院| 在线观看舔阴道视频| av福利片在线观看| 欧美激情久久久久久爽电影| 欧美日韩福利视频一区二区| 亚洲一卡2卡3卡4卡5卡精品中文| 亚洲一卡2卡3卡4卡5卡精品中文| 欧美成狂野欧美在线观看| 日日干狠狠操夜夜爽| 日韩av在线大香蕉| 免费人成视频x8x8入口观看| 国产伦人伦偷精品视频| 国产成人精品无人区| 午夜精品在线福利| 99精品久久久久人妻精品| 99久久综合精品五月天人人| 九色国产91popny在线| 欧美高清成人免费视频www| 91大片在线观看| 蜜桃久久精品国产亚洲av| 成人精品一区二区免费| 日韩成人在线观看一区二区三区| 极品教师在线免费播放| 国产成人啪精品午夜网站| 曰老女人黄片| 久久久久久人人人人人| 国产精品久久久久久精品电影| 亚洲国产欧美人成| tocl精华| 看免费av毛片| 两个人的视频大全免费| 欧美一区二区国产精品久久精品 | 一级毛片高清免费大全| 男女午夜视频在线观看| av视频在线观看入口| 久久久久国产一级毛片高清牌| 欧美绝顶高潮抽搐喷水| 男人舔女人的私密视频| 嫩草影院精品99| 日本一二三区视频观看| 日韩大尺度精品在线看网址| 91字幕亚洲| av有码第一页| 欧美中文日本在线观看视频| 老司机深夜福利视频在线观看| 国产野战对白在线观看| 国产精品久久视频播放| 日日摸夜夜添夜夜添小说| 91字幕亚洲| 久久久久久大精品| 亚洲欧美精品综合久久99| www日本在线高清视频| 97人妻精品一区二区三区麻豆| 精品国产乱码久久久久久男人| 最新在线观看一区二区三区| 亚洲最大成人中文| 一a级毛片在线观看| 亚洲aⅴ乱码一区二区在线播放 | 精品久久久久久久毛片微露脸| 99久久国产精品久久久| 亚洲一区二区三区不卡视频| 国产午夜福利久久久久久| 亚洲精品中文字幕在线视频| svipshipincom国产片| 国产人伦9x9x在线观看| 特级一级黄色大片| 色哟哟哟哟哟哟| 国产在线观看jvid| 国产蜜桃级精品一区二区三区| 久久久国产精品麻豆| 午夜福利视频1000在线观看| 丰满人妻熟妇乱又伦精品不卡| 亚洲中文日韩欧美视频| 熟女电影av网| 精品久久久久久,| avwww免费| 久久久久久大精品| 一本久久中文字幕| 女人被狂操c到高潮| 99精品在免费线老司机午夜| 国产精品一区二区三区四区免费观看 | 制服丝袜大香蕉在线| 搡老妇女老女人老熟妇| 禁无遮挡网站| 久久草成人影院| 日本三级黄在线观看| 极品教师在线免费播放| 国产成人精品无人区| 国产97色在线日韩免费| 国产激情欧美一区二区| 久热爱精品视频在线9| 男女下面进入的视频免费午夜| 亚洲性夜色夜夜综合| 18禁黄网站禁片午夜丰满| 久久午夜综合久久蜜桃| 欧美性长视频在线观看| 人妻夜夜爽99麻豆av| 国产精品久久久av美女十八| 99re在线观看精品视频| 宅男免费午夜| 精品国产乱码久久久久久男人| 91国产中文字幕| 一卡2卡三卡四卡精品乱码亚洲| 成人一区二区视频在线观看| 婷婷精品国产亚洲av| 亚洲专区中文字幕在线| 日韩 欧美 亚洲 中文字幕| 日韩精品青青久久久久久| 欧美黑人精品巨大| 国产精品日韩av在线免费观看| 国产精品av久久久久免费| 午夜福利免费观看在线| 性色av乱码一区二区三区2| 少妇裸体淫交视频免费看高清 | 1024视频免费在线观看| 香蕉av资源在线| 欧美日韩亚洲综合一区二区三区_| x7x7x7水蜜桃| 亚洲欧洲精品一区二区精品久久久| 日日夜夜操网爽| 亚洲av五月六月丁香网| 亚洲欧美日韩无卡精品| videosex国产| 久9热在线精品视频| 精品久久久久久久久久久久久| www日本在线高清视频| av中文乱码字幕在线| 久久精品综合一区二区三区| 男人的好看免费观看在线视频 | 亚洲欧美精品综合一区二区三区| 色在线成人网| 午夜免费观看网址| 叶爱在线成人免费视频播放| 一区二区三区国产精品乱码| 男人舔女人的私密视频| 国产精品久久久久久人妻精品电影| 级片在线观看| 亚洲精品一区av在线观看| 少妇裸体淫交视频免费看高清 | 国产男靠女视频免费网站| 成人午夜高清在线视频| 丁香六月欧美| 欧美午夜高清在线| 桃色一区二区三区在线观看| 国产亚洲精品久久久久久毛片| 国产亚洲欧美在线一区二区| 日韩欧美在线二视频| 国产99白浆流出| 国产精品久久久人人做人人爽| 99riav亚洲国产免费| 亚洲精品av麻豆狂野| 老汉色∧v一级毛片| 亚洲熟妇熟女久久| 中亚洲国语对白在线视频| 国产精品久久电影中文字幕| 成人高潮视频无遮挡免费网站| 亚洲精品一区av在线观看| 国产黄a三级三级三级人| 色精品久久人妻99蜜桃| 可以免费在线观看a视频的电影网站| 免费在线观看日本一区| 欧美 亚洲 国产 日韩一| 日韩精品青青久久久久久| 国产成年人精品一区二区| 制服丝袜大香蕉在线| 亚洲人成电影免费在线| 国产aⅴ精品一区二区三区波| 国产午夜精品论理片| 中文亚洲av片在线观看爽| 999精品在线视频| 国产主播在线观看一区二区| 九色成人免费人妻av| 男人的好看免费观看在线视频 | 久久精品综合一区二区三区| 日本在线视频免费播放| 欧美日本亚洲视频在线播放| 99在线视频只有这里精品首页| 中文资源天堂在线| 日韩欧美三级三区| 久久草成人影院| 欧美三级亚洲精品| 岛国在线免费视频观看| 精品高清国产在线一区| 日韩欧美一区二区三区在线观看| xxxwww97欧美| 日韩中文字幕欧美一区二区| 亚洲av电影在线进入| 精品午夜福利视频在线观看一区| 欧美 亚洲 国产 日韩一| 国产一区在线观看成人免费| 午夜福利在线观看吧| 看免费av毛片| 大型黄色视频在线免费观看| АⅤ资源中文在线天堂| 久久久久国内视频| 精品少妇一区二区三区视频日本电影| 国产一区二区三区视频了| 深夜精品福利| 色精品久久人妻99蜜桃| 观看免费一级毛片| 精品不卡国产一区二区三区| 久久精品国产清高在天天线| 99久久无色码亚洲精品果冻| 99久久精品国产亚洲精品| 日韩精品中文字幕看吧| 国产午夜福利久久久久久| 在线免费观看的www视频| 高清毛片免费观看视频网站| 亚洲美女视频黄频| or卡值多少钱| 国内精品久久久久久久电影| 搞女人的毛片| avwww免费| av视频在线观看入口| 久99久视频精品免费| 精品日产1卡2卡| 亚洲av成人av| 日韩免费av在线播放| 丁香欧美五月| 中文字幕熟女人妻在线| 欧美日韩福利视频一区二区| 看免费av毛片| 亚洲中文字幕一区二区三区有码在线看 | 成人18禁在线播放| 激情在线观看视频在线高清| 此物有八面人人有两片| 亚洲一区中文字幕在线| 美女免费视频网站| 99久久无色码亚洲精品果冻| 国产精品 欧美亚洲| 欧美不卡视频在线免费观看 | 99riav亚洲国产免费| 亚洲第一电影网av| 一进一出抽搐gif免费好疼| 国内毛片毛片毛片毛片毛片| 亚洲男人的天堂狠狠| 色哟哟哟哟哟哟| 变态另类丝袜制服| 久久草成人影院| 免费无遮挡裸体视频| 国产精品亚洲一级av第二区| 啦啦啦免费观看视频1| 18禁美女被吸乳视频| √禁漫天堂资源中文www| 久热爱精品视频在线9| 老汉色av国产亚洲站长工具| 一进一出抽搐动态| 国产伦在线观看视频一区| 久久婷婷人人爽人人干人人爱| 国产黄色小视频在线观看| 精品第一国产精品| 大型黄色视频在线免费观看| 欧美日韩乱码在线| 人妻久久中文字幕网| 亚洲人成网站在线播放欧美日韩| 国产av一区二区精品久久| 69av精品久久久久久| 怎么达到女性高潮| 亚洲国产精品999在线| 亚洲五月婷婷丁香| 午夜日韩欧美国产| 亚洲 欧美 日韩 在线 免费| 99精品欧美一区二区三区四区| 日韩有码中文字幕| 日韩大尺度精品在线看网址| 老汉色∧v一级毛片| 丝袜美腿诱惑在线| 亚洲avbb在线观看| 日日夜夜操网爽| 在线视频色国产色| 国产成人精品久久二区二区91| 国产片内射在线| 日韩精品青青久久久久久| 久久精品国产亚洲av高清一级| 国产av又大| 久久久久久亚洲精品国产蜜桃av| 成人国产综合亚洲| 久久精品国产清高在天天线| 成人av在线播放网站| 手机成人av网站| 床上黄色一级片| 精品日产1卡2卡| 色综合婷婷激情| 美女午夜性视频免费| 国产成人精品无人区| 高清在线国产一区| 999久久久国产精品视频| av超薄肉色丝袜交足视频| 亚洲精品av麻豆狂野| 欧美成人午夜精品| 宅男免费午夜| 国产真实乱freesex| 亚洲一区中文字幕在线| 国产欧美日韩精品亚洲av| 两人在一起打扑克的视频| 欧美精品亚洲一区二区| 精品国产美女av久久久久小说| 久久精品成人免费网站| 国产av麻豆久久久久久久| 亚洲国产精品sss在线观看| 国产亚洲av嫩草精品影院| 人人妻人人看人人澡| 神马国产精品三级电影在线观看 | 男女那种视频在线观看| 女同久久另类99精品国产91| 久久精品aⅴ一区二区三区四区| 极品教师在线免费播放| 国产aⅴ精品一区二区三区波| 欧美又色又爽又黄视频| 18禁裸乳无遮挡免费网站照片| 亚洲一区二区三区不卡视频| 欧美黑人欧美精品刺激| 婷婷丁香在线五月| 国产午夜福利久久久久久| 色播亚洲综合网| 麻豆一二三区av精品| 黄片小视频在线播放| 成人亚洲精品av一区二区| 午夜免费成人在线视频| 青草久久国产| 天天一区二区日本电影三级| 99精品欧美一区二区三区四区| 精品欧美一区二区三区在线| 日韩欧美 国产精品| 亚洲精品中文字幕一二三四区| 夜夜躁狠狠躁天天躁| 久久欧美精品欧美久久欧美| 欧美黑人巨大hd| 欧美最黄视频在线播放免费| 搡老岳熟女国产| 欧美日韩一级在线毛片| 国产精品国产高清国产av| АⅤ资源中文在线天堂| 成人18禁在线播放| 欧美日本亚洲视频在线播放| 午夜精品在线福利| 两性午夜刺激爽爽歪歪视频在线观看 | 少妇裸体淫交视频免费看高清 | 色哟哟哟哟哟哟| 中文字幕熟女人妻在线| 在线播放国产精品三级| 亚洲精品在线美女| 久久久久久大精品| 欧美3d第一页| 欧美日韩精品网址| 十八禁网站免费在线| 亚洲人成伊人成综合网2020| 激情在线观看视频在线高清| 变态另类丝袜制服| 成年女人毛片免费观看观看9| 亚洲中文字幕一区二区三区有码在线看 | 欧美黑人精品巨大| 国产麻豆成人av免费视频| 在线观看66精品国产| av在线天堂中文字幕| 天堂影院成人在线观看| 女人高潮潮喷娇喘18禁视频| 国产av又大| 亚洲人成网站在线播放欧美日韩| 日日干狠狠操夜夜爽| 中文字幕高清在线视频| 岛国视频午夜一区免费看| 国产aⅴ精品一区二区三区波| 国产91精品成人一区二区三区| 亚洲天堂国产精品一区在线| 国产精品一区二区三区四区久久| 啦啦啦韩国在线观看视频| 国产午夜精品久久久久久| 免费在线观看日本一区| 九九热线精品视视频播放| 18禁美女被吸乳视频| 成人18禁在线播放| 精品久久久久久,| 18禁黄网站禁片午夜丰满| 最新美女视频免费是黄的| 午夜日韩欧美国产| 久久精品aⅴ一区二区三区四区| 午夜激情福利司机影院| 国产精品一区二区精品视频观看| avwww免费| 色精品久久人妻99蜜桃| 亚洲专区字幕在线| АⅤ资源中文在线天堂| 黄色丝袜av网址大全| 伊人久久大香线蕉亚洲五| 床上黄色一级片| 欧美国产日韩亚洲一区| 妹子高潮喷水视频| 深夜精品福利| 成人三级做爰电影| 国产精品影院久久| 男人的好看免费观看在线视频 | 日韩精品免费视频一区二区三区| 国产激情久久老熟女| 欧美在线黄色| 亚洲国产精品久久男人天堂| 国产精品,欧美在线| www.精华液| 久久天堂一区二区三区四区| 精品久久久久久久久久免费视频| 波多野结衣高清作品| 99精品在免费线老司机午夜| 久久中文字幕一级| 欧美不卡视频在线免费观看 | 又粗又爽又猛毛片免费看| 午夜老司机福利片| 在线视频色国产色| 在线播放国产精品三级| 一二三四社区在线视频社区8| 午夜免费观看网址| 啦啦啦韩国在线观看视频| 嫩草影院精品99| 国产伦在线观看视频一区| 亚洲精品在线美女| 午夜免费激情av| 国产精品1区2区在线观看.| 久久天躁狠狠躁夜夜2o2o| 欧美成人午夜精品| 最近在线观看免费完整版| 久久婷婷成人综合色麻豆| 久9热在线精品视频| 久久婷婷成人综合色麻豆| 在线观看免费午夜福利视频| av天堂在线播放| 欧美中文日本在线观看视频| 日本 av在线| 高清在线国产一区| 久久久久久久久久黄片| 亚洲精品av麻豆狂野| 精品久久久久久久毛片微露脸| 香蕉久久夜色| 国产成人精品无人区| 国产亚洲av高清不卡| 一本一本综合久久| 日本五十路高清| 久久草成人影院| 少妇被粗大的猛进出69影院| 男女那种视频在线观看| 亚洲精品粉嫩美女一区| 欧美绝顶高潮抽搐喷水| 国模一区二区三区四区视频 | 免费电影在线观看免费观看| 窝窝影院91人妻| 叶爱在线成人免费视频播放| 国产精品1区2区在线观看.| 欧美成狂野欧美在线观看| 精品电影一区二区在线| 首页视频小说图片口味搜索| 99re在线观看精品视频| 国产高清videossex| 九色成人免费人妻av| 欧美日韩国产亚洲二区| 欧美黑人巨大hd| 午夜两性在线视频| 亚洲成人久久爱视频| 精品人妻1区二区| 99热这里只有精品一区 | 一个人免费在线观看的高清视频| 欧美性长视频在线观看| 亚洲精品久久国产高清桃花| 日韩欧美 国产精品| 夜夜夜夜夜久久久久| www日本黄色视频网| 午夜久久久久精精品| 九色成人免费人妻av| 无限看片的www在线观看| 夜夜爽天天搞| 成人av一区二区三区在线看| 两人在一起打扑克的视频| 午夜福利欧美成人| 亚洲在线自拍视频| 丝袜美腿诱惑在线| 又紧又爽又黄一区二区| 黄色片一级片一级黄色片| 丁香欧美五月| 黑人欧美特级aaaaaa片| 90打野战视频偷拍视频| 国产成+人综合+亚洲专区| 一级片免费观看大全| 亚洲人成网站在线播放欧美日韩| 热99re8久久精品国产| 一级a爱片免费观看的视频| 久久伊人香网站| 天堂动漫精品| 久久久久免费精品人妻一区二区| 国模一区二区三区四区视频 | 九九热线精品视视频播放| 又黄又爽又免费观看的视频| 在线观看日韩欧美| 国产一区二区在线观看日韩 | 欧美成狂野欧美在线观看| 亚洲精品一区av在线观看| 色尼玛亚洲综合影院| 女生性感内裤真人,穿戴方法视频| 亚洲一区中文字幕在线| 欧美人与性动交α欧美精品济南到| 精品久久久久久,| 最新美女视频免费是黄的| 99热只有精品国产| 国产午夜精品论理片| 在线观看免费日韩欧美大片| 大型黄色视频在线免费观看| 少妇的丰满在线观看| 99re在线观看精品视频| 一级毛片女人18水好多| 日韩欧美免费精品| 全区人妻精品视频| 国产视频内射| 午夜免费观看网址| 韩国av一区二区三区四区| 中国美女看黄片| 精品人妻1区二区| 国产高清videossex| 91成年电影在线观看| 欧美日韩精品网址| 久久这里只有精品19| 一区福利在线观看| 麻豆一二三区av精品| 亚洲国产欧美一区二区综合| 亚洲精品在线观看二区| 久久久久精品国产欧美久久久| a级毛片a级免费在线| 久热爱精品视频在线9| 午夜激情福利司机影院| 宅男免费午夜| 国产精品亚洲美女久久久| 亚洲五月婷婷丁香| 精品久久久久久,| 中文字幕久久专区| 大型av网站在线播放| 久久久久久九九精品二区国产 | 变态另类丝袜制服| 亚洲午夜精品一区,二区,三区| 精品熟女少妇八av免费久了| 亚洲精品久久成人aⅴ小说| 国产av麻豆久久久久久久| 最近最新免费中文字幕在线| 久久欧美精品欧美久久欧美| 午夜久久久久精精品| 国内毛片毛片毛片毛片毛片| 欧美三级亚洲精品| 精品欧美一区二区三区在线| 日韩三级视频一区二区三区| 免费无遮挡裸体视频| 午夜激情福利司机影院| 中文字幕人成人乱码亚洲影| 国产激情久久老熟女| videosex国产| 成人特级黄色片久久久久久久| 亚洲一区高清亚洲精品| 亚洲精品美女久久av网站| 国内精品一区二区在线观看| av福利片在线| 99久久精品热视频| 日韩欧美在线乱码| 黄片大片在线免费观看| 国产精品久久久av美女十八| 国产精品电影一区二区三区| 午夜福利在线观看吧| av天堂在线播放| 国产精品一区二区免费欧美| 最近最新中文字幕大全免费视频| 18禁观看日本| 亚洲天堂国产精品一区在线| 国产亚洲精品久久久久5区| 老熟妇仑乱视频hdxx| 亚洲国产中文字幕在线视频| 亚洲中文av在线| 久久国产精品影院| 狂野欧美白嫩少妇大欣赏| 国产av一区二区精品久久| 国产99久久九九免费精品| 19禁男女啪啪无遮挡网站| netflix在线观看网站| av视频在线观看入口| 一级黄色大片毛片| 免费看十八禁软件|