• <tr id="yyy80"></tr>
  • <sup id="yyy80"></sup>
  • <tfoot id="yyy80"><noscript id="yyy80"></noscript></tfoot>
  • 99热精品在线国产_美女午夜性视频免费_国产精品国产高清国产av_av欧美777_自拍偷自拍亚洲精品老妇_亚洲熟女精品中文字幕_www日本黄色视频网_国产精品野战在线观看 ?

    大數(shù)據(jù)應(yīng)用于高校科研評價(jià)的價(jià)值意蘊(yùn)與適用構(gòu)想

    2022-01-01 23:16:11劉在洲
    科技管理研究 2021年4期
    關(guān)鍵詞:價(jià)值評價(jià)

    劉在洲

    (武漢紡織大學(xué),湖北武漢 430073)

    1 研究背景

    隨著信息技術(shù)飛速發(fā)展,人類進(jìn)入了大數(shù)據(jù)時代,大數(shù)據(jù)正帶來一場偉大的技術(shù)變革,必將沖擊人們的思維和評價(jià)模式。與此同時,科技創(chuàng)新已成為國家強(qiáng)盛的根基和民族進(jìn)步的靈魂,高校作為科技創(chuàng)新大軍中一支重要的生力軍,其作用和地位日益凸顯。然而,近些年來,面向以前瞻性基礎(chǔ)研究、關(guān)鍵共性技術(shù)、前沿引領(lǐng)技術(shù)和顛覆性技術(shù)創(chuàng)新為主和著力人才培養(yǎng)、學(xué)科建設(shè)的高校,科研成果原創(chuàng)性不足、創(chuàng)新性不強(qiáng)、轉(zhuǎn)化率低下,以及科研人才培養(yǎng)功能弱化、學(xué)科建設(shè)引領(lǐng)不夠等問題日益突顯,成為了我國高等教育領(lǐng)域的痛點(diǎn)。高??蒲兄悦媾R諸多問題,原因是多方面的,但高??蒲性u價(jià)問題是主因之一,其中缺少大數(shù)據(jù)理論和技術(shù)支撐是關(guān)鍵。其局限與不足主要有:一是高??蒲性u價(jià)數(shù)據(jù)采集不全,挖掘不夠,如數(shù)據(jù)來源單一、數(shù)據(jù)類型偏少,對半結(jié)構(gòu)化和非結(jié)構(gòu)化等數(shù)據(jù)沒有充分利用;沒能充分挖掘成果背后的隱性數(shù)據(jù)和潛在價(jià)值,特別是針對高??蒲幸曰A(chǔ)研究為主和著力人才培養(yǎng)、學(xué)科建設(shè)的特征采集數(shù)據(jù)、建立評價(jià)體系、挖掘核心價(jià)值不夠。二是指標(biāo)集、指標(biāo)權(quán)集的篩選和確定主要通過德爾菲法、層次分析法和因子分析法,沒有充分運(yùn)用大數(shù)據(jù)技術(shù)。三是評價(jià)結(jié)果可視化程度不高,因而導(dǎo)致評價(jià)結(jié)果科學(xué)性不夠,精準(zhǔn)度不高、可信度不強(qiáng),效率太低。

    高??蒲兴降挠绊懸蛩睾芏?,且影響因素之間相互影響及耦合,基于傳統(tǒng)統(tǒng)計(jì)模型所獲取的評估數(shù)據(jù)準(zhǔn)確度偏低[1]。大數(shù)據(jù)為這些問題的解決帶來了契機(jī),充分運(yùn)用大數(shù)據(jù)和人工智能等手段,建立科學(xué)的高??蒲性u價(jià)體系已是當(dāng)務(wù)之急。2018年,黨中央在深化“三評”(項(xiàng)目評審、機(jī)構(gòu)評估、人才評價(jià))改革的意見中提出了構(gòu)建科學(xué)、規(guī)范、高效、誠信的科技評價(jià)體系的任務(wù)。2019年,國家有關(guān)部委針對學(xué)科評估和規(guī)范SCI論文相關(guān)指標(biāo)使用,提出了充分運(yùn)用大數(shù)據(jù)和人工智能等手段獲取公開數(shù)據(jù)、探索建立科學(xué)的評價(jià)體系等要求。為此,本研究就大數(shù)據(jù)對于高校科研評價(jià)的價(jià)值意蘊(yùn)、大數(shù)據(jù)在高??蒲性u價(jià)關(guān)鍵環(huán)節(jié)的適用性作一些探析。

    2 文獻(xiàn)回顧

    目前科研評價(jià)主要是采用同行評議法、文獻(xiàn)計(jì)量法、經(jīng)濟(jì)計(jì)量法、多指標(biāo)綜合評價(jià)法等方法[2]。正因?yàn)槿绱?,對高??蒲性u價(jià)的研究也主要是基于這些傳統(tǒng)的視角,基于大數(shù)據(jù)的高校科研評價(jià)研究少見,但基于大數(shù)據(jù)的高??蒲衅渌嚓P(guān)研究較多。其中,國外一些學(xué)者對大數(shù)據(jù)背景下的科研項(xiàng)目立項(xiàng)、科研成果水平、科研績效、學(xué)術(shù)論文影響力等方面的評價(jià)進(jìn)行了研究,提出了一些思路和方法[3-6],但對高校整體、系統(tǒng)的科研評價(jià)的研究尚未發(fā)現(xiàn)。國內(nèi)學(xué)者如楊維榮[7]認(rèn)為,大數(shù)據(jù)技術(shù)給高校科研管理工作帶來了重要機(jī)遇,有利于實(shí)現(xiàn)高??蒲羞x題科學(xué)化,推動高??蒲谐晒D(zhuǎn)化,并指出當(dāng)前學(xué)界對大數(shù)據(jù)問題的研究主要集中在商業(yè)推薦和經(jīng)濟(jì)預(yù)測、科學(xué)研究范式變革等領(lǐng)域,大數(shù)據(jù)技術(shù)在高??蒲泄芾砉ぷ髦械膽?yīng)用研究還較為少見;梁子裕[8]、朱凌玲[9]主張加快高??蒲行畔⒒ㄔO(shè),建立大數(shù)據(jù)資源共享信息系統(tǒng),實(shí)現(xiàn)大數(shù)據(jù)的交流與互通;馮海燕[10]提出通過大數(shù)據(jù)對科研團(tuán)隊(duì)的創(chuàng)新環(huán)境、創(chuàng)新氣氛、創(chuàng)新溝通進(jìn)行分析,進(jìn)而考核其績效;王運(yùn)紅等[11]基于大數(shù)據(jù)信息構(gòu)建了包括基本科學(xué)素養(yǎng)、科研產(chǎn)出影響力、科研管理能力、學(xué)術(shù)潛力和學(xué)術(shù)地位5 個維度在內(nèi)的科技人才科研綜合能力評價(jià)模型,以期較為全面地反映科技人才的綜合實(shí)力;陳輝[12]認(rèn)為,在大數(shù)據(jù)環(huán)境下同被引文獻(xiàn)數(shù)在時間上的反應(yīng)速度比引證文獻(xiàn)數(shù)快(論文發(fā)表即可獲取),且具有客觀性、科學(xué)性和有效性等優(yōu)勢,具有很強(qiáng)的學(xué)術(shù)評價(jià)功能;張安淇等[13]提出了科學(xué)評價(jià)中應(yīng)用大數(shù)據(jù)既有優(yōu)勢也有劣勢,既存在機(jī)遇也存在挑戰(zhàn)。已有研究對于探索大數(shù)據(jù)背景下的高??蒲性u價(jià)具有一定啟發(fā)價(jià)值和借鑒意義,但研究顯得較為零散,存在系統(tǒng)化程度不高、可操作性不強(qiáng)等問題。

    在運(yùn)用大數(shù)據(jù)技術(shù)采集、處理數(shù)據(jù)以及篩選指標(biāo)等功能研究方面,國外一些學(xué)者對運(yùn)用大數(shù)據(jù)技術(shù)搜索、采集、處理、挖掘數(shù)據(jù)以及建立數(shù)據(jù)模型評價(jià)進(jìn)行了研究,但研究對象多在股票市場、公路交通、企業(yè)經(jīng)營等領(lǐng)域[14-16],國內(nèi)學(xué)者的研究主要有如下方面:如李振等[17]、孫曙輝等[18]提出關(guān)聯(lián)規(guī)則挖掘、聚類分析、趨勢預(yù)測、時序分析、回歸分析、情感分析、語義分析、社交網(wǎng)絡(luò)分析等是教學(xué)評價(jià)數(shù)據(jù)采集、挖掘的主要方法;馬克[19]、王希予[20]研究了數(shù)據(jù)清洗對象、數(shù)據(jù)清洗的基本思路和流程,提出了異常值處理、缺失值處理、重復(fù)樣本處理、錯誤類型數(shù)據(jù)清洗等方法;路云飛等[21]提出了粗糙集屬性約簡和灰色關(guān)聯(lián)聚類相結(jié)合的指標(biāo)篩選方法;龍浩等[22]基于大數(shù)據(jù)分析的視角,以學(xué)生的參與度、認(rèn)可度和滿意度為切入點(diǎn),構(gòu)建了包括課程微觀評價(jià)指標(biāo)體系、二級學(xué)院綜合評價(jià)指標(biāo)體系和學(xué)校宏觀評價(jià)指標(biāo)體系的三級教學(xué)評價(jià)指標(biāo)體系;段紅等[23]提出了基于S-Kohonen 神經(jīng)網(wǎng)絡(luò)的高校科研能力評估模型;田蕓[1]針對高校科研水平深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練評價(jià)中存在的評價(jià)特征同質(zhì)化現(xiàn)象造成評估結(jié)果精度不高問題,提出了稀疏交叉熵粗糙集雙向受限制深度玻爾茲曼機(jī)(DDRBMDNNS)高??蒲心芰υu估方法;劉三女牙等[24]提出了一種基于地圖的教育大數(shù)據(jù)可視分析方法;任磊等[25]探討了面向大數(shù)據(jù)主流應(yīng)用的信息可視化技術(shù),如面向文本、網(wǎng)絡(luò)(圖)、時空、多維的可視化技術(shù)。上述研究為本研究打下了基礎(chǔ),但已有研究僅僅限于大數(shù)據(jù)某一技術(shù)在高校科研評價(jià)某一環(huán)節(jié)的運(yùn)用研究,同樣缺乏系統(tǒng)性、整體性,且研究教學(xué)評價(jià)的居多。

    綜上所述,已有基于大數(shù)據(jù)的高??蒲蟹矫娴难芯看蠖嗑窒抻诳蒲泄芾怼⒖蒲行畔⒒ㄔO(shè)與教師個人學(xué)術(shù)影響和績效考核等方面,研究的廣度和深度遠(yuǎn)遠(yuǎn)不夠,基于大數(shù)據(jù)的高??蒲性u價(jià)方面的研究相對滯后,運(yùn)用大數(shù)據(jù)技術(shù)采集、挖掘、處理高??蒲写髷?shù)據(jù)的研究成果不多,通過大數(shù)據(jù)技術(shù)構(gòu)建高校科研評價(jià)指標(biāo)集等方面的研究成果尚不多見。已有研究中存在的不足,正是本研究必須面對和突破的問題。

    3 基于大數(shù)據(jù)的高??蒲性u價(jià)的價(jià)值意蘊(yùn)

    充分利用大數(shù)據(jù)的資源,科學(xué)運(yùn)用大數(shù)據(jù)手段開展高??蒲性u價(jià),對于促進(jìn)高??蒲性u價(jià)更加系統(tǒng)全面、精準(zhǔn)客觀、高效便捷具有重要的作用,特別是在面向以基礎(chǔ)研究為主和著眼人才培養(yǎng)、學(xué)科建設(shè)的高校科研評價(jià)方面具有明顯優(yōu)勢,其價(jià)值意蘊(yùn)體現(xiàn)在以下4 個方面。

    3.1 使高??蒲性u價(jià)更加系統(tǒng)全面

    大數(shù)據(jù)不僅量大,而且類型多,不僅有結(jié)構(gòu)化數(shù)據(jù),還有非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù),日益迅速增長的非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)是大數(shù)據(jù)時代到來的標(biāo)志。有學(xué)者認(rèn)為,非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)已占到所有采集到數(shù)據(jù)的85%以上,是重要的、有價(jià)值的數(shù)據(jù)[26]。對于高??蒲性u價(jià)而言,非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)是進(jìn)行全面、系統(tǒng)、準(zhǔn)確評價(jià)不可或缺的數(shù)據(jù)。傳統(tǒng)的高校科研評價(jià)數(shù)據(jù)不僅來源單一,而且數(shù)量有限,主要是政府教育、科技行政主管部門的統(tǒng)計(jì)數(shù)據(jù)、學(xué)校公布的數(shù)據(jù)、SCI 和中國知網(wǎng)(CNKI)等幾大檢索系統(tǒng)和數(shù)據(jù)庫的數(shù)據(jù),其中結(jié)構(gòu)化數(shù)據(jù)居多,非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集偏少,特別是關(guān)注科研對人才培養(yǎng)和學(xué)科建設(shè)的貢獻(xiàn)不夠。而高??蒲杏袆e于科研院所和企業(yè)的科研,一要出成果,二要出人才,三要促進(jìn)學(xué)科生長,具有多重功能,因此對高??蒲性u價(jià)不僅要著眼科研本身,還要關(guān)注科研對人才培養(yǎng)和學(xué)科建設(shè)的貢獻(xiàn)。傳統(tǒng)的高校科研評價(jià)受評價(jià)技術(shù)限制,人才培養(yǎng)、學(xué)科建設(shè)方面的數(shù)據(jù)沒有充分挖掘利用,導(dǎo)致無法全面系統(tǒng)評價(jià)高校的科研水平和社會貢獻(xiàn)。大數(shù)據(jù)技術(shù)的引入使這一局面將得以改變:從數(shù)量維度來看,大量諸如高校科研成果隱藏性數(shù)據(jù)、企業(yè)轉(zhuǎn)化數(shù)據(jù)、社會應(yīng)用數(shù)據(jù)、網(wǎng)絡(luò)分析數(shù)據(jù)、歷史數(shù)據(jù)等數(shù)據(jù)被采集出來,基于小樣本的評價(jià)變?yōu)榛诖髷?shù)據(jù)的評價(jià),為高校科研評價(jià)提供了海量的數(shù)據(jù),成為系統(tǒng)全面評價(jià)高校科研的重要基礎(chǔ)。從類型角度來看,通過大數(shù)據(jù)技術(shù),不僅可以采集到海量的結(jié)構(gòu)化數(shù)據(jù),也可以采集到大量非結(jié)構(gòu)化數(shù)據(jù)如文本圖形、圖像、音視頻等,同時還可以采集到半結(jié)構(gòu)化數(shù)據(jù)如網(wǎng)頁等數(shù)據(jù),特別是能采集到科研對于人才培養(yǎng)和學(xué)科建設(shè)作用的滯后性數(shù)據(jù)和長效性數(shù)據(jù),由于多種類型的海量數(shù)據(jù)被挖掘利用,從整體上提高了高??蒲性u價(jià)的完整性和系統(tǒng)性;此外,還有利于對科研評價(jià)對象進(jìn)行多視角、全方位的評價(jià),彼此驗(yàn)證和相互支撐,突破以往單一維度的思維模式,使高??蒲性u價(jià)的全面性、系統(tǒng)性將大為提升。

    3.2 使高??蒲性u價(jià)更加精準(zhǔn)客觀

    大數(shù)據(jù)具有應(yīng)用價(jià)值大的顯著特征。由于大數(shù)據(jù)具備強(qiáng)大的數(shù)據(jù)處理功能,所處理的數(shù)據(jù)不僅體量大,而且粒度小,從中獲取的信息更加細(xì)致和清晰,有利于提高分析結(jié)果的精準(zhǔn)度。首先是大數(shù)據(jù)技術(shù)不僅能處理結(jié)構(gòu)化數(shù)據(jù),而且還能對半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理,使對科研成果的科學(xué)價(jià)值與社會貢獻(xiàn)的判斷突破了單一的顯性數(shù)據(jù)、當(dāng)下數(shù)據(jù)的定量評價(jià)和主觀性強(qiáng)、效率低下的同行評議傳統(tǒng)模式,大大地提高了高??蒲性u價(jià)的精準(zhǔn)度。其次,大數(shù)據(jù)的預(yù)測功能十分強(qiáng)大,大數(shù)據(jù)的核心就是預(yù)測[27],這一功能對于長效性的科研成果評價(jià)非常重要。在大數(shù)據(jù)的背景下,依托海量數(shù)據(jù),加上云計(jì)算技術(shù)等強(qiáng)大的數(shù)據(jù)處理能力,對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)高效地分析歸納,讓人們對于未來的準(zhǔn)確預(yù)測變得越來越清晰,預(yù)測結(jié)果也變得越來越趨近事實(shí)[28]。在高校科研評價(jià)的實(shí)踐中,運(yùn)用預(yù)測功能評價(jià)科研及成果的長期功效是十分奏效的。其三,大數(shù)據(jù)的應(yīng)用、數(shù)據(jù)之間的關(guān)系考量從線性關(guān)系轉(zhuǎn)向非線性關(guān)系,方便對各項(xiàng)評價(jià)數(shù)據(jù)進(jìn)行關(guān)聯(lián)度分析,使評價(jià)結(jié)果更加可靠和精準(zhǔn),主要表現(xiàn)在人們對數(shù)據(jù)分析的思維方式打破了傳統(tǒng)的、單一的因果分析格局,加入了關(guān)聯(lián)度分析手段,突破高??蒲性u價(jià)傳統(tǒng)刻板的“一根筋”式評價(jià)方式,為提高評價(jià)的精準(zhǔn)度增添了有利條件和手段。

    3.3 使高??蒲性u價(jià)更加高效便捷

    由于大數(shù)據(jù)還有處理速度快和獲取與發(fā)送方式自由靈活的顯著特征,一方面以云計(jì)算為代表的技術(shù)使得大量數(shù)據(jù)快速傳輸、運(yùn)算和處理成為可能,大大提高了高??蒲性u價(jià)能力和效率,使科研評價(jià)更加及時,另一方面,更為重要的是對各種實(shí)時性數(shù)據(jù)的把握,使高校科研評價(jià)不再僅僅是科研及成果創(chuàng)新點(diǎn)的評價(jià),而是創(chuàng)新鏈的評價(jià),甚至是創(chuàng)新面的評價(jià),便于實(shí)現(xiàn)對評價(jià)要素歷史性、發(fā)展性乃至全生命周期的動態(tài)性判斷。有學(xué)者認(rèn)為,大數(shù)據(jù)時代的來臨更是把數(shù)據(jù)功能推上了前所未有的高度,智能手機(jī)、可穿戴式電子設(shè)備等各種先進(jìn)傳感器等智能終端的推出和網(wǎng)絡(luò)與社交媒體的出現(xiàn),實(shí)現(xiàn)了數(shù)據(jù)全面、自動、實(shí)時地采集[29],為高??蒲性u價(jià)更加高效便捷提供了可能。

    3.4 為高??蒲性u價(jià)提供了新的方法論

    新的技術(shù)帶來新的思想和理論、思維和方法,大數(shù)據(jù)的引入為高??蒲性u價(jià)方法論提供了全新理論基礎(chǔ)和廣闊的思維空間,讓高??蒲性u價(jià)方法論更具有指導(dǎo)性。在大數(shù)據(jù)時代,傳統(tǒng)科研評價(jià)方法的局限和短板越來越突顯,在評價(jià)實(shí)踐中的問題越來越多,也很難從傳統(tǒng)的高??蒲性u價(jià)方法論中找到有效的思想觀照。Hey 等[30]將這種數(shù)據(jù)密集型的技術(shù)方法視為科學(xué)研究的“第四范式”。李國杰等[26]認(rèn)為,“第四范式”可能是唯一具有系統(tǒng)性的方法,它既是科研方式的轉(zhuǎn)變,又是人們思維方式的大變化。大數(shù)據(jù)將為高??蒲性u價(jià)方法論的創(chuàng)新發(fā)展提供新的思維方式和范式,擴(kuò)展了高??蒲性u價(jià)方法論的理論范疇,從而為高??蒲性u價(jià)方法提供了堅(jiān)實(shí)的理論基礎(chǔ),為高??蒲性u價(jià)提供了新的途徑。實(shí)踐中,大數(shù)據(jù)技術(shù)為高校科研評價(jià)提供了全新的方法,基于數(shù)據(jù)采集、存貯、整理、挖掘、計(jì)算等科研評價(jià)方法可以彌補(bǔ)當(dāng)下高校科研評價(jià)中種種不足,為高校科研評價(jià)提供更加科學(xué)的評價(jià)工具和操作系統(tǒng),有效克服傳統(tǒng)的同行評議和定量評價(jià)的種種弊端。

    4 大數(shù)據(jù)在高校科研評價(jià)關(guān)鍵環(huán)節(jié)的適用與調(diào)控

    高??蒲惺堋斑z傳與環(huán)境”的影響,形成了自身的鮮明特征,表現(xiàn)出科研功能的多重性、科研重心的基礎(chǔ)性、科研成果價(jià)值的非顯性以及科研評價(jià)的導(dǎo)向性等,大數(shù)據(jù)在高校科研評價(jià)這些關(guān)鍵環(huán)節(jié)中可發(fā)揮獨(dú)特的作用。

    4.1 針對科研功能多重性的數(shù)據(jù)采集

    如前所述,高??蒲杏袆e于科研院所和企業(yè)的科研,除了出成果外,還要出人才、促進(jìn)學(xué)科生長、引領(lǐng)社會發(fā)展,其功能表現(xiàn)為多重性,具體體現(xiàn)為科研過程教育性、科研起點(diǎn)和落腳點(diǎn)的學(xué)科性以及科研推廣的服務(wù)性,為此,高校科研評價(jià)對于培養(yǎng)人才、支撐學(xué)科建設(shè)、引領(lǐng)社會發(fā)展等方面的數(shù)據(jù)必須全面采集,納入評價(jià)之中。而傳統(tǒng)的評價(jià)方法運(yùn)用的數(shù)據(jù)主要來源于政府、高校、企業(yè)、個人公開的數(shù)據(jù)和SCI、EI、SSCI、CSSCI 等檢索系統(tǒng)及CNKI 等數(shù)據(jù)庫的數(shù)據(jù),還有多媒體與互聯(lián)網(wǎng)上的數(shù)據(jù),主要類型一是來自關(guān)系數(shù)據(jù)庫和excel 等格式的結(jié)構(gòu)化數(shù)據(jù),如項(xiàng)目、成果、經(jīng)費(fèi)等量化數(shù)據(jù),二是來自XML 和JSON 等格式的半結(jié)構(gòu)化數(shù)據(jù),如論文影響因子、他引量、ESI 值等數(shù)據(jù),由于技術(shù)手段受限,對來自文本文件、圖片和音視頻等格式呈現(xiàn)的項(xiàng)目、成果、經(jīng)費(fèi)、隊(duì)伍及產(chǎn)出效益等大量的非結(jié)構(gòu)化數(shù)據(jù)采集不多。然而,高校科研在培養(yǎng)人才、支撐學(xué)科建設(shè)、引領(lǐng)社會發(fā)展等方面的貢獻(xiàn)價(jià)值以非結(jié)構(gòu)化數(shù)據(jù)居多,如科研對于培養(yǎng)學(xué)生的學(xué)術(shù)道德與科學(xué)精神、科研動力與動機(jī)、提升科技創(chuàng)新能力的貢獻(xiàn)價(jià)值,對學(xué)科建設(shè)的基礎(chǔ)作用價(jià)值,以及對引領(lǐng)社會發(fā)展的長效價(jià)值和滯后價(jià)值等,大都是一些文本、語音、視頻等形式的非結(jié)構(gòu)化數(shù)據(jù),這些方面的數(shù)據(jù)過去往往被忽視,采集不夠,影響了高??蒲性u價(jià)的全面性和真實(shí)性。在大數(shù)據(jù)技術(shù)時代,可通過搜索引擎、主題搜索引擎、手機(jī)APP 等手段在互聯(lián)網(wǎng)、各種媒體、各類數(shù)據(jù)庫、社交網(wǎng)站等渠道采集這些數(shù)據(jù),特別是可以通過圖像識別、自然語言處理、文本挖掘、文本分析等數(shù)據(jù)挖掘技術(shù)來采集和處理這些信息,以獲取有價(jià)值的量化數(shù)據(jù),判斷其價(jià)值高低,從而擴(kuò)大數(shù)據(jù)采集面,提高高??蒲性u價(jià)的完整性和綜合性。

    4.2 針對科研重心的基礎(chǔ)性的學(xué)術(shù)價(jià)值判斷

    基礎(chǔ)研究是高??蒲械膫鹘y(tǒng),也是高??蒲械膬?yōu)勢所在。盡管高??蒲谐尸F(xiàn)出多樣化的趨勢,但對于大學(xué)尤其是研究型大學(xué)來說,其重點(diǎn)應(yīng)該還是基礎(chǔ)研究與理論研究[31]。2015 至2019年間,我國高校承擔(dān)的國家自然科學(xué)基金項(xiàng)目占比較大,獲得的資助資金在國家自然科學(xué)基金資助總額中的占比分別為80.83%、80.93%、82.01%、83.03% 和83.81%[32]??梢?,我國高校承擔(dān)著國家基礎(chǔ)研究的重任,基礎(chǔ)研究始終是高??蒲械摹爸仡^戲”。高校科研重心的基礎(chǔ)性是高??蒲械囊淮筇卣?,具體表現(xiàn)為科研項(xiàng)目的前沿性、科研成果的原創(chuàng)性、科技創(chuàng)新的顛覆性、科研作用的基礎(chǔ)性等特點(diǎn),采集和挖掘這些方面的數(shù)據(jù),并對其科學(xué)價(jià)值進(jìn)行準(zhǔn)確判斷是做好高??蒲性u價(jià)的基礎(chǔ)。然而在現(xiàn)實(shí)中,基礎(chǔ)研究成果一般都是通過發(fā)表論文和專利展現(xiàn)出來的,對論文質(zhì)量和水平的評價(jià)過去主要看其被幾大引文索引的數(shù)據(jù)庫收錄情況,但由于幾大引文索引數(shù)據(jù)庫的輻射面受限和收錄機(jī)構(gòu)的主觀傾向以及論文作者影響力的馬太效應(yīng)等因素,這一評價(jià)方法在可信度方面飽受爭議,如以被引頻次反映論文的影響力而掩蓋了引文動機(jī)和論文發(fā)表時間、被引作者單位和個人身份等,以SCI 影響因子反映期刊與論文等級而忽視了論文創(chuàng)新性、研究領(lǐng)域及數(shù)據(jù)來源等問題,以專利轉(zhuǎn)讓數(shù)量和金額反映高??萍紕?chuàng)新能力而忽視了專利技術(shù)的科技孵化效應(yīng)與長效作用等[33]。引入大數(shù)據(jù)技術(shù),以論文為例,評價(jià)主體可以通過下載、引用、收藏實(shí)際數(shù)據(jù)和注釋、標(biāo)簽、推薦、排名等客觀情況,以及根據(jù)論文提出的理論和原理形成的技術(shù)和產(chǎn)品,建立起論文多層面、多視角、多維度的立體評價(jià)大數(shù)據(jù)資源庫[34],為準(zhǔn)確地評價(jià)學(xué)術(shù)論文的科學(xué)價(jià)值提供核心依據(jù),特別是在通過論文引用評價(jià)論文的學(xué)術(shù)價(jià)值時,可運(yùn)用大數(shù)據(jù)相關(guān)技術(shù)對引文上下文的位置、引文內(nèi)容的語境、引文動機(jī)、情感及行為進(jìn)行分析,有利于發(fā)現(xiàn)論文的學(xué)術(shù)價(jià)值及學(xué)術(shù)價(jià)值相互關(guān)聯(lián)所在,也有利于對論文非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行量化處理,聚焦科研論文的學(xué)術(shù)價(jià)值,從而實(shí)現(xiàn)對學(xué)術(shù)價(jià)值準(zhǔn)確判斷。這種深入論文內(nèi)容層面的分析方法帶來了傳統(tǒng)評價(jià)理念的創(chuàng)新,使高??蒲性u價(jià)的理念內(nèi)涵從過去注重論文刊發(fā)刊物影響因子與引文數(shù)量的思維模式向?qū)σ馁|(zhì)量的精細(xì)化識別與論文影響力精準(zhǔn)化判斷轉(zhuǎn)變[35],完善和彌補(bǔ)傳統(tǒng)引文分析表面化、單一性的評價(jià)模式,突破以往基于文獻(xiàn)引證關(guān)系信息識別的單一層面的局限,從而挖掘引文的真實(shí)動機(jī)和引文的影響力,從多方位、多層面綜合考察科研成果的隱性價(jià)值[36],及其滯后性、長效性、間接性作用,引導(dǎo)高??蒲性u價(jià)聚焦科研成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會價(jià)值、文化價(jià)值(以下簡稱“五大價(jià)值”)展開[37]??梢姡髷?shù)據(jù)技術(shù)對于以論文為標(biāo)志的基礎(chǔ)研究成果的科學(xué)價(jià)值判斷具有很強(qiáng)的適用性,能洞察學(xué)術(shù)成果內(nèi)容深層面的價(jià)值內(nèi)涵,深度理解和解析學(xué)術(shù)成果的創(chuàng)新價(jià)值,使高??蒲性u價(jià)成果的科學(xué)價(jià)值和社會效益得以深入挖掘。

    4.3 針對科研成果價(jià)值非顯性的數(shù)據(jù)挖掘

    高??蒲兄匦牡幕A(chǔ)性和科研功能的多重性特征帶來了部分科研成果的非顯性,這些研究成果的價(jià)值表現(xiàn)為隱藏性、滯后性、長效性、間接性等非顯性特征。傳統(tǒng)單一的、線性思維的因果關(guān)系評價(jià)理念和一般的定量、定性評價(jià)方法很難掃描到科學(xué)價(jià)值的核心層面和學(xué)術(shù)價(jià)值,對于非顯性特征明顯的科研成果的評價(jià)更是難以評判。大數(shù)據(jù)挖掘技術(shù)的引入和思維方式的轉(zhuǎn)變給高??蒲性u價(jià)解決這一問題提供了方案和工具,通過大數(shù)據(jù)挖掘技術(shù)和相關(guān)關(guān)系分析,對高??蒲袛?shù)據(jù)背后的數(shù)據(jù)即隱藏性數(shù)據(jù)、滯后性數(shù)據(jù)、長效性數(shù)據(jù)等進(jìn)行追蹤,提取有價(jià)值的數(shù)據(jù)信息已不是難事。

    首先,隨著大數(shù)據(jù)挖掘技術(shù)的運(yùn)用,可以挖掘到大量的隱藏在顯性數(shù)據(jù)背后的數(shù)據(jù)和間接性數(shù)據(jù)。比如在評價(jià)高?;A(chǔ)研究成果方面,通過大數(shù)據(jù)技術(shù)可分析這些原創(chuàng)知識對技術(shù)創(chuàng)新的基礎(chǔ)性作用,挖掘其產(chǎn)生的連鎖效應(yīng)和對經(jīng)濟(jì)社會的科技貢獻(xiàn)率等數(shù)據(jù),對于真實(shí)、客觀地評價(jià)科研成果的創(chuàng)新價(jià)值和經(jīng)濟(jì)價(jià)值具有重要的意義;還可以從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際數(shù)據(jù)中提取隱含的、內(nèi)在的、人們事先所不知的但有潛在價(jià)值的信息和知識[38],將表象數(shù)據(jù)背后的科學(xué)價(jià)值挖掘出來,為深入評價(jià)科研成果的價(jià)值和社會貢獻(xiàn)提供了重要的觀察視角。具體而言,隱性數(shù)據(jù)挖掘可采用機(jī)器學(xué)習(xí)、模式識別、圖譜構(gòu)建與挖掘、事件分析法等技術(shù),對基礎(chǔ)研究中原創(chuàng)成果隱藏的科學(xué)價(jià)值進(jìn)行挖掘,并預(yù)測其產(chǎn)生的連鎖效應(yīng)和對經(jīng)濟(jì)社會的科技貢獻(xiàn)率等;還可采用語義分析法等方法對科研論文中隱藏的科學(xué)價(jià)值進(jìn)行挖掘,洞察學(xué)術(shù)論文深層面的價(jià)值內(nèi)涵。

    其二,大數(shù)據(jù)時代人們的思維方式開始從單純的因果關(guān)系向相關(guān)關(guān)系轉(zhuǎn)變。相關(guān)關(guān)系分析方便人們通過關(guān)聯(lián)物來分析現(xiàn)象而無需揭示其內(nèi)部運(yùn)作機(jī)制,在科研評價(jià)中具有獨(dú)到的作用。在大數(shù)據(jù)背景下,通過關(guān)聯(lián)性分析研判、回歸分析和情感計(jì)算等技術(shù),對于數(shù)據(jù)全程的動態(tài)跟蹤,有利于揭示一些具有滯后性特征成果的科研價(jià)值。比如,科研過程中對研究生的培養(yǎng)和科研成果對高校碩士點(diǎn)、博士點(diǎn)以及一流學(xué)科的支撐價(jià)值等,這些科研價(jià)值往往是滯后或長效體現(xiàn)的,過去很難挖掘這些方面的數(shù)據(jù);而引入大數(shù)據(jù)技術(shù),可以對這些數(shù)據(jù)進(jìn)行深度挖掘,使科研對人才培養(yǎng)和學(xué)科建設(shè)價(jià)值納入到科研評價(jià)之中。還比如,專利的作用是長效的,傳統(tǒng)對專利的評價(jià)是根據(jù)專利數(shù)量和專利轉(zhuǎn)讓金額作出判斷,主要是結(jié)構(gòu)化數(shù)據(jù);而運(yùn)用大數(shù)據(jù)技術(shù),可對專利應(yīng)用中的一些半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行采集和分析,讓專利滯后性的科技價(jià)值得以準(zhǔn)確評價(jià),并預(yù)測其可能產(chǎn)生的經(jīng)濟(jì)效益和社會貢獻(xiàn)。

    其三,對長效性數(shù)據(jù)挖掘可采用并行計(jì)算、關(guān)聯(lián)規(guī)則等技術(shù)。比如在評價(jià)高校教育科研成果方面,僅憑論文和報(bào)告來評價(jià)是不夠的,通過關(guān)聯(lián)性分析,可跟蹤到研究成果應(yīng)用實(shí)施中的互動情況和實(shí)施后對學(xué)校發(fā)展戰(zhàn)略、教育教學(xué)改革、人才培養(yǎng)質(zhì)量和科學(xué)研究水平提升方面等數(shù)據(jù),改變了傳統(tǒng)的定量評價(jià)和經(jīng)驗(yàn)主義判斷,使得教育科研評價(jià)更加聚焦人才培養(yǎng)和科研價(jià)值的貢獻(xiàn)度。

    4.4 針對科研評價(jià)的導(dǎo)向性指標(biāo)體系構(gòu)建

    通過大數(shù)據(jù)技術(shù)分析數(shù)據(jù)的特征和核心價(jià)值、揭示各類指標(biāo)間關(guān)系,提取有價(jià)值的代表性指標(biāo)構(gòu)建指標(biāo)集和指標(biāo)權(quán)集是關(guān)鍵,但構(gòu)建指標(biāo)集必須遵循國家科研評價(jià)的價(jià)值導(dǎo)向。高??蒲性u價(jià)的價(jià)值導(dǎo)向是構(gòu)建評價(jià)體系的風(fēng)向標(biāo),有什么樣的導(dǎo)向就會有什么樣的評價(jià)體系,高??蒲性u價(jià)體系的導(dǎo)向性至關(guān)重要,直接影響科技創(chuàng)新的質(zhì)量和水平。高??蒲性u價(jià),從評價(jià)的外延來講,不僅要重視對科研成果本身的評價(jià),還要重視高??蒲兄稳瞬排囵B(yǎng)、促進(jìn)學(xué)科建設(shè)的評價(jià)和科研對社會發(fā)展引領(lǐng)價(jià)值的評價(jià),圍繞高??蒲泄δ艿亩嘀匦蕴卣髡归_;從評價(jià)內(nèi)涵上而言,要貫徹落實(shí)習(xí)近平總書記重要講話精神和中央政策精神。在2018年兩院院士大會上習(xí)近平總書記強(qiáng)調(diào):“要改革科技評價(jià)制度,建立以科技創(chuàng)新質(zhì)量、貢獻(xiàn)、績效為導(dǎo)向的分類評價(jià)體系,正確評價(jià)科技創(chuàng)新成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會價(jià)值、文化價(jià)值”[37];2018年中共中央辦公廳、國務(wù)院辦公廳印發(fā)了《關(guān)于深化項(xiàng)目評審、人才評價(jià)、機(jī)構(gòu)評估改革的意見》,要求破除唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的頑瘴痼疾(以下簡稱“破五唯”);2020年教育部、科技部印發(fā)《關(guān)于規(guī)范高等學(xué)校SCI 論文相關(guān)指標(biāo)使用 樹立正確評價(jià)導(dǎo)向的若干意見》。這些都是高??蒲性u價(jià)應(yīng)遵循的價(jià)值取向。據(jù)此,高??蒲性u價(jià)的價(jià)值導(dǎo)向應(yīng)為:以“破五唯”和引導(dǎo)SCI論文規(guī)范使用為手段,以提高“五大價(jià)值”為宗旨,以促進(jìn)科研成果、人才培養(yǎng)和學(xué)科建設(shè)質(zhì)量和水平全面提高為目標(biāo)。為此,在高??蒲性u價(jià)過程中,要注重加大挖掘體現(xiàn)“五大價(jià)值”內(nèi)涵的數(shù)據(jù),重視提取人才培養(yǎng)、學(xué)科建設(shè)、引領(lǐng)社會發(fā)展方面指標(biāo),對前瞻性基礎(chǔ)研究、關(guān)鍵性共性技術(shù)、前沿性引領(lǐng)技術(shù)和顛覆性技術(shù)創(chuàng)新項(xiàng)目加大評價(jià)的權(quán)重等。

    然而,傳統(tǒng)的科研評價(jià)手段在把握上述價(jià)值導(dǎo)向方面有很多的局限性,人工智能和機(jī)器學(xué)習(xí)等大數(shù)據(jù)技術(shù)為我們提供了思路。首先,運(yùn)用大數(shù)據(jù)技術(shù)對所采集和挖掘到的數(shù)據(jù)進(jìn)行清洗、融合、降維、表征,清洗掉異常值數(shù)據(jù)、缺失值數(shù)據(jù)、重復(fù)值數(shù)據(jù)、不一致數(shù)據(jù)、多來源數(shù)據(jù)、表達(dá)格式和計(jì)量單位不一致的數(shù)據(jù)等,得到歸一化的有效數(shù)據(jù)。其次,建立科研評價(jià)指標(biāo)體系構(gòu)建模型,具體分兩步。第一步,輔之以人工辦法篩選評價(jià)大指標(biāo)。由于大數(shù)據(jù)的智能處理與分析技術(shù)還無法真正完成全方位智能識別,仍需要人工假設(shè)與價(jià)值判斷[39],運(yùn)用德爾菲法圍繞評價(jià)導(dǎo)向篩選評價(jià)大指標(biāo)。第二步,依靠人工智能辦法構(gòu)建模型。S-Kohonen 神經(jīng)網(wǎng)絡(luò)方法是其中之一,運(yùn)用S-Kohonen 神經(jīng)網(wǎng)絡(luò)方法模擬生物神經(jīng)網(wǎng)絡(luò),通過復(fù)雜函數(shù)不斷學(xué)習(xí),以適應(yīng)評價(jià)專家構(gòu)建評價(jià)指標(biāo)體系的導(dǎo)向要求建立科研評價(jià)指標(biāo)模型。實(shí)踐證明,運(yùn)用基于S-Kohonen 神經(jīng)網(wǎng)絡(luò)的高??蒲性u估模型能公正、公開、公平地評價(jià)高校的綜合科研能力[23]。其三,構(gòu)建指標(biāo)體系。將采集到的有效數(shù)據(jù)導(dǎo)入模型進(jìn)行優(yōu)化訓(xùn)練,淘汰與評價(jià)導(dǎo)向相關(guān)性不大的指標(biāo),提取出對目標(biāo)變量或評價(jià)指標(biāo)有重要影響的指標(biāo),得到高??蒲蟹蠈?dǎo)向的評價(jià)指標(biāo),從而構(gòu)建指標(biāo)體系。

    4.5 針對大數(shù)據(jù)評價(jià)局限性的調(diào)節(jié)與控制

    大數(shù)據(jù)蘊(yùn)含著巨大而重要的價(jià)值,大數(shù)據(jù)以及大數(shù)據(jù)技術(shù)在高??蒲性u價(jià)中雖然有許多優(yōu)勢,但究其根本,仍然是對數(shù)據(jù)量化的統(tǒng)計(jì)預(yù)測,處理不當(dāng)或過度依賴容易淪為“數(shù)據(jù)萬能”的陷阱,對高校科研評價(jià)的實(shí)踐作用發(fā)揮依然有其局限性,而同行評價(jià)是彌補(bǔ)其局限的有效途徑。

    其一,追求大而全的數(shù)據(jù)樣本,隨之而來的就是數(shù)據(jù)質(zhì)量、信度的問題。大數(shù)據(jù)的數(shù)據(jù)體量雖大,但價(jià)值密度低,數(shù)據(jù)并非就是客觀事實(shí)。全球的數(shù)據(jù)總量是海量的且類型繁多,由于收集手段千差萬別,有軟件系統(tǒng)收集的和硬件傳感器收集的;收集時間跨度之大,有歷史的、現(xiàn)實(shí)的,還有預(yù)測未來的;收集空間范圍之廣,有物理空間和網(wǎng)絡(luò)空間;數(shù)據(jù)來源類別之多,有政府和科研部門的,有企業(yè)和社會的等等。因此,數(shù)據(jù)并非都是可信的[40]。劣質(zhì)的、信度不高的數(shù)據(jù)會成為高??蒲性u價(jià)的“短板”,在實(shí)踐中一定要處理好數(shù)據(jù)質(zhì)量和信度問題,不然大數(shù)據(jù)的優(yōu)勢就會變成劣勢。然而,同行評價(jià)的信度和效用相對而言是可控的,與量化評價(jià)在理論邏輯層面具有一致性??梢姡诖髷?shù)據(jù)時代,同行評價(jià)仍然不能舍棄。

    其二,大數(shù)據(jù)的本質(zhì)仍是量化評價(jià),這就無法解決定量評價(jià)直接或間接帶來的一系列問題。大數(shù)據(jù)的掃描關(guān)聯(lián)分析不排除會產(chǎn)生對既有事實(shí)及現(xiàn)象的推理預(yù)測分析,對數(shù)據(jù)進(jìn)行挖掘和相關(guān)性分析時容易受經(jīng)驗(yàn)主義和主觀主義的影響而按人們頭腦中預(yù)設(shè)路徑挖掘和由“原因”推測“結(jié)果”的思維定勢,更何況許多科研成果價(jià)值的隱藏性、滯后性致使成果的效用難測量,其評價(jià)更不能“泛大數(shù)據(jù)化”,不能單純地量化評價(jià)其科學(xué)價(jià)值。而同行評議的方法應(yīng)是重要補(bǔ)充。否則,定量評價(jià)勢必遭到扭曲,將產(chǎn)生大量形式數(shù)據(jù),而真正體現(xiàn)科學(xué)價(jià)值的數(shù)據(jù)將付之闕如。

    其三,引入大數(shù)據(jù)技術(shù),使科研評價(jià)的數(shù)據(jù)采集、處理、挖掘、運(yùn)算等技術(shù)具備很多絕對優(yōu)勢,但若把這種優(yōu)勢充分展現(xiàn)在高校科研評價(jià)領(lǐng)域還必須解決兩個問題,即對數(shù)據(jù)內(nèi)涵的界定和對運(yùn)算結(jié)果的解讀[13]。解決這兩個問題恐怕不單是通過改變方法思路和技術(shù)手段能解決的問題,而且由于科研成果涉及的學(xué)術(shù)性、專業(yè)性很強(qiáng),僅通過量化評價(jià)會遇到很多障礙和盲點(diǎn),這些學(xué)術(shù)性、專業(yè)性很強(qiáng)的問題只有通過同行專家來評價(jià)可能最合適。此外,對信息的解讀和評價(jià)結(jié)果的分析也顯然是同行專家學(xué)者最拿手的“好戲”。

    5 結(jié)論

    本研究基于大數(shù)據(jù)理論和大數(shù)據(jù)技術(shù)在高??蒲性u價(jià)中的應(yīng)用,通過文獻(xiàn)研究等方法探討大數(shù)據(jù)在高校科研評價(jià)中的價(jià)值意蘊(yùn)和適用環(huán)節(jié)。研究表明,充分利用大數(shù)據(jù)的資源、科學(xué)運(yùn)用大數(shù)據(jù)手段開展高??蒲性u價(jià),對于促進(jìn)高??蒲性u價(jià)更加系統(tǒng)全面、精準(zhǔn)客觀、高效便捷具有重要的作用,特別是面向以基礎(chǔ)研究為主和著眼人才培養(yǎng)、學(xué)科建設(shè)的高??蒲性u價(jià)具有明顯優(yōu)勢;對于采集非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)、挖掘隱性和滯后性科學(xué)價(jià)值、提高處理速度和實(shí)現(xiàn)可視化表達(dá)、促進(jìn)科研評價(jià)方法和方法論創(chuàng)新發(fā)展等方面具有強(qiáng)大功能和應(yīng)用價(jià)值,且在實(shí)現(xiàn)高??蒲泄δ芏嘀匦缘臄?shù)據(jù)提取、科研重心基礎(chǔ)性的學(xué)術(shù)價(jià)值判斷、科研成果價(jià)值非顯性的數(shù)據(jù)挖掘和圍繞破除“SCI 至上”、聚焦“五大價(jià)值”的導(dǎo)向性指標(biāo)體系構(gòu)建等環(huán)節(jié)功能突顯、適用性強(qiáng)。

    值得指出的是,大數(shù)據(jù)技術(shù)雖然具有強(qiáng)大的功能,但也有其自身的缺陷,如何利用好大數(shù)據(jù)技術(shù)這把雙刃劍,防止淪為“數(shù)據(jù)萬能”的陷阱,避免“泛大數(shù)據(jù)化”傾向,是科研評價(jià)不得不思考的問題。只有堅(jiān)持大數(shù)據(jù)技術(shù)評價(jià)與同行評價(jià)相結(jié)合原則,既發(fā)揮大數(shù)據(jù)技術(shù)做數(shù)據(jù)的優(yōu)勢,又發(fā)揮同行專家對數(shù)據(jù)意義界定和評價(jià)結(jié)果解讀的作用,才能使高??蒲性u價(jià)實(shí)現(xiàn)高質(zhì)量運(yùn)行。

    猜你喜歡
    價(jià)值評價(jià)
    SBR改性瀝青的穩(wěn)定性評價(jià)
    石油瀝青(2021年4期)2021-10-14 08:50:44
    中藥治療室性早搏系統(tǒng)評價(jià)再評價(jià)
    踐行初心使命的價(jià)值取向
    價(jià)值3.6億元的隱私
    華人時刊(2019年23期)2019-05-21 03:31:36
    一粒米的價(jià)值
    “給”的價(jià)值
    基于Moodle的學(xué)習(xí)評價(jià)
    關(guān)于項(xiàng)目后評價(jià)中“專項(xiàng)”后評價(jià)的探討
    保加利亞轉(zhuǎn)軌20年評價(jià)
    多維度巧設(shè)聽課評價(jià)表 促進(jìn)聽評課的務(wù)實(shí)有效
    體育師友(2012年4期)2012-03-20 15:30:10
    成人永久免费在线观看视频| 在线观看一区二区三区| 亚洲男人天堂网一区| 欧美日韩亚洲综合一区二区三区_| 日韩av在线大香蕉| 桃色一区二区三区在线观看| 国产99久久九九免费精品| 欧美日韩瑟瑟在线播放| 成人av一区二区三区在线看| 久久婷婷人人爽人人干人人爱| 国产精品一区二区三区四区久久 | 级片在线观看| 99国产精品99久久久久| 欧美久久黑人一区二区| 精品久久久久久久久久久久久 | 在线观看免费视频日本深夜| 国产一区二区三区视频了| 国产男靠女视频免费网站| 国产三级在线视频| 亚洲精品一区av在线观看| 99久久久亚洲精品蜜臀av| 一级黄色大片毛片| 国产精品亚洲美女久久久| 国产精品爽爽va在线观看网站 | 国产精品98久久久久久宅男小说| 国产三级在线视频| 在线永久观看黄色视频| 国产精品爽爽va在线观看网站 | 亚洲avbb在线观看| 岛国在线观看网站| 国产真人三级小视频在线观看| 在线天堂中文资源库| 色精品久久人妻99蜜桃| 成熟少妇高潮喷水视频| 一本大道久久a久久精品| 黄色 视频免费看| 国产av一区二区精品久久| 欧美日韩亚洲综合一区二区三区_| 在线观看日韩欧美| 欧美国产日韩亚洲一区| 国产精品1区2区在线观看.| 亚洲美女黄片视频| 亚洲av电影在线进入| 给我免费播放毛片高清在线观看| xxx96com| 久久久久久免费高清国产稀缺| 欧美在线黄色| 成人午夜高清在线视频 | avwww免费| 91av网站免费观看| 成人国语在线视频| 超碰成人久久| www日本黄色视频网| 露出奶头的视频| 一本一本综合久久| 怎么达到女性高潮| 久久精品91蜜桃| 中文字幕人成人乱码亚洲影| 国产精品久久久久久人妻精品电影| e午夜精品久久久久久久| 欧美最黄视频在线播放免费| 成人av一区二区三区在线看| 久久久国产精品麻豆| 午夜精品在线福利| 久久国产精品人妻蜜桃| 成人一区二区视频在线观看| 露出奶头的视频| 丝袜在线中文字幕| 99国产精品一区二区三区| 一级毛片高清免费大全| 国产高清videossex| 亚洲男人的天堂狠狠| www.熟女人妻精品国产| 欧美中文综合在线视频| 国产精品永久免费网站| 国内久久婷婷六月综合欲色啪| 黑人欧美特级aaaaaa片| 啦啦啦韩国在线观看视频| 看黄色毛片网站| 欧美乱码精品一区二区三区| 久久久国产欧美日韩av| 日本免费a在线| 亚洲精品久久国产高清桃花| 久久久国产成人免费| 男人的好看免费观看在线视频 | 欧美丝袜亚洲另类 | 成人特级黄色片久久久久久久| 国产又爽黄色视频| 国产成人精品久久二区二区91| 在线看三级毛片| 成人精品一区二区免费| 免费看a级黄色片| 亚洲狠狠婷婷综合久久图片| 久久这里只有精品19| 国产精品电影一区二区三区| 国产男靠女视频免费网站| 淫秽高清视频在线观看| 精品欧美一区二区三区在线| 欧美日韩精品网址| 岛国视频午夜一区免费看| 亚洲精品久久国产高清桃花| 啦啦啦观看免费观看视频高清| 欧美激情高清一区二区三区| 欧美色欧美亚洲另类二区| 免费在线观看日本一区| 大型黄色视频在线免费观看| 哪里可以看免费的av片| 久久香蕉激情| 久久国产亚洲av麻豆专区| 亚洲国产欧美日韩在线播放| 99在线人妻在线中文字幕| 国产熟女午夜一区二区三区| 麻豆一二三区av精品| 黑人巨大精品欧美一区二区mp4| 精华霜和精华液先用哪个| 午夜亚洲福利在线播放| 国内久久婷婷六月综合欲色啪| 黄色成人免费大全| 国产欧美日韩一区二区三| 中亚洲国语对白在线视频| 老司机福利观看| 在线十欧美十亚洲十日本专区| 97人妻精品一区二区三区麻豆 | 99国产精品99久久久久| 久久国产乱子伦精品免费另类| 国产一区二区激情短视频| 欧美日韩亚洲综合一区二区三区_| 亚洲av第一区精品v没综合| 国产av又大| 97超级碰碰碰精品色视频在线观看| 久9热在线精品视频| 一本久久中文字幕| 18禁裸乳无遮挡免费网站照片 | 亚洲欧美日韩高清在线视频| 波多野结衣巨乳人妻| 午夜激情av网站| 18禁观看日本| 18禁黄网站禁片免费观看直播| 国产精品久久久人人做人人爽| 亚洲第一青青草原| 亚洲狠狠婷婷综合久久图片| 老鸭窝网址在线观看| 免费在线观看黄色视频的| 亚洲国产中文字幕在线视频| 丁香六月欧美| 黄色 视频免费看| 国产三级黄色录像| 久久久精品国产亚洲av高清涩受| 亚洲专区字幕在线| 国内揄拍国产精品人妻在线 | 亚洲国产日韩欧美精品在线观看 | www.熟女人妻精品国产| 午夜福利高清视频| 国产精品爽爽va在线观看网站 | 国产爱豆传媒在线观看 | 精品无人区乱码1区二区| 韩国av一区二区三区四区| 亚洲国产毛片av蜜桃av| 日韩高清综合在线| 国产精品野战在线观看| 在线视频色国产色| 香蕉丝袜av| 无人区码免费观看不卡| 国产熟女xx| www日本黄色视频网| 色精品久久人妻99蜜桃| 欧美一级a爱片免费观看看 | 国产精品av久久久久免费| 99久久精品国产亚洲精品| 老司机深夜福利视频在线观看| 国产又爽黄色视频| 香蕉国产在线看| 99精品在免费线老司机午夜| 久久国产乱子伦精品免费另类| 亚洲黑人精品在线| 人妻丰满熟妇av一区二区三区| 欧美一区二区精品小视频在线| 成在线人永久免费视频| 法律面前人人平等表现在哪些方面| 又紧又爽又黄一区二区| 久久久久久大精品| www国产在线视频色| 777久久人妻少妇嫩草av网站| 久久中文看片网| 国产熟女午夜一区二区三区| 757午夜福利合集在线观看| 国产高清激情床上av| 久久精品91无色码中文字幕| 国产成人av激情在线播放| 97碰自拍视频| 18禁美女被吸乳视频| 99热这里只有精品一区 | 亚洲欧美一区二区三区黑人| 欧美日韩一级在线毛片| 窝窝影院91人妻| 午夜影院日韩av| 久久精品国产亚洲av高清一级| √禁漫天堂资源中文www| 熟女电影av网| 成人免费观看视频高清| 99热这里只有精品一区 | 一本精品99久久精品77| 此物有八面人人有两片| av超薄肉色丝袜交足视频| 精品第一国产精品| 此物有八面人人有两片| 这个男人来自地球电影免费观看| 亚洲av成人一区二区三| 国产91精品成人一区二区三区| 久9热在线精品视频| 麻豆一二三区av精品| 国产一级毛片七仙女欲春2 | 一级毛片高清免费大全| 日韩精品免费视频一区二区三区| 一个人免费在线观看的高清视频| 91成年电影在线观看| 夜夜看夜夜爽夜夜摸| 亚洲欧美日韩无卡精品| 国产私拍福利视频在线观看| 露出奶头的视频| 国产熟女午夜一区二区三区| 日本一本二区三区精品| 亚洲精品中文字幕在线视频| 亚洲熟妇中文字幕五十中出| 久久国产乱子伦精品免费另类| 黄片小视频在线播放| av在线天堂中文字幕| 午夜精品在线福利| 人人澡人人妻人| 手机成人av网站| 日本免费一区二区三区高清不卡| 日韩精品免费视频一区二区三区| 女警被强在线播放| 在线十欧美十亚洲十日本专区| 宅男免费午夜| 国产区一区二久久| 麻豆久久精品国产亚洲av| 亚洲无线在线观看| 美女扒开内裤让男人捅视频| 老汉色∧v一级毛片| 久久中文字幕一级| 国内揄拍国产精品人妻在线 | 国产成人av教育| 国产成+人综合+亚洲专区| 男女做爰动态图高潮gif福利片| 后天国语完整版免费观看| 韩国av一区二区三区四区| 色综合亚洲欧美另类图片| 日本一区二区免费在线视频| 国产精品1区2区在线观看.| 亚洲精品粉嫩美女一区| 成年女人毛片免费观看观看9| 中文亚洲av片在线观看爽| 成人免费观看视频高清| 最近最新中文字幕大全电影3 | 制服诱惑二区| 亚洲一区中文字幕在线| 哪里可以看免费的av片| 中出人妻视频一区二区| 午夜福利高清视频| 日韩大码丰满熟妇| 一本大道久久a久久精品| 在线视频色国产色| 亚洲,欧美精品.| 久久人妻av系列| 欧美乱码精品一区二区三区| 中文字幕久久专区| av免费在线观看网站| 村上凉子中文字幕在线| 国产私拍福利视频在线观看| 国产单亲对白刺激| 精品国产超薄肉色丝袜足j| 成在线人永久免费视频| 精品国内亚洲2022精品成人| 久热这里只有精品99| 操出白浆在线播放| 国产精品一区二区精品视频观看| 日韩视频一区二区在线观看| 精品久久久久久久久久免费视频| 午夜影院日韩av| 91国产中文字幕| 一本综合久久免费| 99在线人妻在线中文字幕| 欧美日韩亚洲国产一区二区在线观看| 国产av在哪里看| 大香蕉久久成人网| 又黄又爽又免费观看的视频| 天堂√8在线中文| 婷婷丁香在线五月| 此物有八面人人有两片| 好男人在线观看高清免费视频 | 搡老妇女老女人老熟妇| 日日摸夜夜添夜夜添小说| 久久亚洲精品不卡| 18禁黄网站禁片午夜丰满| 欧美激情久久久久久爽电影| 国产一区二区在线av高清观看| 亚洲av电影不卡..在线观看| 久久人人精品亚洲av| 国产精华一区二区三区| 欧美不卡视频在线免费观看 | 欧美日韩福利视频一区二区| 一区二区三区激情视频| 亚洲国产欧美一区二区综合| 中文资源天堂在线| 国产黄a三级三级三级人| 国产成人啪精品午夜网站| 亚洲av成人不卡在线观看播放网| 禁无遮挡网站| 国产乱人伦免费视频| 亚洲无线在线观看| 久久青草综合色| 国产不卡一卡二| 女警被强在线播放| 久久香蕉精品热| 日本a在线网址| 丁香六月欧美| 十八禁网站免费在线| 婷婷丁香在线五月| 无遮挡黄片免费观看| 别揉我奶头~嗯~啊~动态视频| 国产精品免费视频内射| 一夜夜www| 在线播放国产精品三级| 午夜福利18| 麻豆国产av国片精品| 搞女人的毛片| 黑丝袜美女国产一区| 亚洲欧美日韩高清在线视频| 国产精品,欧美在线| 国产单亲对白刺激| 男女午夜视频在线观看| 久久久精品国产亚洲av高清涩受| 久久久久久人人人人人| tocl精华| 欧美三级亚洲精品| 久久精品91无色码中文字幕| 亚洲av五月六月丁香网| 国产亚洲精品久久久久5区| 麻豆一二三区av精品| 免费在线观看完整版高清| 亚洲avbb在线观看| 欧美在线黄色| 精品久久蜜臀av无| 亚洲美女黄片视频| 欧美色欧美亚洲另类二区| 悠悠久久av| 在线观看午夜福利视频| 亚洲午夜精品一区,二区,三区| 亚洲av电影在线进入| 日韩精品青青久久久久久| 午夜亚洲福利在线播放| 国产亚洲精品一区二区www| 日韩三级视频一区二区三区| 啦啦啦观看免费观看视频高清| 久久天堂一区二区三区四区| 成人亚洲精品av一区二区| 国产野战对白在线观看| 美女 人体艺术 gogo| 日本黄色视频三级网站网址| 色精品久久人妻99蜜桃| av免费在线观看网站| 亚洲七黄色美女视频| 亚洲国产欧美网| 国产欧美日韩精品亚洲av| 最新美女视频免费是黄的| 亚洲精品久久成人aⅴ小说| 两人在一起打扑克的视频| 亚洲国产欧美日韩在线播放| a级毛片在线看网站| 高清在线国产一区| 最新在线观看一区二区三区| 97超级碰碰碰精品色视频在线观看| 两性午夜刺激爽爽歪歪视频在线观看 | 狠狠狠狠99中文字幕| 免费看日本二区| 老熟妇乱子伦视频在线观看| 宅男免费午夜| 一进一出抽搐动态| 熟妇人妻久久中文字幕3abv| 美女大奶头视频| 日韩高清综合在线| 一级毛片精品| 国产野战对白在线观看| 男女视频在线观看网站免费 | 黄色毛片三级朝国网站| 午夜免费成人在线视频| 满18在线观看网站| 一级毛片女人18水好多| 国产精品久久久久久亚洲av鲁大| 老鸭窝网址在线观看| 啦啦啦韩国在线观看视频| 成人三级黄色视频| 久久天躁狠狠躁夜夜2o2o| 看片在线看免费视频| 日韩欧美国产一区二区入口| 女性生殖器流出的白浆| 十分钟在线观看高清视频www| 国产乱人伦免费视频| 老汉色av国产亚洲站长工具| 亚洲人成伊人成综合网2020| 激情在线观看视频在线高清| 亚洲久久久国产精品| 国产区一区二久久| 国产黄片美女视频| 哪里可以看免费的av片| 久久草成人影院| 亚洲人成网站在线播放欧美日韩| 免费高清在线观看日韩| 99热这里只有精品一区 | 看片在线看免费视频| 亚洲精品粉嫩美女一区| 一级毛片高清免费大全| 国产精品爽爽va在线观看网站 | 美女高潮喷水抽搐中文字幕| 久久人妻av系列| 在线免费观看的www视频| 黄色丝袜av网址大全| 国产精品久久久人人做人人爽| 久久伊人香网站| 日韩精品免费视频一区二区三区| √禁漫天堂资源中文www| 国产主播在线观看一区二区| www.熟女人妻精品国产| 久久中文看片网| 久久国产精品人妻蜜桃| 十八禁网站免费在线| 午夜免费鲁丝| 天堂√8在线中文| 欧美最黄视频在线播放免费| 女性生殖器流出的白浆| 91在线观看av| 男女之事视频高清在线观看| 国产精品国产高清国产av| 一夜夜www| www日本在线高清视频| 国产成人精品无人区| 欧美国产精品va在线观看不卡| а√天堂www在线а√下载| 天天一区二区日本电影三级| 免费人成视频x8x8入口观看| 777久久人妻少妇嫩草av网站| 国产一区二区在线av高清观看| 丝袜在线中文字幕| 亚洲精品粉嫩美女一区| 日韩成人在线观看一区二区三区| 香蕉丝袜av| 欧美中文综合在线视频| 国产精品综合久久久久久久免费| 天天添夜夜摸| 在线播放国产精品三级| 男人舔女人的私密视频| 麻豆av在线久日| 成人欧美大片| 精华霜和精华液先用哪个| 久9热在线精品视频| 欧美日韩瑟瑟在线播放| 国产亚洲欧美在线一区二区| 两人在一起打扑克的视频| 国产黄片美女视频| 深夜精品福利| www国产在线视频色| 曰老女人黄片| 亚洲精品色激情综合| 免费看日本二区| 国产一级毛片七仙女欲春2 | 成熟少妇高潮喷水视频| 久久久久久人人人人人| 日本 欧美在线| 91九色精品人成在线观看| 亚洲av美国av| 久久这里只有精品19| 熟女电影av网| 黄频高清免费视频| 50天的宝宝边吃奶边哭怎么回事| 美女大奶头视频| 欧美人与性动交α欧美精品济南到| 91九色精品人成在线观看| 视频区欧美日本亚洲| 可以在线观看毛片的网站| 久久婷婷人人爽人人干人人爱| 午夜成年电影在线免费观看| 欧美黑人欧美精品刺激| 久久久久久久久免费视频了| 欧美黑人精品巨大| 欧美黄色淫秽网站| 久久香蕉精品热| 久久香蕉国产精品| svipshipincom国产片| 中文字幕人成人乱码亚洲影| 中文字幕精品亚洲无线码一区 | 国产99白浆流出| 亚洲欧美一区二区三区黑人| 好看av亚洲va欧美ⅴa在| 女生性感内裤真人,穿戴方法视频| 最近最新中文字幕大全电影3 | 成人午夜高清在线视频 | 国产黄色小视频在线观看| 久久久久久久久免费视频了| 国产av在哪里看| 一本久久中文字幕| 女性被躁到高潮视频| 少妇裸体淫交视频免费看高清 | 欧美国产精品va在线观看不卡| 草草在线视频免费看| 久久久久久亚洲精品国产蜜桃av| 午夜a级毛片| 国产又黄又爽又无遮挡在线| www.999成人在线观看| 黄色毛片三级朝国网站| 欧美性猛交╳xxx乱大交人| 欧美激情久久久久久爽电影| 欧美性猛交╳xxx乱大交人| 午夜老司机福利片| 香蕉国产在线看| 国产成+人综合+亚洲专区| 国产黄a三级三级三级人| 中文字幕精品亚洲无线码一区 | 国产精品日韩av在线免费观看| 久久国产亚洲av麻豆专区| 淫秽高清视频在线观看| 亚洲一区二区三区不卡视频| 少妇裸体淫交视频免费看高清 | 手机成人av网站| 亚洲熟妇熟女久久| 久久久久久久久中文| 制服丝袜大香蕉在线| 欧美精品啪啪一区二区三区| 亚洲精华国产精华精| 国产免费男女视频| 亚洲精品美女久久av网站| 国产成人啪精品午夜网站| 亚洲欧美日韩无卡精品| 日韩有码中文字幕| 不卡一级毛片| 久久精品国产亚洲av高清一级| 亚洲va日本ⅴa欧美va伊人久久| 久久中文字幕人妻熟女| 韩国av一区二区三区四区| 母亲3免费完整高清在线观看| 国产一级毛片七仙女欲春2 | 久久精品夜夜夜夜夜久久蜜豆 | av电影中文网址| 狠狠狠狠99中文字幕| 日本黄色视频三级网站网址| av超薄肉色丝袜交足视频| 久久精品亚洲精品国产色婷小说| 久久久久久国产a免费观看| 一级毛片女人18水好多| 亚洲国产看品久久| 可以在线观看的亚洲视频| 女同久久另类99精品国产91| 最近最新免费中文字幕在线| av免费在线观看网站| 色综合站精品国产| 国产亚洲精品综合一区在线观看 | 亚洲一码二码三码区别大吗| 日韩欧美国产在线观看| 在线观看舔阴道视频| 久久久精品国产亚洲av高清涩受| 真人做人爱边吃奶动态| 久久天堂一区二区三区四区| 久久人妻av系列| 久久精品国产清高在天天线| svipshipincom国产片| 美女午夜性视频免费| 无人区码免费观看不卡| 麻豆成人av在线观看| 18禁国产床啪视频网站| svipshipincom国产片| av中文乱码字幕在线| 亚洲五月婷婷丁香| 欧美黑人精品巨大| 日韩有码中文字幕| 黄色 视频免费看| 国产av又大| 国产精品1区2区在线观看.| 日本免费a在线| 老司机深夜福利视频在线观看| 久久久久九九精品影院| 黄色 视频免费看| 桃色一区二区三区在线观看| 18禁国产床啪视频网站| 看黄色毛片网站| 国产成人精品无人区| 久久婷婷成人综合色麻豆| 亚洲人成电影免费在线| 天天躁狠狠躁夜夜躁狠狠躁| 人人澡人人妻人| 免费看美女性在线毛片视频| 一二三四在线观看免费中文在| 免费在线观看黄色视频的| 久久精品夜夜夜夜夜久久蜜豆 | 淫妇啪啪啪对白视频| 欧美日韩亚洲综合一区二区三区_| 欧美成人午夜精品| 夜夜夜夜夜久久久久| 香蕉av资源在线| 好看av亚洲va欧美ⅴa在| 午夜免费激情av| 久久久国产欧美日韩av| 人人澡人人妻人| 亚洲av第一区精品v没综合| 丝袜在线中文字幕| 亚洲第一欧美日韩一区二区三区| 国产精品一区二区三区四区久久 | 久久久久久大精品| 免费无遮挡裸体视频| 国产成人av教育| 久久99热这里只有精品18| 精品久久久久久久人妻蜜臀av| 最近最新免费中文字幕在线| 神马国产精品三级电影在线观看 | 亚洲色图av天堂| 午夜激情福利司机影院|