“破五唯”背景下高職科研評價畫像研究與實踐

劉曉娟 付立軍 范玥 肖斌 楊啟航

摘 ? 要：注重教師科研能力的提升與發(fā)展是高校全面推進(jìn)科研高質(zhì)量發(fā)展的關(guān)注點。高校將針對學(xué)校的具體情況對教師科研能力進(jìn)行更全面的評價。在“五唯”的影響下，一些高校將“論文數(shù)、期刊等級”作為科研評價、職稱晉升的標(biāo)尺，這種片面化、絕對化的評價方式導(dǎo)致教師在參與科研創(chuàng)新時越來越功利化，失去了科研創(chuàng)新的初衷。文章結(jié)合某全國示范性職業(yè)技術(shù)大學(xué)的科研成果數(shù)據(jù)及科研項目評審過程，提出相關(guān)的科研評價方法，并結(jié)合用戶畫像技術(shù)構(gòu)建教師科研畫像。結(jié)果表明，該方法能夠?qū)Ω呗毧蒲羞M(jìn)行評價，對學(xué)?？蒲邪l(fā)展起到一定的促進(jìn)作用。

關(guān)鍵詞：科研評價;用戶畫像;“破五唯”

中圖分類號：TP399 文獻(xiàn)標(biāo)志碼：A 文章編號：1673-8454（2021）21-0015-05

一、引言

隨著科技的不斷發(fā)展，提高科研人員的科研創(chuàng)新能力已經(jīng)成為我國經(jīng)濟(jì)發(fā)展中面臨的重要課題[1]。高校在人才成長的過程中扮演著非常重要的角色，其科研能力的發(fā)展是目前高校評價中面臨的一項比較重要的難題。在2018年的全國教育大會上，習(xí)近平總書記明確提出，要堅決克服教育領(lǐng)域的唯分?jǐn)?shù)、唯升學(xué)、唯文憑、唯論文、唯帽子的頑瘴痼疾[2-3]，不斷完善相關(guān)的評價指標(biāo)。在以往的科研評價中，以SCI論文數(shù)、專利數(shù)、項目和經(jīng)費數(shù)量等作為科研評價的重要指標(biāo)[4]，盡管這種評價方法能夠達(dá)到客觀評價的目的，但其存在一個嚴(yán)重的問題：重視數(shù)量，忽略質(zhì)量。這種方法違背了科研評價最初的目的，致使教師僅僅為了增加數(shù)量而發(fā)論文，而不是真正為了科研創(chuàng)新、科學(xué)研究而發(fā)論文。

面對“五唯”評價帶來的各種問題，2020年10月，國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》提出改進(jìn)高校教師科研評價，突出質(zhì)量導(dǎo)向，要面向不同學(xué)科、不同崗位，實行分類評價，把個人評價與團(tuán)隊評價相結(jié)合。這是繼2018年7月國務(wù)院發(fā)布的“關(guān)于優(yōu)化科研管理提升科研績效若干措施”中，提出的完善有利于創(chuàng)新的評價激勵制度，在科研人員評價上提出以建立創(chuàng)新質(zhì)量和貢獻(xiàn)為導(dǎo)向的績效評價體系，破除唯論文、唯職稱、唯學(xué)歷的評價模式?？蒲性u價正在走向強(qiáng)化科研項目綜合績效評價方向，實行科研項目績效分類評價，實現(xiàn)從重數(shù)量轉(zhuǎn)變?yōu)橹剡^程、重質(zhì)量、重結(jié)果導(dǎo)向。

面對高?？蒲性u價這一創(chuàng)新轉(zhuǎn)變和需求，如何形成一套高職教師科研評價體系，并通先進(jìn)的評價方法，來對教師科研能力進(jìn)行公平、公正、科學(xué)的評價，從而達(dá)到促進(jìn)高職院?？蒲兴讲粩喟l(fā)展的目的，成為本研究的著眼點。

在互聯(lián)網(wǎng)發(fā)展帶來的數(shù)據(jù)快速增長時代，各種數(shù)據(jù)挖掘技術(shù)不斷成熟。為了對互聯(lián)網(wǎng)上的各類用戶進(jìn)行深入分析，以觀測用戶特征，用戶畫像技術(shù)應(yīng)運而生。本文將基于用戶畫像相關(guān)技術(shù)，通過熵值法、關(guān)鍵詞提取方法，結(jié)合高職教師科研數(shù)據(jù)，構(gòu)建基于用戶畫像的高職科研評價模型，實現(xiàn)從評什么到由誰評，再到怎么評的高職科研評價體系。

二、用戶畫像技術(shù)研究與應(yīng)用

用戶畫像最早由Alan Copper提出，是針對真實用戶的虛擬代表[5-6]，即根據(jù)不同的數(shù)據(jù)及不同的實際需求，從不同的維度對用戶進(jìn)行虛擬化描述。目前用戶畫像已廣泛應(yīng)用于電子商務(wù)、醫(yī)療健康、旅游等多個行業(yè)。

關(guān)于用戶畫像下的科研人員評價，國內(nèi)也有一些學(xué)者進(jìn)行了相關(guān)研究，莫君蘭等[7]對科研團(tuán)隊的數(shù)據(jù)進(jìn)行描述，并提取相關(guān)的標(biāo)簽集，實現(xiàn)對科研團(tuán)隊的畫像，但作者在分析團(tuán)隊取得的科研成果時，側(cè)重于數(shù)量，而沒有考慮質(zhì)量。王英等[8]對高校科研用戶進(jìn)行畫像分析，歸納用戶特征屬性，構(gòu)建用戶畫像的模式獲取框架，但作者也僅僅將各項科研成果的數(shù)量作為用戶的科研數(shù)據(jù)特征，沒有考慮科研產(chǎn)出的質(zhì)量。姚占雷等[9]將用戶畫像應(yīng)用于科研人才分級分類評價中，構(gòu)建了基于用戶畫像的科研人才分類分級評價模型，但作者在文中只涉及論文的題錄數(shù)據(jù)與正文，并沒有考慮相關(guān)科研成果的質(zhì)量。

上述相關(guān)研究表明，將用戶畫像技術(shù)應(yīng)用于高職科研評價、科研分類評價中是可行的。但上述研究中沒有考慮科研質(zhì)量，因此本文將科研成果的質(zhì)量納入評價指標(biāo)，并結(jié)合用戶畫像完成對教師的科研評價。

三、融合用戶畫像技術(shù)的高職科研評價模型構(gòu)建

基于用戶畫像技術(shù)，從數(shù)據(jù)描述出發(fā)，提取科研用戶畫像的標(biāo)簽體系，并結(jié)合相關(guān)數(shù)據(jù)處理構(gòu)建用戶畫像模型。

1.數(shù)據(jù)描述

本文關(guān)于教師科研評價的數(shù)據(jù)主要包含兩個方面：科研成果數(shù)據(jù)與科研項目數(shù)據(jù)。除此之外，還從教師各項科研成果中提取各項科研名稱。

（1）科研成果信息：包含論文信息、學(xué)術(shù)著作信息、專利信息等。每項信息有自身的屬性。對于這部分信息，本文采用指標(biāo)加權(quán)求和的方式進(jìn)行評價。因此，科研成果信息主要包含評價指標(biāo)與對應(yīng)的權(quán)重，以及每項科研成果的評分信息。

（2）科研項目信息：對于教師的科研項目，首先需要學(xué)校領(lǐng)導(dǎo)根據(jù)實際情況決定項目申報需要提交的信息;然后教師在申報時提交相關(guān)材料;接著管理員配置項目評審的維度及對應(yīng)的基礎(chǔ)積分，由專家根據(jù)項目申報的具體情況以及維度的評分準(zhǔn)則對項目進(jìn)行評審，并決定是否啟動該項目;如果專家同意啟動，則項目依次進(jìn)入開題、中期、結(jié)題階段，教師在項目中期與結(jié)題階段需要提交相關(guān)的報告，由專家對項目報告進(jìn)行評審，評審?fù)ㄟ^后，項目才會進(jìn)入下一階段。因此，對于教師的科研項目，包含兩部分：一部分是項目申報時提交的材料，以及專家評審時的維度及評分;第二部分是項目中期或結(jié)題報告，以及專家對報告的評審建議。

（3）科研成果名稱信息：包含論文名稱、學(xué)術(shù)著作名稱、專利名稱、科研項目名稱。本文將采用關(guān)鍵詞提取方法，從科研成果名稱文本中提取出前N個關(guān)鍵詞作為教師的科研關(guān)鍵詞，為教師科研方向的選擇提供參考。

2.用戶畫像標(biāo)簽構(gòu)建

結(jié)合上述科研評價各項數(shù)據(jù)的描述，提取用戶畫像標(biāo)簽。本文依據(jù)教師的真實數(shù)據(jù)從三方面來構(gòu)建教師的科研畫像標(biāo)簽。

（1）基于時間維度的各項科研成果評分，即針對科研成果的各項指標(biāo)與對應(yīng)的權(quán)重計算各項成果的評分。

（2）教師參與的科研項目情況，包含專家評審得分，以及中期與結(jié)題的評審建議。

（3）基于時間維度的教師科研關(guān)鍵詞畫像，輔助教師選擇適合自己的科研方向。

教師科研能力畫像的標(biāo)簽如表1所示。

3.基于用戶畫像技術(shù)構(gòu)建高職科研評價模型

（1）評價指標(biāo)體系構(gòu)建

對教師科研能力進(jìn)行評價，不僅是考察教師獲得的各項科研成果的數(shù)量，更重要的是考察科研成果的質(zhì)量。對于科研成果，從其自身具有的屬性出發(fā)來進(jìn)行評價;對于科研項目，從投資的角度出發(fā)[10]，采用專家評審的方式進(jìn)行評價，首先教師根據(jù)科研項目申報的要求提交相關(guān)信息，并由管理員和專家對項目申報的各維度進(jìn)行評分，決定項目是否可行;在項目中期和結(jié)題階段，教師提交相關(guān)報告，并由專家進(jìn)行評審。

基于上述教師科研數(shù)據(jù)的描述，構(gòu)建教師科研評價指標(biāo)體系，如表2所示。

（2）基于熵值法的指標(biāo)權(quán)重構(gòu)建

熵最初是熱力學(xué)中的概念，之后被引入到統(tǒng)計力學(xué)中。本文使用的熵的定義來源于統(tǒng)計學(xué)，是對隨機(jī)變量不確定性的度量。熵值法根據(jù)信息的熵來對信息賦權(quán)重[11]，信息的熵越小，其包含的信息量越大，對應(yīng)的權(quán)重也就越大。利用熵值法來計算某個特征指標(biāo)權(quán)重的步驟包括標(biāo)準(zhǔn)化、信息熵計算、特征權(quán)重計算等三個步驟，具體如下。

①標(biāo)準(zhǔn)化

對于各項具體內(nèi)容，有其對應(yīng)的具體影響因素，由于各影響因素之間的性質(zhì)不同，通常具有不同的數(shù)量級。當(dāng)各個因素之間的影響水平相差很大時，直接使用原始的特征值進(jìn)行分析，會使得原本相差很大的影響因素的影響效果相差更大。因此，為了保證結(jié)果的可靠性， 需要對各影響因素的原始特征進(jìn)行標(biāo)準(zhǔn)化處理。本文采用Min-Max標(biāo)準(zhǔn)化方法[12-13]，計算方法如公式（1）所示。

假設(shè)特征集X={X1，X2，X3…，Xj，…，Xn}，Xj={X1j，X2j，X3j…，Xij，…，Xmj}表示特征集中的某一特征項，xij表示某項特征的具體值。min（Xj）和max（Xj）分別表示特征項Xj的最小值和最大值。

②信息熵

對信息進(jìn)行標(biāo)準(zhǔn)化處理后，需要計算各項特征的熵值，具體計算方法為：

對于特征項Xj中某一項具體特征值xij的概率分布，具體表示的是特征值xij與特征項Xj中所有特征值之和二者的比值，計算過程如公式（2）所示。

前面提到，特征項的熵值越大，其包含的信息量越小，對應(yīng)的權(quán)重也會越小。因此，上述特征權(quán)重計算公式中的（1-Ent（Xj））表示特征項Xj的重要程度，從上述公式中可以看出，特征項的權(quán)重為該特征的重要程度在所有特征項的重要權(quán)重之和中所占的比重。

采用上述方法將每項指標(biāo)的權(quán)重計算出來后，采用加權(quán)求和的方式計算單個科研成果的權(quán)重，如公式（6）所示，其中W表示教師的某一項科研成果，m表示該項科研成果對應(yīng)的二級指標(biāo)個數(shù)。

（3）融合詞權(quán)重的TextRank關(guān)鍵詞提取

TextRank是一種用于文本的基于圖的排序算法，其算法的主要思想來源于PageRank，即將文本中的每個詞作為一個結(jié)點，將詞與詞之間的關(guān)系作為圖中的有向邊，文本中的所有詞，以及詞與詞之間的關(guān)系構(gòu)成一個有向圖。TextRank根據(jù)公式（7）計算結(jié)點的重要程度，并進(jìn)行排序，從而提取出關(guān)鍵詞[14-16]。

本文采用了一種融合詞結(jié)點自身權(quán)重的TextRank方法進(jìn)行關(guān)鍵詞提取。該方法的關(guān)鍵詞提取步驟如下：①首先根據(jù)科研評價指標(biāo)體系，采用熵值法計算每項指標(biāo)的權(quán)重;②對于每項指標(biāo)，融合其權(quán)重與動態(tài)配置的基礎(chǔ)分值，采用加權(quán)求和的方法計算單個科研成果自身的權(quán)重;③將單個科研成果自身的權(quán)重作為對應(yīng)科研名稱及其分詞后詞結(jié)點的自身權(quán)重;④采用公式（8）進(jìn)行詞重要程度的計算。式中wi表示詞的自身權(quán)重。

（4）科研用戶畫像模型構(gòu)建

對于本文中的高職科研評價畫像模型構(gòu)建，主要包含四部分：

第一部分為數(shù)據(jù)來源。主要包含論文信息、專利信息、學(xué)術(shù)著作信息、科研項目信息等四方面，以及管理員配置的關(guān)于各項評價指標(biāo)的基礎(chǔ)分值。

第二部分為畫像標(biāo)簽的構(gòu)建。主要依據(jù)數(shù)據(jù)源的相關(guān)描述，構(gòu)建科研成果、科研項目、科研關(guān)鍵詞等三方面畫像標(biāo)簽。

第三部分為教師評價部分。這一部分主要包含兩個子模塊：第一個子模塊為科研評價。首先根據(jù)數(shù)據(jù)描述構(gòu)建科研評價指標(biāo)體系，然后針對每一項具體的指標(biāo)采用熵值法計算其權(quán)重，并結(jié)合各項指標(biāo)的基礎(chǔ)分值，采用加權(quán)求和法對教師單個科研成果的權(quán)重進(jìn)行計算，接著再對教師的每項科研成果的總權(quán)重進(jìn)行評價。對于科研項目，專家根據(jù)評審維度與評分規(guī)則對項目進(jìn)行評分，決定項目是否啟動。在項目的中期與結(jié)題階段，專家會對相關(guān)報告進(jìn)行評審并給出相關(guān)建議。第二個子模塊為關(guān)鍵詞提取?；诮處煾黜椏蒲谐晒拿Q，結(jié)合其對應(yīng)的單個科研成果評分權(quán)重，將其作為TextRank中對應(yīng)詞結(jié)點的自身權(quán)重，然后采用TextRank方法提取關(guān)鍵詞，以此構(gòu)建教師科研關(guān)鍵詞畫像。

第四部分為用戶畫像。結(jié)合用戶畫像的標(biāo)簽，實現(xiàn)科研成果畫像、科研項目畫像、科研關(guān)鍵詞畫像的展示。

高職科研評價的用戶畫像模型如圖1所示。

四、科研評價模型的應(yīng)用驗證

本文選取某全國示范性職業(yè)技術(shù)大學(xué)的教師科研數(shù)據(jù)，包括論文信息、學(xué)術(shù)專著、專利、科研項目共1800余條，其中論文信息132條、專著信息42條、專利信息635條、項目信息1000余條。針對這些數(shù)據(jù)，采用上述融合熵值法并基于用戶畫像技術(shù)的高職科研評價模型，對教師的科研能力進(jìn)行科學(xué)、合理評價，從而促進(jìn)教師科研的發(fā)展，促進(jìn)學(xué)?？蒲心芰Φ奶嵘?。以教師A為例，對其科研信息進(jìn)行分析評價與畫像展示。

基于年份的時間維度，從教師的論文、專著、專利等三方面信息中（如表3所示），結(jié)合熵值法完成教師科研成果的畫像。

對教師參與的各項科研項目進(jìn)行畫像。結(jié)合項目的基本信息、專家對項目的初步評審情況，以及項目中期、結(jié)題的完成情況，專家對中期、結(jié)題的評審情況等信息完成對教師科研項目的畫像，如圖2所示。

對教師科研關(guān)鍵詞進(jìn)行畫像?；诮處熃鼛啄陞⑴c科研活動的項目名稱，按年份維度從中提取出科研名稱的關(guān)鍵詞，從而了解教師感興趣或擅長的領(lǐng)域，為教師科研方向的選擇提供參考，如圖3所示。

五、研究結(jié)論

本文針對“五唯”評價帶來的問題，初步構(gòu)建了一套科研評價體系，并構(gòu)建了用戶畫像，將其應(yīng)用于某全國示范性職業(yè)技術(shù)大學(xué)的教師科研評價中，在一定程度上促進(jìn)高職科研發(fā)展。

本文主要對教師個人的科研能力進(jìn)行了畫像，將其應(yīng)用于學(xué)校某一系部的教師科研評價中也是可行的。

在“五唯”的影響下，對科研的評價要注重過程評價，而科研的時間周期相對比較長，因此將本文方法應(yīng)用于長周期的科研評價將是后續(xù)研究的一個重點。

參考文獻(xiàn)：

[1]胡百靈，趙子琪，方芳.“雙一流”背景下高?？蒲锌冃ЬC合評價研究[J].中國高?？萍?，2020（Z1）：53-56.

[2]何忠國.堅決克服“五唯”痼疾[N].學(xué)習(xí)時報，2018-09-19（1）.

[3]李一希，黃毅.價值異化：高等教育評價“五唯”問題探析[J].高等工程教育研究，2020（4）：112-117.

[4]劉穎.科研評價機(jī)制改革是一場持久戰(zhàn)[N].學(xué)習(xí)時報，2019-03-27（6）.

[5]宋美琦，陳燁，張瑞.用戶畫像研究述評[J].情報科學(xué)，2019，37（4）：171-177.

[6]Alan C.交互設(shè)計之路[M].北京：電子工業(yè)出版社，2006：115-135.

[7]莫君蘭，竇永香，開慶.基于多源異構(gòu)數(shù)據(jù)的科研團(tuán)隊畫像的構(gòu)建[J].情報理論與實踐，2020，43（9）：100-106.

[8]王英，胡振寧，楊巍，等.高?？蒲杏脩舢嬒裉卣鞣治黾鞍咐芯縖J].圖書館理論與實踐，2020（4）：35-40.

[9]姚占雷，陳紅伶，許鑫.科研人才分類分級評價研究[J].西南民族大學(xué)學(xué)報（人文社科版），2020，41（6）：234-240.

[10]穆飛.讓科技回歸探索的初心——厘清“三評”邏輯 ?治理“五唯”源頭[J].中國高?？萍?，2020（9）：4-7.

[11]沈雨婷，金洪飛.中國地方政府債務(wù)風(fēng)險預(yù)警體系研究——基于層次分析法與熵值法分析[J].當(dāng)代財經(jīng)，2019（6）：34-46.

[12]郝輯，張少杰.基于熵值法的我國省際生態(tài)數(shù)據(jù)評價研究[J].情報科學(xué)，2021，39（1）：157-162.

[13]Wan Q， Yu Y. Power load pattern recognition algorithm based on characteristic index dimension reduction and improved entropy weight method[J]. Energy Reports，2020（6）：797-806.

[14]曹洋.基于TextRank算法的單文檔自動文摘研究[D].南京：南京大學(xué)，2016.

[15]楊延嬌，趙國濤，袁振強(qiáng)，等.融合語義特征的TextRank關(guān)鍵詞抽取方法[J].計算機(jī)工程，2021（1）：1-8.

[16]Feng，Chong，Huang，et al.Topic-related Chinese message sentiment analysis[J].Neurocomputing，2016.

（編輯：王曉明）