科研評價體系中學(xué)術(shù)論文評價實證分析

陳峰，楊曉，陳曉江

(1.西北大學(xué)科技處，陜西西安 710127；2.西北大學(xué)經(jīng)濟(jì)管理學(xué)院，陜西西安 710127；3.西北大學(xué)信息學(xué)院，陜西西安 710127)

科研評價體系中學(xué)術(shù)論文評價實證分析

陳峰1，楊曉2，陳曉江3

(1.西北大學(xué)科技處，陜西西安 710127；2.西北大學(xué)經(jīng)濟(jì)管理學(xué)院，陜西西安 710127；3.西北大學(xué)信息學(xué)院，陜西西安 710127)

針對當(dāng)前科研評價體系中學(xué)術(shù)論文質(zhì)量評價存在的問題，以計算機(jī)學(xué)科學(xué)術(shù)論文評價為實證，以某大學(xué)的科研評價標(biāo)準(zhǔn)體系與考核指標(biāo)為案例，對學(xué)術(shù)論文評價的相關(guān)問題進(jìn)行研究。研究認(rèn)為，如何判斷會議論文和SCI期刊論文在科研評價體系中的價值與定位，能否堅持正確導(dǎo)向是科研管理評價體系面臨的主要問題；在計算機(jī)學(xué)科中，國際上大部分標(biāo)志性成果都會發(fā)表在頂級會議上，但中國的科研評價體系仍以SCI期刊論文為主，中國學(xué)者參與國際計算機(jī)學(xué)會的權(quán)威會議及其發(fā)文量均較低；中國科研評價體系應(yīng)重視頂級會議論文的重要性，平衡不同評價指標(biāo)的權(quán)重，平衡不同學(xué)科領(lǐng)域之間的差異，提高會議論文認(rèn)定的等級，發(fā)揮評價體系的導(dǎo)向作用，制定科學(xué)的評價指標(biāo)，完善科研評價管理制度；某高校制定了分學(xué)科科研評價標(biāo)準(zhǔn)體系和差異化的考核指標(biāo)，依據(jù)不同的專業(yè)領(lǐng)域擬定了同行專家評價認(rèn)可的期刊與會議列表，規(guī)范了期刊文章和會議文章的量化指標(biāo)來綜合衡量學(xué)術(shù)論文的學(xué)術(shù)和文獻(xiàn)價值，在學(xué)術(shù)科研國際化方面取得了顯著成績。

科研評價；頂級會議論文；SCI期刊論文；計算機(jī)學(xué)科

一、學(xué)術(shù)論文評價存在的問題

科研評價指標(biāo)體系是由各級各項指標(biāo)及相應(yīng)權(quán)重和評價標(biāo)準(zhǔn)所構(gòu)成的有機(jī)整體，而國際和國內(nèi)對SCI期刊論文和會議論文這兩種不同形式的論文評價各有偏重[7]。從中國科研現(xiàn)狀來看[8-9]，科研評價體系比較單一，過分強(qiáng)調(diào)期刊論文而忽視會議論文。該評價體系與高校及其教師的切身利益密切相關(guān)，對高校和教師的科研工作有著很強(qiáng)的導(dǎo)向作用。因此，如何定位會議論文和SCI期刊論文在科研評價體系中的價值與地位，能否堅持正確導(dǎo)向是科研管理評價體系面臨的主要問題。如果兩者權(quán)重分配有失偏頗，科研工作者的科研熱情和創(chuàng)新積極性將會大打折扣，進(jìn)而會影響相關(guān)學(xué)科師資隊伍建設(shè)，最終會影響學(xué)科發(fā)展。

SCI體系和中科院分區(qū)體系對引導(dǎo)普通論文評級有一定的積極意義。SCI期刊論文對算法理論描述更為詳細(xì)、考慮更全面、實驗更充分，從統(tǒng)計意義上看，學(xué)術(shù)水平高于一般的期刊，具有一定的區(qū)分度，在科研評價上能達(dá)到一定程度的公正性與合理性。但是，如果只采用“SCI標(biāo)準(zhǔn)”，會造成許多國際性高水平的會議成果被排斥在外，得不到公正的評判。由于期刊論文發(fā)表周期長，在國際領(lǐng)域最為前沿性工作的導(dǎo)向性和區(qū)分度稍顯不足，難以對快速發(fā)展的學(xué)術(shù)科研起到引領(lǐng)作用。然而，中國高等院校SCI評價對象恰恰是要引領(lǐng)學(xué)科發(fā)展研究者，在教師職稱評審、博士學(xué)位點申報與評審、重點學(xué)科申報與評審、科研獎勵中熱衷于追求SCI論文收錄數(shù)，這是目前存在的重要問題[10-11]。

二、學(xué)術(shù)論文評價現(xiàn)狀實證分析

計算機(jī)的迅速普及與發(fā)展為人類社會生活帶來了巨大的便利，計算機(jī)學(xué)科的研究成果被全社會廣泛關(guān)注。但是，與其他歷史悠久的一些學(xué)科相比，計算機(jī)學(xué)科作為一門新興學(xué)科具有其自身特點，主要表現(xiàn)為創(chuàng)立時間短、實踐性強(qiáng)、發(fā)展迅速等。該學(xué)科的科研評價標(biāo)準(zhǔn)與體系也在逐步完善與發(fā)展，評價體系不僅是反映計算機(jī)學(xué)科發(fā)展的晴雨表，而且會直接影響計算機(jī)科研管理和學(xué)科建設(shè)。

計算機(jī)學(xué)科既有基礎(chǔ)理論性研究，也有應(yīng)用性研究，很多科研成果具有極強(qiáng)的社會應(yīng)用功能，以標(biāo)志性大型系統(tǒng)等普適性應(yīng)用為主導(dǎo)。比如，國外計算機(jī)學(xué)科的頂級名校麻省理工學(xué)院、加州大學(xué)伯克利分校、斯坦福大學(xué)等，其科研成果有我們現(xiàn)在廣泛使用的UNIX系統(tǒng)或者數(shù)據(jù)庫系統(tǒng)，這成為人類文明的共同財富。國內(nèi)有國防科技大學(xué)所研制的銀河、天河系統(tǒng)等。而計算機(jī)學(xué)科的大部分科研成果(從大型系統(tǒng)到局部創(chuàng)新)都是以論文的形式發(fā)表，包括SCI期刊論文和會議論文。因此，計算機(jī)學(xué)科科研評價指標(biāo)中的一個重要部分就是論文質(zhì)量的評價。

反觀國際上大部分計算機(jī)學(xué)科的最新標(biāo)志性工作都會在頂級會議上發(fā)表論文。例如計算機(jī)網(wǎng)絡(luò)中最為經(jīng)典的TCP協(xié)議中的擁塞控制算法，首先發(fā)表在1988年計算機(jī)網(wǎng)絡(luò)的頂級會議SIGCOMM上。MIT、斯坦福大學(xué)等高校計算機(jī)系的領(lǐng)軍人物的很多開創(chuàng)性工作也發(fā)表在計算機(jī)領(lǐng)域的頂級會議上。從目前發(fā)表的論文數(shù)量看，在多個世界一流名校中計算機(jī)學(xué)科很多學(xué)者的研究成果由80%的會議論文和20%的SCI期刊論文構(gòu)成。

國際計算機(jī)領(lǐng)域的特點是追蹤頂級會議，發(fā)表頂級會議論文。第一，計算機(jī)學(xué)科很多高水平的期刊一期只能登刊十幾篇論文，有的期刊甚至只有三四篇論文。與之相比，計算機(jī)領(lǐng)域的大部分頂級會議是每年一次，部分會議也有隔年一次。這些會議每年錄用三四十篇論文，或者20篇左右的論文。因此，計算機(jī)學(xué)科高水平的期刊和會議的規(guī)模都是非常有限，論文錄用率很低。第二，大多數(shù)正規(guī)的會議論文需要經(jīng)過4個以上審稿人進(jìn)行雙向匿名評審，并且還要組織會議的程序委員會對投稿論文專門召開會議進(jìn)行討論。因此，會議論文相比期刊論文具有發(fā)表周期短、有較好學(xué)科科研前瞻性等優(yōu)勢。第三，中國科研評價體系還是以SCI期刊論文為主，頂級會議論文并不為其他學(xué)科科研工作者所關(guān)注。2006年法國巴黎大學(xué)陳鋼博士的研究發(fā)現(xiàn)作為第一作者的中國大陸學(xué)者在歷年國際計算機(jī)學(xué)會(ACM)權(quán)威會議發(fā)表的論文僅占總量的0.83%[12]，半數(shù)以上ACM會議上沒有中國論文的聲音，反映出中國計算機(jī)學(xué)科大部分工作還處于內(nèi)循環(huán)時代，未能較好地與國際學(xué)術(shù)界接軌。因此，對會議期刊的忽視不僅阻礙了國內(nèi)計算機(jī)學(xué)者的科研動力，也嚴(yán)重地影響到中國計算機(jī)學(xué)科在國際上的影響力與聲譽(yù)。

三、優(yōu)化科研評價體系的路徑

根據(jù)計算機(jī)學(xué)科的特點，結(jié)合對中國科研評價現(xiàn)狀與問題的理性分析，在科研評價體系中應(yīng)完善SCI標(biāo)準(zhǔn)、重視頂級會議的重要性，才能形成科學(xué)的科研管理體系，為科學(xué)研究發(fā)揮更具針對性、更符合現(xiàn)實的價值導(dǎo)向作用。美國教育家斯塔費爾比姆指出：“評價的目的不是為了證明，而是為了提高科研水平?！盵13]只有不斷完善計算機(jī)學(xué)科的科研評價體系，才能更好地促進(jìn)該學(xué)科快速發(fā)展。

(一)重視頂級會議論文，平衡評價體系標(biāo)準(zhǔn)

面對計算機(jī)學(xué)科在國際和國內(nèi)的評價制度之間越來越明顯的差異，以及目前國內(nèi)計算機(jī)學(xué)科實行的“SCI標(biāo)準(zhǔn)”體系所存在的弊端，中國計算機(jī)學(xué)會率先進(jìn)行了反思。2005年，中國計算機(jī)學(xué)會舉辦了主題為“從SCI反思中國的學(xué)術(shù)評價體制”的YOCSEF論壇。論壇上李國杰認(rèn)為片面地追求SCI數(shù)量的做法不可取，呼吁要重視頂級國際學(xué)術(shù)會議上發(fā)表論文[14]，并撰文《要高度重視在頂級國際學(xué)術(shù)會議上發(fā)表論文》在國內(nèi)積極倡導(dǎo)論文發(fā)表標(biāo)準(zhǔn)與國際接軌[15]。2010年，中國計算機(jī)學(xué)會發(fā)布《中國計算機(jī)學(xué)會推薦國際學(xué)術(shù)會議和期刊目錄》(以下簡稱《目錄》，可以供國內(nèi)高校和科研單位作為學(xué)術(shù)評價的參考依據(jù)，并期望能起到推動國內(nèi)計算機(jī)領(lǐng)域?qū)W術(shù)進(jìn)步的作用[8]。

教育部2012年采用該《目錄》作為計算機(jī)科學(xué)和軟件工程評估的指標(biāo)之一，受到科研人員和管理部門的重視，改變了長期以來計算機(jī)學(xué)科學(xué)術(shù)評價不重視會議論文的傳統(tǒng)，為提高中國計算機(jī)學(xué)科基礎(chǔ)研究水平作出積極貢獻(xiàn)，促進(jìn)學(xué)科特點的認(rèn)同，規(guī)范了會議期刊，促進(jìn)了論文水平的提升[16]。據(jù)包云剛初步統(tǒng)計結(jié)果顯示：中國大陸學(xué)者發(fā)表的論文數(shù)已經(jīng)占到ACM會議論文總數(shù)的2.7%，2006年以后則占到了4%，與2006年前的數(shù)據(jù)(0.8%)相比取得了長足進(jìn)步[17]。

總之，“SCI標(biāo)準(zhǔn)”仍然是國內(nèi)評價科研成果的主要標(biāo)準(zhǔn)，但伴隨著國際計算機(jī)學(xué)科科研評價體系的影響以及國內(nèi)相關(guān)科研組織的發(fā)聲，國內(nèi)不同高?；蚩蒲性核鶎τ嬎銠C(jī)學(xué)科科研成果的評價在逐步推動，重視SCI期刊論文的同時，重視頂級會議論文的重要性，逐步平衡評價體系中不同評價指標(biāo)的權(quán)重。

(二)依據(jù)計算機(jī)學(xué)科特點，完善“SCI”評價標(biāo)準(zhǔn)

計算機(jī)學(xué)科不同于其他自然學(xué)科，學(xué)科內(nèi)部差別較大，難以進(jìn)行橫向比較。計算機(jī)理論領(lǐng)域以數(shù)學(xué)分析論證和推導(dǎo)或者算法改進(jìn)為主，研究周期短；計算機(jī)系統(tǒng)或者應(yīng)用領(lǐng)域，需要研發(fā)實用系統(tǒng)，并有真實的數(shù)據(jù)驗證，研究周期比較長。但是，《國際學(xué)術(shù)會議和期刊目錄》在評價標(biāo)準(zhǔn)方面忽略了不同領(lǐng)域的特點，計算機(jī)學(xué)會推薦的A類會議CVPR一次錄用論文約400多篇，而SIGCOMM僅錄用30～40篇論文。因此，在科研評價中不僅要關(guān)注計算機(jī)領(lǐng)域的特點，還要充分考慮不同領(lǐng)域之間的差異性，才能更好地搞好計算機(jī)學(xué)科的科學(xué)研究管理工作[18]。

(三)加強(qiáng)自身評價體系的宣傳

計算機(jī)學(xué)科的科研評價體系是為學(xué)科發(fā)展提供科學(xué)的決策依據(jù)，能夠推動科研水平和科技發(fā)展創(chuàng)新，計算機(jī)科研工作者應(yīng)加強(qiáng)自身專業(yè)特殊性的宣傳，提升各行業(yè)領(lǐng)域?qū)τ嬎銠C(jī)學(xué)科成果特殊性的認(rèn)知和重視。科研管理人員應(yīng)合理界定科研目標(biāo)、科研評價目標(biāo)，在科研管理過程中逐步形成科學(xué)的評價理念，推動科研評價的科學(xué)化，在項目評審、職稱評定、獎項設(shè)置、成果應(yīng)用等工作中，加強(qiáng)對教師學(xué)科認(rèn)知的引導(dǎo)，提高會議論文認(rèn)定的等級，發(fā)揮評價體系的導(dǎo)向性作用[19]。應(yīng)強(qiáng)調(diào)科研論文的質(zhì)量，注重營造科研的氛圍，不將SCI、會議期刊作為主要依據(jù)，努力改變和其他學(xué)科成果認(rèn)定一視同仁的做法。同時，建立全面的會議宣傳及參會激勵機(jī)制，加大對科研工作者參加頂級會議的支持力度，鼓勵將優(yōu)秀學(xué)術(shù)成果提交到頂級會議。

(四)結(jié)合學(xué)科特點，完善科研評價管理制度

客觀、公正的科研評價制度事關(guān)廣大科研工作者的切身利益，是學(xué)術(shù)得以健康發(fā)展的基石，也是保障科技管理工作正常運轉(zhuǎn)的前提。在對計算機(jī)學(xué)科進(jìn)行科研評價時，應(yīng)當(dāng)針對當(dāng)前存在的主要矛盾，采取相應(yīng)的政策和措施加以解決：第一，按專業(yè)領(lǐng)域制定相應(yīng)的科研評價標(biāo)準(zhǔn)?？蒲性u價指標(biāo)會受到評價方法、評價目的、評價對象等多方面因素的影響[20-21]。與物理、化學(xué)類專業(yè)截然不同，計算機(jī)類專業(yè)對應(yīng)的科研成果評價標(biāo)準(zhǔn)應(yīng)有所差別。第二，重視會議論文的學(xué)術(shù)影響力。計算機(jī)學(xué)科的頂級會議文章采用“雙盲”評審，每篇文章歷經(jīng)“先通訊評審再會評”的常規(guī)程序，錄用率低，通常不到20%，每篇文章或被錄用或被拒絕，沒有修改機(jī)會。若論文被頂級會議接受，很大程度上能彰顯其科研實力。而且，計算機(jī)學(xué)科的最新研究成果主要發(fā)表在頂級會議上。更有甚者，計算機(jī)學(xué)科的領(lǐng)軍人物僅將研究成果發(fā)表在頂級會議上，如MIT的Katabi教授。第三，制定科學(xué)的科研評價指標(biāo)。科研評價標(biāo)準(zhǔn)本身也是一個動態(tài)適應(yīng)、不斷完善的過程，指標(biāo)設(shè)置合理會促進(jìn)評價結(jié)果的科學(xué)性和權(quán)威性。高校的科研成果不是靠簡單的指標(biāo)“抓”出來的，要遵循整體性、公正性、戰(zhàn)略性、操作性等原則[22]?？蒲泄芾聿块T要更多地在“搞好服務(wù)”方面下功夫，為本單位科研工作制定更為有效的激勵制度，為科研人員創(chuàng)造工作條件、排憂解難等。論文的具體評價應(yīng)綜合考慮論文的自身價值、同行專家的評議結(jié)果與科研管理專家的判斷。

四、實例驗證

高校自身特點也決定了科研評價工作的特點，后者對前者及其教師有著很強(qiáng)的導(dǎo)向性，不同類型的高校、不同學(xué)科之間應(yīng)當(dāng)采用不同的評價方法和評價標(biāo)準(zhǔn)?；谄渎毮芘c不同側(cè)重點，中國589 所本科院校被《中國大學(xué)評價》課題組分為研究型、研究教學(xué)型、教學(xué)研究型和教學(xué)型4類，占比分別為6.83 %(40 所)、15.87 %(93所)、23.89 %(143 所)和53.41 %(313 所)[23]。

某大學(xué)作為一所綜合性重點高校，從2015年起試行“一院一策”管理體制，從科研角度看就是要充分發(fā)揮二級學(xué)院教學(xué)科研和辦學(xué)的主體地位，試圖根據(jù)不同學(xué)科特點分類考核、分類指導(dǎo)，制定與學(xué)科性質(zhì)相適應(yīng)的科研評價標(biāo)準(zhǔn)體系和差異化考核指標(biāo)，實行學(xué)科間單獨考核，充分尊重教師個體差異，尊重不同學(xué)科科研人員的成果價值，營造寬松的研究氛圍，激發(fā)各個學(xué)科的科研活力。具體舉措包括：第一，依據(jù)專業(yè)領(lǐng)域擬定同行專家評價認(rèn)可的期刊與會議列表。鑒于計算機(jī)學(xué)科頂級期刊文章與頂級會議文章的數(shù)量在一定程度上皆可反映其國際影響力，同時不斷加大獎勵頂級期刊文章與頂級會議文章的獎勵力度。第二，規(guī)范期刊文章與會議文章的量化指標(biāo)。計算機(jī)學(xué)會推出了“CCF推薦A/B/C類會議”“CCF推薦A/B/C類期刊”列表?！癈CF推薦A類會議”是計算機(jī)學(xué)科最具難度的標(biāo)志，越受推崇的頂級會議論文接受率越低，發(fā)表難度越大，我們在評價體系中予以高度認(rèn)可。為了簡單有效地推進(jìn)科研評價，我們嘗試將“CCF推薦A類會議和期刊”與JCR/SCI一區(qū)期刊相對應(yīng)，“CCF推薦B類會議和期刊” 與JCR/SCI二區(qū)期刊相對應(yīng)，“CCF推薦C類期刊” 與JCR/SCI三區(qū)期刊相對應(yīng)。“CCF推薦C類會議”等同視為JCR/SCI期刊。第三，綜合衡量學(xué)術(shù)論文的學(xué)術(shù)價值和文獻(xiàn)價值?；谡撐乃l(fā)表期刊的影響因子、平均被引次數(shù)、當(dāng)年指數(shù)等指標(biāo)，全方位衡量其學(xué)術(shù)價值。這些舉措將有效避免學(xué)術(shù)評價中“一刀切”現(xiàn)象。一方面使科研評價更具規(guī)范性，對期刊論文和會議論文的學(xué)術(shù)價值進(jìn)行合理量化；加大會議論文，尤其是計算機(jī)學(xué)科會議論文的支持力度，增加科研活動經(jīng)費，資助教師與有潛力學(xué)生前往頂級會議借鑒學(xué)習(xí)，提升教師的科研素養(yǎng)；加強(qiáng)國際和國內(nèi)高校的學(xué)術(shù)交流與合作。另一方面也符合計算機(jī)學(xué)科的研究規(guī)律，對后期計算機(jī)科研成果評價具有指導(dǎo)性作用。

另外，某大學(xué)的科研評價體系是建立在與國際、國內(nèi)同行論證的基礎(chǔ)之上，向國際一流院?？待R的自主制定考核指標(biāo)。特別是計算機(jī)學(xué)科，在中國計算機(jī)學(xué)會制定的論文標(biāo)準(zhǔn)基礎(chǔ)上，有分類地加以適用，引導(dǎo)該學(xué)科與國際化接軌，走國際化發(fā)展道路，并取得顯著成績。2011年該大學(xué)計算機(jī)學(xué)科并沒有A類論文，而到2017年初已錄用和發(fā)表8篇，這對于一所綜合性高校是長足的進(jìn)步。

五、結(jié)語

SCI論文和頂級會議對于計算機(jī)學(xué)科的發(fā)展都起著舉足輕重的推動作用，SCI側(cè)重基礎(chǔ)，研究比較深入，而頂級會議時間快，信息量大，對學(xué)科發(fā)展的導(dǎo)向作用比較明顯。科研管理應(yīng)結(jié)合學(xué)科的特點，重視SCI期刊論文的同時，也應(yīng)當(dāng)重視頂級會議論文的重要性，發(fā)揮制度的導(dǎo)向作用。同時，科研部門都應(yīng)根據(jù)學(xué)科特點，制定符合并推動學(xué)科發(fā)展的科學(xué)評價體系，激勵引導(dǎo)研究人員參加科學(xué)研究，提高其積極性和創(chuàng)造性，使相關(guān)學(xué)科的科研評價系統(tǒng)制度化、規(guī)范化，進(jìn)一步推動學(xué)科和學(xué)術(shù)科研的發(fā)展。

[1] 滕穎，蔣新.對我國學(xué)術(shù)論文評價體系的幾點思考[J].無錫教育學(xué)院學(xué)報，2005(1)：93-95.

[2] 王倩.h指數(shù)及其衍生指數(shù)在評價學(xué)術(shù)會議中的應(yīng)用研究[J].科技情報開發(fā)與經(jīng)濟(jì)，2015(15)：135-139.

[3] 尚海茹，馮長根，孫良.用學(xué)術(shù)影響力評價學(xué)術(shù)論文——兼論關(guān)于學(xué)術(shù)傳承效應(yīng)和長期引用的兩個新指標(biāo)[J].科學(xué)通報. 2016(26)：2853-2860.

[4] 梁耘. 學(xué)術(shù)論文評價工作模式研究[J].湖北汽車工業(yè)學(xué)院學(xué)報，2005，19(2)：78-80.

[5] 孫君，閆雅娜.EI與科技論文收錄[J].情報探索，2006(6):47-48,16.

[6] 任火.SCI評價及其對策[J].中國出版，2002(1)：41-42.

[7] 王漢瀾．教育評價學(xué)[M].開封：河南大學(xué)出版社，1995.

[8] 李志河.我國高校教學(xué)科研人員績效考評研究[M].北京：科學(xué)出版社，2012.

[9] 劉在洲，徐紅，陳承.高校科研質(zhì)量評價標(biāo)準(zhǔn)研究[M].北京：科學(xué)出版社，2015.

[10] 劉恩允.高校科研評價的問題與對策[J].高等工程教育研究，2004(1)：39-42.

[11] 彭蘭，唐慧君.構(gòu)建高?？蒲袃?nèi)部評價體系之思考[M].黑龍江高教研究，2005(2)：68-70.

[12] 陳鋼.從ACM會議分析我國計算機(jī)學(xué)科近十年發(fā)展情況[J].中國計算機(jī)學(xué)會通訊，2015，11(10)：42-51.

[13] 瞿葆奎.教育學(xué)文集·教育評價[M].北京：人民教育出版社，1989.

[14] 譚英.從SCI反思中國的學(xué)術(shù)評價體制——中國計算機(jī)學(xué)會YOCSEF論壇綜述[J].中國計算機(jī)學(xué)會通訊，2005，1(2)：75-79.

[15] 李國杰.要高度重視在頂級國際學(xué)術(shù)會議上發(fā)表論文[J].中國計算機(jī)學(xué)會通訊，2006，2(5)：93.

[16] 梅宏.中國計算機(jī)學(xué)會發(fā)布《國際學(xué)術(shù)會議和期刊目錄》得失談[J].中國計算機(jī)學(xué)會通訊，2015，11(7)：36-42.

[17] 包云崗.CCF《國際學(xué)術(shù)會議和期刊目錄》得大于失[J].中國計算機(jī)學(xué)會通訊，2015，11(8)：38-42.

[18] 杜偉錦.高?？蒲性u價現(xiàn)狀與完善途徑探析[J].高等教育研究，2004(4)：61-64.

[19] 毛娜.淺議高?？蒲性u價制度創(chuàng)新[J].黑龍江教育：高教研究與評估版，2008(C2)：183-185.

[20] 曾玉清.高校科研產(chǎn)出評價方法及應(yīng)用研究[J].湖南社會科學(xué)，2006(4)：201-204.

[21] 楊瑞仙，梁艷平.國內(nèi)外高?？蒲性u價方法比較研究[J].情報雜志，2015(9)：107-110.

[22] 蔡言厚,等.大學(xué)科研定量評價指標(biāo)設(shè)置若干原則的探討[J].研究與發(fā)展管理，2002，14(5)：76-80.

[23] 武書連.再探大學(xué)分類[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2002，23(10)：26-30.

Empirical study on appraisal of the academic paper in scientific research evaluation system

CHEN Feng1, YANG Xiao2, CHEN Xiao-jiang3

(1. Office of Science & Technology, Northwest University, Xi’an 710127, Shaanxi, China; 2. School of Economic & Management, Northwest University, Xi’an 710127, Shaanxi, China; 3. School of Information and Technology, Northwest University, Xi’an 710127, Shaanxi, China)

To solve the problem that there are certain limitations to the appraisal of the academic paper in scientific research evaluation system, this paper took the appraisal of academic papers concerned with computer science as example and chose one university’s scientific research evaluation criteria and indicators for performance appraisal as case to study relevant issues of academic papers appraisal. The results show that the key point of determining the value and orientation of top conference papers and SCI journal papers lies in whether to insist on correct guidance in scientific management evaluation system. In computer science, most symbolic achievements are published on the papers of international top conferences while Chinese scientific research evaluation system still puts focus on SCI journal papers, which leads to the low participation and quality of Chinese scholars’ published papers at international computer science conferences. It puts forward some suggestions, such as top conference papers should be stressed in Chinese scientific research evaluation system, the weight of different evaluation indicators should be balanced, the difference between different disciplines should be considered, quality evaluation grade of conference papers should be raised, the guidance role of evaluation system should be played, a new scientific evaluation indicators should be formulated, and the management system of scientific research evaluation should be improved. A university formulated a scientific research evaluation system which considered the difference of disciplines and specified different evaluation indicators. It also listed the journals and conferences for different disciplines, which are recognized by experts and professionals, and gave specification for quantitative indicators of journal papers and conference papers to comprehensively determine the academic and documentary values of academic papers, which made great achievements in the internationalization of academic research.

research evaluation; top conferences’ papers; SCI journal papers; computer science

2017-01-07

國家自然科學(xué)基金項目(61373177)；陜西省科技計劃(自然基金)項目(2012JQ8049)

陳峰(1978-)，男，安徽天長人，工學(xué)博士。

G321

A

1671-6248(2017)02-0058-06

評價是以學(xué)術(shù)論文被同行引用的次數(shù)衡量其影響力與重要性[3]。衍生物為期刊影響因子，即期刊論文的平均被引率(等于引用某刊前兩年論文的總次數(shù)與前兩年該刊所發(fā)表的論文總數(shù)之比)。論文短期高被引說明其選題的先進(jìn)性和前沿性；長期高被引體現(xiàn)其學(xué)術(shù)影響力、學(xué)術(shù)價值和貢獻(xiàn)。這也與學(xué)科特點有關(guān)，不同學(xué)科期刊的平均影響因子存在著系統(tǒng)差別。比如，醫(yī)學(xué)領(lǐng)域影響因子在10以上的很常見，而數(shù)學(xué)領(lǐng)域基本在3以內(nèi)。

科學(xué)研究是高等院校和研究院所的基本活動，研究成果是研究價值的重要體現(xiàn)，進(jìn)行科學(xué)研究評價便成為高?？蒲泄芾砉ぷ髦械闹匾h(huán)節(jié)之一。目前科學(xué)家在對科學(xué)問題和方法探索的過程中，還需要花費大量的精力形成高水平科研成果，如發(fā)表期刊或會議論文、出版著作等。通常意義上的科研評價內(nèi)容包括項目、論文、專利、成果獎等。其中，學(xué)術(shù)論文是評價體系中的重要組成部分，特別在高校中論文的質(zhì)量和數(shù)量是衡量個人和團(tuán)隊研究水平的重要指標(biāo)。

目前，學(xué)術(shù)論文評價的主要方式包括期刊評價[1]、會議評價[2]、引用評價[3]等。期刊評價側(cè)重于通過對期刊整體水平的評價來界定其刊載學(xué)術(shù)論文的水平[4]，期刊分為：核心期刊、EI源刊(美國工程索引，The Engineering Index，簡稱EI)、SCI(Science Citation Index，科學(xué)引文索引)源刊等。核心期刊源于英國著名文獻(xiàn)計量學(xué)家布拉德福的研究，指刊載某學(xué)科學(xué)術(shù)論文較多的、論文被引較多、受領(lǐng)域科研人員重視、能反映該學(xué)科前沿研究熱點和焦點的期刊。國內(nèi)核心期刊的主流是中國科學(xué)引文數(shù)據(jù)庫(CSCD)、北大核心期刊目錄等推薦的期刊。EI源刊創(chuàng)始于1844年，是美國首個以了解全球工程文獻(xiàn)為目的可供檢索的文獻(xiàn)摘要和期刊[5]。EI源刊對學(xué)術(shù)論文水平有一定要求，選刊嚴(yán)格，逐漸成為理工科高等院校和工程研究院所學(xué)術(shù)水平評價的重要依據(jù)。SCI是美國科學(xué)技術(shù)信息研究所ISI(Isntitute for Scientific Information)對科技刊物和論文進(jìn)行評價的一種工具[6]，能否在世界頂尖SCI期刊上發(fā)表論文已成為國內(nèi)高校評判大多數(shù)科學(xué)工作者科研能力的重要標(biāo)志以及評職晉級的重要依據(jù)。

學(xué)術(shù)會議是學(xué)術(shù)交流活動的核心，隨著國際學(xué)術(shù)交流與日俱增，會議評價方式也成為論文評價的重要手段[2]。傳統(tǒng)的會議評價為定性指標(biāo)，如會議主題內(nèi)容等，定量化指標(biāo)和評價公式難以直接應(yīng)用。一些學(xué)科則采用專家評估的辦法對會議質(zhì)量進(jìn)行評定，形成領(lǐng)域列表，作為的指南。