殷之明周春雷
(1.集美大學(xué)學(xué)校辦公室,福建廈門 361021;2.鄭州大學(xué)信息管理系,河南鄭州 450001)
基于h指數(shù)的專家引薦分析法與實(shí)例分析
——以我國物理類國家重點(diǎn)實(shí)驗(yàn)室評價(jià)為例
殷之明1周春雷2
(1.集美大學(xué)學(xué)校辦公室,福建廈門 361021;2.鄭州大學(xué)信息管理系,河南鄭州 450001)
引薦分析法(CRA)通過分析高影響力作者的施引列表來尋找該作者眼中的學(xué)界同行,通過對同行h指數(shù)的分析,可以揭示施引者本身的學(xué)術(shù)地位。論文通過對我國物理類國家重點(diǎn)實(shí)驗(yàn)的引薦分析,發(fā)現(xiàn)它們應(yīng)用(引用)的文獻(xiàn)來自其本身或其他的一流科學(xué)家,而一流的科學(xué)家必然緊緊跟學(xué)科前沿。研究認(rèn)為,從某種意義上,我國物理類國家重點(diǎn)實(shí)驗(yàn)室已處在或基本處在世界一流物理類研究機(jī)構(gòu)行列。
引文分析法;引薦分析法;h指數(shù);國家重點(diǎn)實(shí)驗(yàn)室;實(shí)驗(yàn)室評價(jià)
美國著名情報(bào)學(xué)家尤金·加菲爾德(Gar f eld)認(rèn)為引文是學(xué)者付給同行的硬幣工資,引文測度能把一些有用的、客觀的因素引入到評價(jià)過程中,而只涉及少量的使用調(diào)查技術(shù)的費(fèi)用,是一種有效的同行專家評議方式[1]。葉繼元也認(rèn)為引文索引可以幫助確定知識或科學(xué)的結(jié)構(gòu),反映學(xué)科之間的滲透情況,可以從一個重要側(cè)面評價(jià)被引用論文、刊載被引論文期刊以及學(xué)者、學(xué)者群體的影響程度和水平[2]。由于引文具有如此重要的價(jià)值,引文分析法自Gar f eld創(chuàng)立以來一直是一種經(jīng)典的情報(bào)學(xué)分析方法,同時引文分析法也被發(fā)展成一種間接評價(jià)法,用以評價(jià)個人、團(tuán)隊(duì)、組織、機(jī)構(gòu)的學(xué)術(shù)貢獻(xiàn)。以此類推,對某機(jī)構(gòu)學(xué)術(shù)成果的頻繁施引,意味對對機(jī)構(gòu)學(xué)術(shù)貢獻(xiàn)的認(rèn)同[3-5]。
引薦分析法(Citation Recommendation Analysis,CRA)是一種新型的引文分析法,通過從施引作者入手,不斷地尋找其領(lǐng)域同行、同行的同行來繪制整個研究領(lǐng)域的全景圖。它融合了引文分析法、知識圖譜分析等技術(shù),為研究領(lǐng)域內(nèi)的學(xué)術(shù)網(wǎng)絡(luò)關(guān)系和學(xué)科結(jié)構(gòu)提供了新的途徑。所謂引薦(CR)是指同一施引者對某人的多次引用行為[6]。從施引者的引用行為可知,對同一作者多次引用,意味著施引者對被引者學(xué)術(shù)貢獻(xiàn)的認(rèn)可。為了消除引薦行為的偶然性,我們將引用的下限,即至少引用的次數(shù),定義為引薦閾值(TCR)。只有超出引薦閾值的頻繁施引才會被采信為一次有效引薦,而一旦引用次數(shù)超出引薦閾值則數(shù)值大小將是無差別的[6-8]。
與傳統(tǒng)引文分析法不同的是,引薦分析法對施引者給予足夠的關(guān)注。實(shí)際上,對于同一學(xué)術(shù)成果的引用,一般作者與領(lǐng)域?qū)<业闹匾潭纫彩遣灰粯拥?。馬鳳、武夷山認(rèn)為,一篇文獻(xiàn)被普通作者和知名作者引用,被粗略引用和詳細(xì)引用是不一樣的,高質(zhì)量的著作常被知名作者多次引用,引用認(rèn)同結(jié)合同行評議可以更全面客觀地評價(jià)作者及其著作[9]。絕大多數(shù)低產(chǎn)作者對特定領(lǐng)域的學(xué)術(shù)興趣很不穩(wěn)定,其學(xué)術(shù)判斷未必準(zhǔn)確,而專家往往因在特定領(lǐng)域進(jìn)行了長期深入研究,對相應(yīng)問題的看法常具有超越普通作者的見識,其對某作者的頻繁施引往往意味著對該作者學(xué)術(shù)貢獻(xiàn)的重視。我們在研究h指數(shù)的過程中發(fā)現(xiàn),高影響力作者的施引列表(其獨(dú)著或合著論文的參考文獻(xiàn)列表的匯總)蘊(yùn)藏著很多有價(jià)值的信息。絕大多數(shù)高影響力作者或其所在團(tuán)隊(duì)引用最多的是高影響力作者自己,其次是一些研究高影響力的相關(guān)的同行[6-8]。
因此,我們在引薦分析中,通常通過h指數(shù)來遴選專家,故也稱為基于h指數(shù)的引薦分析法(H-index Based Experts Citation Recommendation Analysis,簡稱HBECRA)。其實(shí)質(zhì)是借鑒選舉過程,借助學(xué)科專家的學(xué)術(shù)洞察力和引薦及時發(fā)現(xiàn)學(xué)界新秀、其他研究領(lǐng)域值得關(guān)注的學(xué)者以及國際上有影響力的學(xué)者,彌補(bǔ)了傳統(tǒng)引文分析法對施引者關(guān)注不足的缺憾,為研究學(xué)科結(jié)構(gòu)開辟了新的途徑。如果將專家選擇尺度進(jìn)一步放寬,還可以勾勒更精細(xì)的學(xué)科結(jié)構(gòu)圖[6-8]。
同理,就一個機(jī)構(gòu)而言,其研究成果經(jīng)常引用普通作者和知名作者,其重要程度是不一樣的。通常機(jī)構(gòu)施引的作者越知名,次數(shù)越多,那么機(jī)構(gòu)越緊跟國際研究前沿,其研究成果也越具有價(jià)值。
基于h指數(shù)的專家引薦法用于評價(jià)科研人員或機(jī)構(gòu)時,通常需要實(shí)施如下8個步驟。
(1)選定學(xué)科或主題領(lǐng)域。一方面學(xué)科、主題劃分的方法種類繁多,且相互間缺乏通用性;另一方面學(xué)科間的交叉、融合情況日益顯著。這都給學(xué)科或主題領(lǐng)域的選擇帶來了困難。
(2)最大限度地收集領(lǐng)域成果。收集的難點(diǎn)是關(guān)于學(xué)科或領(lǐng)域主題的“全”和“準(zhǔn)”。領(lǐng)域成果的收集關(guān)鍵在于當(dāng)前的各種類別數(shù)據(jù)庫,數(shù)據(jù)庫收錄回溯時間的長短,收錄成果類型的多寡,都將對最終的評價(jià)結(jié)果產(chǎn)生一定的影響。
(3)計(jì)算與確定學(xué)科或主題作者h(yuǎn)指數(shù)。依據(jù)h指數(shù)高低,遴選出學(xué)科或主題“h指數(shù)權(quán)威專家”。難點(diǎn)在于甄別同名作者,對于中文數(shù)據(jù)而言,通??梢酝ㄟ^機(jī)構(gòu)加作者的方式識別,對于外文數(shù)據(jù)庫,則通常困難重重。
(4)下載獲得對評價(jià)對象(人員或機(jī)構(gòu))的全部研究成果施引記錄。
(5)利用自編程序分析施引情況。
(6)分析“h指數(shù)權(quán)威專家”對被評價(jià)對象的“提名”情況。
(7)選定引薦閾值,獲得被評價(jià)對象“引薦情況”。引薦閾值的設(shè)定需要經(jīng)歷多次的測試與檢驗(yàn),閾值太高的結(jié)果是引薦次數(shù)大幅減少,可能出現(xiàn)大多數(shù)被評價(jià)對象沒有獲得引薦的情況,從而無法實(shí)現(xiàn)評價(jià)比較的目標(biāo);閾值太低的結(jié)果,比如閾值為1時,導(dǎo)致評價(jià)的實(shí)質(zhì)成了“h指數(shù)權(quán)威專家”引用評價(jià)法。
(8)分析“引薦情況”,得出評價(jià)結(jié)論。分析的角度可以拓展,引薦次數(shù)的高低是一個方面;而引薦專家的平均h指數(shù)高低是另外一個方面;同時,引薦分析法也可以與引用評價(jià)進(jìn)行對比,并從二者的差異中發(fā)現(xiàn)問題。
3.1 評價(jià)對象選擇與確定
依據(jù)《中華人民共和國科學(xué)技術(shù)進(jìn)步法》,國家科學(xué)技術(shù)部在2002年4月頒布的《國家重點(diǎn)實(shí)驗(yàn)室建設(shè)與管理暫行辦法》中明確指出:“重點(diǎn)實(shí)驗(yàn)室是國家科技創(chuàng)新體系的重要組成部分,是國家組織高水平基礎(chǔ)研究和應(yīng)用基礎(chǔ)研究、聚集和培養(yǎng)優(yōu)秀科學(xué)家、開展學(xué)術(shù)交流的重要基地。[10]” 經(jīng)過20多年的建設(shè)與發(fā)展,國家重點(diǎn)實(shí)驗(yàn)室作為我國基礎(chǔ)性研究的“國家隊(duì)”,已經(jīng)成為我國國家科技創(chuàng)新體系的中堅(jiān)力量。選擇國家重點(diǎn)實(shí)驗(yàn)室,來實(shí)踐和檢驗(yàn)引薦分析法評價(jià)科研機(jī)構(gòu),具有較好的代表性。因此,我們的引薦分析法應(yīng)用評價(jià)研究選擇全部11個物理類國家重點(diǎn)實(shí)驗(yàn)(實(shí)驗(yàn)室相關(guān)信息見表1)。
3.2 數(shù)據(jù)來源及其處理方法
(1)基礎(chǔ)數(shù)據(jù)來源及處理
依據(jù)JCR選取全部物理類期刊,剔除各大類別之間的重復(fù)期刊后,共計(jì)338種期刊,其中PHYSICS, APPLIED類88種;PHYSICS, ATOM IC, MOLECULAR & CHEM ICAL類30種;PHYSICS, CONDENSED MATTE類52種;PHYSICS, FLUIDS & PLASMAS類24種;PHYSICS, MATHEMATICAL類40種;PHYSICS, MULTIDISCIPLINARY類65種;PHYSICS, NUCLEAR類13種;PHYSICS, PARTICLES & FIELDS類26種。論文項(xiàng)目組先后利用ISTIC-THOMSON科學(xué)計(jì)量學(xué)聯(lián)合實(shí)驗(yàn)室、武漢大學(xué)圖書館和廈門大學(xué)圖書館的數(shù)據(jù)資源,下載上述338種期刊自1986年以來發(fā)表的SCI收錄論文數(shù)據(jù),共計(jì)約185萬條作為研究的基礎(chǔ)數(shù)據(jù)。作為學(xué)科領(lǐng)域?qū)<襤指數(shù)測算基礎(chǔ)數(shù)據(jù)(檢索時間為2010年6-7月,其中刊物“PHYSICAL REVIEW B”的檢索結(jié)果為大于10萬條僅下載了其較新的7萬條)。
(2)實(shí)驗(yàn)室相關(guān)數(shù)據(jù)檢索及說明
對各實(shí)驗(yàn)室被收錄及施引情況進(jìn)行了初檢索,修改校正檢索及第三次檢索,目的是通過對比分析,不斷修正。2010年7月20日,進(jìn)行了研究評價(jià)對象被SCI收錄論文數(shù)據(jù)的第一輪檢索;2010年8月1日進(jìn)行了第二輪檢索,并檢索表達(dá)式進(jìn)行了調(diào)整、改進(jìn)與優(yōu)化,并分別選取數(shù)據(jù)收錄起始年為1997年和1986年進(jìn)行了兩次檢索,數(shù)據(jù)分析表明各實(shí)驗(yàn)室自兩個起始年份收錄的論文數(shù)量無明顯差異。基于本次評價(jià)基礎(chǔ)數(shù)據(jù)的一致性考慮,同時考慮到實(shí)驗(yàn)室建設(shè)年份的不一致性,特別是個別實(shí)驗(yàn)室2000年以后才批準(zhǔn)建設(shè)的,本評價(jià)最終評價(jià)數(shù)據(jù)選擇1997年為論文收錄起始年。2010年8月10日,我們以1997年為起始年,對11個物理類國家重點(diǎn)實(shí)驗(yàn)室被SCI收錄的論文和施引論文進(jìn)行了最終檢索,并全部下載,檢索式及檢索結(jié)果如表2所示。
(3)其他檢索結(jié)果
在第三輪檢索的過程中,我們同時記錄了11個物理類國家重點(diǎn)試驗(yàn)室的如下數(shù)據(jù):收錄起始年、施引論文起始年、被引頻次、評價(jià)被引頻次以及h-index,詳見表3。
3.3 學(xué)科領(lǐng)域h指數(shù)
依據(jù)前述基礎(chǔ)數(shù)據(jù),經(jīng)過統(tǒng)計(jì)共有228732位作者(不只包含第一作者),并計(jì)量得出領(lǐng)域內(nèi)作者的h指數(shù)值。統(tǒng)計(jì)結(jié)果表明,在228732名作者中,h指數(shù)值大于或者等于25的作者僅占總數(shù)的0.044%;處于20~24區(qū)間的作者有239位,占總數(shù)0.104%;處于15~19區(qū)間的作者有892位,占總數(shù)0.39%;處于10~14區(qū)間的作者有4248位,占總數(shù)1.857%;處于8~9區(qū)間的作者有5202位,占總數(shù)2.274%;處于6~7區(qū)間的作者有11391位,占總數(shù)4.98%;為5的作者有10499位,占總數(shù)4.590%;為4的作者有16717位,占總數(shù)7.309%;為3的作者有28155位,占總數(shù)12.309%;為2的作者有53305位,占總數(shù)23.305%;為1的作者有97983位,占總數(shù)42.837%(表4)。
表1 物理類國家重點(diǎn)實(shí)驗(yàn)室名單
3.4 評價(jià)結(jié)果分析
(1)物理類國家重點(diǎn)實(shí)驗(yàn)室整體引薦水平高
以半導(dǎo)體超晶格國家重點(diǎn)實(shí)驗(yàn)室引用的3899篇論文為基礎(chǔ),分析其引薦情況。在此我們僅分析作為第一作者被引薦的情況,設(shè)置引薦闕值為5,共有113位作者獲得引薦,作者h(yuǎn)指數(shù)值分布情況如表5第一行所示。同樣,對全部11個國家重點(diǎn)實(shí)驗(yàn)室的施引情況進(jìn)行匯總,分別計(jì)算國家重點(diǎn)實(shí)驗(yàn)室引薦的作者的h指數(shù)值分布情況。
表2 第三輪檢索表達(dá)式及檢索結(jié)果
表3 物理類國家重點(diǎn)室評價(jià)數(shù)據(jù)檢索相關(guān)數(shù)據(jù)
從整體上看,11個物理類國家重點(diǎn)實(shí)驗(yàn)室引薦的作者整體分布情況良好,其中9個實(shí)驗(yàn)室40%以上的引薦對象屬于物理學(xué)領(lǐng)內(nèi)域h指數(shù)值前3%的頂尖作者,對于物理學(xué)領(lǐng)域內(nèi)h指數(shù)值前15%的優(yōu)秀作者的引薦百分比分別達(dá)到:79.65%、82.35%、56.60%、94.89%、76.92%、61.70%、68.97%、 67.61%、68.42%、75.76%、67.44%。特別是南京大學(xué)固體微結(jié)構(gòu)物理國家重點(diǎn)實(shí)驗(yàn)室其對頂尖作者的引薦占其總引薦量的79%,其對前15%的優(yōu)秀作者的引薦百分比達(dá)到94.89%。
(2)引薦結(jié)果與被引頻次、h指數(shù)相關(guān)度不高
把11個國家重點(diǎn)實(shí)驗(yàn)室對于物理學(xué)領(lǐng)域內(nèi)h指數(shù)值前15%的優(yōu)秀作者的引薦百分比進(jìn)行排序,對表3獲得的檢索結(jié)果中的評價(jià)被引頻次以及h指數(shù)值進(jìn)行排序,生成表6。
通常情況下,被引頻次、機(jī)構(gòu)h指數(shù)值是科研機(jī)構(gòu)評價(jià)的重要指標(biāo)。下面分析引薦評價(jià)指標(biāo)與這兩個評價(jià)指標(biāo)之間的關(guān)系。從表6可以看出,在11個實(shí)驗(yàn)室中,半導(dǎo)體超晶格、固體微結(jié)構(gòu)物理、精密光譜科學(xué)與技術(shù)、人工微結(jié)構(gòu)和介觀物理5個實(shí)驗(yàn)室的三類排序相對穩(wěn)定,即相互間的排序差不超過1。非線性力學(xué)、核物理與核技術(shù)、聲場聲信息、應(yīng)用表面物理4個實(shí)驗(yàn)室三類排序差較大,差值達(dá)到4或者以上。通過對3個評價(jià)指標(biāo)做簡單相關(guān)分析,得出三者皮爾森相關(guān)系數(shù)表(表7)。僅從相關(guān)系數(shù)的數(shù)值分析,引薦分析法用于評價(jià)與傳統(tǒng)的科研機(jī)構(gòu)評價(jià)結(jié)果相關(guān)度不高。我們可以初步認(rèn)為,其用于機(jī)構(gòu)評價(jià)的信度和效度有待從其他角度去研究和論證。
表4 物理領(lǐng)域內(nèi)作者h(yuǎn)指數(shù)值分布情況表
表5 物理類國家重點(diǎn)實(shí)驗(yàn)室室引用作者h(yuǎn)指數(shù)值分布情況
從引用到引薦,其本質(zhì)都是希望利用已有成果,通過分析施引者與被引者、引薦者與被引薦者的關(guān)系,揭示他們的影響、認(rèn)同、推薦關(guān)系。本應(yīng)用研究的基本思想是:一流的科學(xué)家必然緊緊跟著學(xué)科前沿,其應(yīng)用(引用)的文獻(xiàn)也以其本身或者其他一流的科學(xué)家為主,并由此引申到一流的研究機(jī)構(gòu)。其研究成果也應(yīng)該是對一流成果和頂尖作者的引用[11]。研究的目的是為了從引薦的角度去驗(yàn)證我國物理學(xué)研究的頂尖機(jī)構(gòu)——物理類國家重點(diǎn)實(shí)驗(yàn)室是否引薦了一流的作者,結(jié)果也證明了我們的假設(shè)。
研究下載了大量的數(shù)據(jù),進(jìn)行了海量的計(jì)算,然而受時間和精力的限制,本研究在數(shù)據(jù)的完整性和數(shù)據(jù)的精準(zhǔn)性方面都有較大幅度提高的空間。例如,我國物理類國家重點(diǎn)實(shí)驗(yàn)室室批準(zhǔn)成立掛牌的時間本身就差異較大,缺少了對每一個實(shí)驗(yàn)室發(fā)展階段的把握,對其研究成果的檢索就存在一定的瑕疵。同時,就引薦分析法評價(jià)機(jī)構(gòu)實(shí)踐而言,其結(jié)果更多地能對現(xiàn)在狀態(tài)進(jìn)行驗(yàn)證評價(jià),并不適合源評價(jià)。正如,一流的研究機(jī)構(gòu)必然會引用一流研究機(jī)構(gòu)的研究結(jié)果。反過來,不能認(rèn)為,經(jīng)常引用一流的研究機(jī)構(gòu)成果的研究機(jī)構(gòu)本身就是一流。
表6 物理類國家重點(diǎn)室三類排序情況比較表
表7 三大評價(jià)結(jié)果序皮爾森相關(guān)系數(shù)表
[1] 尤金·加菲爾德.引文索引法的理論及應(yīng)用[M].侯漢清,等,譯. 北京:北京圖書館出版社,2004:233.
[2] 葉繼元.引文法既是定量又是定性的評價(jià)法[J].圖書館,2005(1):43-45.
[3] 高歌.基于引用認(rèn)同的學(xué)科前沿?zé)狳c(diǎn)研究[D].長春:吉林大學(xué)圖書館,2011.
[4] 吳志榮.對引文分析法地位的重新思考[J].圖書館雜志,2012,31(5):11-13,81.
[5] 羅宇輝,侯漢清.試論引文計(jì)量的不確定性——兼論引文計(jì)量的規(guī)范管理[J].情報(bào)理論與實(shí)踐,2010,33 (12):8-11.
[6] 周春雷.引薦分析法:一種新的引文分析法[J].情報(bào)學(xué)報(bào),2010(4):671-678.
[7] White H D.Authors as over Times[J].Journal of the American Society for Information Science and Technology,2001,52(2):87-108.
[8] 周春雷.領(lǐng)域內(nèi)h指數(shù)及其應(yīng)用研究[J].圖書情報(bào)工作,2012,56(10):45-49.
[9] 馬鳳,武夷山.引用認(rèn)同——一個值得注意的概念[J].圖書情報(bào)工作,2009,53(16):27-30,115.
[10] 科學(xué)技術(shù)部,財(cái)政部.關(guān)于印發(fā)《國家重點(diǎn)實(shí)驗(yàn)室建設(shè)與運(yùn)行管理辦法》的通知[EB/OL].[2013-05-28]. http://www.most.gov.cn/fggw/zfw j/zfw j2008/200810/ t20081017_64389.htm.
[11] 周春雷.試論現(xiàn)行學(xué)術(shù)評價(jià)體系的運(yùn)作機(jī)理[J].中國科技期刊研究,2012,23(6):1013-1016.
Expert Citation Recommendation Analysis and Exam p les Based on H-index
Yin Zhim ing1, Zhou Chunlei2
(1. Adm inistration Off ce of Jimei University, Xiamen 361021; 2. Information Department of Zhengzhou University, Zhengzhou 450001)
Citation Recomm endation Analysis is a new type of citation analysis m ethod that can be used for identifying peers of high influence authors by analyzing citing articles of those authors. It also can reveal citing authors’ academ ic status by analyzing peer H-index. This paper took the state key laboratories of Physics as an example. Results showed that the citing authors were in the same institutions or the first-class scientists, and the citing articles tailed to research frontiers of physics. The f rst-class scientists must tail to frontier discipline. In some sense, the results of this paper indicated that the Chinese state key laboratories of physics have been in the world f rstclass ranks of research institutes of Physics.
citation analysis, citation recommendation, H-index, state key laboratory, evaluation
G350
:ADOI:10.3772/j.issn.1674-1544.2013.04.009
殷之明(1974- ),男,副研究館員,博士,主要研究方向:信息計(jì)量與評價(jià)。
ISTIC-THOMSON科學(xué)計(jì)量學(xué)聯(lián)合實(shí)驗(yàn)室開放基金項(xiàng)目“國家重點(diǎn)實(shí)驗(yàn)室評價(jià)指標(biāo)體系研究”(IT2009006);2011年教育部人文社會科學(xué)研究項(xiàng)目“面向服務(wù)的高校圖書館績效評價(jià)研究”(11YJC870032)。
2013年4月2日。