Altmetrics應用于科技期刊評價的問題與優(yōu)化路徑

■黃笑炎 張業(yè)安

1)上海體育學院傳媒與藝術(shù)學院，上海市楊浦區(qū)清源環(huán)路650號 2004382)上海體育學院期刊中心，上海市楊浦區(qū)清源環(huán)路650號 200438

自20世紀60年代以來，以引文指標為核心的學術(shù)論文評價體系是國內(nèi)外學術(shù)評價領(lǐng)域最常用的一種評價方法。然而，越來越多的學者和機構(gòu)發(fā)現(xiàn)該評價體系存在諸多問題，如：盲目追求研究成果數(shù)量而忽視研究質(zhì)量的現(xiàn)象爆發(fā)[1]；引文指標反映學術(shù)論文的被引用情況，其只能體現(xiàn)學術(shù)主體部分學術(shù)成果的學術(shù)影響力，缺乏全面性及對學術(shù)論文社會影響力的綜合評價等[2]。近年來，在國內(nèi)以影響因子為核心的引文評價方式的應用已延伸至論文質(zhì)量評價和研究者業(yè)績評價等領(lǐng)域，甚至被應用于學術(shù)職務任命、科研人員職稱晉升、研究計劃的基金資助和其他研究計劃的資金支持評價等層面[3-4]。同時，由于在科技期刊評價中影響因子的權(quán)重不斷提升，通過自引、互引等方式人為操縱影響因子分值的做法已不鮮見。這些學術(shù)不端行為的出現(xiàn)，不僅影響科技期刊的良性發(fā)展，更是客觀評價學術(shù)和科技進步的嚴重阻礙。

隨著網(wǎng)絡技術(shù)、計算機通信技術(shù)的快速發(fā)展，媒介融合趨勢越發(fā)明顯，其在改變?nèi)藗兩罘绞降耐瑫r，也對出版方式產(chǎn)生革命性影響。在技術(shù)層面，以影響因子為主導的引文評價方法已不能全面反映研究成果的影響力和傳播效果，急需引入契合數(shù)字化、網(wǎng)絡化出版特征的多元評價指標及方法，以對科技期刊的影響力進行客觀、綜合評價。在此背景下，Altmetrics應運而生。國內(nèi)外的相關(guān)研究主要涉及Altmetrics的提出背景、內(nèi)涵及價值[5-8]，Altmetrics的評價指標[9-12]、數(shù)據(jù)源及評價指標研究工具[13-15],Altmetrics應用效果的實證測量[16-18]等方面。然而，綜述國內(nèi)外相關(guān)研究發(fā)現(xiàn)，鮮有將Altmetrics運用于科技期刊評價的相關(guān)研究，特別是將Altmetrics運用于科技期刊評價的問題研究。因此，本研究擬在對Altmetrics運用于科技期刊評價的優(yōu)勢進行解析的基礎(chǔ)上，揭示其間存在的現(xiàn)實問題，提出其在科技期刊評價實踐中的優(yōu)化路徑，為在媒介融合環(huán)境下客觀、科學評估科技期刊影響力提供參考。

在應用Altmetrics指標對科技期刊進行評價之前，必須明確科技期刊的本質(zhì)屬性及其核心載體。筆者認為，科技期刊的本質(zhì)屬性是交流與展示科技成果，其核心載體是學術(shù)論文；而要對科技期刊的質(zhì)量和影響力進行評價，必須先對其內(nèi)容的核心載體——學術(shù)論文進行評價。無論是在傳統(tǒng)媒介環(huán)境還是在新媒體環(huán)境下，科學的科技期刊評價方案都應是：在對學術(shù)論文進行評價的基礎(chǔ)上，再對論文的合集——期刊進行評價，“評文”是“評刊”的基礎(chǔ)。因此，本研究在對Altmetrics應用于科技期刊評價的分析中，均以分析其在學術(shù)論文評價中的應用為前提。

1 Altmetrics應用于科技期刊評價的優(yōu)勢與問題

1.1 Altmetrics概覽

Altmetrics最早由Priem于2010年在其Twitter上提出，隨后Priem等發(fā)表“Altmetrics: A Manifesto”一文，正式提出Altmetrics一詞，將其定義為基于網(wǎng)絡工具和環(huán)境的活動學術(shù)影響力的測量研究，目的是評價社交網(wǎng)絡中論文等文本的交流、使用和開放情況[19]。Altmetrics一經(jīng)提出，在國外即引發(fā)關(guān)于其內(nèi)涵、價值、指標、數(shù)據(jù)源、策略、工具等的學術(shù)討論，取得較多研究成果。相較之下，國內(nèi)對于Altmetrics的研究起步較晚，最早由劉春麗于2012年7月將Altmetrics術(shù)語正式引入國內(nèi)[20]。之后，國內(nèi)學者開始運用Altmetrics對學術(shù)影響力、機構(gòu)知識庫、圖書館服務、科研評價、社交網(wǎng)絡、社交影響力、開放獲取(Open Access，OA)、科學交流等進行研究，取得一定成果。筆者認為，Altmetrics是基于開放的社交網(wǎng)絡，通過各種工具、學術(shù)社交網(wǎng)絡平臺、文件管理系統(tǒng)(包括相關(guān)研究資料的下載、參考、瀏覽、評論和轉(zhuǎn)發(fā)信息)，對信息進行聚類分析、計算和測量，以便充分、及時地反映科研成果影響力的科學評估方法。

1.2 Altmetrics應用于科技期刊評價的優(yōu)勢

1.2.1 信息源的豐富性

Altmetrics擁有海量的信息源，除了正式發(fā)表的期刊論文外，還包括免費獲取的非OA論文、會議論文、博客、代碼、軟件、研究數(shù)據(jù)集、課件和演示文稿等資源。除了廣闊的信息源外，Altmetrics的數(shù)據(jù)來源亦十分豐富，包括傳統(tǒng)數(shù)據(jù)庫、社交網(wǎng)絡、科研數(shù)據(jù)存儲庫等，例如Drynd、Figshare、GitHub、PLoS、ALMs、SlideShare、Facebook、Google+、LinkedIn、Reddit、Twitter、PubMed、Scopus、Science、Seeker、Wikipedia、Mendeley、Zotero、CiteULike等[21]。隨著研究者對新媒體文獻獲取偏好的流行，豐富的信息源可促使評價結(jié)果趨于客觀公正，從而突破傳統(tǒng)科技期刊評價“以引文為主”“以刊評文”等弊端，以多元的評價信息源和數(shù)據(jù)源實現(xiàn)對科技期刊內(nèi)容及其影響力的客觀評價。

1.2.2 覆蓋面的廣闊性

如果一篇論文被引用，可能表明該論文有一定的影響力，但這種引用影響力的內(nèi)涵相對狹窄[22]。正如影響因子的局限性，高影響因子期刊刊登的論文并不能與高質(zhì)量論文劃等號。同樣，如果某篇論文未被其他論文引用，但其在社交網(wǎng)絡或其他平臺上被廣泛閱讀、討論、轉(zhuǎn)發(fā)，并給學者提供了研究思路和啟發(fā)，則該論文的現(xiàn)實影響力就不能被否定。Altmetrics可以對論文在更大范圍內(nèi)產(chǎn)生的社會影響和對除學術(shù)專家以外的人產(chǎn)生的影響進行測量，即其可在較大范圍內(nèi)反映科研成果的影響力。同時，社交網(wǎng)絡的應用廣泛性和公共傳播特征使得應用Altmetrics方法衡量論文的社會和經(jīng)濟影響成為可能，從而實現(xiàn)對科技期刊影響力更現(xiàn)實、更綜合的評價。

1.2.3 評價過程的透明性

期刊評價的絕對公平、公正是不現(xiàn)實的，但通過提升評價過程的透明度，使得期刊評價達到相對公平、公正是可以實現(xiàn)的。正如南京大學的朱劍編審所言：學術(shù)評價權(quán)力回歸學術(shù)共同體的過程必然是學術(shù)民主重建的過程，必須要把評價權(quán)力置于有效的民主監(jiān)督之下，使其成為“透明的評價”[23]。Altmetrics可利用互聯(lián)網(wǎng)信息技術(shù)在社交媒體上對論文進行集體公開評議，并利用互動式公開討論，借助公眾力量甄別論文優(yōu)劣，增強評價的透明度，縮短高質(zhì)量論文的出版時滯[24]；同時，其利用論文在社交媒體上的網(wǎng)絡影響力指標，將數(shù)據(jù)反饋速度從幾年縮短到幾天，并通過應用程序編程接口(Application Programming Interface，API)和其他方式免費訪問開放數(shù)據(jù)，打破了傳統(tǒng)引文數(shù)據(jù)庫封閉和不透明的弊端，為提升科技期刊評價的效率和公平性奠定基礎(chǔ)。

1.2.4 評價指標的多元性

Altmetrics評價工具以論文水平指標(Article Level Metrics)的研發(fā)為基礎(chǔ)，打破了傳統(tǒng)引用指標的局限性(如過長的時滯、片面的影響力及不明確的引用動機)[25]。多元性的評價指標完善了論文和期刊評價體系，例如，Altmetrics工具Plum X將單篇論文計量指標歸為5大類: 使用(Usage)、捕獲(Captures)、提及(Mentions)、社交媒體(Social Media)和引用(Citations)。多元指標從不同角度揭示論文被閱讀、討論、保存、推薦和引用的程度，使得對學術(shù)論文和科技期刊影響力的評價更全面、客觀。

1.2.5 評價結(jié)果的實時性

在傳統(tǒng)的以引文為主要指標的科技期刊評價體系中，論文從產(chǎn)生、非正式交流，到正式出版，需要經(jīng)過1～5年才可能達到引用高峰；而基于Altmetrics的聚合工具(如Plum X)，可通過對各類型科學成果的監(jiān)測，實現(xiàn)從科學思想到科學成果影響力的及時發(fā)現(xiàn)與揭示，學術(shù)論文在網(wǎng)絡上發(fā)表后即可被查看、下載，并在各社交網(wǎng)絡中進行討論、推薦、標簽或引用。Altmetrics的測量數(shù)據(jù)來自于網(wǎng)絡，通過實時獲取用戶在網(wǎng)絡上留下的使用、捕獲、提及、社交媒體和引用等方面的數(shù)據(jù)，并進行實時計算，計量的時效可以縮短到以天為單位。因此，學術(shù)論文公開后即可動態(tài)、定量測定其影響力，克服了傳統(tǒng)評價方法受時滯約束的弊端，實時性優(yōu)勢明顯[19]。

1.3 Altmetrics應用于科技期刊評價存在的現(xiàn)實問題

1.3.1 評價指標體系有待統(tǒng)一和學術(shù)轉(zhuǎn)化

現(xiàn)有的評價指標體基于不同的Altmetrics工具設計，不同的研究機構(gòu)存在不同的跟蹤和監(jiān)控數(shù)據(jù)源。目前，缺乏統(tǒng)一所有數(shù)據(jù)源的評價指標體系。如果評價指標不統(tǒng)一，對論文和期刊的評價結(jié)果將是不公平、不科學的。同時，不同指標有不同程度的影響力，須根據(jù)指標的層級設置相應的權(quán)重。然而，現(xiàn)有評價指標的權(quán)重是基于不同的Altmetrics工具設置的，其是否可作為學術(shù)論文的評價指標及相應的權(quán)重設置還有待深入研究，這些指標與傳統(tǒng)引文指標的關(guān)系也缺乏相應的實證研究。如何將Altmetrics評價指標進行統(tǒng)一和學術(shù)轉(zhuǎn)化是亟待學界和業(yè)界研究的重要課題。

1.3.2 對學術(shù)成果社會影響力的反映高于學術(shù)影響力

Altmetrics是對傳統(tǒng)科學計量學(如文獻計量學、科學計量學、信息計量學、網(wǎng)絡計量學)的繼承和補充，利用補充性指標和引用指標共同評價研究對象[26](如論文、數(shù)據(jù)集、程序段等)，其評價結(jié)果主要是對研究對象在開放平臺的使用情況以及讀者在社交媒體中交流狀況的反映。評價結(jié)果是研究對象學術(shù)影響力和社會影響力的綜合反映，且其對于社會影響力的反映甚至高于學術(shù)影響力[27]。Haustein等[28]經(jīng)過對大樣本的研究發(fā)現(xiàn)，Twitter提及量不能有效反映學術(shù)影響力的主要原因在于，Twitter的用戶群體、情境以及引文的轉(zhuǎn)化率等受到限制。Altmetric.com的創(chuàng)始人Euan表示，對Haustein等的研究結(jié)論并不意外，他認為Altmetrics指標反映的是學術(shù)論文在網(wǎng)絡上的關(guān)注度和知名度[29]。Altmetrics測量指標更多地反映學術(shù)成果的社會影響力，對于學術(shù)論文和期刊學術(shù)影響力的評價還需要將Altmetrics指標與同行評議、傳統(tǒng)評價指標等相結(jié)合。

1.3.3 對社交媒體中的情緒表達無法精準測量

對于Altmetrics指標能否反映學術(shù)成果的學術(shù)影響力，學者得到的研究結(jié)果并不一致。例如：Thelwall等[30]分析了3位被調(diào)查者對270篇來自不同出版物的學術(shù)論文的情緒表達，結(jié)果顯示，被調(diào)查者的大多數(shù)與學術(shù)論文相關(guān)的推文通常會描述文章的標題或論文的重大發(fā)現(xiàn)；Shema等[12]使用了與Thelwall等[30]類似的方法，對391篇學術(shù)論文的博客提及量進行內(nèi)容分析，發(fā)現(xiàn)最普遍的情緒表達是客觀的，帖子主要集中在討論或解釋研究成果；而Costas等[31]的研究發(fā)現(xiàn)，推文內(nèi)容與學術(shù)論文成果之間的相關(guān)性較低，推文內(nèi)容的非學術(shù)性情緒表達比例較高。在評價和精確測量社交媒體對學術(shù)成果的情緒表達方面，Altmetrics工具仍未給出很好的解決辦法。

1.3.4 不同類型數(shù)據(jù)的通用評估模型有待建立

Altmetrics評價數(shù)據(jù)來源具有廣泛的覆蓋面，除了正式發(fā)表的論文外，還包括OA論文、會議論文、博客、代碼、軟件、研究數(shù)據(jù)集、課件和演示文稿等資源。期刊出版發(fā)行后，學術(shù)論文因線上、線下渠道有不同的文本載體，不同類型的Altmetrics指標(使用、捕獲、提及、社交媒體及引用等指標)在較大范圍內(nèi)對不同文本載體的學術(shù)論文進行評價。在認定評價數(shù)據(jù)來源范圍時即存在如下問題：是針對主流學術(shù)成果建立評估模型，還是針對所有學術(shù)成果建立評估模型？另外，由于各學科的學者群體及其社會關(guān)注度等存在較大差異，因此，Altmetrics對不同學科學術(shù)成果的評價差異較大。例如，Costas等[31]研究發(fā)現(xiàn)，相比于其他學科(醫(yī)學和生命科學、數(shù)學和計算機科學、自然科學和工程科學等)，社會科學和人文學科的學術(shù)成果表現(xiàn)出更活躍的Altmetrics活動，使用、社交媒體、捕獲、引用等指標的分值相對較高，因此，與傳統(tǒng)的引文指標評價一樣，在利用Altmetrics評價學術(shù)論文和科技期刊時，不同學科的論文和期刊評價結(jié)果缺乏可比性。

1.3.5 本土化的Altmetrics評價體系亟待建立

基于中國國情，多數(shù)中國人無法使用Twitter、Facebook、Google+等社交媒體，國內(nèi)讀者多使用騰訊QQ、微信、微博等本土化社交工具。加之國內(nèi)的數(shù)據(jù)庫如中國知網(wǎng)、萬方等并不在Altmetrics數(shù)據(jù)來源范圍內(nèi)，使得利用目前的Altmetrics工具對國內(nèi)學術(shù)論文和科技期刊進行評價時，存在數(shù)據(jù)失真現(xiàn)象。因此，將本土化的社交工具、數(shù)據(jù)庫等納入Altmetrics評價體系，形成本土化的Altmetrics評價工具和模型具有一定的緊迫性和現(xiàn)實意義。

2 應用Altmetrics評價科技期刊的優(yōu)化路徑

目前應用Altmetrics評價科技期刊時，主要基于國內(nèi)外大型數(shù)據(jù)庫和評價機構(gòu)仍將以影響因子為主導的被引指標作為期刊評價的核心指標，以及“諸多單位唯影響因子論賞”“一些科研工作者唯影響因子發(fā)文”“部分學術(shù)期刊唯影響因子辦刊”風氣漸漲的現(xiàn)實，在新媒體傳播環(huán)境下，引文主導的評價方式已難以實現(xiàn)對單篇論文和期刊影響力進行全面和有效評估。因此，在應用Altmetrics評價科技期刊的實踐中，應將數(shù)字化、網(wǎng)絡化傳播中的出版工具或方式與科技期刊評價的核心內(nèi)容有機結(jié)合，根據(jù)期刊內(nèi)容(單篇論文)在社交網(wǎng)站中的使用、捕獲、提及、社交媒體傳播、引用等Altmetrics數(shù)據(jù)進行聚類分析，并結(jié)合同行定性評議，在獲取單篇論文影響力評價數(shù)據(jù)的基礎(chǔ)上，對一定時間段內(nèi)期刊發(fā)表論文的評價數(shù)據(jù)進行匯總，進而實現(xiàn)對科技期刊的有效評價。在具體操作層面，應從以下幾個方面優(yōu)化Altmetrics在科技期刊評價中的應用效果。

2.1 評價指標與數(shù)據(jù)的統(tǒng)一與規(guī)范

不同評價工具會采用不同的數(shù)據(jù)源和評價指標，且不同的評價工具制定的計算方式、設置分值不一致，這就可能造成不同數(shù)據(jù)庫或平臺中相同論文存在不同的評價結(jié)果。一篇論文有時會發(fā)布在多個網(wǎng)站上，具有不同的標識符。例如，論文發(fā)布在PubMed Central上會有一個PubMed Central ID，而發(fā)布者網(wǎng)站上的原始文章會有DOI號，這樣一篇論文的影響力會被分散；而在博客或新聞報道中提及的文獻一般不會附加鏈接和出處，這樣被提及的論文就無法與數(shù)據(jù)庫中的論文進行匹配，論文的影響力也會受到影響[32]。因此，如同Altmetrics的概念、內(nèi)涵需要統(tǒng)一一樣，其評估指標也亟待規(guī)范，建立統(tǒng)一機制；在被引數(shù)據(jù)統(tǒng)計方面，應規(guī)范論文引用格式，建立引文數(shù)據(jù)核實機制等，從而確保標準一致，在對論文進行統(tǒng)一且規(guī)范的Altmetrics指標評價前提下，進而對期刊進行評價。

2.2 Altmetrics與傳統(tǒng)引文評價方式相結(jié)合

應用Altmetrics評價指標對期刊進行評價時，各項指標(使用影響力、捕獲影響力、社交媒體影響力等)更偏重于對期刊論文社會影響力的快速反映，而弱化了對其學術(shù)影響力的評價。因此，應將傳統(tǒng)的引文評價方式與Altmetrics評價方式相結(jié)合，將傳統(tǒng)引文指標引入Altmetrics指標體系并賦予其合理的權(quán)重，形成融合Altmetrics和傳統(tǒng)引文評價方式二者優(yōu)勢的、適合媒介融合現(xiàn)實背景的新型科技期刊評價指標體系及其相應的評價工具，實現(xiàn)對科技期刊學術(shù)影響力和社會影響力的綜合科學評價。然而，實現(xiàn)二者的有機結(jié)合，需要大量的實證研究和數(shù)據(jù)支撐，且建立的新型科技期刊評價指標體系及工具需要在評價實踐中進行不斷改進與優(yōu)化。

2.3 傳播力定量計量與內(nèi)容定性分析相結(jié)合

在Altmetrics的社交媒體指標中，讀者分享、評論時的情緒表達是Altmetrics工具暫時無法測量的，它僅僅對表達數(shù)據(jù)進行記錄，是學術(shù)成果傳播力的定量記載。在社交媒體中的引用數(shù)據(jù)是論文和期刊評價中的重要指標，在現(xiàn)實中，讀者對于論文的社交媒體引用可能出于正向情緒、中立情緒和負向情緒，如果不加分析而簡單進行定量記錄，顯然無法得出科學的評價結(jié)果，因此，對讀者的分享與評論行為的情緒進行定性分析尤為重要。基于此，開發(fā)針對讀者分享與評論的情感分析工具，進而得出關(guān)于論文內(nèi)容的定性分析結(jié)果，不僅有利于反映論文和科技期刊的綜合影響力，更是對其學術(shù)質(zhì)量的定性反映。

2.4 構(gòu)建通用化的Altmetrics評估模型

Altmetrics指標具有廣闊的覆蓋面，其通過檢測網(wǎng)絡上所有科研相關(guān)活動數(shù)據(jù)，以其聚合效果全面反映科學活動的影響力，涵蓋論文層面計量(Article-Level Metrics)、科研成果計量(Eurekometrics)、科研發(fā)現(xiàn)計量(Erevnametrics)、科學計量學2.0(Scientometrics 2.0)[25]。在網(wǎng)絡環(huán)境下，這些數(shù)據(jù)更易于被使用、捕獲、提及、社交媒體傳播及引用[33]。因此，在構(gòu)建評估模型時，應充分兼顧傳統(tǒng)學術(shù)成果與新型學術(shù)成果的特性，在有針對性地梳理傳統(tǒng)學術(shù)成果和新型學術(shù)成果評價指標的基礎(chǔ)上，結(jié)合同行評議，建立涵蓋適用不同載體學術(shù)論文的評估體系，構(gòu)建整合的通用化評估模型[33]，實現(xiàn)對不同載體、不同學科領(lǐng)域內(nèi)科技期刊及其成果的有效評估。

2.5 加快Altmetrics評價的本土化進程

基于中國多數(shù)人無法使用Twitter、Facebook、Google+等社交網(wǎng)絡，而使用騰訊QQ、微信、微博等本土化社交工具的社會現(xiàn)實，完全利用國外Altmetrics工具評價國內(nèi)學術(shù)論文和期刊的影響力，顯然有所欠缺?；诖?，自2014年4月起，中國主流社交媒體新浪微博被列入Altmetric.com數(shù)據(jù)源列表[34]。新浪微博科技成果的轉(zhuǎn)載和轉(zhuǎn)發(fā)記錄成為Altmetric.com實時追蹤的數(shù)據(jù)。在這些數(shù)據(jù)的幫助下，我們可以看到中國微博用戶在網(wǎng)絡科學傳播過程中的科學關(guān)注特征[35]。然而，這顯然不能滿足國內(nèi)科技期刊利用Altmetrics進行學術(shù)評價的需要。我國研究人員應借鑒國外Altmetrics工具的相關(guān)框架和原理，開發(fā)適應于我國社交媒體的Altmetrics工具和評價方法，將其與我國社交網(wǎng)絡用戶習慣和科技期刊評價現(xiàn)狀相結(jié)合，為在網(wǎng)絡環(huán)境中科學評價我國的科技期刊及學術(shù)論文提供新思路。

3 結(jié)語

基于出版方式變革的現(xiàn)實背景和以引文為主導的傳統(tǒng)科技期刊評價面臨的瓶頸，分析Altmetrics在科技期刊評價中具有信息源的豐富性、覆蓋面的廣闊性、評價過程的透明性、評價指標的多元性、評價結(jié)果的實時性等優(yōu)勢。然而，其在評價指標體系的統(tǒng)一、對學術(shù)成果學術(shù)影響力的反映、對社交媒體情緒表達的測量、本土化評價體系的建立等方面還存在諸多亟待解決的問題。因此，隨著在線科研活躍度的不斷提升，Altmetrics方法應與傳統(tǒng)科技期刊評價方法相結(jié)合，引入多元化的替代計量指標，構(gòu)建整合的通用評估模型，開發(fā)適用于我國社交媒體的替代計量工具和評價方法。本研究對Altmetrics運用于論文與科技期刊評價的優(yōu)勢、問題及優(yōu)化路徑僅進行了宏觀梳理，為進一步促進Altmetrics在科技期刊評價中的實踐應用，后續(xù)研究建議將Altmetrics指標與傳統(tǒng)引文評價指標相結(jié)合，設計本土化評估模型，并在我國科技期刊影響力評價實踐中進行檢驗與修訂，實現(xiàn)評價研究成果的轉(zhuǎn)化與應用。