科研成果社會影響力評價研究

陳芳 楊建林

關(guān)鍵詞：社會影響力評價;科研成果評價;評價方法;評價方案

科研成果是指某一科學(xué)研究課題通過觀察試驗或思辨活動取得并經(jīng)過鑒定具有一定學(xué)術(shù)意義或?qū)嵱靡饬x的結(jié)果。科研成果包含期刊論文、學(xué)術(shù)專著、專利發(fā)明、應(yīng)用技術(shù)等多種類型。領(lǐng)域前沿科研成果的理論研究、研發(fā)、落地、推廣將對人類社會生產(chǎn)力發(fā)展與生活方式變革產(chǎn)生重大社會影響。長期以來，科研成果評價大多停留在以指標數(shù)據(jù)為主導(dǎo)的學(xué)術(shù)評價上。習(xí)總書記在2018年兩院院士大會上強調(diào)：“要改革科技評價制度，建立以科技創(chuàng)新質(zhì)量、貢獻、績效為導(dǎo)向的分類評價體系，正確評價科技創(chuàng)新成果的科學(xué)價值、技術(shù)價值、經(jīng)濟價值、社會價值、文化價值”。在此背景下，正確認識科研成果的“五種價值”，開發(fā)多維度、綜合性的科研成果影響力評價方案對促進科研成果轉(zhuǎn)化、實現(xiàn)國家創(chuàng)新驅(qū)動發(fā)展具有重要意義。

傳統(tǒng)的科研成果影響力評價側(cè)重于探索科研成果在學(xué)術(shù)層面產(chǎn)生的價值。在新的評價階段，需要跳出單純以文獻計量、同行評議視角考察科研成果學(xué)術(shù)影響的桎梏。近年來，國家實施“破四唯”的學(xué)術(shù)成果評價體系改革，說明僅僅依靠定量化的指標數(shù)據(jù)完成成果評價、遴選存在價值偏頗，阻礙著科技工作的健康發(fā)展。在此環(huán)境下，開發(fā)新型多維度、綜合性科研成果影響力評價方案成為科技工作者關(guān)注的焦點問題。2020年10月，江蘇省教育廳出臺《關(guān)于深化高等學(xué)校科研評價改革的指導(dǎo)意見》，《意見》中提出對科研人員、科研成果、科研項目進行分類評價的改革目標：建立健全分類評價和多元長效評價機制，重點考核科研成果質(zhì)量及其社會貢獻。

當(dāng)前國內(nèi)對科研成果社會影響力的研究處于理論和實踐的雙重探索階段。本文將從情報學(xué)常用評價方法出發(fā)，對量化研究、質(zhì)性研究和計算社會學(xué)在科研成果影響力評價中的應(yīng)用進行對比分析;探索科研成果從學(xué)術(shù)影響力評價到社會影響力評價的轉(zhuǎn)變;綜合比較當(dāng)前國際主流的科研成果社會影響力評價方案，為開發(fā)符合中國國情的科研成果社會影響力評價方案提供理論和方法支持。

1科研成果社會影響力評價

1.1概念及內(nèi)涵

科研成果質(zhì)量評價是科研管理中的一項重要內(nèi)容，對科研成果后續(xù)發(fā)展走向起到關(guān)鍵作用?？蒲谐晒|(zhì)量評價是一項復(fù)雜的系統(tǒng)工程，英國研究卓越框架（TheResearchExcellenceFramework，簡稱REF）是一項英國政府評價本國高等院?？茖W(xué)研究項目質(zhì)量的行動計劃，該計劃以產(chǎn)出、影響力和環(huán)境三要素評價科研成果的總體質(zhì)量。因此，科研成果影響力評價是科研成果質(zhì)量評價的重要方面。

科研成果影響力通常被理解為科研成果對學(xué)術(shù)活動、經(jīng)濟以及整個社會產(chǎn)生的多方面影響及影響程度。RealeE等[1]將其劃分為科學(xué)影響力、政治影響力和社會影響力。英國國家經(jīng)濟和社會研究委員會（ESRC[2]）將科研成果影響力定義為優(yōu)異的研究對社會和經(jīng)濟所做出的可證明貢獻，并將科研成果影響力劃分為學(xué)術(shù)影響力和社會經(jīng)濟影響力兩個方面：學(xué)術(shù)影響指優(yōu)秀的科學(xué)研究在跨學(xué)科和學(xué)科內(nèi)部轉(zhuǎn)變理解和推進科學(xué)方法、理論和應(yīng)用方面的貢獻;經(jīng)濟和社會影響則指科學(xué)研究對經(jīng)濟、社會產(chǎn)生的貢獻，以及對個人、組織、國家的好處。近年來，國家提倡改革科研成果評價制度，依據(jù)科研成果的“五種價值”，科研成果影響力評價可分為學(xué)術(shù)、技術(shù)、經(jīng)濟、社會和文化5個維度的分面評價。

科研成果社會影響力產(chǎn)生于科研成果傳播后，其結(jié)果可轉(zhuǎn)變?yōu)檎呋蚍钦M織領(lǐng)導(dǎo)下的行動，促使社會既定目標的改進[3]。目前，科研成果社會影響力缺乏普遍接受的定義，廣義上的社會影響力包括對人權(quán)、社會經(jīng)濟凝聚力、就業(yè)與社會保障、消費者權(quán)益、國家安全治理等方面的改變;狹義上僅指科研成果對人產(chǎn)生的作用，即在生活方式、社區(qū)結(jié)構(gòu)、文化等諸方面產(chǎn)生的變化?？蒲谐晒鐣绊懥υu價一般是指廣義上的科研成果對環(huán)境、健康、福利事業(yè)、政治治理、公共服務(wù)等領(lǐng)域產(chǎn)生影響的評價。

1.2研究現(xiàn)狀

國外在科研成果社會影響力評價上擁有較為豐富的實踐經(jīng)驗。英國、法國、新西蘭、澳大利亞等國家（地區(qū)）建立有國家科研成果評價系統(tǒng)并制定了相應(yīng)的影響力評價方案。英國是較早開展科研成果社會影響力評價的國家，開發(fā)了用于評價科學(xué)研究項目產(chǎn)出、影響力和科研環(huán)境的REF[4]評價方案。當(dāng)下，英國科研成果評價方案面臨新的調(diào)整，新的REF2021評價體系縮減了評估單元、增加科研影響權(quán)重并更加重視科研成果的社會影響。此外，在衡量高等院?？蒲谐晒鐣绊懥ι希商m開發(fā)了評價高校、科研機構(gòu)成果對社會經(jīng)濟影響的SEP[5]評價方案，美國正在建立基于數(shù)據(jù)挖掘技術(shù)評價科研成果社會影響的數(shù)據(jù)挖掘評價框架[6]。ChamsN等[7]采用ASIRPA框架和面向影響的監(jiān)測模型（IOM）的混合方法評估農(nóng)業(yè)和糧食部門研究和創(chuàng)新的社會影響。ASIRPA是法國開發(fā)的用于評價科學(xué)研究社會經(jīng)濟影響力的方法，側(cè)重于通過標準化的案例研究解釋影響力的發(fā)生機制。這些評價方案通常采用Altmetrics或案例研究方法[8]評價科研成果的社會影響。BornmannL等[9]就REF數(shù)據(jù)集探索了Altmetrics指標的收斂有效性以及對Altmet？rics是否能夠捕捉社會影響作以實證分析。

當(dāng)前，國內(nèi)開展的評價工作仍集中于科研成果的學(xué)術(shù)影響力評價。研究通常采用同行評議、文獻計量方法對期刊論文、學(xué)術(shù)專著、專利等進行統(tǒng)計分析以評價科研成果的學(xué)術(shù)影響。有學(xué)者在此基礎(chǔ)上探索了大數(shù)據(jù)時代下哲學(xué)社會科學(xué)領(lǐng)域?qū)W術(shù)成果的評價策略[10]，或采用替代計量指標進行學(xué)術(shù)評價創(chuàng)新[11]。在科技評價制度改革過程中，評價方向正在逐步從學(xué)術(shù)領(lǐng)域向社會領(lǐng)域擴展。在現(xiàn)行科研成果評價制度下，科研成果的技術(shù)價值和創(chuàng)新質(zhì)量鑒定依賴于各省情報所提供的評價服務(wù)，缺乏對科研成果社會影響力的深入研究。教育部第四輪學(xué)科評估中設(shè)置了“社會服務(wù)和學(xué)科聲譽”的指標，但與科研成果學(xué)術(shù)影響之外的社會影響評價仍存在一定距離。運用評價領(lǐng)域相關(guān)方法對科研成果社會影響力進行綜合評價、開發(fā)符合中國國情的科研成果社會影響力評價方案，可為科技管理部門和政策制定者提供成果管理、轉(zhuǎn)化、應(yīng)用方面的決策參考，是學(xué)術(shù)界一項重要的評價工作，也是情報學(xué)界提供信息服務(wù)的價值體現(xiàn)。

2評價方法及范式概述

范式一詞由托馬斯·庫恩提出，是科學(xué)研究的理論基礎(chǔ)和實踐規(guī)范。在解讀科研成果社會影響力的評價方法前，需要理解不同方法的范式基礎(chǔ)，為后續(xù)探索科研成果社會影響力的評價方法與評價方案提供范式層面理論支撐，具體關(guān)聯(lián)如圖1所示。AntonioAT等[12]將社會影響力評價（SocietalImpactAssessment，簡稱SIA）作為一種范式理解，從技術(shù)主義和建構(gòu)主義角度解釋價值、本體論、認識論、方法論、理論領(lǐng)域問題和SIA的治理問題。技術(shù)主義認為技術(shù)是影響社會變遷的外部獨立變量并影響社會系統(tǒng)的演進;建構(gòu)主義則認為影響是一種社會建構(gòu)，強調(diào)技術(shù)背后的社會情境、文化與人的心理活動。評價方法的范式基礎(chǔ)包含實證主義、解釋主義、批判主義、建構(gòu)主義、行為主義、后現(xiàn)代主義等。本節(jié)闡述量化研究、質(zhì)性研究、計算社會學(xué)3類評價中使用的方法的范式基礎(chǔ)。依據(jù)哲學(xué)上本體論和認識論的不同假設(shè)，量化研究通常被看作實證主義指導(dǎo)下的研究方法，質(zhì)性研究的哲學(xué)基礎(chǔ)則更為豐富多元。

2.1量化研究及其范式基礎(chǔ)

量化研究依托調(diào)查、實驗、歸納等方法獲取資料并運用統(tǒng)計、數(shù)學(xué)和計算機工具對社會現(xiàn)象進行系統(tǒng)分析，給出結(jié)果解釋。量化研究通常以數(shù)據(jù)形態(tài)呈現(xiàn)結(jié)果，具有表達規(guī)范、直觀、準確的特點。以量化研究為代表的評價方法普遍遵循實證主義范式原則。實證主義采用類比方法將自然科學(xué)領(lǐng)域的研究方法，譬如觀察法、實驗法、比較法等應(yīng)用到社會現(xiàn)象的探索中，可以用于檢驗理論、證明假設(shè)、描述變量間關(guān)系和預(yù)測推演。

2.2質(zhì)性研究及其范式基礎(chǔ)

質(zhì)性研究對研究現(xiàn)象進行歸納分析，側(cè)重于對現(xiàn)實問題的細節(jié)描述，可通過參與式觀察、深度訪談、檔案分析、資料編碼方式獲取資料。質(zhì)性研究主要依靠文字型數(shù)據(jù)支持研究結(jié)論，以文字、圖表方式呈現(xiàn)研究結(jié)果。以質(zhì)性研究為代表的評價方法具有多元化的哲學(xué)基礎(chǔ)，遵循解釋主義、建構(gòu)主義或后實證主義中的一種。通常，解釋主義帶有濃厚的人文色彩，其認識論主張理論是對社會現(xiàn)象和社會對象的主觀認識;建構(gòu)主義主張世界是客觀存在的，現(xiàn)實和知識在社會互動中不斷重構(gòu)。此外，后實證主義與孔德所創(chuàng)立的實證主義哲學(xué)有所區(qū)別，后實證主義承認客觀真理的存在，其認為人類所了解的事實只是客觀真理的部分表象，需要通過生活情境中收集的資料對表象展開真?zhèn)畏治?，從而不斷接近客觀真理?？傮w看，量化研究通過數(shù)學(xué)工具分析事物，理解客觀事實;質(zhì)性研究則以研究者本人為工具，強調(diào)人在情境中的資料意義理解。

2.3計算社會學(xué)

大數(shù)據(jù)的發(fā)展為社會科學(xué)研究帶來深刻變革。2009年，LazerD等[13]在《Science》上正式提出“計算社會學(xué)”的概念。計算社會學(xué)采用信息技術(shù)手段對社會現(xiàn)象進行建模與分析，通過復(fù)雜網(wǎng)絡(luò)、媒體分析、系統(tǒng)動力學(xué)方法觀察社會現(xiàn)象或人的社會行為。計算社會學(xué)強調(diào)“數(shù)據(jù)、模型和計算”，用于描述復(fù)雜社會現(xiàn)象和人類行為、闡釋現(xiàn)象或行為背后的原因及發(fā)展過程。計算社會學(xué)運用大數(shù)據(jù)技術(shù)從網(wǎng)絡(luò)媒體中獲取第一手調(diào)查資料，以海量數(shù)據(jù)獲取、復(fù)雜網(wǎng)絡(luò)分析和人文計算為主要特征[14]，以數(shù)據(jù)驅(qū)動知識發(fā)現(xiàn)。其中，既包含量化模型計算，又有描述社會系統(tǒng)內(nèi)部主體行為特征、心理、行為活動等解釋主義內(nèi)容。計算社會學(xué)關(guān)注現(xiàn)實問題，強調(diào)數(shù)據(jù)挖掘工具在社會問題中的應(yīng)用，在公共政策、網(wǎng)絡(luò)輿情、應(yīng)急管理、社會影響力分析等方面具備廣闊的應(yīng)用價值。

2.43類方法對比分析

3類方法建立在不同的范式基礎(chǔ)上。實證主義作為理解社會現(xiàn)象外在聯(lián)系的常用方法，具有邏輯實證的科學(xué)性和經(jīng)驗性，其一般流程為：①定義研究問題;②確定研究假設(shè);③收集分析數(shù)據(jù);④得出結(jié)論?；趯嵶C主義的量化研究以數(shù)理統(tǒng)計為工具，但存在以樣本數(shù)據(jù)推斷總體是否具有普遍適用性[15]以及缺乏對社會現(xiàn)象及其本質(zhì)規(guī)律深入思考的問題。質(zhì)性研究需要考量情境和問題的關(guān)聯(lián)，基于解釋主義或建構(gòu)主義的質(zhì)性研究具備深度剖析研究對象、揭示對象內(nèi)在特征的能力。實證主義和后實證主義都以實證原則為指導(dǎo)，有所區(qū)別的是，量化研究遵循提出假設(shè)———設(shè)計實驗進行驗證的模式，后實證主義則是通過收集資料不斷證偽以達到接近客觀真理的目的，案例研究從屬于后實證主義指導(dǎo)下的具體研究方法。具體分析如表1所示。

傳統(tǒng)量化、質(zhì)性研究方法存在數(shù)據(jù)收集成本過大，信息處理效率偏低的問題。計算社會學(xué)為復(fù)雜性社會問題的解決提供新的方法指導(dǎo)。與傳統(tǒng)分析策略不同的是，計算社會學(xué)可直接處理海量數(shù)據(jù)當(dāng)中的所有構(gòu)成，挖掘數(shù)據(jù)背后蘊含的社會意義，在社會關(guān)系、社會傳播中發(fā)揮重要作用。要解決科研成果社會影響力評價這一復(fù)雜性問題，需要多種評價方法的支持配合。

3從學(xué)術(shù)影響力評價到社會影響力評價的轉(zhuǎn)變

科研成果影響力評價是當(dāng)前科技評價領(lǐng)域的熱點前沿問題。與科研成果學(xué)術(shù)影響力評價不同的是，社會影響力評價關(guān)注科研成果在學(xué)術(shù)領(lǐng)域之外產(chǎn)生的多維度社會影響，譬如在醫(yī)療、衛(wèi)生、教育、環(huán)境、農(nóng)業(yè)領(lǐng)域產(chǎn)生的改變。長期以來，科研成果影響力評價存在重論文數(shù)量、重引用次數(shù)、輕轉(zhuǎn)化應(yīng)用的現(xiàn)象。對于應(yīng)用型科研成果而言，學(xué)術(shù)影響力評價難以衡量科研成果知識產(chǎn)權(quán)的轉(zhuǎn)化情況、對產(chǎn)業(yè)的經(jīng)濟貢獻以及對社會產(chǎn)生的多維度影響。本節(jié)在第3節(jié)范式基礎(chǔ)上，從評價方法角度分析學(xué)術(shù)影響力評價到社會影響力評價的轉(zhuǎn)變。

3.1學(xué)術(shù)影響力評價

學(xué)術(shù)影響力評價通常使用文獻計量學(xué)和基于指標體系構(gòu)建的量化評價方法。文獻計量學(xué)通過論文發(fā)表量、引用/被引用次數(shù)、影響因子等傳統(tǒng)量化指標評價科研成果的學(xué)術(shù)質(zhì)量、傳播能力以及產(chǎn)生的學(xué)術(shù)影響。用戶生成內(nèi)容（UGC）的發(fā)展使計量學(xué)邁入新的發(fā)展階段———替代計量學(xué)（Altmetrics）階段。基于社交網(wǎng)絡(luò)數(shù)據(jù)評價科學(xué)研究的學(xué)術(shù)影響力[16-17]，同時Altmetrics也為科研成果社會影響力評價提供新的思考方向。

人文學(xué)科以評價指標體系構(gòu)建的方式測度人文社科期刊、學(xué)術(shù)專著的學(xué)術(shù)影響力[18]?；谥笜梭w系構(gòu)建的評價方法的一般流程為：①界定研究問題;②確定研究對象;③收集數(shù)據(jù);④建立指標體系;⑤選擇評價方法;⑥應(yīng)用評價結(jié)果。該方法在范式上屬實證主義研究，核心步驟包含評價指標選取、指標權(quán)重確定和體系構(gòu)建。

在評價指標選取上，包含初選—征詢—確定步驟。初選指標可參照文獻梳理、理論分析、詞頻統(tǒng)計等原則。在征詢過程中，參考德爾菲法、訪談法、觀察法確定量化指標，同時需要考慮數(shù)據(jù)的相關(guān)性和可獲取性。在權(quán)重確定[19]上，分為主觀賦權(quán)法、客觀賦權(quán)法和綜合賦權(quán)法。主觀賦權(quán)法利用專家知識經(jīng)驗給出權(quán)重;客觀賦權(quán)法利用指標提供的信息量或指標間關(guān)系確定權(quán)值，可采用主成分分析、變異系數(shù)法、熵權(quán)法、向量相似度法、灰色關(guān)聯(lián)分析、關(guān)聯(lián)分析方法;綜合賦權(quán)法兼顧了專家經(jīng)驗和客觀數(shù)據(jù)的統(tǒng)計特征。在評價指標確定、評價體系構(gòu)建基礎(chǔ)上，選擇某一科研成果作為待評價對象，通過層次分析法或模糊綜合評價法完成實證。

3.2社會影響力評價

目前，科研成果社會影響力的評價方法尚未形成被廣泛接受和認可的標準。DonovanC[20]將社會影響力評價方法劃分為3個階段：技術(shù)計量階段、社會計量階段和案例研究階段。常用的社會影響力評價方法主要有專家評議、計量學(xué)方法、調(diào)查法、案例研究、內(nèi)容分析法、社會網(wǎng)絡(luò)分析法[21]。

Altmetrics是一種非傳統(tǒng)的度量標準[22]，不僅涵蓋引文引用數(shù)量，還擁有豐富的網(wǎng)絡(luò)計量數(shù)據(jù)，這些數(shù)據(jù)來源于社交網(wǎng)站并且可以由計算機程序自動收集。在科研成果社會影響力評價中[23-24]采用社會化媒體分析捕捉公眾聲音，能夠反映科研成果的社會化媒體關(guān)注程度，成為科研成果結(jié)項評價的成果反映。相比傳統(tǒng)計量學(xué)方法，Altmetrics的優(yōu)勢體現(xiàn)在社會影響評價的實時性和新穎性上。但MoedHF[25]指出，Altmetrics主要反映對社交媒體內(nèi)容的關(guān)注程度（即注意力）而非影響力。因此，單純采用Altmetrics指標數(shù)據(jù)衡量科研成果社會影響力的做法仍然值得商榷。

內(nèi)容分析法是一種拆解研究對象內(nèi)容的細致性分析方法，屬于定性定量相結(jié)合的研究。有學(xué)者采用內(nèi)容分析法，通過Twitter、Facebook等社交平臺上用戶評論的信息確定研究實施效果。內(nèi)容分析法通過內(nèi)容編碼判斷社交媒體文本是否存在社會影響力，并以科恩系數(shù)檢驗一致性。具體步驟如下：①收集數(shù)據(jù)，閱讀編碼表，確定待識別對象;②由研究員判斷是否存在社會影響力;③檢驗Cohen.sKap？pa系數(shù);④逐一分析被認定為提供了社會影響的信息鏈接帖;⑤分析帖子內(nèi)用戶的交互過程，以點贊、分享、轉(zhuǎn)發(fā)數(shù)判斷社會影響程度;⑥可進一步考慮分享帖子、參與互動的用戶個人資料的描述。

案例研究是獲取和衡量研究成果社會價值的最常用方法[26]，可以使用多種方法收集數(shù)據(jù)。英國REF評價框架是案例研究的典型應(yīng)用，包含有各種記錄社會價值的方法，如知識協(xié)作、理念發(fā)展、咨詢、媒體存在和其他知識傳播的案例描述。

社會網(wǎng)絡(luò)分析是影響力建模和評價的常用方法，通過網(wǎng)絡(luò)結(jié)構(gòu)中節(jié)點間的社會關(guān)系進行社區(qū)發(fā)現(xiàn)、傳播預(yù)測與社會推薦。社會網(wǎng)絡(luò)分析可以用于科研成果學(xué)術(shù)影響力評價，如國家/機構(gòu)合作分析、專利分析，也可遷移到社會影響力評價上。在社會網(wǎng)絡(luò)圖中，節(jié)點間包含大量聯(lián)結(jié)關(guān)系，表現(xiàn)為一個人的行為在受到他人影響后產(chǎn)生改變和擴散。社會網(wǎng)絡(luò)分析以統(tǒng)計指標、話題相關(guān)變量等可測內(nèi)容為度量單位，可用于網(wǎng)絡(luò)傳播的動力學(xué)分析、重要節(jié)點社會影響力測度以及傳播效果評價。目前，社會網(wǎng)絡(luò)分析在科研團隊發(fā)現(xiàn)[27]、科研評價[28]、科研成果轉(zhuǎn)化政策[29]研究中應(yīng)用較多，分析對象多為論文、科技項目、政策和專利，未來可探索社交媒體的文本信息，挖掘科研成果在網(wǎng)絡(luò)用戶群體中產(chǎn)生的社會影響。

3.3小結(jié)

從方法層面講，科研成果影響力評價大體可以歸納為質(zhì)性研究和量化研究。在學(xué)術(shù)影響力評價方法的使用上，仍以同行評議、文獻計量學(xué)為主流。在指標體系構(gòu)建上，指標選取、權(quán)重確定易受人為因素干擾從而無法客觀反映評價問題。學(xué)術(shù)影響力評價通常以計量指標衡量科研成果的學(xué)術(shù)影響。對社會影響力評價而言，其產(chǎn)生的是分面式多維度綜合影響，難以通過單一量化指標數(shù)據(jù)完成評價，且存在數(shù)據(jù)獲取難的問題。社會影響力更加關(guān)注文本內(nèi)容的解讀，社會網(wǎng)絡(luò)分析、Altmetrics分析、案例研究、內(nèi)容分析成為架起學(xué)術(shù)影響力評價和社會影響力評價的方法橋梁。

現(xiàn)有方法中尚未涉及計算社會學(xué)在社會影響力評價中的應(yīng)用。信息技術(shù)的發(fā)展可能給科研成果評價帶來突破性變革。基于海量數(shù)據(jù)挖掘的社會影響力評價成為科技評價領(lǐng)域?qū)W者關(guān)注的前沿性課題。美國數(shù)據(jù)挖掘評價框架STARMETRICS代表了這一前沿性評價思路和評價方向。下節(jié)將對目前國際主流的社會影響力評價方案展開具體介紹。

4社會影響力評價方案

現(xiàn)行國際主流的社會影響力評價方案[30]有澳大利亞研究質(zhì)量框架（RQF）、英國卓越研究框架（REF）、荷蘭標準評價協(xié)議（SEP）和美國數(shù)據(jù)挖掘評價框架（STARMETRICS）。上述4種評價方案在評價科研成果的學(xué)術(shù)影響之余，探討了科研成果在學(xué)術(shù)領(lǐng)域之外產(chǎn)生的更廣泛性社會影響，對我國開展科研成果社會影響力評價工作具有借鑒作用。

4.1評價方案對比與分析

通過上述評價方案的對比分析，可以發(fā)現(xiàn)科研成果社會影響力評價需要定性定量相結(jié)合的多種評價方法的配合支持?？蒲谐晒鐣绊懥υu價的最新動向是朝著更豐富的定性化、情境化方向發(fā)展，同時需要關(guān)注數(shù)據(jù)挖掘技術(shù)在評價中的應(yīng)用價值。

澳大利亞研究質(zhì)量框架（RQF）、英國卓越研究框架（REF）和荷蘭標準評價協(xié)議（SEP）均采用了量化研究和質(zhì)性研究相結(jié)合的評價方法。RQF采用社會計量和案例研究方法完成評價任務(wù)。社會計量指標是反映社會現(xiàn)象數(shù)量化特征的量化指標，用于衡量社會進步、參與主體發(fā)展以及政策的實施效果。社會計量指標從宏觀層面反映待測量對象的發(fā)展水平。譬如通過國家級科學(xué)技術(shù)獎、優(yōu)秀成果獎項數(shù)量反映科研成果的社會效力。案例研究并不屬于獨立的研究方法，其依托于調(diào)查研究、歷史研究收集資料。英國卓越研究框架以一份4頁紙的案例描述模板為資料框架，交由參評單元填寫其科研成果所產(chǎn)生的社會影響。在得到科研成果社會影響力的案例資料（摘要、前人研究、影響力細節(jié)描述）后，結(jié)合文本挖掘技術(shù)探究科研成果的社會影響力。

4.2方法間共性與差異

1）指標體系構(gòu)建、計量學(xué)方法的共性與差異

上述評價方案中的量化研究主要包括指標體系構(gòu)建和計量學(xué)方法。在范式上，兩者都隸屬于實證主義研究，具有相同的本體論、認識論和方法論。實證研究基于觀察試驗取得數(shù)據(jù)并利用統(tǒng)計知識對社會現(xiàn)象進行數(shù)量分析。但是，指標體系構(gòu)建和計量學(xué)方法在數(shù)據(jù)收集和應(yīng)用場景上存在差異。

指標體系構(gòu)建方法需要找指標、定指標、判斷權(quán)值和綜合計算，通常與德爾菲法、專家會議法、層次分析法結(jié)合使用，在指標選取上依賴專家經(jīng)驗，具有經(jīng)驗性和主觀性。計量學(xué)方法則包含信息計量學(xué)、Altmetrics、社會計量學(xué)。信息計量學(xué)以Hindex、引用/被引量等文獻計量指標為依據(jù)，應(yīng)用于學(xué)術(shù)領(lǐng)域的科研成果評價;Altmetrics則是社交網(wǎng)絡(luò)環(huán)境下的一種補充計量指標，用于衡量社交網(wǎng)絡(luò)節(jié)點的影響力;社會計量學(xué)提供對社會現(xiàn)象的客觀性描述指標，將反應(yīng)社會現(xiàn)象的抽象化概念轉(zhuǎn)換成可測度的指標，對社會現(xiàn)象進行分析描述。

2）案例研究、敘事分析的共性與差異

作為質(zhì)性研究中的常用方法，案例研究、敘事分析具有相同的方法論并反映了后現(xiàn)代主義的范式思想，但在使用中存在差異。對科研成果社會影響力進行評價，需要明確劃分影響的時間范圍和空間范圍。敘事分析偏重于探究一段時間內(nèi)的事物發(fā)展變化，案例研究則側(cè)重于分析具體情境中事物間的關(guān)聯(lián)。RQF方案采用案例研究方法分析科研成果在具體情境中展現(xiàn)的社會變化，關(guān)注科研成果在公共政策、健康、生活環(huán)境等場景中的應(yīng)用和影響。SEP評價方案用于評價荷蘭高校和科研機構(gòu)的科研成果對社會經(jīng)濟的影響，更注重敘事分析方法的應(yīng)用。因此，需要分析相對長一段時間內(nèi)事物的發(fā)展變化時，可采用敘事分析方法呈現(xiàn)科研成果的社會影響力。

3）數(shù)據(jù)挖掘與量化、質(zhì)性研究方法的差異

量化研究通過量化的指標數(shù)據(jù)認識世界，強調(diào)世界的客觀規(guī)律性和實證經(jīng)驗。質(zhì)性研究則偏向于尋找復(fù)雜社會問題的解釋性理解，強調(diào)社會建構(gòu)和人對世界的認知。計算社會學(xué)是在計算機技術(shù)發(fā)展過程中衍生出的新興研究方法，有學(xué)者將其定義為社會科學(xué)研究的“第四范式”。美國數(shù)據(jù)挖掘評價框架STARMETRICS是數(shù)據(jù)挖掘方法在社會影響力評價中的典型應(yīng)用，其目的在于評價聯(lián)邦政府科研投資的社會效益。STARMETRICS運用科學(xué)計量和數(shù)據(jù)挖掘方法完成科研投資的社會效益評價，該方案的核心是多平臺化數(shù)據(jù)集成和社會影響力測算。在實際測量中，科研成果影響力被劃分為經(jīng)濟影響力、學(xué)術(shù)影響力與社會影響力。通過專利數(shù)、經(jīng)濟學(xué)指標進行經(jīng)濟增長評價;應(yīng)用科學(xué)計量指標測算研究的學(xué)術(shù)影響力;通過長期生活、環(huán)境影響評價科研投資的社會影響力[31]。STARMETRICS所使用的大數(shù)據(jù)關(guān)聯(lián)分析、語義挖掘技術(shù)有助于文本內(nèi)在特征的理解，其本質(zhì)是數(shù)據(jù)驅(qū)動下的社會影響力評價，利用數(shù)學(xué)建模、算法、數(shù)據(jù)可視化方式探索相關(guān)信息資源。

5總結(jié)與思考

通過上述方案的對比分析，本文認為未來我國科研成果社會影響力評價將更關(guān)注：①從數(shù)據(jù)分析到情報分析?？蒲谐晒鐣绊懥υu價可以看作一個具體的情報分析任務(wù)，其涉及評價領(lǐng)域眾多、分析要素多元、對國家科技政策制定具有重要情報價值。具體問題中，單一數(shù)據(jù)源的分析結(jié)果難以滿足社會影響力評價的要求，故而需要從不同數(shù)據(jù)源中提取、融合更豐富的信息用于評價。情報分析通過對全源數(shù)據(jù)進行綜合、評估、分析和解讀，將處理過的信息轉(zhuǎn)化為情報來滿足已知或預(yù)期用戶需求;②大數(shù)據(jù)計算替代傳統(tǒng)量化分析?？蒲谐晒鐣绊懥υu價所需數(shù)據(jù)具有體量大、種類多、價值密度低的特點，適宜采用大數(shù)據(jù)分析技術(shù)挖掘數(shù)據(jù)內(nèi)部關(guān)聯(lián)模式，完成計算和評價任務(wù);③質(zhì)性研究的回歸。在對科研成果社會影響力進行評價時，單純從量化角度選取指標、建立評價體系可能缺乏對數(shù)據(jù)背后“生活世界”的洞察。質(zhì)性研究通過案例研究、敘事分析對文本深層意義進行探究，有助于社會影響的真實呈現(xiàn)。

在方案制定和技術(shù)實現(xiàn)上，需要在以下方面做出努力：①分面評價體系的構(gòu)建。劃分科研成果所屬領(lǐng)域、所屬類型（基礎(chǔ)研究型/應(yīng)用技術(shù)型/社會公益型），為不同類別科研成果設(shè)立分面式的影響力評價模板;②科研成果影響力分析數(shù)據(jù)庫的建立。為每一類別下具體科研成果提供有關(guān)其部門、標題、主題、描述創(chuàng)新、內(nèi)容、優(yōu)勢、合作伙伴、產(chǎn)品/產(chǎn)出、專利、前景和長期影響的詳細信息;③文本挖掘技術(shù)的應(yīng)用。英國REF框架對高校提交的社會影響力案例進行文本挖掘，但當(dāng)前研究多停留在主題詞分析、統(tǒng)計計量分析層面，難以直觀具體展示出科研成果的社會影響力。文本挖掘技術(shù)的發(fā)展使得全文本關(guān)鍵句、關(guān)鍵詞抽取[32]成為可能，可幫助研究人員快速獲取關(guān)鍵性的影響句和影響詞。

筆者計劃在社會影響力評價方法的解讀基礎(chǔ)上，融合用戶生成內(nèi)容（UGC）和案例文本信息探索科研成果的社會影響力;基于文本挖掘技術(shù)識別科研成果的社會影響力并挖掘案例背后的知識內(nèi)涵，譬如科研成果在商業(yè)、福利事業(yè)、健康醫(yī)療、農(nóng)業(yè)領(lǐng)域產(chǎn)生了何種切實具體的社會影響;抽取影響的作用實體及實體間關(guān)系，以知識圖譜形式呈現(xiàn)科研成果的多維度社會影響。