軟科中國最好學科排名的局限與洞見

黃紹婧，覃 莉，楊 曦

（1. 南寧師范大學教育科學學院，廣西 南寧 530001；2. 廣西醫(yī)科大學發(fā)展規(guī)劃處，廣西 南寧 530021；3. 廣西壯族自治區(qū)教育廳科研處，廣西 南寧 530022）

一、軟科排名介紹

1983年《美國新聞與世界報道》發(fā)布了美國最好大學排行榜之后，大學排行榜經(jīng)過幾十年的發(fā)展，已經(jīng)成為全球高等教育領域的重要議題。中國也涌現(xiàn)出一批排行榜，如軟科排行榜、武書連排行榜、校友會排行榜、邱均平排行榜等，對中國高等教育產(chǎn)生了一定的影響。2017年，教育部等三部委發(fā)布了《統(tǒng)籌推進世界一流大學和一流學科建設實施辦法（暫行）》，明確規(guī)定一流學科建設高校遴選條件之一是“學科水平在有影響力的第三方評價中進入前列”[1]。在“雙一流”建設中引入第三方學科評估能較好地服務于評估一流學科的建設成效，但其前提應是基于對第三方學科評估自身存在局限性的充分考量。

上海軟科自2003年首次發(fā)布“世界大學學術排名”以來，得到了廣泛關注，澳大利亞、日本等國政府依據(jù)軟科排名制定本國的高教發(fā)展目標和人才優(yōu)待政策。[2]軟科中國最好學科排名（以下簡稱“軟科排名”）基于軟科自主研發(fā)的學科發(fā)展水平動態(tài)監(jiān)控系統(tǒng)，服務于高校學科建設管理部門，2017 年開始計算學科綜合排名并對外公開發(fā)布在該學科排名前50%的高校。軟科排名的學科口徑是教育部《學位授予和人才培養(yǎng)學科目錄》中的一級學科，排名對象是在該一級學科設有學術型研究生學位授權點的所有高校。軟科排名指標體系在指標設置上采用了投入性指標和產(chǎn)出性指標相結(jié)合的方式，包括人才培養(yǎng)、科研項目、成果獲獎、學術論文、學術人才5個指標類別，下設17個指標維度，利用50余項測量指標來綜合評價學科的水平與實力。[3]

軟科排名指標設置構(gòu)建了一套排名邏輯：一是注重科研水平，強調(diào)通過客觀數(shù)據(jù)反映被評學科點對本學科稀缺資源和標志性成果的占有和貢獻；二是實行差異化評價，即根據(jù)不同學科的特性安排不同的評價指標，并針對不同的評價指標賦予不同的權重。有學者比較了軟科排名與第四輪學科評估排名結(jié)果，發(fā)現(xiàn)兩者評價體系雖不同，但學科排名結(jié)果至少有80%以上是相同的，因而其指標體系具有一定的科學性。[4-5]然而，軟科排名并未真正實現(xiàn)就“教育與研究的活力進行評估的目的”[6]。在2019年以前軟科排名的人才培養(yǎng)指標權重很低，基本上將人才培養(yǎng)排除在外，其本質(zhì)仍是科研評價。[7]2022年軟科科研指標權重是人才培養(yǎng)指標權重的1.75—3.4倍。

軟科排名作為衡量學科水平的數(shù)據(jù)來源被應用到相關的實證研究中，如汪媛等在比較中美37 所高校圖書情報學碩士研究生研究方法課程的差異時，選取2019 年軟科排名圖書檔案與管理前26名開設有研究方法課程的高校為對象。[8]劉蕾等人在高校基層黨組織力研究中利用2018年與2019年軟科排名變動來構(gòu)建主要學科排名提升的變量。[9]

學科排名的產(chǎn)生和應用需要嚴肅審視。現(xiàn)行排名的普遍做法是將各個高校在其指標體系上的得分根據(jù)一定的計算標準進行加總，然后再根據(jù)總分對高校進行數(shù)字化排序。數(shù)字化排序的精確性把高校之間微不足道的差異以等級的方式進一步放大，致使利益相關者忽略了教育質(zhì)量標準的模糊性，片面追求第三方評估中的排名。[10]當本然功用（對大學進行相對評價）和附帶效能（滿足利益相關者知情權）兩種功能不斷凸顯時，排名逐步完成了“知識-物品-商品”的屬性轉(zhuǎn)變。[11]這種基于價值交換的市場邏輯促成了一個“自我實現(xiàn)的預言”，即政策制定者按排名的等級對稀缺資源進行重新分配。[12]我國的“雙一流”建設是一種非均衡戰(zhàn)略視角下的重點建設政策，已建立起“國家級-省級-校級”三級一流學科建設體系，各級政府和高校對學科評價的需求日益增長，學科評價的產(chǎn)品和服務供給是相對不足的，這就給軟科排名很大的市場空間。本研究基于地方一流學科建設成效評價實踐中第三方學科評估運用的實踐，探討軟科排名的局限性以及其提供的洞見，以期為地方高校一流學科建設和成效評價提供參考。

二、軟科排名的局限

（一）失真的“長尾分布（冪率分布）”

邁克爾·肖德（Michael Sauder）在對著名的第三方評價——《美國新聞與世界報道》法學院排名之學科“地位系統(tǒng)”（status system）的重塑研究中指出，此排名通過開發(fā)對相對地位的精確測量，改變了法學院在傳統(tǒng)上“精英-非精英”的模糊地位劃分，細化了學科間差異，擴大了頂部和底部法學院之間的距離，并重新定義了何謂“好的”法學院。[13]軟科排名用50余項指標的加權后加總，描繪的學科“地位系統(tǒng)”呈現(xiàn)出“馬太效應”的特征，即得分點集中在了少數(shù)頭部學科上（見圖1，以應用經(jīng)濟學學科為例），這可以用“長尾分布（冪律分布）”來表示。如入選國家“世界一流學科”建設的山西大學物理學，其總分僅占物理學全國最高分的30%。究其原因，一方面是高層次人才、高水平論文、國家級成果獎項和科研項目存在指標間的重復疊加，使得高校間的差距拉大，規(guī)模大的學科傾向于得到獎勵；另一方面，在學術人才、科研項目和成果獲獎等核心指標上只統(tǒng)計第一獲獎人、項目主持人、第一完成單位等，夸大了頭部學科的能力。這種指標設計不利于鼓勵科研合作，有研究表明我國科研人員合作網(wǎng)絡的平均規(guī)模為2.90，遠小于美國類似研究得出的平均規(guī)模（4.70）。[14]

圖1 應用經(jīng)濟學2019年總分及2018-2019排名變化示意圖（前25%）

學科總分的“長尾分布”可以用以下公式來表示：

通過對2021年軟科排名各學科的總分和排名分別取log之后做線性擬合以檢驗冪律分布，發(fā)現(xiàn)決定系數(shù)R2小于0.8的學科只有5個，分別為社會學、大氣科學、林業(yè)工程、網(wǎng)絡空間安全和特種藥學，說明大部分學科總分的分布是接近冪律分布的。有研究者指出，學科排名本質(zhì)上是建構(gòu)起一種零和博弈的地位排斥機制，體現(xiàn)的是處于少數(shù)的頂尖大學對大多數(shù)普通大學的學術殖民。[15]冪律分布是學科發(fā)展過程中的階段性特征，隨著高水平學科布點的增加、博士點的擴張，處于邊緣的學科點有了逐步走向中心的機會，學科點之間的各種差異會更接近于赫爾馬諾維奇（Hermanowicz）所說的“精英主義-多元主義-社群主義”的連續(xù)統(tǒng)分布狀態(tài)。圖2繪制了R2與參評學科點中博士點占比之間關系的散點圖，線性擬合顯示R2與參評學科點中博士點占比呈線性負相關，即隨著博士點數(shù)量占比的增加，該學科總分趨向于偏離冪律分布（R2降低）。

圖2 R2與博士點數(shù)占學科點數(shù)百分比的線性擬合圖

可以作為參照的是美國國家科研委員會（National Research Concil，NRC）組織的博士項目排名。根據(jù)羅杰·蓋格的說法，這項排名具有權威性，是衡量大學學術質(zhì)量的“黃金標準”[16]150。但早在2011年，NRC排名委員會就認為，學科排名存在以下問題：（1）虛假的精確性。任何排名都存在許多不確定性來源，從哲學上的（可能無法比較的東西的可比性）到統(tǒng)計上的（指標整合過程中出現(xiàn)的變異）。（2）過度強調(diào)聲譽。聲譽指標可能過時并包括光環(huán)效應（即影響到較小項目或不太知名大學的好項目質(zhì)量的可見性效應）。（3）缺乏透明度。即指標權重在排名中無法辨別或者以不明確的方式每年發(fā)生變化。[17]因此采取了一系列的做法試圖處理這些問題。NRC博士項目排名所呈現(xiàn)的學科“地位系統(tǒng)”有著較大的不確定性和模糊的地位劃分（特別是對于中段的博士項目）。圖3和圖4以箱線圖的形式展示了NRC博士項目排名中各學科R排名和S排名5%和95%排名百分位之間差值的分布，學科排名5%和95%百分位之差的中位值大部分超過了20%，圖中呈現(xiàn)得非常明顯。如果以我國第四輪學科評估為參照，超過20%的排名不確定性就大致相當于跨越了2個檔次，如從C+檔跨越到B檔。①第四輪評估結(jié)果按照“精準計算、分檔呈現(xiàn)”的原則公布。根據(jù)“學科整體水平得分”的位次百分位，將排位前70%的學科分為9檔公布：前2%（或前2名）為A+，2%～5%為A（不含2%，下同），5%～10%為A-，10%～20%為B+，20%～30%為B，30%～40%為B-，40%～50%為C+，50%～60%為C，60%～70%為C-。

圖3 R方法的5%～95%排名百分位差值分布

（二）對人文社科學科評價的系統(tǒng)性偏差

與第四輪學科評估相比，軟科排名的評價存在系統(tǒng)性低估。從指標上來看，軟科排名僅以學術論文作為科研產(chǎn)出標準有失偏頗。第一，對于人文社科評價而言，專著更重要。[18]在結(jié)果產(chǎn)出上，在人文社科某些分支學科中，專著是其學術成果的主要表現(xiàn)形式。[19]在參考文獻的引用上，人文社會科學領域?qū)⒔?/4 的參考文獻都引自著作，并且該比例長期以來保持相對穩(wěn)定，而自然科學領域80%以上的參考文獻源自期刊論文。[20]因此人文社科學科評價更依賴同行評議，盡管同行評議存在爭議，但能最大程度上降低由單一計量評價所引起的“短視效應”。[21]第二，智庫成果難以計入，低估了地方人文社科一流學科的水平和貢獻。相較于部屬高校，地方高校對學術論文的關注度雖有所不及，但其更注重社會服務方面的結(jié)果產(chǎn)出，如調(diào)研報告、決策咨詢報告等智庫成果，這方面卻在排名中遭到了“無視”。第三，軟科在學科成果的歸屬劃分有待商榷。軟科是根據(jù)科睿唯安數(shù)據(jù)庫中的學科分類與中國一級學科的對應關系進行劃分，而科睿唯安數(shù)據(jù)庫的一個學科領域?qū)鄠€一級學科，在學科成果的歸屬上會出現(xiàn)歧義。在新興、交叉學科的成果劃分上也不夠科學，比如外國語言文學學科完成的一些區(qū)域與國別研究沒有納入統(tǒng)計。

（三）人才培養(yǎng)維度指標的有效性

通過觀察歷次軟科排名，其指標設計在不斷地調(diào)整與優(yōu)化，如人才培養(yǎng)指標權重就從2017年的0.05提高到2021年的0.24。表1展示了第五輪學科評估和軟科排名在人才培養(yǎng)指標上的差異。與第五輪學科評估注重過程與成果導向不同，軟科排名人才培養(yǎng)指標更注重成果導向，而且缺乏普遍性和代表性。第一，缺乏適用于地方高校的人才培養(yǎng)質(zhì)量標準。以造就學術人才為例，軟科排名以截止至2021年年底博士畢業(yè)生中當選為中國科學院院士、長江學者特聘教授、萬人計劃百千萬工程領軍人才等校友總?cè)藬?shù)作為細化評判標準，得分集中在少數(shù)頭部高校，地方高校在這一指標上幾乎不得分，這使得該指標在地方高校的學科評價中缺乏區(qū)分度。第二，以培養(yǎng)學術人才作為衡量學科人才培養(yǎng)質(zhì)量的標準并不全面。從2019年C9高校博士畢業(yè)生就業(yè)單位性質(zhì)來看，在高等院校與科研院所就業(yè)并不是C9 高校博士畢業(yè)生的唯一選擇，從事非學術職位的博士畢業(yè)生占了較大比例。[22]第三，國家教學成果獎的指標僅采集了2018年的獲獎數(shù)據(jù)，對學科的教學成果缺乏全面評價。從權重上說，作為一種綜合評價的國家教學成果獎和單一評價的一流課程、一流教材被賦予一樣的權重，這并不合理。第四，“思政類”指標體現(xiàn)得更多是高校申報的積極性，而非人才培養(yǎng)質(zhì)量的差異。2017—2021年以來地方高校軟科排名的大幅變動可能要歸結(jié)于人才培養(yǎng)指標得分的變化。盡管軟科排名的人才培養(yǎng)維度指標比較片面且逐年調(diào)整，但其指標得分變動對總排名的影響不可忽視。

表1 第五輪學科評估與2022年軟科排名在人才培養(yǎng)指標上的差異

（四）頂尖期刊選擇的偏誤

軟科排名的學科差異性主要體現(xiàn)在學術論文上，并通過國際頂尖期刊論文數(shù)、國際重要期刊論文數(shù)、中文頂尖期刊論文數(shù)和中文期刊論文數(shù)4 個2 級指標體現(xiàn)其差異化理念。從指標上看，頂尖期刊論文與重要期刊論文權重相當。2022年，軟科對頂尖期刊的選擇通過軟科學術卓越調(diào)查和國內(nèi)專家遴選2個途經(jīng)來確定，通過與中國科協(xié)科學技術創(chuàng)新部對外公布的23個領域的高質(zhì)量科技期刊分級目錄T1區(qū)進行比較，軟科頂刊選擇的標準不一樣。如表2所示，以臨床醫(yī)學與作物學為例（因篇幅有限，僅羅列部分），首先，2個期刊目錄重合率較低，臨床醫(yī)學僅有1個，作物學則沒有；其次，兩者期刊數(shù)量相差較大，如臨床醫(yī)學頂刊，軟科排名僅有3個，而高質(zhì)量科技分級期刊目錄則有136個。也就是說軟科排名選擇的3個影響因子前20%的臨床醫(yī)學頂刊，只有1個入選了我國臨床醫(yī)學領域高質(zhì)量科技分級期刊目錄的T1區(qū)。臨床醫(yī)學領域高質(zhì)量科技分級期刊目錄公布了包括心血管病學、內(nèi)分泌學、兒科學等13個臨床醫(yī)學領域，軟科頂刊目錄無法覆蓋整個臨床醫(yī)學領域。中國科協(xié)高質(zhì)量科技期刊分級目錄同時納入了中外文期刊，而軟科排名除部分人文社科包含有中外文期刊外，頂尖期刊幾乎都是外文期刊，這不符合當前我國鼓勵優(yōu)秀成果在國內(nèi)發(fā)表、增強中文期刊影響力的導向。

表2 臨床醫(yī)學、作物學高質(zhì)量科技期刊分級目錄總匯與軟科排名頂刊期刊選擇的差異

三、從軟科排名數(shù)據(jù)中獲得的洞見

（一）監(jiān)測學科發(fā)展的“黑馬”

通過觀察軟科排名的跨年度變動可以發(fā)現(xiàn)學科建設的“黑馬”（當然這種變動可能存在連續(xù)幾年的正向和負向的震蕩）。這樣的劇烈變動很大程度上可以歸因于“重點建設”政策，并且往往很容易會被同行捕捉到。以2018—2019年應用經(jīng)濟學的排名變動（見圖1）為例，可以看到寧波大學、廣西大學有較大的排名前進的變動，其中寧波大學應用經(jīng)濟學是在第四輪學科評估中排名最為靠前的碩士點，廣西大學應用經(jīng)濟學則是納入部區(qū)合建的重點建設學科。

傳統(tǒng)觀點認為，學科（院系）的聲望排名有著長期的穩(wěn)定性。伯里斯（Burris）研究了院系之間交換聘用博士畢業(yè)生形成的社會網(wǎng)絡，發(fā)現(xiàn)在社會學中，跨院系招聘網(wǎng)絡中的中心性解釋了院系聲望差異的84%，歷史學和政治學也有類似的發(fā)現(xiàn)。鮑曼（Bowman）和巴斯特多（Bastedo）的研究發(fā)現(xiàn)，登上《美國新聞與世界報道》排行榜的頭版可以大大提高院校下一年的招生相關指標。[23]巴斯特多的研究還發(fā)現(xiàn)已公布的大學排名對未來的同行評估有顯著影響，這與機構(gòu)的質(zhì)量和績效的變化無關，甚至與之前的同行聲譽評估無關。[24]學科排名的大幅躍升對于該學科在伯里斯所稱的“學術種姓系統(tǒng)”（Academic Caste System）的聲望變遷、招生與同行評價等各個領域帶來積極的影響，也會作為“重點建設”成效的證據(jù)在利益相關者中得到反饋。

對“黑馬”的追蹤還對一流學科建設應對內(nèi)外部組織變遷提供指導，尤其體現(xiàn)在科研規(guī)模的擴張和文化建設方面。羅杰·蓋格指出，大學之間的競爭以研究角色的分化為特征，這個特征首先是增進知識所需的給養(yǎng)（provision）等級制。[16]134承擔研究的單位，與研究系統(tǒng)中其他地方的類似機構(gòu)競爭研究項目的直接支持，成功的單位將會擴大規(guī)?；蛱嵘匚?，那些不能夠保持與知識前沿同步的單位將會萎縮甚至消失，至少在與研究相關的方面。赫爾馬諾維奇（Hermanowicz）則從“社會世界”的角度對大學和院系進行分類，從一個連續(xù)統(tǒng)的意義上，劃分為精英主義、多元主義、社群主義3種類型的學術文化。[25]“黑馬”學科無論在進一步的科研隊伍規(guī)模結(jié)構(gòu)、精英_多元主義學術文化的建設方面都要有所準備以應對已有優(yōu)勢的積累和可持續(xù)發(fā)展的要求。

（二）呈現(xiàn)地方高校的優(yōu)勢學科

通過計算各學科得分占該學科最高得分的比例，可以了解地方高校的優(yōu)勢學科領域。如圖5所示，以60%的閾值為例，2021年數(shù)據(jù)顯示，共有35個地方高校學科達到本學科最高分的60%以上。其中，上海、江蘇、廣東地方高校分別有9 個、8 個和6個學科達到60%，中西部省份僅有4個學科達到60%，即云南大學民族學、西北大學考古學、西安建筑科技大學建筑學、西南政法大學法學、山西醫(yī)科大學特種藥學。地方優(yōu)勢學科領域的出現(xiàn)有諸多因素，包括經(jīng)濟社會發(fā)展因素、20世紀末高等教育管理體制改革的遺產(chǎn)、地方特色資源稟賦的共生等。對地方高校優(yōu)勢學科的案例研究可以為地方一流學科建設提供重要參考。同時，有必要建立如NRC 排名那樣努力平衡學科規(guī)模和大學知名度帶來的光環(huán)效應，合理展現(xiàn)地方高校一流學科建設水平和成效的學科評價體系。

圖5 2021年軟科排名地方高校上榜學科得分占本學科最高分的比例分布

（三）關鍵性指標“0的突破”在地方高校一流學科建設中的意義

42 個樣本學科在軟科排名關鍵性指標有“0 的突破”所對應的高校數(shù)量①本文抽取了廣西42個一流學科作為樣本對象，樣本學科在各學科門類的分布：經(jīng)濟學1個，法學2個，教育學1個，文學2個，理學6個，工學15個，農(nóng)學3個，醫(yī)學9個，管理學1個，藝術學2個。如圖6所示，具有1位以上資深權威的高校數(shù)量中位值是5所，1位以上中年領軍專家高校數(shù)量中位值是20所，1位以上青年拔尖英才的高校數(shù)量中位值是23所，獲得1項以上國家科技獎勵或教育部獎勵的高校數(shù)量中位值分別是10所、14所，牽頭1項以上國家重點研發(fā)計劃的高校數(shù)量中位值是17所。這些“本學科稀缺資源和標志性成果”集中在少部分高校當中。

圖6 42個樣本學科關鍵指標“0的突破”高校數(shù)分布

大學學科建設的核心要義是提升組織化水平，“圍繞戰(zhàn)略目標建立學科組織，同時通過資源、制度的一些安排，提升學科在知識的發(fā)現(xiàn)、整合、傳遞和應用上可持續(xù)發(fā)展的能力”[26-28]。從樣本學科的關鍵性指標“0的突破”高校數(shù)量可見，我國高校特別是地方高?？蒲薪M織化水平不足，高度組織化的科研集中在少數(shù)大學中。軟科數(shù)據(jù)對于關鍵性指標“0的突破”的追蹤為地方高校一流學科建設提升組織化水平提供了參考，推動高校圍繞國家和區(qū)域戰(zhàn)略需求凝練學科方向，布局大項目大平臺，突出學科領軍人物的引育，努力追求“提供一流的社會服務”與“占據(jù)學科前沿引領地位”的有機結(jié)合。[29]

結(jié) 語

自2015年國家啟動“雙一流”建設以來，“雙一流”建設引領帶動各地建設了410所地方高水平大學和1 387個地方優(yōu)勢特色學科。[30]隨著地方財政專項資金的巨額投入和隨之而來的績效管理壓力，對一流學科建設成效評估的需求越來越迫切，軟科中國最好學科排名作為一種有影響的第三方評價進入了教育行政部門和建設高校的視野，但對軟科排名的應用要建立在對其局限性的認識之上。根據(jù)教育部的數(shù)據(jù)，“雙一流”建設高校承擔了全國超過80%的博士生和近60%的碩士生培養(yǎng)任務。[31]盡管1980年代以來美國大學學術研究的擴散現(xiàn)象[32-33]在我國“雙一流”建設深入推進過程中也會出現(xiàn)，但大部分地方高校仍將以教學和社會服務為主要職責，其教師會較少納入“有組織科研”的體系，其學科發(fā)展亟待建立更合適的評價體系，以具體描述其作為學術“部落”的起源、獨特性、多樣性和貢獻，更好地引導其服務地方發(fā)展。