莊 赟,應(yīng)含馨,趙 楠
(1.集美大學(xué)財(cái)經(jīng)學(xué)院,福建 廈門 361021;2.北京師范大學(xué)統(tǒng)計(jì)學(xué)院,北京 100875)
伴隨高等教育國際化的全球趨勢,世界各地高等教育質(zhì)量的競爭情況加劇,世界大學(xué)排行榜應(yīng)運(yùn)而生,大學(xué)的國際排名對公眾輿論有很大的影響。歷史較長且在國際上較受關(guān)注同時(shí)在國內(nèi)知名度較高的四大世界排行榜分別是中國上海軟科教育信息咨詢有限公司的世界大學(xué)學(xué)術(shù)排名(ShanghaiRanking’s Academic Ranking of World Universities,簡稱“軟科排行榜”)、英國QS Quacquarelli Symonds 公司的QS世界大學(xué)排名(QS World University Rankings,簡稱“QS排行榜”)、《泰晤士報(bào)高等教育副刊》的世界大學(xué)排名(The Times Higher Education World University Rankings,簡稱“THE排行榜”)和《美國新聞與世界報(bào)道》的全球最佳大學(xué)排名(U.S. News &World Report Best Global Universities rankings,簡稱“U.S. News排行榜”)。越來越多的利益相關(guān)者包括大學(xué)本身、學(xué)生、家長和學(xué)者等,對大學(xué)排名越來越感興趣和重視,各大排名網(wǎng)站點(diǎn)擊量和排名結(jié)果被新聞媒體報(bào)道引用的次數(shù)屢創(chuàng)新高(1)如QS世界大學(xué)排行榜網(wǎng)站發(fā)布的數(shù)據(jù)顯示:2019年,QS的旗艦網(wǎng)站www.TopUniversities.com的瀏覽量為1.49億次,全球媒體發(fā)布了超過9.4萬篇與QS相關(guān)或提及QS的報(bào)道。。
大學(xué)都在努力提高國際知名度和影響力,爭取在排名中表現(xiàn)好,即使是世界一流大學(xué)也很重視排名,如THE排行榜發(fā)布2022版世界大學(xué)排名的當(dāng)天,牛津大學(xué)網(wǎng)站隨即發(fā)布新聞對連續(xù)第六年蟬聯(lián)該大學(xué)排行榜榜首進(jìn)行宣傳,同時(shí)也專門對泰晤士報(bào)的世界大學(xué)排行榜進(jìn)行了介紹[1]。QS排行榜2022版世界大學(xué)排名發(fā)布后,麻省理工學(xué)院新聞辦公室也在其網(wǎng)站發(fā)布連續(xù)10年被QS評為世界排名第一大學(xué)的報(bào)道[2]。其他大學(xué)同樣關(guān)注在排行榜中的排名變化,并選擇有利于自己的排行榜進(jìn)行宣傳,如在QS排行榜中排名第8而在其他排行榜中沒入選前10名的倫敦大學(xué)學(xué)院在其網(wǎng)站首頁也只引用QS排名進(jìn)行宣傳報(bào)道[3]。這4個(gè)世界大學(xué)排行榜同時(shí)也是國內(nèi)多地人才政策制定時(shí)認(rèn)定畢業(yè)院校排名的依據(jù),如2022年上海為助力復(fù)工復(fù)產(chǎn)實(shí)施人才特殊支持舉措加大世界名校留學(xué)人員引進(jìn)力度,其中世界排名前50名、前100名院校的認(rèn)定由相關(guān)主管部門參照上述四個(gè)大學(xué)排行榜發(fā)布的排名進(jìn)行認(rèn)定[4];又如《福建省高層次人才認(rèn)定和支持辦法(試行)》中認(rèn)定的國際知名三大世界大學(xué)排名同樣指“軟科排行榜”“QS排行榜”和“THE排行榜”[5]。
可見,這些世界大學(xué)排行榜已經(jīng)對一些國家政府的高等教育政策、眾多大學(xué)的辦學(xué)理念、方向和行為、普通大眾對高等教育的認(rèn)識等產(chǎn)生了不可低估的影響[6]。相應(yīng)地,不同大學(xué)排行榜排名結(jié)果的差異以及由此引出的大學(xué)排行榜本身能否有效反映人們所關(guān)心的大學(xué)“質(zhì)量”的優(yōu)劣、排名方法是否科學(xué)合理也成了學(xué)界討論的焦點(diǎn)。對于學(xué)生、家長和其他利益相關(guān)者來說,在分析、解釋和使用排名結(jié)果之前,了解各種排名結(jié)果差異的影響因素是至關(guān)重要的,需要通過分析不同排行榜評價(jià)內(nèi)容的側(cè)重點(diǎn)和評價(jià)方法的區(qū)別,以明確排名結(jié)果是否都像其宣稱的是大學(xué)整體質(zhì)量的衡量。
顯然,不同的排名方法會產(chǎn)生不同的結(jié)果,但如果不同的排行榜反映的是共同的評價(jià)目的的話,即排名都是為了體現(xiàn)大學(xué)潛在的實(shí)力和質(zhì)量水平,則各排行榜排名結(jié)果應(yīng)該相對一致。而且從高等教育機(jī)構(gòu)的質(zhì)量變化來看,無論是其教學(xué)質(zhì)量、畢業(yè)生的質(zhì)量抑或是科研質(zhì)量等,都是一個(gè)緩慢積累的過程,是長期沉淀后的結(jié)果,所以在合理的評價(jià)指標(biāo)體系下,同一排行榜每年的排名結(jié)果也不應(yīng)有太大的波動??梢酝ㄟ^計(jì)算歷年排名之間的斯皮爾曼等級相關(guān)系數(shù)來檢驗(yàn)各年排名的穩(wěn)定程度,隨著時(shí)間的推移,這些相關(guān)性應(yīng)該會略有下降,但應(yīng)該保持相對較高的水平,因?yàn)榇髮W(xué)是緩慢演變的機(jī)構(gòu)[7-8]。Friso Selten等人(2020)也分別計(jì)算了軟科、THE、QS三大排行榜,2013-2018年每年進(jìn)入前100名的重疊大學(xué)數(shù)量及其排名的Spearman等級相關(guān)系數(shù)的逐年變動趨勢,研究得出結(jié)論是,重疊大學(xué)的排名在幾年間變化不大,隨著時(shí)間的推移,其中軟科排名最穩(wěn)定,THE的排名相對不穩(wěn)定[9]。但這種只基于重疊大學(xué)的一致性檢驗(yàn)只針對歷年都上榜的大學(xué)計(jì)算其排名等級相關(guān)系數(shù),本身就把排名波動比較大的學(xué)校排除在外,得出排名穩(wěn)定性的分析結(jié)論依據(jù)不夠,結(jié)果的可靠性會因此降低。
綜上,本文對4個(gè)大學(xué)排行榜兩兩之間的相似度分不同排名區(qū)間進(jìn)行比較,采用重疊度和等級相關(guān)兩個(gè)指標(biāo)相互配合進(jìn)行比較分析,從而對不同排行榜排名結(jié)果的一致性進(jìn)行較客觀全面的衡量,進(jìn)一步從評價(jià)指標(biāo)體系、權(quán)重設(shè)置、數(shù)據(jù)來源、指標(biāo)標(biāo)準(zhǔn)化方法和引文的學(xué)科差異處理方式等方面分析排名結(jié)果差異的原因,幫助公眾更科學(xué)地解讀排行榜,并在此基礎(chǔ)上對現(xiàn)有世界大學(xué)排行榜排名方法的合理性進(jìn)行評價(jià)。
世界大學(xué)學(xué)術(shù)排名(ARWU)最早由上海交通大學(xué)世界一流大學(xué)研究中心于2003年6月首次發(fā)布,是世界范圍內(nèi)首個(gè)綜合性的全球大學(xué)排名,以后每年更新一次。自2009年起,世界大學(xué)學(xué)術(shù)排名 (ARWU)(軟科)由上海軟科教育信息咨詢有限公司(ShanghaiRanking Consultancy)出版并擁有版權(quán)。ARWU(軟科)使用6個(gè)客觀指標(biāo)對世界大學(xué)進(jìn)行排名,包括獲得諾貝爾獎和菲爾茲獎的校友和教職員工的數(shù)量、由科睿唯安(Clarivate Analytics)數(shù)據(jù)平臺確定的高被引研究人員的數(shù)量,在《Nature》和《Science》刊物上發(fā)表的論文數(shù)量,被SCIE (Science Citation Index-Expanded)和SSCI(Social Sciences Citation Index)數(shù)據(jù)庫收錄的論文數(shù),以及大學(xué)的師均學(xué)術(shù)表現(xiàn)。每年,ARWU(軟科)都會對1 800多所大學(xué)進(jìn)行排名,并公布最佳的1 000所大學(xué)排行榜。2021年8月15日,上海軟科(2)上海軟科教育信息咨詢有限公司是一家完全獨(dú)立的高等教育咨詢機(jī)構(gòu),不隸屬于任何大學(xué)或政府機(jī)構(gòu)。發(fā)布了2021年世界大學(xué)學(xué)術(shù)排名[10],排行榜包含世界最為領(lǐng)先的前1 000所大學(xué)的名單,哈佛大學(xué)連續(xù)第19年位居榜首,斯坦福大學(xué)和劍橋大學(xué)分列第2和第3位。有38所大學(xué)首次進(jìn)入前1 000名。來自美國的大學(xué)在前1 000所大學(xué)中仍占據(jù)主導(dǎo)地位,前100名中有40所,前500名中有129所,前1 000名中有200所。英國有65所大學(xué)進(jìn)入前1 000名,其中38所大學(xué)進(jìn)入前500名,8所大學(xué)進(jìn)入前100名。在亞洲大學(xué)中,東京大學(xué)(第24位)保持領(lǐng)先地位。中國有180所大學(xué)進(jìn)入前1 000名,其中有84所大學(xué)進(jìn)入前500名,7所大學(xué)進(jìn)入前100名。清華大學(xué)(第28位)上升1位次,繼續(xù)保持亞洲第2名的位置,北京大學(xué)保持前50名,位居第45位。
2021年10月26日,《美國新聞與世界報(bào)道》(3)U.S. News是一家多元化的數(shù)字媒體公司,成立于1933年,總部位于美國華盛頓特區(qū),擁有教育、健康、新聞等平臺,提供排名、獨(dú)立報(bào)道、數(shù)據(jù)新聞、消費(fèi)者建議等。(U.S. News &World Report,以下簡稱U.S. News)公布了最新的“2022全球最佳大學(xué)排名”(2022 Best Global Universities Rankings)[11]。該排行榜對來自91個(gè)國家的1 750多所大學(xué)根據(jù)13項(xiàng)指標(biāo)進(jìn)行排名,這些指標(biāo)衡量的是大學(xué)的學(xué)術(shù)研究表現(xiàn)及其在全球和地區(qū)的學(xué)術(shù)聲譽(yù)[12]。一所大學(xué)的學(xué)術(shù)聲譽(yù)和學(xué)術(shù)研究的衡量是基于數(shù)據(jù)分析公司科睿唯安(Clarivate)的兩大數(shù)據(jù)平臺Web of Science和InCites提供的指標(biāo),包括出版物、引文和國際合作等文獻(xiàn)計(jì)量指標(biāo),這為那些對學(xué)校學(xué)術(shù)研究水平感興趣的潛在學(xué)生提供了更多的信息。U.S. News全球最佳大學(xué)排名要求參與評估的高等教育機(jī)構(gòu),2015—2019年,由Web of Science平臺統(tǒng)計(jì)的發(fā)表論文數(shù)達(dá)到1 250篇的最低門檻,在這個(gè)標(biāo)準(zhǔn)下,2022年全球最佳大學(xué)排行榜共包含1 750所學(xué)校,比2021年增加了200多所,擁有上榜高等教育機(jī)構(gòu)總數(shù)前5位的國家分別是,美國271所(占所有排名學(xué)校的15.5%),中國253所(占比14.5%),日本93所(占比5.3%),英國89所(占比5.1%),德國70所(占4%)。美國大學(xué)在總排名中處于領(lǐng)先地位,包攬前4名,排名第1的是哈佛大學(xué)(Harvard University),緊隨其后的是麻省理工學(xué)院 (Massachusetts Institute of Technology)、斯坦福大學(xué)(stanford University)和加州大學(xué)伯克利分校(University of California-Berkeley),分別位居第2、第3和第4。排在前5名的是英國的牛津大學(xué)(University of Oxford)。中國的清華大學(xué)和北京大學(xué)躋身全球前50名,分別位于第26和45名。
2021年9月2日,《泰晤士報(bào)高等教育副刊》發(fā)布了“世界大學(xué)排名2022”(The Times Higher Education World University Rankings 2022)[13]。該排行榜基于教學(xué)(學(xué)習(xí)環(huán)境)、研究(發(fā)表量、收入和聲譽(yù))、引用(研究影響力)、國際展望(國際教師、學(xué)生和國際合著)和行業(yè)收入(知識轉(zhuǎn)移)等5個(gè)領(lǐng)域的 13個(gè)績效指標(biāo),根據(jù)愛思唯爾的文獻(xiàn)計(jì)量數(shù)據(jù)庫(Elsevier’s Scopus database)統(tǒng)計(jì)2016—2020年間發(fā)表的1 400多萬份研究成果在2016—2021年的被引情況,合計(jì)1.08億次引文數(shù)據(jù),以及對包括全球近2.2萬名學(xué)者的調(diào)查數(shù)據(jù),對2 100多所提交排名數(shù)據(jù)的高等教育機(jī)構(gòu)進(jìn)行了分析,最終對來自 99 個(gè)國家和地區(qū)符合其排名標(biāo)準(zhǔn)的1 662所的大學(xué)進(jìn)行了排名。牛津大學(xué)連續(xù)第六年位居榜首,美國有 183 所大學(xué)入選排行榜,是上榜學(xué)校數(shù)量最多的國家,也是前200名大學(xué)中入選數(shù)量最多的國家,共57所大學(xué)上榜,但相較于之前年份美國在前20名精英大學(xué)中所占份額正在減少。中國大陸有兩所院校首次進(jìn)入前20名:北京大學(xué)和清華大學(xué)并列第16位。
2021年3月29號,從事全球高等教育服務(wù)的QS Quacquarelli Symonds有限公司[14]發(fā)布了最新一期排行榜“世界大學(xué)排名2022”(QS World University Rankings 2022)[15]。QS智庫自2004年發(fā)布第一期排行榜以來,基本沿用了根據(jù)學(xué)術(shù)聲譽(yù)、雇主評價(jià)、師生比、國際教師及留學(xué)生的比例和師均論文引用率等6個(gè)關(guān)鍵指標(biāo)比較世界各地的大學(xué)在教學(xué)、研究影響、聲譽(yù)、學(xué)生就業(yè)能力和國際化方面的績效表現(xiàn)并進(jìn)行分析評估[16]?;诔^13萬名高等教育領(lǐng)域的專家關(guān)于世界大學(xué)教學(xué)和研究質(zhì)量的學(xué)術(shù)意見調(diào)查,和基于超過7.5萬份的雇主調(diào)查反饋,以及根據(jù)愛思唯爾出版公司的Scopus數(shù)據(jù)庫(Elsevier’s Scopus database)中,2015—2019年發(fā)表的1 470萬篇論文,在2015—2020年,共計(jì)9 600萬引文數(shù)據(jù),2022版的大學(xué)排名囊括了來自世界各地的符合排名條件的1 300所大學(xué),比去年增長了10%,這是QS迄今為止發(fā)布規(guī)模最大的排行榜。麻省理工學(xué)院(MIT)連續(xù)第10年摘取桂冠,哈佛大學(xué)排名第5跌出前3甲,排名降至歷史最低,取而代之的是牛津大學(xué)從第5名升至第2名,劍橋大學(xué)與斯坦福大學(xué)并列第3。美國總共上榜177所大學(xué),是所有國家中上榜大學(xué)數(shù)量最多的。亞洲排名最高的大學(xué)是新加坡國立大學(xué)(NUS),在全球排名第11位,2022年在學(xué)術(shù)聲譽(yù)指標(biāo)上獲得了全球最高的分?jǐn)?shù)。中國大陸共有56所大學(xué)上榜,清華大學(xué)和北京大學(xué)表現(xiàn)最好,分別排第17和18名。
4個(gè)世界大學(xué)排行榜出版方來自3個(gè)國家,分別是中國的軟科排行榜、英國的THE排行榜、QS排行榜和美國的U.S.News排行榜。從前文排行榜概覽中我們已經(jīng)看出,U.S.News排行榜中美國學(xué)校在1 750所大學(xué)排名中占據(jù)或接近榜首的主導(dǎo)地位。前20名中有15所美國學(xué)校,前25名中有19所美國學(xué)校,前50名中有24所美國學(xué)校,前100名中有43所美國學(xué)校。這意味著美國大學(xué)在本國的U.S.News排行榜中占排名前100的43%,美國大學(xué)在世界排行榜中以絕對的優(yōu)勢領(lǐng)先歐洲的大學(xué),這也是排行榜在歐洲引起很大反響的原因之一。不同排行榜的排名結(jié)果存在差異,那么不同的排行榜是否存在對不同地區(qū)的大學(xué)甚至是自已國家大學(xué)的偏倚呢?本文通過對前10名、前50名、前100名、前200名和前500名這幾個(gè)不同排名上榜高校數(shù)量的地區(qū)分布進(jìn)行比較分析,試圖從中找到答案。4大排行榜2021年最新發(fā)布的排名結(jié)果中,中國(中國大陸、中國香港和中國臺灣)、英國和美國高校的數(shù)量分布(見表1)。
表1 2021年四大世界大學(xué)排行榜上榜高校地區(qū)分布
表1顯示,英語國家的大學(xué)在排行榜中占領(lǐng)絕對優(yōu)勢。這也支持了學(xué)界普遍的這樣一種批評,即排名方法有益于西方,尤其是英語國家的大學(xué),盡管越來越多的非英語國家的大學(xué)主要以英語出版研究成果,但在所有排名中,都可以看到英語國家大學(xué)在研究表現(xiàn)方面的巨大優(yōu)勢(Van Raan,2005;Salmi,2009)[17-18]。雖然英美高校都是入選數(shù)量最多的,特別是美國高校,但由英國出版的QS和THE排行榜的美國高校明顯較美國出版的U.S.News排行榜中美國高校的數(shù)量少,特別是排行榜越往后這個(gè)情況越明顯,可能和QS和THE排行榜,使用Scopus數(shù)據(jù)庫考慮更多非英語論文有關(guān),給了其他地區(qū)高校更多的機(jī)會。Elsevier的Scopus數(shù)據(jù)庫覆蓋所有地理區(qū)域的研究論文,包括非英語論文,只要文章可以提供英文摘要。事實(shí)上,Scopus中大約22%的標(biāo)題是用英語以外的語言出版的,加起來有40種當(dāng)?shù)卣Z言(或同時(shí)用英語和其他語言出版)。此外,Scopus超過一半的內(nèi)容來自北美以外的國家,代表歐洲、拉丁美洲和亞太地區(qū)的各個(gè)國家。然而,盡管THE和QS的排名都采用了不同的數(shù)據(jù)庫來降低非英語文章被引用較少的影響,英語國家的大學(xué)仍然排名領(lǐng)先。這當(dāng)然一定程度上能說明北美和歐洲大學(xué)的整體實(shí)力,但也可能和排名指標(biāo)體系中聲譽(yù)調(diào)查有關(guān),畢竟基于學(xué)者主觀判斷,而普遍對歷史悠久的英美國家的大學(xué)的熟悉度是最高的。而且不同的受訪者被邀請參與調(diào)查。他們并不熟悉所有的大學(xué),他們的觀點(diǎn)受大學(xué)的受歡迎程度的影響更大,而不是實(shí)際表現(xiàn)或目前的優(yōu)秀程度,因此之前歷史悠久的歐美大學(xué)之前的聲譽(yù)會繼續(xù)延續(xù),導(dǎo)致聲譽(yù)調(diào)查實(shí)際上有自我強(qiáng)化的作用,英美大學(xué)則會長期占優(yōu)勢。
另外由表1中的地區(qū)分布可以看出,確實(shí)存在本國發(fā)布的排行榜對本國高校評價(jià)高于其他排行榜對本國高校評價(jià)的情況。最明顯的是英國的THE排行榜和QS排行榜,各個(gè)排名段中英國高校在這兩個(gè)排行中上榜的學(xué)校數(shù)量均高于其他排行榜。美國U.S.News排行榜對美國高校的評價(jià)也高于其他排行榜,特別是高于英國排行榜對美國高校的評價(jià),這個(gè)情況在排名前500的階段尤其明顯,U.S.News排行榜中美國高校有130所,遠(yuǎn)遠(yuǎn)高于QS排行榜中美國高校的87所。中國高校在中國軟科排行榜中的上榜學(xué)校數(shù)也是遠(yuǎn)高于其他排行榜,軟科排行榜中前500名中國高校一共有84所(其中中國大陸72所),遠(yuǎn)高于U.S.News排行榜的53所、QS排行榜的43所和THE排行榜的37所,其中QS排行榜和THE排行榜中中國大陸上榜學(xué)校數(shù)量僅為軟科排行榜的1/3左右。
綜上所述,各國排行榜確實(shí)對于自己國家高校存在偏重,這個(gè)結(jié)果產(chǎn)生的原因可能是:由于對本國的高校更加了解且數(shù)據(jù)更容易獲取,而獲取其他國家數(shù)據(jù)時(shí)有偏差甚至缺失;也可能是在設(shè)計(jì)排名方法時(shí)出于幫助提升本國高校在國際高校中競爭力的目的,從而從對本國有利的方面出發(fā)進(jìn)行指標(biāo)選取。但排行榜顯示出的最明顯的偏倚是對英美等英語國家大學(xué)的偏倚,特別是表1上榜高校的區(qū)域分布定量分析結(jié)果驗(yàn)證了學(xué)界之前提出的批評觀點(diǎn)。
2021年軟科和THE排名有一個(gè)積極的特點(diǎn),那就是前10名中有9所大學(xué)是兩者共同的:哈佛大學(xué)、斯坦福大學(xué)、劍橋大學(xué)、加州理工學(xué)院、加州大學(xué)伯克利分校、麻省理工學(xué)院和哥倫比亞大學(xué)、芝加哥大學(xué)和牛津大學(xué)(見表2)。在軟科前10名中也有8所大學(xué)在U.S.News的前10榜單中。換句話說,盡管使用的指標(biāo)各不相同,但這3項(xiàng)排名識別出了類似的世界級大學(xué)。但是,QS排行榜前10榜單和其他排行榜的重合大學(xué)只有6~7所。而且在排名的中下游,我們觀察到的差異要大得多,例如,大阪大學(xué)(Osaka University)在2022年世界排名中在QS排行榜排名72,在軟科排名176,而在THS排名326,這種現(xiàn)象在其他排名靠后的大學(xué)中也一樣普遍存在。
表2 四大排行榜前10名榜單
排名不一致的問題,這是排行榜最引爭議的地方,比較而言,一些大型和成熟的綜合性高校不太受排名標(biāo)準(zhǔn)的影響,顯然基于規(guī)模的總量指標(biāo)對綜合性大學(xué)有利,基于大學(xué)人均科研產(chǎn)出指標(biāo)進(jìn)行科研績效總體水平的估計(jì),其不確定性也同樣受規(guī)模大小的影響,規(guī)模較小的學(xué)校,由于其人均指標(biāo)較大的變異性,往往使排名出現(xiàn)“極端情況”。因此頂尖大學(xué)排名相對穩(wěn)定的,但排名越靠后的大學(xué)排名存在強(qiáng)烈分歧(不同排行榜中重合大學(xué)數(shù)越來越少,而且重合里面的排序也不一樣,說明差異非常大),這與大學(xué)質(zhì)量變化是一個(gè)緩慢積累過程的特點(diǎn)相違背,因些需要進(jìn)一步對不同排行榜不同排名區(qū)間的排名結(jié)果進(jìn)行一致性比較,以驗(yàn)證大學(xué)排名方法是否反映大學(xué)發(fā)展的本質(zhì)特征。
本文對所研究的4個(gè)大學(xué)排行榜兩兩之間的相似度采用重疊度和等級相關(guān)兩個(gè)指標(biāo)相互配合進(jìn)行比較分析,從而對不同排行榜排名結(jié)果的一致性進(jìn)行判斷。首先計(jì)算排行榜兩兩之間重疊度,即計(jì)算同時(shí)出現(xiàn)在每兩個(gè)排行榜中的大學(xué)的數(shù)目(The number of overlapping),用N.O.表示,如比較兩個(gè)排行榜前10名列表,若其中有5所大學(xué)重復(fù),則這兩個(gè)榜單的重疊度N.O.記為5。由于上榜的學(xué)校不一樣,只能根據(jù)重疊大學(xué)計(jì)算相關(guān)性,又由于得分計(jì)算標(biāo)準(zhǔn)不一樣,為了研究排名一致性,基于等級相關(guān)系數(shù)的計(jì)算方法構(gòu)造測量排名一致性指標(biāo)。根據(jù)Diaconis等(1977)[19]提出的與著名的斯皮爾曼簡捷相關(guān)系數(shù)(Spearman footrule)相關(guān)的度量方法,計(jì)算重疊大學(xué)在不同排行榜中排名秩差(名次差別)的絕對值之和D,并進(jìn)一步將其轉(zhuǎn)換成具有相關(guān)系數(shù)性質(zhì)的F指標(biāo),以此進(jìn)一步衡量重疊大學(xué)在不同排行榜中排名等級的一致性。
假設(shè)原始的兩個(gè)排行榜A、B中各有10所學(xué)校,但是只有a、b和c是同時(shí)出現(xiàn)在兩個(gè)排行榜中的大學(xué),則兩個(gè)排行榜的重疊度N.O.記為3。然后將兩個(gè)排榜中的重疊大學(xué)分別重新排序,在排行榜A中a、b和c這三所學(xué)校分別排名第7、2和8,于是重新排序,a排名2,b排名1,c排名3,得到一個(gè)重新排名的列表σ1=(2,1,3);在排行榜B中這三所學(xué)校分別排名第5、6和4,則同樣對B榜中這三所學(xué)校重新排名,a排名2,b排名3,c排名1,得到另一個(gè)重新排名列表σ2=(2,3,1)。這樣就可以進(jìn)一步計(jì)算兩個(gè)排行榜對重疊這部分大學(xué)排名等級的一致性。
根據(jù)兩個(gè)排行榜重疊大學(xué)重新生成的排名列表σ1、σ2計(jì)算排名秩差絕對值之和D:
(1)
式(1)中,i是同時(shí)出現(xiàn)在兩個(gè)排行榜中的大學(xué),i=1…Z,Z是兩個(gè)排行榜中重疊大學(xué)的數(shù)量,σ1(i)代表大學(xué)i在第1個(gè)重排名列表σ1中的名次,σ2(i)代表大學(xué)i在第2個(gè)重排名列表σ2中的名次。
顯然公式(1)計(jì)算得出的排名秩差絕對值之和D(σ1,σ2)受排序列表長度的影響,進(jìn)而采用Aguillo等(2010)[20]的標(biāo)準(zhǔn)化方法,用公式(1)的計(jì)算結(jié)果除以最大值,將其轉(zhuǎn)換為一個(gè)與排序列表長度Z無關(guān)且取值落在0到1之間的度量值D’(σ1,σ2)。當(dāng)Z>1時(shí)有:
(2)
此時(shí),當(dāng)兩個(gè)排序列表完全相同時(shí),D’(σ1,σ2)=0,反之則為1。為了進(jìn)一步得到與傳統(tǒng)的相似度指標(biāo)一致的衡量方法,利用公式(2)將結(jié)果正向化,得到度量兩個(gè)排序列表等級相關(guān)度指標(biāo)F
F=1-D’(σ1,σ2)
(3)
式(3)中0 公式(3)只衡量了兩個(gè)排行榜中重疊大學(xué)的排名等級的相似度,還需要結(jié)合兩個(gè)排行榜的重疊度,來衡量兩個(gè)排名結(jié)果之間一致性的程度。兩個(gè)排行榜重疊的學(xué)校數(shù)量越多,重疊學(xué)校排名的等級相關(guān)度F值越高,則兩個(gè)排行榜的一致性越好。 根據(jù)式(1)-式(3)描述的方法,對軟科、THE、QS和U.S.News 4大排行榜進(jìn)行相似度分析,由于軟科排行榜中,只對前100名的學(xué)校進(jìn)行具體的排名,故本文在此分別對2021年4大世界大學(xué)排行榜的前10名、前50名和前100名榜單進(jìn)行兩兩對比分析,得到兩兩間的重疊度N.O.和重疊大學(xué)排名等級相關(guān)度F值,最終的結(jié)果(見表3)。 表3 2021年四大排行榜相似度比較 以表2中四大排行榜前10名榜單為例結(jié)合表3指標(biāo)進(jìn)行分析。先比較前10名榜單中軟科排行榜和其他3個(gè)排行榜的一致性:軟科和THE排行榜重疊學(xué)校數(shù)量最多,重疊度N.O.=9,與U.S.News排行榜雖然重疊學(xué)校的個(gè)數(shù)為8,但進(jìn)一步比較重疊學(xué)校的等級相關(guān)度F值,軟科與U.S.News的F值最高,F(xiàn)=0.6875高于軟科與THE排行榜的F值(0.45),綜合比較而言前10名排名結(jié)果,軟科排行榜與U.S.News排行榜的相似度更高;而軟科與QS的重疊度最低,N.O.=7,同時(shí)等級相關(guān)度F值僅為0.39,說明軟科與QS排行榜的相似度最低。再比較其他排行榜之間的相似度,前10名中U.S.News排行榜與QS排行榜重疊度最低,僅有6所學(xué)校同時(shí)上榜,相比THE排行榜與U.S.News重合學(xué)校多了1所,但F值最低,僅為0.25,從排行榜中也可以看出,哈佛大學(xué)、麻省理工、牛津大學(xué)、劍橋大學(xué)這4所名校在THE與U.S.News這兩個(gè)排行榜中的名次差別還是比較明顯的??偟膩碚f,在前10名榜單中,軟科排行榜和U.S.News排行榜相似度最高,而THE排行榜與U.S.News排行榜一致性程度最低。 在前50名榜單中,軟科和U.S.News兩個(gè)排行榜有41所學(xué)校重合,而且F值最高,F(xiàn)=0.81,說明相似度最高;而科軟和QS的重疊度只有33,等級相關(guān)度F值僅為0.61,說明軟科和QS的相似度最低。前50名中QS和THE的重疊度為40,F(xiàn)值為0.645,兩項(xiàng)指標(biāo)均高于QS和其他兩個(gè)排行榜的重疊度和F值,說明相對而言QS排行榜和THE排行榜相似度更高一些。 同樣的方法比較前100名榜單,不難發(fā)現(xiàn)在前100名的對比中所有排行榜與QS排行榜的重疊度和相關(guān)度F值都最低,說明QS與其他3個(gè)排行榜的一致性程度最低,但比較發(fā)現(xiàn),相對而言,THE排行榜和QS的相似度較高,F(xiàn)值為0.672,重疊學(xué)校72所,均高于QS和其它兩個(gè)排行榜的相似度,這與前50名榜單比較的結(jié)論一致。同樣比較發(fā)現(xiàn)軟科和U.S.News兩個(gè)排行榜的相似度較高。 綜上所述,在4個(gè)世界大學(xué)排行榜中,隨排名長度增加,相似度指標(biāo)F值下降,雖然前10名相似度F值更低,但由于樣本容量太小,不能說明問題。從重合度可以看出,榜單越長,重合的比例越低,所以相對而言,對頂尖大學(xué)的評價(jià)相對一致。另外,無論是從重疊大學(xué)的數(shù)量N.O.還是從重疊大學(xué)的排名等級相關(guān)度F值來看,軟科排行榜和U.S.News排行榜的一致性程度最高;而QS排行榜與其他排行榜的相似度明顯較低,但相對其他3個(gè)排行榜而言,THE排行榜與QS排行榜相似度略高一些。 根據(jù)以上分析,就單個(gè)排行榜來說,無論是從重合度N.O.值還是相似度F值的綜合對比來看,QS排行榜與其他排行榜的相似度較低。但在前10名,QS與其他排行榜重合度都高于排名靠后階段,說明各排行榜對頂尖大學(xué)生的評價(jià)保持較高的一致性。但隨著排名靠后,排名方法包括指標(biāo)體系、具體權(quán)重、標(biāo)準(zhǔn)化方案的選擇和數(shù)據(jù)來源等,都是最終排名順序的重要決定因素,以上4個(gè)世界大學(xué)排行榜都是采用多指標(biāo)加權(quán)算術(shù)平均的綜合評價(jià)方法,排名結(jié)果取決于評價(jià)指標(biāo)和權(quán)重的選擇,這些因素因排名機(jī)構(gòu)而異,根據(jù)4個(gè)排行榜官網(wǎng)公布的最新排名方法,我們基于影響排名結(jié)果的統(tǒng)計(jì)綜合評價(jià)各要素出發(fā),深入探討排名結(jié)果差異的原因。 影響排行榜排名結(jié)果差異的主要因素是指標(biāo)體系,雖然軟科排名、U.S.News排名、THE排名和QS排名這四個(gè)排名都使用了類似的概念,如教學(xué)、研究、聲譽(yù)或國際影響力,來衡量大學(xué)質(zhì)量的不同方面,但不同的排行榜的側(cè)重點(diǎn)并不相同,并且選用不同的指標(biāo)來評估這些概念,也是導(dǎo)致排行榜排名結(jié)果差異的原因。 軟科排名和U.S.News排名基于科研類指標(biāo),只關(guān)注研究結(jié)果,完全忽略了高等教育質(zhì)量的其他方面,盡管軟科使用諾貝爾獎或菲爾茲獎(用于校友或?qū)W術(shù)人員)的數(shù)量來衡量教育質(zhì)量或教師質(zhì)量,但實(shí)際上并不能全面衡量教育質(zhì)量;THE排名則采用了多種標(biāo)準(zhǔn),教學(xué)、研究、聲譽(yù)或國際影響力多個(gè)方面均有體現(xiàn)在指標(biāo)體系中;QS排名的兩項(xiàng)聲譽(yù)調(diào)查指標(biāo)占比50%,相比其他排行榜更強(qiáng)調(diào)聲譽(yù)。 總體而言,4個(gè)排名中軟科排行榜和U.S.News排行榜與THE的相關(guān)性都比他們與QS強(qiáng)。這是因?yàn)镼S排名更強(qiáng)調(diào)聲譽(yù),其聲譽(yù)指標(biāo)占比達(dá)50%,而相比之下THE排行榜的聲譽(yù)指標(biāo)只有33%。同時(shí),QS排名更少強(qiáng)調(diào)基于證據(jù)的研究指標(biāo),其文獻(xiàn)計(jì)量指標(biāo)占比僅占20%,并且僅使用每位教師的引用數(shù)(20%)來衡量,而THE排行榜的文獻(xiàn)指標(biāo)占比38.5%,包括引文影響力(30%)、國際合著比例(2.5%)和人均發(fā)表數(shù)(6%)。 將排行榜兩兩比較,軟科排名與QS排名最不相同,這是因?yàn)檐浛婆琶粡?qiáng)調(diào)學(xué)術(shù)成就,而QS排名的指標(biāo)體系中大比重地使用主觀非學(xué)術(shù)指標(biāo)。QS和THE的指標(biāo)體系都基于大比重的聲譽(yù),兩者都以大學(xué)聲譽(yù)和同行評審為特征,所以兩兩更相近。 軟科排名關(guān)于大學(xué)構(gòu)成的概念與THE排名使用的概念有很大的不同。雖然它們都對同一所大學(xué)進(jìn)行評估和排名,但它們使用的排名標(biāo)準(zhǔn)顯然截然不同。雖然軟科排名基本上是一個(gè)研究排名,但它被廣泛解讀為大學(xué)排名。相比之下,THE排名將研究、教學(xué)、勞動力市場資格和國際化方面的因素混合在一起,方式相當(dāng)隨意。這也是導(dǎo)致兩個(gè)排行榜差異的原因。 指標(biāo)權(quán)重的不同也是大學(xué)排行榜排名結(jié)果差異的原因之一,以研究類指標(biāo)和聲譽(yù)類指標(biāo)為例,不同的指標(biāo)體系對于基于研究和聲譽(yù)的指標(biāo)具有不同的權(quán)重。 科研指標(biāo)的權(quán)重差異:軟科排名和U.S.News排名科研指標(biāo)權(quán)重分別是60%和65%,而THE只有38.5%,QS排名則更少,只有20%的權(quán)重用于唯一一個(gè)衡量科研的指標(biāo),即每位教師的引用次數(shù)。 聲譽(yù)指標(biāo)權(quán)重不同:QS、THE和U.S.News分別將50%、33%和25%用于聲譽(yù)調(diào)查。QS進(jìn)行了2次聲譽(yù)調(diào)查(學(xué)術(shù)調(diào)查40%,雇主10%),THE進(jìn)行了兩次聲譽(yù)調(diào)查(研究聲譽(yù)調(diào)查18%,教學(xué)聲譽(yù)調(diào)查15%),而USNWR進(jìn)行了2次研究調(diào)查(全球12.5%和地區(qū)12.5%)。 研究指標(biāo)的數(shù)據(jù)來源不同。THE和QS使用Scopus數(shù)據(jù)庫,而ARWU使用WoS數(shù)據(jù)庫,U.S.News排名相關(guān)指標(biāo)則由科睿維安(Clarivate)旗下兩大平臺 Web of Science和InCites提供。 聲譽(yù)指標(biāo)數(shù)據(jù)來源不同。50%的QS分?jǐn)?shù)是基于兩個(gè)聲譽(yù)調(diào)查(學(xué)者和雇主),而ARWU沒有使用任何調(diào)查。一個(gè)排名系統(tǒng)只使用定量數(shù)據(jù),另一個(gè)系統(tǒng)同時(shí)使用定量數(shù)據(jù)和收集人們的意見(基于主觀意見的指標(biāo)),因此,ARWU和QS的結(jié)果是所研究的全球排名中重疊程度最低。另外THE的聲譽(yù)指標(biāo)來自“愛思唯爾”獲得的個(gè)人受訪者數(shù)據(jù),U.S.News排名的聲譽(yù)指標(biāo)由“科睿唯安”(Clarivate)2017—2021年學(xué)術(shù)聲譽(yù)調(diào)查結(jié)果匯總而成的。 其他指標(biāo)數(shù)據(jù)來源不同。ARWU只使用來自開放資源的定量數(shù)據(jù),如教師數(shù)來自各國的教育部、國家統(tǒng)計(jì)局和大學(xué)校長協(xié)會等,而QS收集來自大學(xué)本身的關(guān)鍵數(shù)據(jù)(整體及國際學(xué)術(shù)教職員工和學(xué)生的數(shù)量),并從統(tǒng)計(jì)問卷中收集人們的觀點(diǎn),THE排名的數(shù)據(jù)則可以由機(jī)構(gòu)自行提交。 規(guī)范化標(biāo)準(zhǔn)不同。N.S.News全球最佳排名的學(xué)??偡?jǐn)?shù)是根據(jù)排名中使用的13項(xiàng)指標(biāo)的權(quán)重和標(biāo)準(zhǔn)正態(tài)化z分?jǐn)?shù)綜合計(jì)算得出的。THE和QS對大學(xué)規(guī)模的科研績效指標(biāo)進(jìn)行了標(biāo)準(zhǔn)化處理,而軟科則使用了原始數(shù)據(jù)(按和最高的得分計(jì)算比例)。 不同學(xué)科的出版物和引用數(shù)據(jù)差異很大,在硬科學(xué)中,引文分析的使用已經(jīng)得到了認(rèn)可,然而,在軟科學(xué)中,引文和績效之間的關(guān)系卻不太清晰。這有很多原因:首先,與硬科學(xué)不同,軟科學(xué)的期刊文章往往不是研究的主要傳播方式,文章的被引用率可能很低;其次,在社會科學(xué)和經(jīng)濟(jì)及商業(yè)領(lǐng)域。當(dāng)一個(gè)學(xué)者引用另一部著作時(shí),常常會引起爭論或討論,這與自然科學(xué)相反。在自然科學(xué)中,引用另一部著作的理由通常是效用或影響。以數(shù)學(xué)學(xué)科為例,雖然期刊文章是主要的交流方式,但與其他領(lǐng)域相比,期刊文章的被引時(shí)間往往較長,數(shù)學(xué)論文的整體被引率也往往較低。各個(gè)排行榜對于該情況都有各自的處理方式,這也是導(dǎo)致排行榜結(jié)果差異的原因之一。 軟科排名中對于學(xué)術(shù)研究成果的指標(biāo)占比較大,考慮到社會科學(xué)的學(xué)者相對于其他領(lǐng)域的學(xué)者來說,其學(xué)術(shù)成果常通過著作等形式來體現(xiàn),于是對于社學(xué)科學(xué)領(lǐng)域在SSCI收錄的論文賦予兩倍的權(quán)重。 U.S.News排名分析中使用的學(xué)科領(lǐng)域來自科睿唯安的學(xué)科分類,考慮到藝術(shù)和人文學(xué)科的特點(diǎn),在基于引文的指標(biāo)統(tǒng)計(jì)中不包括在藝術(shù)和人文學(xué)科期刊上發(fā)表的文章,但來自藝術(shù)和人文期刊的文章有被納入“論文發(fā)表”指標(biāo)的統(tǒng)計(jì)中。這是因?yàn)橛捎诓煌瑢W(xué)科領(lǐng)域的不同出版特點(diǎn),藝術(shù)和人文期刊的引文積累較少,引文分析不夠穩(wěn)??;因此,U.S.News刻意排除藝術(shù)和人文學(xué)科可以提高結(jié)果的穩(wěn)健性。 THE排名對于不同學(xué)科的特點(diǎn),在排名中可能造成的差異,所采取的整體方法是根據(jù)學(xué)科仔細(xì)重新校準(zhǔn),改變權(quán)重以最適合各個(gè)領(lǐng)域。特別是,研究指標(biāo)的權(quán)重的修改,以更緊密地貼合每個(gè)學(xué)科的研究文化,反映出不同的出版習(xí)慣。例如,在藝術(shù)和人文領(lǐng)域,產(chǎn)出范圍遠(yuǎn)遠(yuǎn)超出同行評議期刊,因此對論文引用的權(quán)重較低。相應(yīng)地,給予“引用:研究影響”的權(quán)重從總體排名的30%減少了一半,藝術(shù)和人文學(xué)科的權(quán)重僅為15%。更多的權(quán)重被賦予了其他研究指標(biāo),包括學(xué)術(shù)聲譽(yù)調(diào)查。在社會科學(xué)和法律領(lǐng)域,人們也不太相信僅僅將引文的強(qiáng)度作為研究的指標(biāo),衡量的權(quán)重降低到25%。教育、工程和計(jì)算機(jī)科學(xué)的權(quán)重也降低到27.5%。出于同樣的原因,在那些絕大多數(shù)研究成果來自期刊文章、對引文數(shù)據(jù)強(qiáng)度有高度信心的學(xué)科中,THE排名增加了研究影響的權(quán)重,如物理、生命科學(xué)、心理學(xué)以及臨床和健康等學(xué)科權(quán)重高達(dá)35%。 QS世界大學(xué)排名采用了每個(gè)教員的引文指標(biāo)(Citations per Faculty),為了克服出版統(tǒng)計(jì)在某個(gè)專業(yè)領(lǐng)域嚴(yán)重傾斜的情況(例如,物理出版在歷史上的主導(dǎo)地位)。這種方法的目標(biāo)是推導(dǎo)出“Normalized Total Citation Count(NTCC)標(biāo)準(zhǔn)化總引用計(jì)數(shù)”。主要的方法是簡單地平衡在學(xué)術(shù)聲譽(yù)分析中已經(jīng)部署的相同的5個(gè)教員領(lǐng)域的影響:藝術(shù)與人文、工程與技術(shù)、生命科學(xué)與醫(yī)學(xué)、自然科學(xué)、社會科學(xué)與管理。不同學(xué)科領(lǐng)域的引文分布是不平衡的現(xiàn)象,如果不進(jìn)行這一調(diào)整,將導(dǎo)致引文指標(biāo)得分以及最終的整體排名將更傾向于強(qiáng)調(diào)科學(xué)的機(jī)構(gòu)。 綜上可知,一方面認(rèn)識到排名結(jié)果不一致是排行榜的方法差異所致;另一方面也使排行榜使用者了解不同排行榜評價(jià)的內(nèi)容側(cè)重點(diǎn),認(rèn)識到排名結(jié)果并不是都像其宣稱的是大學(xué)整體質(zhì)量的衡量。雖然4個(gè)排行榜都對同一所大學(xué)進(jìn)行評估和排名,但它們使用的排名標(biāo)準(zhǔn)有很大的不同,導(dǎo)致排名結(jié)果存在差異。因此,公眾在使用排行榜之前,還是應(yīng)該首先了解排名指標(biāo)體系及方法的區(qū)別,從而解讀排名。如Cakir等(2015)從排名指標(biāo)、覆蓋范圍和排名結(jié)果等方面,對國內(nèi)和全球大學(xué)排名系統(tǒng)進(jìn)行了全面系統(tǒng)的比較,他們注意到,各國大學(xué)排名有大量主要集中于教育和制度措施的指標(biāo),而相反全球排名的關(guān)鍵特征是專注于科研指標(biāo)[21]。因此,如果使用排行榜的目的是選擇留學(xué)學(xué)校,關(guān)注的是學(xué)習(xí)成效,需要了解排名指標(biāo)體系是否反映教學(xué)教育質(zhì)量。雖然軟科排名基本上是一個(gè)研究水平排名,U.S.News其實(shí)也明確是研究型大學(xué)比較,而QS以及THE宣稱加入教學(xué)質(zhì)量的衡量,但四個(gè)排行榜都被廣泛解讀為大學(xué)排名,排名使用者在引用排名時(shí)通常沒有加以區(qū)別。 大學(xué)在不同排行榜位次的變化本身就說明,如果公眾要把排行榜作為大學(xué)質(zhì)量水平的唯一衡量標(biāo)準(zhǔn)就值得商榷,如果確實(shí)是唯一標(biāo)準(zhǔn),則不應(yīng)有如此巨大的差異,所以本文對不同大學(xué)排行榜的相似度進(jìn)行定量比較的基礎(chǔ)上,通過對指標(biāo)體系和排名方法的定性分析說明差異的原因,在下一步的分析研究中將對排名指標(biāo)數(shù)據(jù)進(jìn)行定量分析,通過因子分析提煉評價(jià)指標(biāo)體系衡量的維度,揭示排行榜評價(jià)指標(biāo)體系衡量的主要方面,進(jìn)一步探討現(xiàn)有世界大學(xué)排行榜能否真正提供利益相關(guān)各方所關(guān)心的關(guān)于世界高等教育質(zhì)量水平的可靠信息,進(jìn)一步驗(yàn)證排名方法的合理性。 大學(xué)的使命、概況以及它們所處的環(huán)境是極其多樣化的,大學(xué)之間的質(zhì)量差異是一個(gè)長期的歷史過程的結(jié)果,是科學(xué)習(xí)慣的差異和不同的制度背景的結(jié)果,因此不可能把一所大學(xué)或一個(gè)系的“質(zhì)量”降低到一個(gè)數(shù)字或幾個(gè)標(biāo)準(zhǔn)。一所大學(xué)在不同的排名中可能會取得不同的結(jié)果,這取決于排名的具體目標(biāo)和方法。比較不同的結(jié)果可以為大學(xué)在各自的高等教育系統(tǒng)中的地位提供一個(gè)更全面的認(rèn)識。因此,未來的學(xué)生以及任何其他排名信息的“用戶”在可能將其納入考慮之前,需要謹(jǐn)慎地解讀排名,并了解每個(gè)排名背后的方法是否準(zhǔn)確反映大學(xué)真實(shí)實(shí)力和文化底蘊(yùn)。而對大學(xué)而言,大學(xué)排行榜其實(shí)是對大學(xué)的一種社會評價(jià),大學(xué)可以把大學(xué)排名作為學(xué)校辦學(xué)的參考,從中分析辦學(xué)的進(jìn)展,存在的不足與問題,但不能“唯排名論”,這才是理性對待大學(xué)排名的方式,實(shí)現(xiàn)大學(xué)高質(zhì)量發(fā)展還需進(jìn)一步加強(qiáng)大學(xué)的專業(yè)化評價(jià)。(二)結(jié)果分析
五、大學(xué)排行榜排名結(jié)果差異的原因分析
(一)指標(biāo)體系側(cè)重點(diǎn)不同
(二)指標(biāo)的權(quán)重不同
(三)數(shù)據(jù)來源不同和指標(biāo)規(guī)范化標(biāo)準(zhǔn)不同
(四)對引文的學(xué)科差異處理方式不同
六、分析與討論