評價學視角下我國高職院校排名的反思
——以“科教版”排名和“廣報版”排名為例

李秀仙

近些年來，伴隨著大學排名的常態(tài)化，人們對大學排名的新鮮感日趨減弱，圍繞著大學排名所產生的爭論越來越少。大學排名貌似日漸式微。有意思的是，在這一背景下，大學排名卻不聲不響地從本科高校延伸到高職層面。2012年，武漢大學中國科學評價研究中心和中國科教評價網率先發(fā)布了“中國高職高專院校競爭力排行榜”（簡稱“科教版高職排名”）。此后，2017年和2019年，《廣州日報》數據和數字化研究院（以下簡稱“廣報版高職排名”）以及中國管理科學研究院《中國大學評價》課題組也先后發(fā)布中國高職高專排行榜?？梢哉f，高職院校排名大有蔓延之勢。與此同時，每當一個高職排名結果新鮮出爐時，許多媒體都會跟進報道。不僅如此，許多在排行榜中位居前列的高職院校也采取多種不同的方式對本校的優(yōu)異排名進行廣泛宣傳。高職排名的影響似乎在逐步擴大。面對高職院校排名的發(fā)展，一些研究者也對高職院校排名進行了研究。從文獻來看，研究者主要從排名的指標、指標的數據來源和排名結果等角度對高職排名開展了批判性分析。其中，從排名結果切入對排名的研究頗有新意。但已有研究也存在不足。眾所周知，高職排名歸根結底是對高職院校的一種評價。因此，在高職排名研究中，評價學理應占有一席之地。然而，在高職排名研究中，評價學尚處于缺位狀態(tài)?；诖?，這里將從評價學的角度，對“科教版高職排名”和“廣報版高職排名”進行分析，試圖揭示現有高職排名在理論和技術方面存在的問題，進而就高職排名這一現象進行討論。

一、高職排名的理論之思

（一）排名本身存在內在矛盾

在評價學上，依據不同的標準，可以將評價分為不同的類型。根據評價目的的不同，可以將評價分為診斷性評價、形成性評價和總結性評價；根據評價標準的不同，可以將評價分為絕對評價、相對評價和個體內差異性評價；根據評價方法的不同，可以將評價分為定量評價和定性評價。從高職排名特點來看，第一，高職排名顯然是一種相對評價，即對個體高職院校在某個范圍高職院校群體中所處的相對位置進行的評價。第二，高職排名是一種定量評價而不是定性評價。在高職排名的指標中，既有定量指標，也有定性指標。例如，在科教版2019年度高職排名中，“專職教師數”“就業(yè)率”等屬于定量指標，“社會聲譽”“學術聲譽”等屬于定性指標。但需要注意的是，在排名實踐中，定性指標也是以量化的形式來進行評價的。因此，雖然高職排名的指標類型多樣，但從評價類型的角度講，高職排名屬于一種定量評價，因為評價結果最終表現為量化的得分。第三，從排名者關于高職排名價值和意義的闡述來看，高職排名被定位為一種綜合評價。以科教版高職排名為例，排名機構認為該排名具有四方面意義，即為政府部門的正確決策提供定量依據，為高職院校的改進提供支持，為學生擇校提供指南和為本科高校評價提供補充[1]。也就是說，科教版高職排名既是一種形成性評價，也是一種總結性評價。應該說，在評價實踐中，許多評價活動都是綜合的，既具有形成性的價值，也有總結性的功能。例如，高職高專人才培養(yǎng)工作水平評估就是如此。這一評估的結論分為“暫緩通過”和“通過”兩種，這是評估總結性功能的體現。同時，這一評估還會向高職院校反饋意見，指出學校存在的問題，以幫助學校改進，這就是評估的形成性價值。從這個角度看，排名機構希望高職排名同時發(fā)揮形成性作用和總結性作用并無不合理之處。但是，高職排名是一種相對的量化評價，這與排名的形成性功能期待是有沖突的。原因在于，作為一種量化評價，高職排名的結果表現為量化的數字。但量化的數字并不能告訴人們，高職院校的問題在哪？問題出現的原因在哪？舉例來說，假設在某高職排名中，某高職院?！熬蜆I(yè)率”指標上排名第150位。這并不能告訴人們，為什么其就業(yè)率不如排在前面的149所院校。如果不清楚其落后的原因，學校怎么可能改進工作呢？總而言之，高職排名作為一種量化評價，很難發(fā)揮形成性作用。從這個角度講，高職排名本身的特點與其功能定位有內在沖突。

（二）指導思想或模糊或虛設

高職排名作為一項活動，有其指導思想。從文本來看，科教版高職排名遵循了9項指導思想，即排名的9項原則分別是：第一，正確處理管理導向與市場導向之間關系的原則。第二，根據辦學類型確定側重教學還是科研的原則。第三，定性評價和定量評價相結合的原則。第四，兼顧投入、產出與效益的原則。第五，堅持自然科學與社會科學同等重要，實行分類評價的原則。第六，規(guī)模和效益兼顧，適當偏重效益的原則。第七，準確處理數量與質量的關系，適當偏重質量的原則。第八，恰當處理國內數據與國外數據、現實統(tǒng)計數據與網絡數據的關系，做到彼此基本對應，又有所側重。第九，體現高職高專的辦學特色和發(fā)展定位[2]。

科教版高職排名盡管詳細列舉了排名的9條指導思想，但存在下述問題：第一，沒有進一步說明9項原則的具體含義。例如，第6、7項原則分別提出要“正確處理規(guī)模與效益的關系”和“正確處理數量與質量的關系”。在這里“規(guī)?！薄靶б妗薄皵盗俊焙汀百|量”分別指什么不清晰，“規(guī)?！焙汀皵盗俊敝g什么關系也不清楚。第9項原則提出高職排名要體現高職高專的辦學特色和發(fā)展定位，但并沒有解釋高職的辦學特色是什么、發(fā)展定位是什么。第二，沒有闡述如何在高職排名實踐中落實這9項原則。比如，“兼顧投入、產出與效益的原則”在高職排名實踐中有什么體現，高職排名實踐中如何落實“體現高職高專辦學特色和發(fā)展定位”等都沒有詳細說明。第三，沒有闡明高職排名實踐為什么要遵循這9項原則。這之所以是一個不足，原因在于，高職排名指導思想的背后依據在一定程度上反映了指導思想本身的清晰性和合理性。對指導思想的根據缺乏科學的解釋，意味著指導思想本身不夠明晰。總而言之，科教版高職排名對其指導思想的闡述不充分，這種不充分說明這些指導思想是模糊的，高職排名實踐的科學性存疑。

相對于科教版高職排名，廣報版高職排名沒有直接闡述其指導思想。但從官網的介紹來看，這一排名至少堅持了兩項原則，一是體現高職特色，二是堅持產出導向。在排名機構看來，高職特色體現為職業(yè)性、區(qū)域性、綜合性和行業(yè)性四大特點。但問題是，既然要體現高職的區(qū)域性，為何要將全國所有高職院校放在同一個榜單上加以對比？既然考慮到高職的行業(yè)性，但不同行業(yè)存在巨大差異，為何將所有類型的高職院校放在同一個榜單上加以比較？也就是說，廣報版高職排名實踐與其指導原則之間存在內在矛盾，這一排名實踐的指導思想是虛設的。

（三）評價內容不清

從評價理論的角度講，設計任何一種指標體系，實施任何一項評價活動，首先需要明確的一個問題是：評價誰？緊接著需要澄清的問題就是，評價誰的什么？例如，“高職高專人才培養(yǎng)工作水平評估”評價的是“高職高專”（誰）的“人才培養(yǎng)工作”（什么），學生評教評價的是“教師”（誰）的“教學”（什么），“學生綜合素質評價”評價的是“學生”（誰）的“綜合素質”（什么）。這里的“誰”可稱之為評價對象，“什么”則是評價目標，也就是預定的評價內容。很顯然，在任何一種評價活動中，如果只是明確了評價對象，而評價目標模糊不清的話，評價活動都無法展開。高職排名也不例外。

從排名實踐來看，廣報版高職排名雖然交待了評價對象是高職高專，卻沒有明確評價目標是什么。也就是說，廣報版高職排名并沒有闡述排名究竟是對高職“綜合實力”進行排名，還是對高職“社會貢獻”加以評價，或者是對高職的“發(fā)展?jié)摿Α遍_展排序。廣報版排名沒有預定的評價內容。這與一個人說“吃”，卻沒說“吃什么”一樣莫名其妙。就這一點而言，廣報版高職排名在根本上存在缺陷。相對而言，科教版高職排名不僅明確指出了評價對象是高職高專，而且確定評價目標是高職高專的“競爭力”。從這一點看，科教版高職排名要優(yōu)于廣報版高職排名。但問題在于，科教版高職排名雖然指出要對高職高專的“競爭力”進行評價，但并沒有對“高職高專競爭力”進行界定。這意味著，科教版高職排名的預定評價內容其實也不清楚。其結果是，排名實踐是不是圍繞著“競爭力”展開，排名指標是不是能夠體現“競爭力”，排名結果是不是反映了“競爭力”，根本無從判斷?？偠灾呗毰琶麑嵺`普遍存在的一個問題是排名內容或者說評價目標不清，這直接導致排名結果的科學性得不到保證。

二、高職排名的技術之思

從評價學的角度看，高職排名指標體系的設計自有其技術性的要求。因此，對高職排名進行研究的重要方面就是從指標設計技術要求的角度，對排名的指標及其設計進行探討。遺憾的是，廣報版高職排名只公開了一級指標，是不是有下級指標以及有多少下級指標等都沒有公布?？平贪?019年高職排名有“4個一級指標、23個二級指標、近50個觀測點”[3]，但只公開了一級指標和二級指標，觀測點并未公布。因此，這里僅對兩個排名中已經公開的指標進行分析。

（一）指標設計違背了同一層次相互獨立的原則

所謂同層次指標指的是在同一個指標體系中級別相同的指標，例如，在某個指標體系中，所有的一級指標就是同層次的指標，所有的二級指標也是同層次指標。同層次指標相互獨立就是指同層次指標之間不能存在相關、包含或者因果關系。之所以有這一要求，是因為如果同層次指標之間不獨立，意味著有些內容被重復評價。這不僅會影響評價的科學性[4]，也會影響評價的公平性。從評價實踐來看，在一次評價活動中，一項評價內容只能被評價一次。如果有內容被重復評價，意味著增加了該內容的權重。這明顯是不科學的。同時，在被重復評價的內容上，不同的評價對象有不同的表現，那些表現好的評價對象明顯會因此獲益。不言而喻，這會造成評價的不公平。因此，同層次指標不獨立是人們在設計指標體系時應盡力加以避免的。然而，科教版高職排名和廣報版高職排名都違背了這一要求。

科教版高職排名2019年的指標包含4個一級指標，分別是基礎設施、師資力量、科教產出和學校聲譽[5]。從類型的角度看，基礎設施和師資力量可以視為投入指標，科教產出和學校聲譽可視為產出指標。在排名實踐中，許多排名機構都聲稱自身的指標兼顧投入和產出，并以產出為主。許多研究者也認為，大學排名的指標應該有投入指標，也應該有產出指標。但事實上，在高職排名中，如果同一層次指標既有投入指標，也有產出指標，就違背了同一層次指標獨立的原則。從理論上來講，一個投入指標之所以被列為指標，恰恰是因為這一指標對學校的產出有重大影響。反過來說，如果某項投入指標對學校產出沒有一定影響，那根本不會被列入排名指標。這意味著，排名的投入指標與產出指標之間，一般存在比較強的正相關關系。從這個角度講，在技術層面，科教版排名的指標設計違背了同層次指標相互獨立的原則。事實上，高職排名中同時包含投入指標和產出指標，往往會造成令人啼笑皆非的情況。比如，A校與B校在產出指標上的表現完全一樣，如果A校投入指標表現好于B校，那么，A校的排名將會高于B校。但這無疑是一個荒唐的結果?？平贪娓呗毰琶笜酥?，學校產出與學校聲譽之間也存在較強的相關性。學校聲譽的形成雖然需要宣傳，但是就學校良好聲譽形成的根本原因來看，恰恰在于學校有豐富的產出，久而久之，才會形成良好的學校聲譽。

廣報版高職排名包含4個一級指標，分別是職場競爭力指數、教育競爭力指數、品牌競爭力指數和二次評估指數[6]。在這4個一級指標中，職場競爭力指數與教育競爭力指數以及職場競爭力指數、教育競爭力指數與品牌競爭力指數之間也不獨立。在理論上，如果一所高職院校有良好教育競爭力，則其畢業(yè)生一般都具有較強的職場競爭力；如果一所高職院校的學生有較強的職場競爭力，學校有良好的教育競爭力，則該高職院校一般也具有良好的品牌形象。也就是說，廣報版高職排名的指標設計同樣違反了同層次指標相互獨立的原則性要求。

（二）指標設計違背了可比性原則

可比性原則指的是評價指標應該能夠涵蓋所有的評價對象。教育評價的指標設計理應遵循這一原則，否則就會出現有些評價對象由于沒有開展評價指標所反映的工作，而使得這些評價對象在某些評價指標上沒有得分的情況。

從可見的指標來看，科教版高職排名的指標設計違背了可比性原則。科教版高職排名的23個二級指標中有一項“發(fā)明專利”。這一指標就不能涵蓋學前教育類院校。在實際中，許多幼兒師范高等?？茖W校僅設有學前教育系、藝術系、外語系等院系和專業(yè)，甚至更少。這種專業(yè)設置特點決定了這類院校在“發(fā)明專利”指標上的得分微乎其微。顯然，設置“發(fā)明專利”指標對于學前教育類院校是不公平的。再比如，“社會聲譽”指標也是如此。排名機構沒有在2019年排名的指標體系中闡明如何評價學校的“社會聲譽”。但在2016年的指標體系中，同樣有這一指標，并且明確指出，主要是從“示范性高職院校”“骨干高職院?！焙汀叭珖殬I(yè)教育先進單位”三個方面進行賦分[7]。這就意味著，沒有這些“帽子”的高職院校在“社會聲譽”上的得分將會是零分。這無疑是非常不公正的，因為這一指標沒有涵蓋所有的高職院校。事實上，用“示范性高職院?！薄肮歉筛呗氃盒！眮肀硎靖呗氃盒５纳鐣曌u之所以不公平，還因為這些“帽子”的獲得并非全國范圍內的高職院校之間完全基于實力比較的結果。根據政府部門的文件，在示范性院校和骨干院校的評選認定中，教育部會先行向各省、自治區(qū)、直轄市分配推薦名額，由各省教育和財政部門對學校申報書進行審核后，按照名額向教育部推薦。從這種做法來看，一所學校成為示范性高職院?；蚬歉筛呗氃盒Ｗ疃嘀荒苷f明其在本省、區(qū)、市有較好的聲譽。如果更進一步分析，示范性院校、骨干院校以及全國職業(yè)教育先進單位等代表的并非院校的“社會”聲譽，而是其在政府那里的“聲譽”。

（三）排名機構違背了指標設計的基本邏輯

在教育評價學上，評價指標體系的設計是有步驟的。先是明確評價目標（即評價什么），繼而是通過對評價目標的分解，形成一級指標，再對一級指標進行分解形成二級指標。特別想說明的是，這個程序一般來講是應該嚴格遵守的。因為如果不遵守這個程序，就極易出現同一層次評價指標之和不等于評價目標的情況，即實際評價內容不等于預定評價內容的情況。一般來說，評價目標代表的是預定評價內容，即評價活動打算評價的內容，評價指標代表的是實際評價內容（因為評價指標設計完成之后，評價者要根據評價指標對評價對象實施評價）。顯然，從評價活動本身的要求來看，實際評價內容應該等于預定評價內容，同層次評價指標之和與評價目標應該相等。如果兩者不相等，就說明出現了有些本來要評價的內容沒有評價或不想評價的內容實際上卻被評價了的情況。這都是不能接受的，在評價指標設計中，應該遵循其內在的邏輯。

這里以學生評教指標體系設計為例對指標設計的邏輯做進一步闡述。一般來說，學生評教被認為是對教師教學的評價。明確這一點后，有些學校認為，教師的教學水平可以從教學態(tài)度、教學內容的熟悉情況、教學方法的使用和教學效果等方面來判斷，這樣就形成了一個由教學態(tài)度、教學內容、教學方法和教學效果4個一級指標構成的學生評教指標體系。也有學校認為，教師的教學活動可以分為教學前的設計和準備、教學的實施過程以及教學完成后的效果3個方面，并以此為依據，形成了教學準備、教學實施和教學效果3個一級指標。在這個案例中，盡管教學效果這一指標存在問題，但是這種指標設計的方法基本上遵循了指標設計的邏輯，其指標都是來源于對評價目標的分解。然而，廣報版高職排名沒有明確其評價目標。由于沒有評價目標，其指標設計也就無法遵循指標設計的邏輯。例如，該指標體系中包含1個一級指標叫做“二次評估指數”。所謂“二次評估指數”是排名者“組織專家團隊對國內外有影響力的幾大主要大學排行榜進行專業(yè)鑒定，確定其可信度指數，并分別進行5分、3～4分、1～2的分級賦值，綜合加權后確定得分?！盵8]就這一指標來說，如果指標設計遵循了基本邏輯，則根本不可能出現這一指標。因為指標本質上指的是“實際評價的內容”，“二次評估指數”沒有反映任何評價內容?？平贪媾琶m然聲稱評價目標是“競爭力”，但并沒有界定“競爭力”是什么，也沒有闡述是如何將“競爭力”分解為基礎設施等4個一級指標的?？傊瑥牟僮鲗用鎭碇v，高職排名普遍沒有遵守指標設計理應遵循的邏輯。

三、高職排名的存在之思

汪治教授在論及高職排名時，雖然對全國性的高職排名持批判態(tài)度，但是認為專業(yè)排名或省域范圍內的高職排名是可以開展的[9]。伍紅軍和秦虹對2012-2015年科教版高職排名結果進行分析后，對這一排名提出了嚴重質疑，但同時認為“在諸多大學排行榜中理應有高職院校的一席之地”[10]。鄭瓊鴿認為：“盡管排行榜頗受爭議，但存在即合理。高職院校排行榜的產生是多方訴求的必然結果?！盵11]總而言之，盡管學者們認為現實中的高職排名存在這樣或者那樣的問題，但都沒有對高職排名本身的存在提出質疑，都認為高職排名自有其存在的合理性。筆者贊同學者們對現有高職排名的批判，但同時認為，如果高職排名仍然按照目前的方式展開，則高職排名并無存在的充分理由。從評價學的角度看，我國高職排名的方式需要適當改變，才能對高職院校的改革發(fā)展發(fā)揮積極作用，從而凸顯其存在的意義。

（一）傳統(tǒng)高職排名沒有存在的必要

從指標設計的角度看，高職排名的指標最終都可以分為兩類：一類是投入指標，一類是產出指標。我國排名機構的做法是，同一個排名同時包含投入指標和產出指標，并且將高職院校在所有指標上的得分匯總，形成一個按總分高低，對高職院校進行降序排列的排行榜。這種做法違背了同一層次指標相互獨立的要求。因此，如果堅持這種方法，那么排名所用指標必須單一化，即只選用投入指標或只選用產出指標。也就是說，按照傳統(tǒng)的排名方法，高職排名大致可以分為兩類，一是由投入指標構成的排名，二是由產出指標構成的排名。

1.由產出指標構成的高職排名沒有存在的必要

2006年，大學排名國際專家組在柏林會議上通過了高等教育排名的質量原則和操作范例，即“柏林原則”。“柏林原則”在論及指標設計時明確提出：“盡可能優(yōu)先評價產出而不是投入。”[12]雖然“柏林原則”的提出者具有很強的權威性，但是權威并不一定意味著正確。從高職排名的目的來看，由產出指標構成的排名實無必要存在。

高職排名的第一個目的是為政府部門決策提供支持。這是一個很高大上的目的，而且這一目的看似很有道理，但事實并非如此。2010年，《國家中長期教育改革和發(fā)展規(guī)劃綱要（2010-2020年）》明確提出要建設“國家教育管理信息系統(tǒng)”[13]。2014年教育部等五部委印發(fā)的《構建利用信息化手段擴大優(yōu)質教育資源覆蓋面有效機制的實施方案》提出要“建設教育管理公共服務平臺”，即“建立覆蓋全國各級教育行政部門和各級各類學校的管理信息系統(tǒng)及基礎數據庫，為加強教育監(jiān)管、支持教育宏觀決策、全面提升教育公共服務能力提供支撐”[14]。2018年，教育部發(fā)布《教育信息化2.0行動計劃》，明確提出要實施“教育治理能力優(yōu)化行動”，要求“完善教育管理信息化頂層設計，全面提高利用大數據支撐保障教育管理、決策和公共服務的能力，實現教育政務信息系統(tǒng)全面整合和政務信息資源開放共享”[15]。從2010年至今，歷經10年的建設和發(fā)展，我國教育管理信息化水平有了極大提升。通過信息化手段，政府部門掌握了充足的各級各類教育信息，足以支持相關決策，根本就沒有必要參考所謂高職排名去進行決策。

高職排名第二個目的是為學生擇校提供服務。排名機構認為，由于信息不對稱，考生和家長對高職院校的真實情況不了解，使得擇校比較盲目。高職排名的結果可以使學生和家長了解高職院校的情況，從而幫助學生和家長選擇更好的學校。應該說，信息不對稱的情況的確存在。但是，如果排名機構想為學生和家長提供高職院校的相關信息，可以將搜集到的有關高職院校的信息按照一定的邏輯，分門別類地直觀展現，根本沒有必要制作成一個高職排行榜。事實上，一旦形成了排行榜，學生和家長往往也只看學校所排的位置，而忽略了學校的各種具體信息，反而可能對學生形成誤導。

高職排名第三個目的是為高職院校改進工作提供支持。在教育評價領域，這是一個無比正確的目的。但問題是，這個目的只能停留在字面上，而不可能落實到實際中。如果以產出作為指標，那么，高職院校只能知道自己在各項產出上比哪些學校好，比哪些學校差，卻不知道為什么好，為什么差。而如果不知道其中的原因，就根本不可能提出改進措施。如果高職排名的指標單純由產出指標構成，那么，高職排名根本就沒有存在的意義，因此也就沒有存在的必要。

2.由投入指標構成的高職排名沒有存在的必要

在高職排名中，投入指標大多涉及可見資源，如設施、設備、師資等。從某種意義上說，高職院校擁有多少資源在一定程度上能夠反映出學校的辦學情況，因為辦學離不開充足的資源。但是，根據高職院校獲得的資源并不能判斷出學校的優(yōu)劣或好壞。原因在于，不同學校的辦學規(guī)模不同。規(guī)模小的學校，其投入總量相對較少，這是很正常的事情。這既不能反映小規(guī)模學校沒有競爭力或綜合實力弱，也不能說明小規(guī)模學校教育質量低，或社會服務能力差，或研究能力不行。此外，資源的多少雖然對高職院校的辦學有重要影響，但從高職辦學實踐來看，資源是不是被使用了，是如何被使用的等情況對學校辦學影響更大。從這個角度講，不論是計算資源總量，還是計算資源的人均占有量都無法真實反映學校狀況。

（二）排名方式的改進與高職排名的存在價值

從評價學的角度出發(fā)，對現有排名方式加以改革，高職院校排名才能體現存在的意義。如上所述，現有高職排名同時包含投入和產出兩類指標，先是將高職院校在兩類指標上的得分匯總形成總分，然后按照總分高低對高職院校進行排序。在發(fā)布排名結果的時候，也只發(fā)布按照總分高低形成的排行榜。事實上，對這一方式稍加改進，高職排名就可以走出困境。具體改進方法是，不再將高職院校在兩類指標上的得分相加形成總分，而是分別計算高職院校在兩類指標上的得分，形成并發(fā)布高職院校投入排行榜和產出排行榜兩個榜單。這一改進的價值在于：第一，產出排行榜可以反映一所學校強于還是弱于其他學校；第二，高職院校通過比較本校在兩個榜單上的位置，可以為學校改進工作指明方向。例如，A校在投入排行榜上高于B校，而在產出排行榜上卻低于B校，那么，A校需要好好考慮的問題就是，為什么投入多產出少？這樣，A校改進工作的重點方向就不是想方設法增加投入，而是花大力氣提高投入的效益。