綜合評價卡：審核評估的新探索

袁益民

(江蘇省教育評估院，江蘇 南京 210024)

?

綜合評價卡：審核評估的新探索

袁益民

(江蘇省教育評估院，江蘇 南京 210024)

根據(jù)國家評估改革方案，地方院校的審核評估下放至省級組織實施。某省在審核評估中試用了綜合評價卡，作為寫實性評估結(jié)論意見的一種標識和呈現(xiàn)方式。通過對院校內(nèi)部質(zhì)量保障狀態(tài)的十個維度和各維度的五個達標程度的定性描述，并以坐標和曲線的形式直觀表達院校所處的位置。這一創(chuàng)新實踐既避免了以往教學(xué)水平評估的“優(yōu)良中差”分等評估的弊端，也規(guī)避了新一輪教學(xué)工作審核評估結(jié)論出現(xiàn)過于大而化之、無法全面客觀反映院校的整體實情的風險，受到專家的普遍肯定。未來擬幫助院校更加深入地理解和使用好綜合評價卡，為其強化內(nèi)部質(zhì)量保障機制打造一個切實可行的專業(yè)工具。

審核評估；綜合評價卡；內(nèi)部質(zhì)量保障

根據(jù)國家本科教學(xué)工作評估新一輪改革方案，地方院校的審核評估(英文中稱為Institutional Quality Audit，意思是“院校質(zhì)素評審”)將由省級教育行政部門負責，相關(guān)工作由具備條件的教育評估機構(gòu)實施。某省在厚實的中外比較研究的基礎(chǔ)上，基于國家整體方案架構(gòu)下率先發(fā)展和創(chuàng)新發(fā)展的考慮，在若干方面進行了有益的探索，如：增加了材料復(fù)核及反饋的程序，現(xiàn)場考察中強化了師生問卷調(diào)查的作用，評后設(shè)定了改進工作進展報告和改進回訪的制度等。特別是在兩所院校的評估中試用了綜合評價卡的綜合鑒定與定性描述方法，不僅極大地方便了專家的內(nèi)部分析、相互討論和整體判斷，同時使評估報告的寫實性、概括性和實效性得到更好的體現(xiàn)，而且可以較好地規(guī)避新一輪評估可能出現(xiàn)的標準把握失之過寬、狀態(tài)描述失之過偏、評估結(jié)論過虛過軟的潛在和現(xiàn)實風險。

一、質(zhì)量原理如何支持綜合評價卡

就如質(zhì)量是個十分模糊的概念一樣，對質(zhì)量管理這個很少得到實證研究的課題也存在各種不同的理解。維斯特福等(Westphal,Gulati,and Shortel,1997)將顧客聚焦、持續(xù)改進、結(jié)構(gòu)化的問題解決程序和雇員賦權(quán)增能作為關(guān)鍵質(zhì)量維度；哈克曼和維琦曼(Hackman and Wageman,1995)則將顧客聚焦、團隊合作、供應(yīng)者合作伙伴關(guān)系、過程管理和統(tǒng)計及科學(xué)工具的使用作為核心維度；加文(Garvin,1988)和特波爾(Teboul,1991)識別了質(zhì)量作為競爭優(yōu)先、顧客聚焦、質(zhì)量的執(zhí)行、質(zhì)量主動性、組織范圍的承諾、最高管理層的領(lǐng)導(dǎo)力和進步主義的勞動力方面的實踐等7個維度；波獎(The Malcolm Baldrige National Quality Award)則使用領(lǐng)導(dǎo)力，戰(zhàn)略規(guī)劃，顧客聚焦，測量、分析與知識管理，人力聚焦，過程管理和結(jié)果等7個維度；格林(Greene,1993)更提出了24個全面質(zhì)量管理維度[1]。烏波路和歐本(Isaiah O.Ugboro,Kofi Obeng,2000)將最高管理層的領(lǐng)導(dǎo)力、雇員賦權(quán)增能、工作滿意度和顧客滿意度作為組織全面質(zhì)量管理最關(guān)鍵的要素。相關(guān)文獻的作者還包括博文、希爾和希內(nèi)德等(Bowen,Siehl,& Schneider,1989;Brower,1994;Deming,1982;Roberts,1994;Camp,1989;Senge,1994;Mendelowitz,1991)[2]。至于院校質(zhì)量管理和質(zhì)量保障的標準則更加多元，每個國家都會有不同的標準，甚至是許多學(xué)校都會有自己的標準。

但是，各種研究成果也為我們認識質(zhì)量及其保障提供了重要的階梯。無論是全面質(zhì)量管理的PDCA循壞，還是歐洲高校內(nèi)部質(zhì)量保障的標準與準則、波獎卓越績效模式、澳大利亞持續(xù)質(zhì)量改進環(huán)路OADRI模型、IPO投入過程產(chǎn)出模型、六西格瑪DMAIC環(huán)路、BSC平衡計分卡、邏輯框架方法(LFA)和ISO9004-2中的服務(wù)業(yè)通用質(zhì)量環(huán)路等，都為我們探索先進的質(zhì)量模型提供了借鑒。在審核評估中根據(jù)自己國情確立符合自身的院校質(zhì)素評審模型既可以借鑒國外質(zhì)量模型，也可以與國內(nèi)標準保持較好的匹配性(見表1)。

表1 綜合評價卡與質(zhì)量原理及審核項目的匹配情況

金·卡梅隆和韋斯利·塞恩(Kim Cameron，Wesley Sine,1999)對組織性質(zhì)量文化做過深入的研究，提出由低到高的四種質(zhì)量文化：不重質(zhì)量的文化、差錯檢測文化、差錯預(yù)防文化、創(chuàng)造性質(zhì)量文化[1]。在后面兩種較為先進的文化中，創(chuàng)造性質(zhì)量文化重視顧客偏好的內(nèi)化和顧客需要的預(yù)測，更加關(guān)注持續(xù)性、規(guī)律性、恒久性、突破性、超越性和引領(lǐng)性，它比差錯預(yù)防文化更為可靠。綜合評價卡的設(shè)計思路符合創(chuàng)造性質(zhì)量文化的要求。

二、綜合評價卡何以評價院校質(zhì)量

綜合評價卡作為審核評估中的一項評估工具，通過對院校內(nèi)部質(zhì)量保障狀態(tài)的十個維度和各維度的五個達標程度的定性描述，試圖刻畫出院校在質(zhì)量保障體系建設(shè)方面所處的位置，并以坐標和曲線的形式直觀表達(見圖1)。綜合評價卡采用綠、藍、黃、橙、紅五種顏色分別代表五個達標程度，反映不同的質(zhì)量管理風險等級，但無數(shù)字表達的刻度。

圖1 某高校A的綜合評價卡

其中，十個質(zhì)量維度是根據(jù)審核評估的審核要素并結(jié)合國外院校質(zhì)素評審標準而轉(zhuǎn)化過來的，而五個達標度是參照“零缺陷之父”Philip Crosby的管理成熟度方格、能力成熟度CMMI模型和組織性學(xué)習(xí)的成熟水平等相關(guān)理論并參照諸多國家的院校質(zhì)素評審實踐而設(shè)置的。綜合評價卡與審核要素的對應(yīng)關(guān)系及達成度定性描述見表2。

綜合評價卡的具體評價結(jié)論是根據(jù)專家的原始評價，通過將專家的定性描述等級轉(zhuǎn)換成百分制而得出的。如圖1中某高校A的綜合評價卡曲線就是由11位專家根據(jù)質(zhì)量的10個維度的達成度獨立打分，然后去掉打分最高和最低的各一位，最后再將剩下的9位專家打分取平均數(shù)得出的。另一所高校B的專家組原始評價結(jié)果見表3。該高校B的綜合評價卡則嘗試了另一種等級轉(zhuǎn)換成曲線的方式：使用德菲爾專家法，通過專家組成員的多輪調(diào)查交流，在形成最大程度的共識的基礎(chǔ)上建立的。從高校B的專家組原始評價結(jié)果可以看出，專家在“安排有效度”上有較大的分歧，在“用戶滿意度”上也有一定的分歧，因此采用后一種方法能夠作出具有更大共識、也更為合理的判斷。

三、審核評估為何需要綜合評價卡

首先，審核評估中采用綜合評價卡是為了更好落實該項評估的功能定位。作為我國首次系統(tǒng)引進的一項院校評估模式，審核評估的根本性的定位是對院校的內(nèi)部質(zhì)量保障機制及整個質(zhì)量工作進行評審。審核重點是學(xué)校人才培養(yǎng)目標與培養(yǎng)效果的實現(xiàn)狀況(實際上就是內(nèi)部質(zhì)量保障有效性這一核心)以及適應(yīng)度、保障度、滿意度等。綜合評價卡便是根據(jù)質(zhì)量保障本身的不同維度加上每個維度的若干達標程度編制而成的，它既反映了質(zhì)量建設(shè)內(nèi)在的規(guī)律性，又與審核評估的審核范圍具有很高的匹配度，是幫助評估者全面認識和深度理解審核范圍的一種解碼器，也是內(nèi)部質(zhì)量保障機制及院校質(zhì)量工作評價的一個很好的參照系。

表2 綜合評價卡與審核要素的對應(yīng)關(guān)系及達成度定性描述 [4]

表3 某高校B的專家組原始評價結(jié)果

根據(jù)教育部的實施方案，審核評估的結(jié)論不搞通過不通過或者評出優(yōu)良中差，而是將在評估結(jié)束后提供寫實性報告。那么，這個寫實性報告怎么去寫實呢？

我認為寫實性評估報告要真正寫實，不只是要通過實證手法呈現(xiàn)評估發(fā)現(xiàn)的事實，而且要結(jié)合實際的成績和問題作出實質(zhì)性的評估結(jié)論并就評后改進作出建設(shè)性安排。具體來說，一是要依據(jù)實際證據(jù)。寫實性報告首先要嚴格按照所獲取的證據(jù)來寫，“有七分證據(jù)不說八分話”。二是認可改進實績。對于學(xué)校按照上一輪評估中專家針對問題提出的改進建議所取得進展的實際情形，要作出是否已改進或已改進到何種程度的判斷和描述。三是要具體判斷實情。根據(jù)評估實情作出具體的結(jié)論，不僅要指出已經(jīng)做得很好因而值得贊揚的方面和做得還不夠因而需要改進的方面，同時還要特別強調(diào)針對學(xué)校在自評中發(fā)現(xiàn)的問題以及已經(jīng)在自評報告中提出的解決路徑，提出同行認可性的意見以及建議繼續(xù)強化的意見。四是突出實際問題。圍繞參評院校的突出問題或者學(xué)校自己選定的特定課題，作出專題性的深度剖析，提出相應(yīng)的建設(shè)性意見。五是給出實質(zhì)結(jié)論。使用內(nèi)外部基準比對、三角定鑒及痕跡追蹤等方法，發(fā)現(xiàn)并指出實際存在的學(xué)業(yè)及學(xué)術(shù)風險，作為作出總體性判斷的依據(jù)，以明確指出學(xué)校在內(nèi)部質(zhì)量保障以及績效表現(xiàn)方面實際所處的位置或階段。六是關(guān)注后續(xù)實效。針對評估后如何處理評估發(fā)現(xiàn)和評估結(jié)論，提出適當處置意見，使評估工作真正服務(wù)于評后的改進。

在這些寫實性的報告環(huán)節(jié)中，作出總體性的判斷并給出實質(zhì)性的結(jié)論是至關(guān)重要的。教高[2013]10號文明確要求，審核評估首先要“在全面深入考察和準確把握所有審核內(nèi)容基礎(chǔ)上，對各審核項目及其要素的審核情況進行描述，并圍繞審核重點對學(xué)校本科人才培養(yǎng)總體狀況作出判斷和評價”。這實際上是對評估內(nèi)容的全面性、評估發(fā)現(xiàn)的深入性、評估聚焦的選擇性、事實描述的總體性和價值判斷的終結(jié)性提出了實質(zhì)性的要求。那么在評估報告中又怎么才能體現(xiàn)這些要求呢？我認為，綜合評價卡便是可以較平衡地體現(xiàn)這些要求的評估結(jié)論的一種直觀呈現(xiàn)方式。它既能涵蓋證據(jù)收集的所有范圍，給數(shù)據(jù)的深入挖掘提供指引，又為確立評估重點理清了思路，為作出整體性結(jié)論搭建了框架。可以說，離開了這種綜合性的評價工具，審核范圍難免顯得面面俱到，數(shù)據(jù)整合難免出現(xiàn)支離破碎，討論分析難免偏離問題焦點，而評估結(jié)論難免陷入觀點失衡。綜合評價卡貴在綜合，它顧及從投入到教學(xué)過程和學(xué)習(xí)產(chǎn)出的質(zhì)量生成的所有基本環(huán)節(jié)，關(guān)照從規(guī)劃、實施到檢測、行動的質(zhì)量管理的整個過程，貫穿從目標、路徑到執(zhí)行、結(jié)果和改進的質(zhì)量評價主線，為專家作出更加全面深入的思考、評估機構(gòu)作出更加平衡準確的決定、參評院校進行更有針對性的自我剖析和后續(xù)改進，提供了一項有效工具。

其次，審核評估中采用綜合評價卡是為了能更好地幫助專家開展評估。審核評估采用專家進校前分頭準備、在校時“全面考察、各有側(cè)重、深入交流、獨立判斷”的方式介入評估工作。盡管有統(tǒng)一的審核范圍及基本的評估程序，但是專家的評估活動大多是單獨分散進行的。因此，集中的討論和同一的評審尺度就顯得尤為重要，而綜合評價卡就為專家這樣的內(nèi)部分析、相互討論和整體判斷提供了一個基本的尺度。它既可以方便專家們在同一個平臺上分析證據(jù)、交流各自的觀點，還為他們尋求共識、作出判斷提供了一個便捷的工具。如果使用得當，它可以幫助專家去偽存真、克服片面性，高效地形成專家個人及專家組集體的總體評價意見。由于專家組是在現(xiàn)場考察后半段即將形成評估結(jié)論前使用這一工具，所以使用過程并無任何障礙，網(wǎng)上填寫綜合評價卡更是只需要短短的半分鐘之內(nèi)的簡單點擊就可以輕松完成。綜合評價卡的使用不僅不會增加專家的工作負擔，而且是使他們的工作更加條理化、簡便化的一個輔助性手段。

第三，審核評估中采用綜合評價卡是為了能夠規(guī)避該項評估的主要風險。審核評估的順利實施仍然面臨諸多困難和挑戰(zhàn)。中國本身的院校評估的專業(yè)化之路還十分漫長。一方面在教育的管辦評分離未有落實的條件下，評估機構(gòu)遠非是獨立專業(yè)的權(quán)威部門，其獨立性、專業(yè)性和權(quán)威性明顯不足，評估運作過程受到種種制約和干擾，另一方面評估者的專業(yè)素質(zhì)和業(yè)務(wù)水平無法滿足發(fā)展需要，對評估工作原則、目標功能定位、評估程序以及方法與技術(shù)的認識明顯不足，甚至對于作為后啟外發(fā)的評估這一專業(yè)行當?shù)脑S多基本概念還沒有很好地消化吸收。同時，由于涉及審核評估的本體性研究嚴重不足，學(xué)界及組織實施部門對于該評估模式的基本概念、關(guān)注焦點、相關(guān)程序、核心價值和技術(shù)路徑等的認識容易出現(xiàn)偏差，既有該評估模式的核心要件在設(shè)計上出現(xiàn)缺胳膊少腿的現(xiàn)象，又有具體實施過程中遭遇穿新鞋走老路問題的風險。有的院校甚至已經(jīng)出現(xiàn)了完全背離審核評估初衷、督促院系購買檔案柜集中整理“完善”檔案的情況。

審核評估作為我國首次引進的一種評估模式和已經(jīng)實施的一個獨立評估項目，在本土化改造后能否整合一致地服務(wù)于院校的內(nèi)部質(zhì)量保障與持續(xù)改進，目前來看仍然存在適切性、可行性和有效性方面的管理風險，包括評估標準與院校質(zhì)量目標匹配性不夠的風險、評估方法與評估目的匹配性不夠的風險以及評估證據(jù)與評估結(jié)論匹配性不夠的風險等。審核評估實施過程中最重要的風險和挑戰(zhàn)是，由于矯枉過正，容易從上一輪本科教學(xué)評估的極其劃一性和高厲害性走上本輪評估隨意性和無利害的另一個極端，造成參評院校簡單應(yīng)付和輕松過關(guān)的思想泛濫，使作為質(zhì)量主體的學(xué)校師生的參與大打折扣，使完善內(nèi)部質(zhì)量保障機制的評估目標最終落空。從目前的審核評估實際運作機制、專家培訓(xùn)內(nèi)容、具體評估環(huán)節(jié)、院校自評過程和審核評估報告來看，這些困難和挑戰(zhàn)是現(xiàn)實的風險。

就拿審核評估報告來說，目前過于淡化整體性結(jié)論、排斥等級性描述，所謂寫實性報告不作通過或不通過的判斷、不給等第。似乎只有這樣才能克服上一輪評估的弊端，而事實是除了利害度的降低和隨意性的提高，傳統(tǒng)評估的許多做法仍然是可以一切照舊的。我們一直習(xí)慣于在肯定主流的同時指出問題，而指出的問題往往在很長的歷史階段仍然繼續(xù)存在，有些還變得更為嚴重。如果我們這輪評估最終采用沒有多少約束性的輕描淡寫和不痛不癢的文字進行所謂寫實，那么最后的結(jié)果就會與上輪評估高壓低效下的虎頭蛇尾和最終皆大歡喜的高優(yōu)秀率沒有什么實質(zhì)的兩樣，只不過是一些人的弄虛作假變成了更多人的只虛不假?？此朴欣谌婵偨Y(jié)和誠實反思，但卻實際缺少了問題聚焦和評估實效。不少參評院校將審核評估看成可以不講標準、不分高低、不看結(jié)論的“簡略版”甚至“休閑版”評估，在自評中師生的參與少之又少，在評估后實質(zhì)性的改進更加難以推動?？峙掠械膶W(xué)校連審核評估究竟是評什么都沒有搞清就已經(jīng)皆大歡喜地完成評估任務(wù)了；而有的學(xué)校連PDCA都沒有翻譯對就在一片贊揚聲中接受評估的圓滿成功了；有的學(xué)校在用純粹的傳統(tǒng)評估手段應(yīng)對完這么輕松的評估后就已經(jīng)迫不及待地開始到處去介紹這種“新式”評估的參評經(jīng)驗了；有的學(xué)校只是匆匆地推銷完自己的從未實際運作過的質(zhì)量保障體系就已經(jīng)率先通過這類評估了；而有的學(xué)校從別的學(xué)校那里隨意克隆一個質(zhì)量環(huán)路也就順理成章地過關(guān)了；更不用說有的學(xué)校依靠傳統(tǒng)的購置檔案柜和整理材料的方式將之對付過去便無疑顯得十分安全和輕松了。

其實，境外的審核評估報告一般均要求給出整體性結(jié)論，對于是否通過評估或在何種程度上通過評估普遍要求作出明確判斷，不僅評估過程中要根據(jù)所獲證據(jù)作出相應(yīng)的判斷，而且也要在審核評估報告中以差別化的等第描述來反映評估結(jié)論。芬蘭甚至把評估結(jié)論設(shè)為通過或不通過，2005開始的首輪評審中就有較高比例的院校沒有通過而得到了需要“重新評審”的結(jié)論；有個國家不僅給出不同等級的結(jié)論，而且確定不同的評估周期。所以，評估報告不能一味地強調(diào)低利害，只要能夠少一些人為的壓力、多一些專業(yè)的建議，學(xué)校就會對評估結(jié)果多一份理解和支持。其實，學(xué)校對那些沒有實質(zhì)內(nèi)容的評估報告才是最反感的。

審核評估中采用綜合評價卡可以幫助我們較好地規(guī)避掉該評估項目的上述這些主要風險，無論是對于彌補我們教育評估專業(yè)化水平的不足和對審核評估認識的欠缺，還是推動該項評估順利啟動和平穩(wěn)開展，都是有益的。特別是綜合評價卡能夠在通過定性評價手段保持較低利害度的前提下，通過寫實性呈現(xiàn)方式堅守了評估的有用性。每個參評學(xué)校拿到這樣的一張評價卡，不用擔心與別人比高低的壓力，而是可以看到與眾不同的、個性化的、獨一無二的、真實的自己。審核評估中采用綜合評價卡可以幫助院校更好地認識自身的優(yōu)勢與不足，特別是發(fā)現(xiàn)內(nèi)部質(zhì)量保障的實際現(xiàn)狀，看出目前的薄弱環(huán)節(jié)和未來的努力方向，為院校評后的持續(xù)改進提供支持。作為一項新近提出的還需要不斷完善的評估工具，綜合評價卡還需要進一步細化評審準則，為專家及參評學(xué)校更好地使用編寫出一個簡要的指導(dǎo)與培訓(xùn)材料。同時，還可以進一步開發(fā)和完善相關(guān)的配套工具，以便更好地對院校質(zhì)量建設(shè)的相關(guān)趨勢和因果關(guān)系等進行分析、描述和呈現(xiàn)。

[1]Cameron Kim,Wesley Sine.A framework for organizational quality culture[J].Quality Management Journal，1999，6(4):7-25.

[2]Isaiah O Ugboro,Kofi Obeng.Top management leadership,employee empowerment,job satisfaction,and customer satisfaction in TQM organizations:an empirical study[J].Journal of Quality Management,2000(5):247-272.

[3]袁益民.審核評估：如何真正做到正確認識，確保平穩(wěn)開展[J].高教發(fā)展與評估，2015(1)：1-16.

(責任編輯：沈秀)

Comprehensive Progress Report Card as a New Tool for Institutional Quality Audit in Jiangsu

Yuan Yimin

(Jiangsu Agency for Educational Evaluation,Nanjing 210024,China)

Jiangsu Agency for Educational Evaluation adopts a comprehensive progress report card as an assessment tool in its recent institutional quality audit of two institutions of the Province.The report card consists of 10 dimensions of internal quality assurance plus 5 levels of attainment for each dimension.The status of the internal quality assurance of an audited institution is interpreted by a certain attainment level of each dimension,and it can also be expressed by a coordinates curve.In the two cases of institutional quality audit,the comprehensive progress report card has served as a useful tool for helping the auditors to make their judgments about the status of the internal quality assurance system of an audited institution.It can also be used as a framework for guiding institutions in data mining and conducting follow-up activities of continuous improvement.

institutional quality audit;comprehensive progress report card;internal quality assurance

2015-10-20

袁益民(1963—)，男，江蘇江陰人，研究員，主要從事教育評估研究。

G64

A

2095-042X(2015)06-0082-05

10.3969/j.issn.2095-042X.2015.06.014