基于改進TOPSIS法的大創(chuàng)項目評價體系實證研究——以X校法學(xué)專業(yè)為例

夏 紅, 崔利宏

(1.遼寧師范大學(xué) 法學(xué)院，遼寧 大連 116081；2.遼寧師范大學(xué) 數(shù)學(xué)學(xué)院，遼寧 大連 116029)

黨的十七大提出了“提高自主創(chuàng)新能力，建設(shè)創(chuàng)新型國家” 和“促進以創(chuàng)業(yè)帶動就業(yè)”的發(fā)展戰(zhàn)略。2010年5月，教育部下發(fā)了《關(guān)于大力推進高等學(xué)校創(chuàng)新創(chuàng)業(yè)教育和大學(xué)生自主創(chuàng)業(yè)工作的意見》(教辦[2010]3號)，明確提出：在高等學(xué)校開展創(chuàng)新創(chuàng)業(yè)教育，積極鼓勵高校學(xué)生自主創(chuàng)業(yè)，是服務(wù)于創(chuàng)新型國家建設(shè)的重大戰(zhàn)略舉措；是深化高等教育教學(xué)改革，培養(yǎng)學(xué)生創(chuàng)新精神和實踐能力的重要途徑；是落實以創(chuàng)業(yè)帶動就業(yè)，促進高校畢業(yè)生充分就業(yè)的重要措施(1)教育部關(guān)于大力推進高等學(xué)校創(chuàng)新創(chuàng)業(yè)教育和大學(xué)生自主創(chuàng)業(yè)工作的意見[EB/OL].[2018-11-22].http:∥old.moe.gov.cn∥publicfiles/business/htmlfiles/moe/info_list/201105/xxgk_120174.html.。在該文件中，創(chuàng)新創(chuàng)業(yè)教育教學(xué)質(zhì)量監(jiān)控系統(tǒng)是大力推進高等學(xué)校創(chuàng)新創(chuàng)業(yè)教育工作六項工作之一。創(chuàng)新創(chuàng)業(yè)教育在我國已經(jīng)開展十年。根據(jù)《教育部財政部關(guān)于“十二五”期間實施“高等學(xué)校本科教學(xué)質(zhì)量與教學(xué)改革工程”的意見》(教高[2011]6號)和《教育部關(guān)于批準(zhǔn)實施“十二五”期間“高等學(xué)校本科教學(xué)質(zhì)量與教學(xué)改革工程”2012年建設(shè)項目的通知》(教高函[2012]2號)精神，2012年2月教育部下發(fā)了《關(guān)于做好“本科教學(xué)工程”國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃實施工作的通知》，通過立項方式在全國啟動專門針對大學(xué)生群體，特別是本科階段大學(xué)生的創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃(2)教育部關(guān)于做好“本科教學(xué)工程”國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃實施工作的通知[EB/OL].[2019-01-16].http:∥old.moe.gov.cn∥publicfiles/business/htmlfiles/moe/s5649/201404/xxgk_166881.html.。各層級(國家級、省級、校級)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項目(以下簡稱“大創(chuàng)項目”)是推進創(chuàng)新創(chuàng)業(yè)教育的重要平臺和方式。2015年5月，國務(wù)院辦公廳下發(fā)了《關(guān)于深化高等學(xué)校創(chuàng)新教育改革的實施意見》([2015]36號)，深入、持續(xù)推進創(chuàng)新創(chuàng)業(yè)教育(3)國務(wù)院辦公廳關(guān)于深化高等學(xué)校創(chuàng)新創(chuàng)業(yè)教育改革的實施意見[EB/OL].[2019-01-16].http:∥www.gov.cn/xinwen/2015-05/13/content_2861327.htm.。

對于創(chuàng)新創(chuàng)業(yè)教育重要組成部分的大創(chuàng)項目進行客觀、科學(xué)評價是引導(dǎo)大創(chuàng)項目健康發(fā)展的重要途徑。為了更好地對大創(chuàng)項目開展情況進行了解與認識，相應(yīng)的評價體系就不可或缺。為此，筆者嘗試以第四代教育評價理論為指導(dǎo)，將層次分析法(簡稱AHP法)和逼近理想解排序法(簡稱TOPSIS法)相結(jié)合，探索出一種新的大創(chuàng)項目評價模型。AHP法能夠較為科學(xué)地分配各項指標(biāo)的權(quán)重值，TOPSIS法則能夠根據(jù)有限評價對象與理想化目標(biāo)的接近程度進行排序。將二者結(jié)合起來能夠較為科學(xué)、合理、有效地對大創(chuàng)項目的全程進行評價，并且對項目所取得的效果進行監(jiān)測。

一、評價指標(biāo)的構(gòu)成

AHP法在決策分析時，可對一個由多個因素構(gòu)成的相互關(guān)聯(lián)、相互制約的復(fù)雜系統(tǒng)從不同角度進行評價。AHP法根據(jù)系統(tǒng)的決策目標(biāo)將問題層次化、條理化，建立遞階層次結(jié)構(gòu)，并形成一個多層次的分析結(jié)構(gòu)模型。分析結(jié)構(gòu)模型一般由高到低分為目標(biāo)層、系統(tǒng)層(準(zhǔn)則層)和指標(biāo)層，利用下層對上層的相對重要性來確定因子的權(quán)重。

筆者在大創(chuàng)項目一級指標(biāo)(目標(biāo)層)下選取4個二級指標(biāo)(系統(tǒng)層)和7個三級指標(biāo)(指標(biāo)層)構(gòu)成綜合評價指標(biāo)體系模型。其中系統(tǒng)層包括項目基礎(chǔ)、項目進程、項目結(jié)果和項目成效4個指標(biāo)。綜合考慮開展大創(chuàng)項目的具體過程以及數(shù)據(jù)的可獲取性，選取合適的評價指標(biāo)，構(gòu)建大創(chuàng)項目綜合評價指標(biāo)體系(見表1)。

項目基礎(chǔ)包括項目級別和項目類型2個指標(biāo)層指標(biāo)。其中項目級別分為國家級、省級和校級3個等級。項目類型包括創(chuàng)新訓(xùn)練項目、創(chuàng)業(yè)訓(xùn)練項目和創(chuàng)業(yè)實踐項目3種。項目進程主要根據(jù)中期檢查情況進行定性評價，包括優(yōu)秀、良好、合格、不合格4個等級。項目結(jié)果包括結(jié)項評價和成果類型及數(shù)量2個指標(biāo)層指標(biāo)。結(jié)項評價包括優(yōu)秀、良好、合格、不合格4個等級。成果類型及數(shù)量綜合考察法學(xué)專業(yè)大創(chuàng)項目開展的實際情況，主要包括已發(fā)論文、未發(fā)論文、調(diào)查報告、專題講座和決策建議5種形式。根據(jù)類型和數(shù)量對每種成果進行定量考察。項目成效包括成果獲獎和考研2項指標(biāo)層指標(biāo)。

表1 大創(chuàng)項目綜合評價指標(biāo)體系

二、基于改進TOPSIS法的大創(chuàng)項目綜合評價模型構(gòu)建

TOPSIS法又稱為優(yōu)劣解距離法，是由C.L.Hwang和K.Yoon于1981年首次提出的。該方法是一種運用距離作為評價標(biāo)準(zhǔn)的綜合評價法。在TOPSIS法中，通過檢測評價對象與最優(yōu)解、最劣解的距離來進行排序，若評價對象最靠近最優(yōu)解同時又最遠離最劣解，則為最好，反之則為最差。TOPSIS法是多目標(biāo)決策分析中一種常用且有效的方法，能夠科學(xué)有效地評價多目標(biāo)問題。但是在大創(chuàng)項目評價中，項目的運行是按照優(yōu)中選優(yōu)的思路和標(biāo)準(zhǔn)進行的，且不同項目運行又具有個性化特質(zhì)，最劣解似乎無從談起，或者無法界定。因此，在本研究中對TOPSIS法進行了改進，即只測量評價對象與最優(yōu)解(本文稱為最優(yōu)正理想解)的距離的方法對項目質(zhì)量進行評價。

設(shè)大創(chuàng)項目的原始評價指標(biāo)矩陣為：

(1)

式(1)中的Z為初始評價矩陣；zij為第i個項目第j個指標(biāo)的初始值：i=1,2,…m，m為參評的大創(chuàng)項目，j=1,2,…n，n為評價指標(biāo)數(shù)。

構(gòu)建標(biāo)準(zhǔn)化決策矩陣V=(vij)m×n，其中，

(2)

式(2)中的vij為第i個大創(chuàng)項目第j個指標(biāo)的標(biāo)準(zhǔn)化值，i=1,2,…m,j=1,2,…n。構(gòu)建加權(quán)決策矩陣。將矩陣V與指標(biāo)權(quán)重相乘，得到加權(quán)標(biāo)準(zhǔn)化決策矩陣：

R=(rij)n×n，rij=wjvij，i=1,2,…m,j=1,2,…n。

(3)

(4)

確定各個指標(biāo)與最優(yōu)解的距離，本文采用絕對平均距離計算公式：

(5)

三、改進TOPSIS法應(yīng)用實例

X校法學(xué)專業(yè)2011年開始有校級大創(chuàng)項目立項，2012年開始有省級大創(chuàng)項目立項，2013年開始有國家級大創(chuàng)項目立項。鑒于前兩年資料保留和數(shù)據(jù)提取不全等原因，筆者并未將其納入本次研究中。2017年度的立項正在進行中，尚未全部結(jié)項，本次研究也未予考慮。故而，本次應(yīng)用僅針對2014—2016年度的各層級大創(chuàng)項目進行。2014—2016年X校法學(xué)專業(yè)共有各層級大創(chuàng)項目22項，其中,國家級8項、省級6項、校級8項。全部項目中僅有2項創(chuàng)業(yè)訓(xùn)練項目(均為國家級)，其余均為創(chuàng)新訓(xùn)練項目。

(一)指標(biāo)定量化

評價體系中的各項指標(biāo)按照以下方式賦值。

項目級別按照立項來源賦值，教育部立項的為國家級，省教育廳立項的為省級，學(xué)校立項的為校級，對應(yīng)值分別為10、6、3。

項目類型以創(chuàng)新訓(xùn)練項目為基礎(chǔ)，其值為10，創(chuàng)業(yè)訓(xùn)練項目基于其難度、復(fù)雜程度等，在創(chuàng)新訓(xùn)練項目的基礎(chǔ)上加權(quán)1.5，其值為15。

中期檢查和結(jié)項評價采用專家鑒定方式。鑒定結(jié)果分為優(yōu)秀、良好、合格和不合格4個等級，對應(yīng)值分別為10、6、3、0。

成果類型及數(shù)量采用分類定量方式賦值：分為已發(fā)論文(f1)、未發(fā)論文(f2)、調(diào)查報告(f3)、專題講座(f4)、決策建議(f5)5類，對應(yīng)值分別為10、8、6、5、4；已發(fā)論文數(shù)量為n1，未發(fā)論文數(shù)量為n2，調(diào)查報告數(shù)量為n3，專題講座數(shù)量為n4，決策建議數(shù)量為n5；用C代表成果類型及數(shù)量值。計算方法為：

C=f1×n1+f2×n2+f3×n3+f4×n4+f5×n5

(6)

項目成效中的獲獎采用分類定量方式賦值：省級一等獎對應(yīng)值為10(h1)，省級二等獎對應(yīng)值為8(h2)，省級三等獎對應(yīng)值為7(h3)，省學(xué)會獎對應(yīng)值為6(h4)，學(xué)校獎對應(yīng)值為2(h5)；各類型獎勵數(shù)量分別為j1、j2、j3、j4、j5，用J代表獲獎值。計算方法為：

J=h1×j1+h2×j2+h3×j3+h4×j4+h5×j5

(7)

考取985院校研究生的考核項權(quán)重為1.5；考取211院校研究生的考核項權(quán)重為1.3；考取國外研究生(留學(xué))的考核項權(quán)重為1.4?？既?85院校、211院校和赴國外攻讀研究生的數(shù)量分別為k1、k2、k3。用K代表考研值。計算方法為：

(8)

根據(jù)指標(biāo)定量化賦值標(biāo)準(zhǔn)，X校法學(xué)專業(yè)2014—2016年度全部大創(chuàng)項目各項評價指標(biāo)值見表2。

表2 X校法學(xué)專業(yè)2014—2016年度大創(chuàng)項目評價指標(biāo)值

(二)指標(biāo)權(quán)重的確定

采用層次分析法對系統(tǒng)層和指標(biāo)層各項指標(biāo)進行權(quán)重計算，結(jié)果見表3。各項指標(biāo)最終權(quán)重為0.077 7、0.122 3、0.250 0、0.048 5、0.201 6、0.109 4、0.109 7。

(三)評價結(jié)果

大創(chuàng)項目評價指標(biāo)均為效益型指標(biāo)，即指標(biāo)值越大意味著項目完成質(zhì)量越好。由式(4)(5)計算正負理想解，再由式(6)(7)(8)計算各評價對象與最優(yōu)理想解的距離S*，結(jié)果見表4。

表3 大創(chuàng)項目評價指標(biāo)權(quán)重

表4 X校法學(xué)專業(yè)2014—2016年大創(chuàng)項目評價指標(biāo)值對應(yīng)的標(biāo)準(zhǔn)化決策矩陣

由表4可以看出，單純使用AHP法和使用改進TOPSIS法后的排序結(jié)果有所不同：9個項目使用兩種方法的排序沒有變化，編號分別為4、7、10、12、15、18、19、20、21；9個項目排序有所上升，編號分別為1、2、3、5、8、11、13、16、22；4個項目排序下降，編號分別為 6、9、14、17。排序變化較大的4個項目分別為：編號9，使用AHP法排序第1，使用改進TOPSIS法后排序第5，排序下降5個位次；編號5，使用AHP法排序第12，使用改進TOPSIS法后排序第8，排序提升4個位次；編號3，使用AHP法排序第5，使用改進TOPSIS法后排序第2，排序上升3個位次；編號14，使用AHP法排序第9，使用改進TOPSIS法后排序第12，下降3個位次。另外，編號1、2、8、11、13、16使用改進TOPSIS法后比使用AHP法排序上升1個位次，而編號17則下降一個位次。

相對而言，項目中若有某個指標(biāo)值突出，在AHP法中，就容易獲得較高排序，9號項目就是典型例證。該項目因其中期檢查評級為優(yōu)秀(是全部22個項目中唯一一個中期檢查為優(yōu)秀成績的項目)，從22個項目中脫穎而出，排序靠前；14號項目因成果數(shù)量和類型值在22個項目中最高(該項目有1篇發(fā)表論文、2篇未發(fā)表論文、2篇調(diào)查報告)，在使用AHP法評價時，也可排到比較好的位次。但是這兩個項目的其他指標(biāo)值并不特別突出，使用改進TOPSIS法評價后，項目排序均有所下降。

改進TOPSIS法評價體系更注重項目整體各項指標(biāo)的均衡性和全面性。只有各項考察指標(biāo)均有較好的表現(xiàn)時，才能獲得較靠前的排序(評價)。如1號項目，過程扎實，效果顯著，在使用AHP法時排序第2，在使用改進TOPSIS法后排序第1。該項目為國家級創(chuàng)業(yè)訓(xùn)練項目，項目級別、項目類型等均獲得較高賦值，項目開展過程中，項目組參加了2次X省大學(xué)生創(chuàng)業(yè)競賽項目，均獲得一等獎；項目組5名成員中有3人考取碩士研究生，其中1人赴國外攻讀學(xué)位。可見，該項目團隊在項目開展過程中能夠?qū)I(yè)知識學(xué)習(xí)與項目開展緊密結(jié)合，學(xué)以致用，用以促學(xué)，錘煉了技能，提升了素質(zhì)，是一個非常成功的大創(chuàng)項目。3號項目各項指標(biāo)也均有較好表現(xiàn)，在使用改進TOPSIS法后，排序較之前有3個位次的提升。

在評價中，若項目中有指標(biāo)缺項(即某項指標(biāo)值為0)，仍需看項目的綜合情況。5號項目和16號項目排序的變化就是很好的例證。16號項目在使用AHP法評價時排序第10，5號項目在使用AHP法評價時排序第12，二者的差別在于：5號項目為國家級創(chuàng)業(yè)訓(xùn)練項目，16號項目為校級創(chuàng)新訓(xùn)練項目；16號項目的考研值得分很高，項目成員中有3/4考取了研究生，其中有2人考取211院校。但在使用改進TOPSIS法評價時，5號項目排序第8，16號項目排序第9。總體而言，5號項目在申報時質(zhì)量和難度顯著高于16號項目；同時，基于創(chuàng)業(yè)訓(xùn)練項目的特質(zhì)，其并不以發(fā)表論文見長，但是該項目參加了X省的創(chuàng)業(yè)項目競賽，并且獲得銅獎，項目組成員在比賽中受到的鍛煉和提升更多；而16號項目無獲獎，得分為0。顯然，5號項目的綜合效果和質(zhì)量要優(yōu)于16號項目。因此，并不能單純地以考研一項指標(biāo)評價項目質(zhì)量和效果。

四、結(jié) 語

目前，大創(chuàng)項目評價主要通過結(jié)項驗收方式進行定性評價，是一種以專家為評價主體的鑒定性評價，主觀性、隨機性較強。這種大創(chuàng)項目評價方式以判斷為核心，體現(xiàn)出較多的管理性特征，該種評價方式仍停留在教育評價理論的第三階段。而當(dāng)前的教育評價理論已經(jīng)更新為第四代，以“回應(yīng)”和“協(xié)商”為重要標(biāo)志，強調(diào)“評價最終只是利益相關(guān)者對現(xiàn)實的一個重構(gòu)，是一個創(chuàng)造的過程”(4)楊彩菊，周志剛.第四代評價理論對高等職業(yè)教育評價的啟迪與思考[J].中國職業(yè)技術(shù)教育,2012(30):71.?；诟倪MTOPSIS法對大創(chuàng)項目進行的綜合評價，是應(yīng)用第四代教育評價理論的一種嘗試。基于改進TOPSIS法的大創(chuàng)項目評價體系克服了單純定性考察的模糊性和主觀性，以及單純依靠結(jié)項鑒定進行項目評價的單一性，將定性和定量、評價和監(jiān)測有機地結(jié)合起來，運用科學(xué)的方法進行權(quán)重分配，通過與最優(yōu)正理想解的距離測量每個項目的綜合狀況，并進行排名，對每個項目的評價和診斷更加全面、立體和系統(tǒng)，不僅能夠更加準(zhǔn)確地對已開展項目進行測評，同時也會對其他項目的開展有很強的啟示和指引作用?；诟倪MTOPSIS法的大創(chuàng)項目評價體系與大創(chuàng)項目開展的基本宗旨緊密契合。

“教育評價是為了改進，而不是證明，教育評價的功能由側(cè)重甄別轉(zhuǎn)向注重診斷、激勵和發(fā)展，已經(jīng)成為當(dāng)代教育評價發(fā)展的重要趨勢”(5)董奇，趙德成.發(fā)展性教育評價的理論與實踐[J].中國教育學(xué)刊,2003(8):19.。教育評價和效果監(jiān)測日益走向程序化、規(guī)范化、技術(shù)化以及可測量化(6)劉振天.為何要提“高等教育質(zhì)量文化”[EB/OL].[2018-05-21].http:∥www.qstheory.cn/zhuanqu/zywz/2016-06/07/c_1119000638.htm.。因此，創(chuàng)新創(chuàng)業(yè)教育評價有必要在立足發(fā)展的基礎(chǔ)上，采用數(shù)學(xué)模型進行評價分析以及效果監(jiān)測，以期在評價過程中更好地培養(yǎng)和激發(fā)學(xué)生的創(chuàng)新創(chuàng)業(yè)精神，提升其創(chuàng)新創(chuàng)業(yè)素養(yǎng)，推進創(chuàng)新能力向創(chuàng)業(yè)實踐升級和轉(zhuǎn)化。