應(yīng)用型大學專業(yè)實驗室創(chuàng)新績效評價研究

趙淳宇, 汪必琴, 楊宇科, 唐璽躍, 袁麗娟

(1. 四川師范大學 商學院, 四川 成都 610101； 2. 四川師范大學 實驗室與設(shè)備管理處, 四川 成都 610066； 3. 四川師范大學 數(shù)學與軟件科學學院, 四川 成都 610066)

為培養(yǎng)學生的創(chuàng)新意識和創(chuàng)新精神,加強學生素質(zhì)教育和提升學生的綜合能力水平,應(yīng)用型大學各專業(yè)實驗室在培養(yǎng)學生實際應(yīng)用、自我探索與創(chuàng)新能力方面,以及在承擔科研與服務(wù)社會職能的過程中,實施了大量的創(chuàng)新,但目前對創(chuàng)新績效如何評價方面的研究較少。因此,如何對應(yīng)用型大學的專業(yè)實驗室創(chuàng)新績效進行評價成為本研究的主題。在以往的相關(guān)研究中,大多側(cè)重于科技創(chuàng)新團隊的科研創(chuàng)新績效[1]、教師教學與培訓的創(chuàng)新績效[2]、知識創(chuàng)新績效[3]、協(xié)同創(chuàng)新績效評價[4]等方面,很少有直接針對專業(yè)實驗室進行創(chuàng)新績效評價的研究。已有的相關(guān)文獻也主要集中在實驗室績效考核[5]、專業(yè)實驗教學質(zhì)量評估[6]、教師實驗教學績效評價[7]等方面。因此,為客觀評價應(yīng)用型大學專業(yè)實驗室的創(chuàng)新績效,須構(gòu)建合理的切實可行的評價指標體系,選擇合適的評價方法,這為實驗教學創(chuàng)新導(dǎo)向和大力發(fā)展創(chuàng)新教育具有積極的意義。本文將在以往的研究基礎(chǔ)上,首先構(gòu)建相應(yīng)的創(chuàng)新績效評價指標體系,然后使用層次分析法方法確定各指標權(quán)重,再使用二元語義多屬性決策對其進行綜合評價,最后通過實例分析驗證該評價指標及方法的可行性。

1 指標體系構(gòu)建

1.1 指標體系

以往對于創(chuàng)新績效評價的視角主要有投入產(chǎn)出角度[8]、效益角度[9]、對象角度[9]、過程角度[10]和網(wǎng)絡(luò)角度[11]等。對于應(yīng)用型大學專業(yè)實驗室而言,也同樣涉及到創(chuàng)新投入、創(chuàng)新產(chǎn)出、過程創(chuàng)新、網(wǎng)絡(luò)角度的組織間的關(guān)系與連接等。結(jié)合專業(yè)實驗室在大學中的作用、大學的基本功能、創(chuàng)新績效評價指標體系的角度與原則,本文分別從實驗教學、科學研究、社會服務(wù)3大方面進行評價并構(gòu)建相應(yīng)指標。

(1) 實驗教學方面。從產(chǎn)出的角度,最終是促使學生知識的吸收和能力的提升。從對象的角度,涉及到教師如何教、學生如何學,以及雙方創(chuàng)新能力的培養(yǎng)與提升。從網(wǎng)絡(luò)角度,學生參與各項比賽或者初創(chuàng)型項目也會涉及跨學校、跨地區(qū)的交流與學習。從效率的角度,包括在人才培養(yǎng)的過程中實驗場所與設(shè)施設(shè)備的利用效率,以及教師和學生對其利用效率和效果的總體滿意度評價等。但利用效率作為常規(guī)績效考核指標,本研究主要體現(xiàn)對創(chuàng)新績效的考核,因此,沒有考慮利用率指標。在以往研究的基礎(chǔ)上,結(jié)合對專業(yè)實驗室的訪談,本文分別以資源投入、創(chuàng)新教學、教學效果、教學成果、教學交流為二級指標進行評價。其中資源投入主要從硬件固定資產(chǎn)、軟件及師資作為三級指標；創(chuàng)新教學主要考察在實驗教學中進行的創(chuàng)新,包括教學案例及編寫情況、開發(fā)實驗項目、自編實驗指導(dǎo)書及講義等；教學效果主要包括師生對實驗教學的滿意度、完成實驗教學、各種比賽獲獎數(shù)量等；教學成果主要包括實驗教改的項目、論文專利、出版教材、獲獎；教學交流主要體現(xiàn)在與同行的學習交流方面。

(2) 科學研究方面。教師利用專業(yè)實驗室的相關(guān)設(shè)施、設(shè)備、軟件或場所等開展或帶領(lǐng)學生進行科學研究,參考目前具有較大影響力的英國高?？蒲性u估機制(research assessment exercise,RAE)[12],結(jié)合應(yīng)用型大學具體情況,主要從科研成果、科研帶動方面進行評價。其中科研成果主要包括出版專著、發(fā)表論文、申請專利、科研項目、科研成果獲獎等；科研帶動主要體現(xiàn)依托實驗室教師帶動學生參與科學研究的項目、團隊、論文等。

(3) 社會服務(wù)方面。對于專業(yè)實驗室而言,最直接的就是結(jié)合其學科所對應(yīng)的行業(yè)為相關(guān)領(lǐng)域其他單位提供測試、實驗、咨詢、培訓,為政府及相關(guān)部門提供相應(yīng)專業(yè)建議,與校外進行相關(guān)項目合作、聯(lián)合培養(yǎng)人才等。

綜上所述,基于科學性、客觀性、可操作性和系統(tǒng)性的原則[13],結(jié)合應(yīng)用型大學專業(yè)實驗室的基本情況與以往的相關(guān)研究,構(gòu)建的相應(yīng)的創(chuàng)新績效評價指標體系見表1。

表1 應(yīng)用型大學專業(yè)實驗室創(chuàng)新績效評價指標體系及權(quán)重

表1(續(xù))

1.2 指標權(quán)重

評價涉及到定量和定性評價。為了盡量減少個人主觀臆斷帶來的弊端,使評價結(jié)果更可信,本研究使用層次分析法計算其指標權(quán)重。其原理是通過分析復(fù)雜系統(tǒng)所包含的因素及相關(guān)關(guān)系,將問題條理化、層次化,分析評價系統(tǒng)中各基本要素之間的關(guān)系,建立系統(tǒng)的遞階層次結(jié)構(gòu)；對每一層次的各要素進行比較,按照一定的標度理論,得到相對重要程度的比較標度并建立判斷矩陣；計算判斷矩陣的最大特征值及其特征向量,并進行一致性檢驗；由判斷矩陣計算被比較要素的相對權(quán)重[14]。

根據(jù)表1的指標體系,征集了10所應(yīng)用型大學各類專業(yè)實驗室及學校實驗設(shè)備職能部門共25名專家對指標權(quán)重信息進行評價,其中23位專家信息有效。將收集的數(shù)據(jù)采用AHP(層次分析法)法確定三級元素屬性權(quán)重。以一級指標為例,確定實驗教學、科學研究、社會服務(wù)的權(quán)重。構(gòu)造判斷矩陣A,歸一化求算數(shù)平均Wi,根據(jù)公式Aw=λmaxw，A為判斷矩陣，λmax

為最大特征根，w為特征向量，求出λmax=3.015,一致性指標C.I.=0.0075,查看平均隨機一致性指標R.I.=0.52,其一致性比例C.I./R.I.=0.0144<0.1,說明結(jié)果是接受一致性檢驗,最后加權(quán)求得最終的一級指標權(quán)重為W=(0.462,0.321,0.217)。即實驗教學、科學研究、社會服務(wù)的指標權(quán)重分別為0.462、0.321、0.217。

同理可得,該指標體系中的二級指標的權(quán)重為：W1=(0.215,0.191,0.203,0.185,0.206),W2=(0.502,0.498),W3=(0.474,0.526)；三級指標的權(quán)重為：W11=(0.356,0.370,0.274),W12=(0.191,0.195,0.202,0.205,0.207),W13=(0.350,0.293,0.357),W14=(0.250,0.250,0.246,0.254),W15=(0.345,0.340,0.315),W21=(0.340,0.364,0.296),W22=(0.334,0.337,0.329),W31=(0.277,0.195,0.263,0.265),W32=(0.510,0.490),指標體系及權(quán)重如表1所示。

2 評價方法

2.1 指標評價標準與方法

如表1所示,本研究構(gòu)建了應(yīng)用型大學專業(yè)實驗室創(chuàng)新績效評價指標體系,并計算了各級指標的權(quán)重,但要對某個實驗室進行創(chuàng)新績效評價,還需要確定三級指標的具體評價方式。在評價的過程中,對于定量測量的部分指標(除C113高級職稱比例外)評價為當年的數(shù)量與其過去3年的均值相比較,對其比值i1大小對應(yīng)“非常好、好、一般、差、非常差”進行分類；對于C113高級職稱比例方面,出于人力資本的累積性特征,直接計算當年高級職稱在實驗師資隊伍中的比例i2,并根據(jù)其大小進行分類；對于定性測量指標,如C131師生滿意度、C133完成實驗教學順利程度,則直接根據(jù)實際情況采用主觀“非常好、好、一般、差、非常差” 的方式評價。采用專家意見法,綜合各位專家的建議,對其比值i1、i2分類標準見表2。

表2 比值對應(yīng)的評價等級

在針對某對象(或目標、準則)進行評價的過程中,又往往具有不確定性,與真實水平會出現(xiàn)偏差,尤其是針對指標體系中各級指標涉及不同的屬性,即多屬性評價時,語言評價的信息損失和集結(jié)結(jié)果也具有不準確性。因此,為了使評價更加精準,還需考慮真實情況與語言評價的偏差。同時,對于實驗室創(chuàng)新績效的評價,實際上也是根據(jù)指標體系對某專業(yè)實驗室所包括實驗教學、科學研究和社會服務(wù)的總體創(chuàng)新進行評價,屬于多屬性決策評價,也會面臨對多屬性評價信息、屬性權(quán)重、專家權(quán)重以及評價值等難以精確衡量的問題。而二元語義多屬性決策方法采用二元語義有序加權(quán)平均算子(T-OWA)則正好有效克服了這些不足,并廣泛應(yīng)用于多目標決策中[15]。因此,本文采用二元語義多屬性決策方法進行綜合評價。

二元語義信息[15]是由一個二元組(sk,k)來表示,二元組中的元素sk為預(yù)先定義好的語言評價集S中的第k個元素,它表示給出的語言評價信息與初始語言評價集中最貼近的語言短語[15]。例如,一個由5個元素(即語言評價)構(gòu)成的評價集S可定義為S={s1=非常差,s2=差,s3=一般,s4=好,s5=非常好}。一般要求S具備有序性、存在逆運算算子、極大化運算和極小化運算等性質(zhì)。二元組中的元素k為符號轉(zhuǎn)移值,且滿足k∈[-0.5,0.5),它表示評價結(jié)果與sk的偏差,可以由專家評價根據(jù)實際情況與sk的偏離方向與程度直接打分。例如,某校經(jīng)濟管理實驗中心和化學實驗中心在三級指標“在實驗室研究的科研項目數(shù)C222”中計算出的指標值分別為1.2和1.8,根據(jù)表2,2個實驗中心均獲得了“好”s4的評價,但實際上1.2和1.8在量化數(shù)據(jù)上是有差別的。為了更準確地反映二者的評價結(jié)果,盡量減少評價誤差,評價專家根據(jù)實際情況在“好”s4的評價基礎(chǔ)上再給一個偏差值k。根據(jù)比值1.2、1.8在s4中取值(1,2)之間所處的程度位置,1.2處于s4的中下水平,1.8處于s4的中上水平,則可分別記為(s4,-0.3)、(s4,0.3)。評價專家根據(jù)各專業(yè)實驗室的實際情況對每一項評價指標均按此方式進行評價。因此,每位專家就某實驗室針對如表1所示的30項三級指標的評價結(jié)果所形成的二元語義信息集為{(sk1,ak1),(sk2,ak2),…,(sk30,ak30)}。

2.2 綜合評價計算方法

二元語義多屬性決策評價總體思路是將二元語義信息轉(zhuǎn)化為二元語義評價矩陣,經(jīng)T-OWA算子集結(jié)信息處理,結(jié)合各指標以及決策者的權(quán)重,最終計算出綜合屬性值。

設(shè){(s1,a1),(s2,a2),…,(sn,an)}是一組二元語義信息,則該組二元語義信息的算術(shù)平均算子為[15]：

(1)

其中,

Δ-1是其逆函數(shù),β∈[0,T]為語言評價集S經(jīng)集結(jié)得到的實數(shù),T為語言評價集S中元素的個數(shù)。

對應(yīng)的二元語義權(quán)重向量W=w1,β1,w2,β2,…,wn,βn,則基于二元語義的加權(quán)算術(shù)平均算子定義為[15]：

(2)

設(shè)有t個評價者,評價者的權(quán)重為λ1,λ2,…,λt,且λ1+λ2+…+λt=1,則指標屬性值為：

(3)

根據(jù)指標屬性值的集合H,以及該集合的二元語義權(quán)重向量W=((w1,β1),(w2,β2),…,(wn,βn)),則綜合屬性值為：

(4)

3 應(yīng)用實例分析

3.1 二元語義多屬性評價

本研究以四川某省屬大學為例,該校是非“985工程”和非“211工程”學校,是一所典型的應(yīng)用型大學,其經(jīng)管實驗室承擔了該校經(jīng)濟類、管理類8個專業(yè)共3 000余名學生的實驗教學、創(chuàng)業(yè)支持和服務(wù)等任務(wù)。該實驗室共有900 m2,包括財務(wù)管理實驗室、會計電算化實驗室、工業(yè)工程實驗室、金融實驗室、審計實驗室、物流仿真實驗室等。請5位專家對該經(jīng)管實驗室分別進行評價。所有評價者擁有相同的地位,因此在本實例中所有專家的權(quán)重相同均為0.2。將專家的評價結(jié)果轉(zhuǎn)換為二元語義評價矩陣。根據(jù)二元語義矩陣數(shù)據(jù)與公式(3)得出二級指標的屬性值,結(jié)果為：

H21={(S3, 0.338 2),(S3,-0.065 3),

(S3, 0.479 9),(S3,-0.150 1),(S3, 0.011 6)}

H22={(S3, 0.126 7),(S3, 0.000 1)}；

H23={(S2, 0.455 3),(S3, -0.298 8)}

然后,根據(jù)AHP法確定的二級元素屬性權(quán)重和指標屬性值,根據(jù)公式(4),計算出一級指標下的指標屬性值：

H11={(S3, 0.125 7)}；H12=

{(S3, 0.064 1)}；H13={(S3, -0.415 3)}

最后,根據(jù)一級元素屬性權(quán)重和指標屬性值,根據(jù)公式(4),計算出綜合屬性值：H={(S3, -0.001 1)}。

3.2 評價結(jié)果分析

由此可得,采用等級分析法確定的指標權(quán)重和二元語義多屬性決策算子得出該實驗室創(chuàng)新績效評價總體為(S3,-0.001 1),對應(yīng)評價等級為“一般”,與該實驗室在同行中所處的地位相匹配。該實驗室創(chuàng)新績效一級指標屬性值由大到小排序為：實驗教學、科學研究、社會服務(wù)。具體情況分析如下。

(1) 在一級指標中,社會服務(wù)的指標屬性值最低,說明相對于實驗教學與科學研究而言,該實驗室在對外服務(wù)方面還需提升。在二級指標中,對外服務(wù)與對外合作的指標屬性值分別為(S2, 0.455 3)、(S3,-0.298 8),分別對應(yīng)“差”和尚未達到“一般”的評價。這表明該校經(jīng)管實驗室在對外提供培訓學習、承接外包業(yè)務(wù)方面還需要進一步加強,以及與校外組織合作開展新項目和與校外組織聯(lián)合培養(yǎng)人才的活動較少。經(jīng)過專家團隊討論,大家一致認為這可能與該校所處的地理位置有關(guān),其所在的城市共有56所高校,其中“985工程”“211工程”大學共5所,地方政府及相關(guān)部門的很多服務(wù)項目以及繼續(xù)學習服務(wù)等大多由這幾所著名高校實施。

(2) 實驗教學指標的評價結(jié)果為“一般”,其二級指標屬性值由大到小排序為：教學效果(S3,0.4799)>資源投入(S3,0.3382)>教學交流(S3,0.0116)>創(chuàng)新教學(S3,-0.0653)>教學成果(S3,-0.1501)。在教學效果方面,該實驗室近年來帶領(lǐng)學生參加了較多比賽,獲得了一些獎項,所開展的實驗課程能夠順利完成；創(chuàng)新教學和教學成果的得分較低,反映了該實驗室在這些方面的不足,尤其是在實驗教材的建設(shè)與科研成果轉(zhuǎn)化為教學案例等方面還需要提高。

(3) 科學研究指標的評價結(jié)果為“一般”,且該指標下的二級指標為科研帶動(S3, 0.1267)和科研成果(S3,0.0001),均屬“一般”。這反映了該實驗室所進行的科研項目、相關(guān)研究論文的發(fā)表以及科研成果獎并不多。這與目前現(xiàn)狀相符,大多數(shù)科研項目都集中于研究型高校,其成果轉(zhuǎn)化相對更多,也具有更多的支持和優(yōu)勢,而一般應(yīng)用型高校的科研項目不多,發(fā)表的論文相對就偏少。

4 結(jié)語

本文通過國內(nèi)外相關(guān)文獻的查閱與梳理,構(gòu)建了應(yīng)用型大學專業(yè)實驗室的創(chuàng)新績效評價指標體系。該體系包括實驗教學、科學研究、社會服務(wù)3個一級指標,9個二級指標和30個三級指標。使用層次分析法對該創(chuàng)新績效評價指標體系的各級各項指標的權(quán)重進行了計算,其中一級指標實驗教學、科學研究、社會服務(wù)的權(quán)重分別為0.462、0.321、0.217?；诙Z義多屬性決策方法可以對專業(yè)實驗室的創(chuàng)新績效、各級指標的綜合屬性進行評價,學校可以根據(jù)其評價結(jié)果進行比較、分析,以利于實驗室根據(jù)其評價結(jié)果提出針對性的改進措施,從而進一步提高其創(chuàng)新績效。另外,在評價實施過程中,評價主體也可以根據(jù)被評價學校專業(yè)實驗室的具體情況對各評價指標的權(quán)重進行微調(diào),并參照二元語義多屬性決策方法自行計算和評價其創(chuàng)新績效。