地方高?？?jī)效評(píng)估中的數(shù)學(xué)模型

地方高?？?jī)效評(píng)估中的數(shù)學(xué)模型

趙高長(zhǎng)1，高運(yùn)芳2，覃飛3，王欣1，周彬1

(1.西安科技大學(xué) 理學(xué)院，陜西 西安 710054；2.西安工業(yè)大學(xué) 思政部，陜西 西安 710021；3.西安科技大學(xué) 教務(wù)處，陜西 西安 710054)

摘要：地方高校教學(xué)質(zhì)量的準(zhǔn)確評(píng)估，有助于高校之間取長(zhǎng)補(bǔ)短，提高高校資源利用，引進(jìn)良性競(jìng)爭(zhēng)機(jī)制，最終實(shí)現(xiàn)學(xué)校整體教學(xué)水平的提高。通過(guò)對(duì)陜西省十多所地方高校廣泛調(diào)研，對(duì)采集數(shù)據(jù)歸類、合并，并作歸一化處理，結(jié)合PCA，F(xiàn)CM，DEA及BMK算法提出了一種地方高?？?jī)效評(píng)估中的數(shù)學(xué)新模型，給出了該模型的詳細(xì)求解過(guò)程及算法流程，將該模型與傳統(tǒng)模型進(jìn)行了分析比較，基于FCM的優(yōu)化選擇算法將算法復(fù)雜度從O(2n-1)降到了O (n3)，引進(jìn)PCA的DEA模型與DEA-WEI模型復(fù)雜度相當(dāng)。文中將網(wǎng)絡(luò)上大學(xué)某知名排行榜的部分?jǐn)?shù)據(jù)和搜集到的一些地方高校發(fā)展數(shù)據(jù)融合，經(jīng)過(guò)優(yōu)化整理，得到了備選標(biāo)桿集的指標(biāo)數(shù)據(jù)，然后利用論文所給模型借助MATLAB數(shù)學(xué)軟件包在保守標(biāo)桿集及積極標(biāo)桿集兩種情況下對(duì)這些高校作出評(píng)估，結(jié)果表明，方法簡(jiǎn)單實(shí)用、結(jié)論客觀有效。論文將數(shù)據(jù)挖掘等數(shù)學(xué)方法有機(jī)融入到標(biāo)桿分析中，用于地方高?？?jī)效評(píng)估，探索出一條利用標(biāo)桿分析提高高校教學(xué)管理的新思路，豐富了地方高校教學(xué)管理的理論和方法。

關(guān)鍵詞：主成分分析；模糊C-均值算法；數(shù)據(jù)包絡(luò)分析；標(biāo)桿分析法；績(jī)效評(píng)估

DOI:10.13800/j.cnki.xakjdxxb.2015.0222

文章編號(hào)：1672-9315(2015)02-0264-08

收稿日期：*2014-12-20責(zé)任編輯：李克永

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助(41271518)

通訊作者：趙高長(zhǎng)(1965-)，男，陜西大荔人，教授，E-mail:zgc_xa1965@sina.com

中圖分類號(hào)：G 47文獻(xiàn)標(biāo)志碼： A

Mathematicalmodelofperformanceevaluationoflocalcollegesanduniversities

ZHAOGao-chang1，GAOYun-fang2，QIN Fei3，WANGXin1，ZHOUBin1

(1.College of Sciences,Xi’an University of Science and Technology,Xi’an 710054,China;

2.Teaching and Research Institute of Political Theory,Xi’an Technological University,Xi’an 710021,China;

3.Office of Teaching Affairs，Xi’an University of Science and Technology，Xi’an 710054，China)

Abstract：Accurate assessment of teaching quality of local universities can contribute to the complementarity among universities，the improvement of resource utilization，the introduction of healthy competition mechanism，and the enhancement of overall teaching level of universities.Through extensive research of dozens of colleges and universities in Shaanxi province，we classify，consolidate and normalize collected data，as well as combine PCA，F(xiàn)CM，DEA with BMK algorithm，in order to advance a mathematical model of performance evaluation of local colleges and universities，and to provide detailed solution procedure and algorithm flow of this model.Compared with traditional model，this new algorithm based on FCM reduces algorithm complexity from O(2n-1) to O(n3).The complexity of DEA model with PCA is equal to the complexity of DEA-WEI model.In this paper，we obtain the index data of the alternative benchmark after optimization of processing the combination of partial data from one well-known university ranking and collected data about development of local colleges.Then we utilize this model to assess universities with the help of MATLAB math package in two cases：conservative and positive benchmark sets，and the results are objective and effective.This paper organically integrates data mining and other mathematical methods into benchmarking analysis，which is applied to evaluate the performance of local colleges and universities，and explore a new idea to improve the teaching management of universities using benchmarking analysis，and to enrich the theory and method of local universities’ teaching management.

Key words：principal component analysis；fuzzy C-means algorithm；data envelopment analysis；benchmarking；performance evaluation

0引言

隨著高等教育不斷進(jìn)步，招生規(guī)模不斷擴(kuò)大，教學(xué)資源相對(duì)不足引發(fā)的教學(xué)質(zhì)量下滑問(wèn)題日益凸顯，高校在教學(xué)管理、學(xué)科建設(shè)和專業(yè)結(jié)構(gòu)等方面越來(lái)越難以適應(yīng)社會(huì)發(fā)展的需要[1]。面對(duì)這些難題，國(guó)外的經(jīng)驗(yàn)就是學(xué)習(xí)或借鑒新的管理工具或方法，對(duì)自身做綜合評(píng)價(jià)[2]，明確優(yōu)劣勢(shì)，有針對(duì)性的進(jìn)行改進(jìn)，從而完善學(xué)校的管理制度和提高其競(jìng)爭(zhēng)力?？?jī)效評(píng)估是提高教學(xué)效益、并向社會(huì)展示其教育研究成果的主要手段。

準(zhǔn)確和有效的對(duì)高校(定義為決策單元集，Decision Making Units，DMUs) 的績(jī)效表現(xiàn)進(jìn)行綜合評(píng)價(jià)是一個(gè)數(shù)學(xué)問(wèn)題。評(píng)估者常常需要評(píng)估多個(gè)績(jī)效目標(biāo)，這些績(jī)效目標(biāo)之間相互制約和沖突，如果只評(píng)價(jià)一個(gè)單一的績(jī)效指標(biāo)，評(píng)估者將很容易DMUs進(jìn)行排序，但是那樣做的后果會(huì)導(dǎo)致評(píng)估者忽略組織真正的績(jī)效目標(biāo)[3]。因此，高校的績(jī)效評(píng)估從數(shù)學(xué)的角度來(lái)看就是一個(gè)典型的多目標(biāo)決策問(wèn)題。

運(yùn)籌學(xué)領(lǐng)域的學(xué)者們先后研究出了很多理論和方法來(lái)解決這個(gè)問(wèn)題，最為通用的有1947年由von Neumann和Mogenstem提出的期望效用函數(shù)理論(Expected Utility Theory，EUT)；1954年由Savage提出的主觀期望效用理論(Subjective Expected Utility Theory，SEUT)。此外，還有些其它的方法發(fā)展和應(yīng)用，如Roy的ELECTRE法[4-5]、Brans等人的PROMETHEE法[6-8]、C.L.Hwang和K.Yoon的TOPSIS(Technique for Order Preference by Similarity to an Ideal Solution)法[9]和Saaty，T.L的層次分析法(Analytic Hierarchy Process，AHP)[10-11]。通常人們認(rèn)為AHP和TOPSIS代表了美國(guó)大學(xué)的研究，而ELECTRE和PROMETHEE則代表了歐洲大學(xué)的研究。

20世紀(jì)初泰勒在他的科學(xué)管理理論中引用標(biāo)桿做為衡量工作績(jī)效的一個(gè)有效標(biāo)準(zhǔn)，其后在全面質(zhì)量管理(Total Quality Management，TQM)活動(dòng)中應(yīng)用標(biāo)準(zhǔn)數(shù)據(jù)來(lái)作為標(biāo)桿以判斷質(zhì)量的符合性。始于20世紀(jì)90年代，標(biāo)桿分析已成為目前國(guó)外高校研究中普遍使用的一種科學(xué)、系統(tǒng)、靈活的定量分析方法。最早在北美、英國(guó)和澳大利亞興起，隨后逐漸傳播到歐洲各國(guó)。亞洲地區(qū)因接觸得較晚，目前無(wú)論從理論還是實(shí)踐都明顯落后于歐美國(guó)家，香港大學(xué)是亞洲地區(qū)唯一參加到CHEMS CLUB活動(dòng)中的大學(xué)。目前只有印度、韓國(guó)和香港地區(qū)的一些高校進(jìn)行了標(biāo)桿分析實(shí)踐，中國(guó)內(nèi)地還沒(méi)有高校進(jìn)行類似的活動(dòng)。

在我國(guó)，高校應(yīng)用標(biāo)桿分析還是一個(gè)新課題，目前只有劉和旭等人將標(biāo)桿分析法應(yīng)用到了高校教師績(jī)效評(píng)價(jià)方法的研究中，張大群等人則進(jìn)行了標(biāo)桿分析的數(shù)學(xué)理論及其應(yīng)用研究，所用方法要么單一、要么缺乏量化分析。加之高校對(duì)提高高等教育質(zhì)量和管理水平的重視程度還不夠強(qiáng)，缺乏進(jìn)行標(biāo)桿分析研究和實(shí)施的專門(mén)人才，整體而言，尚處于學(xué)習(xí)階段，值得高校進(jìn)一步去研究和應(yīng)用。

文中將結(jié)合模糊C-均值聚類(FCM)、主成分分析(PCA)[12]、數(shù)據(jù)包絡(luò)分析(DEA)建立新的標(biāo)桿分析(BMK)模型，以滿足復(fù)雜情形下的高校管理分析需求。

1FCM和PCA相結(jié)合的標(biāo)桿分析建模

標(biāo)桿分析方法的有效性依賴于標(biāo)桿集和指標(biāo)集的合理選取，下文依據(jù)模糊C-均值聚類[13]數(shù)學(xué)方法進(jìn)行科學(xué)選擇。

1.1基于FCM的標(biāo)桿集優(yōu)化選擇

假設(shè)在某生產(chǎn)實(shí)踐中，給定待分析生產(chǎn)單元DMU0及屬性b*和備選標(biāo)桿集

pB={pb1,pb2,…,pbn}，

其中pbi={pbi1,pbi2,…,bpiq}為第i個(gè)備選標(biāo)桿及其屬性。

為完成特定的標(biāo)桿分析目的，需要獲得合理的標(biāo)桿集。這里的“合理”指所獲得的標(biāo)桿集應(yīng)能為后續(xù)標(biāo)桿分析的有效完成提供有力的支持。比如為制定近期發(fā)展目標(biāo)，合理的標(biāo)桿集中大部分標(biāo)桿的生產(chǎn)效能應(yīng)不能超出該生產(chǎn)單元太遠(yuǎn)，否則近期無(wú)法完成；而為制定長(zhǎng)遠(yuǎn)發(fā)展目標(biāo)，則大部分標(biāo)桿的生產(chǎn)效能則應(yīng)具有一定優(yōu)勢(shì)，否則無(wú)指導(dǎo)意義。因此，可以考慮需要解決如下優(yōu)化問(wèn)題

(1)

這里(bi-b*)+=max{bi-b*,0}，(bi-b*)-=min(bi-b*,0)；α為正實(shí)數(shù)，用于控制理想標(biāo)桿集的狀態(tài)；s為標(biāo)桿集的最小規(guī)模；ΛB表示標(biāo)桿集B中標(biāo)桿的指標(biāo)集。H(B,b*)的定義可根據(jù)實(shí)際需要進(jìn)行調(diào)整。

顯然這是一個(gè)NP難的問(wèn)題，不容易求解。為此，引入數(shù)據(jù)挖掘中的模糊c-均值聚類算法[14]，對(duì)備選標(biāo)桿集進(jìn)行劃分，在劃分結(jié)果基礎(chǔ)上進(jìn)行標(biāo)桿集的優(yōu)化選取。即建立如下優(yōu)化問(wèn)題

(2)

該模型是(1)的一種近似，其求解算法如下。

表1　標(biāo)桿集優(yōu)化選擇算法

通過(guò)設(shè)置參數(shù)并執(zhí)行上述算法，可以得到合理的標(biāo)桿集B*，用于后續(xù)分析處理。

1.2PCA-DEA混合模型

確定合理的標(biāo)桿集B*之后，需要對(duì)標(biāo)桿集中各DMU和待評(píng)估的DMU0進(jìn)行績(jī)效評(píng)估，以正確認(rèn)識(shí)優(yōu)勢(shì)和劣勢(shì)，為后續(xù)生產(chǎn)效率的改善提供基礎(chǔ)支持。

在現(xiàn)代生產(chǎn)實(shí)踐活動(dòng)中，經(jīng)常涉及數(shù)量眾多的指標(biāo)[15]，當(dāng)指標(biāo)數(shù)量過(guò)多時(shí)，不可避免的存在一些相互之間具有緊密聯(lián)系的指標(biāo)組，往往這些指標(biāo)組在現(xiàn)實(shí)中反映為同一類型或者受相似因素影響，準(zhǔn)確的獲得指標(biāo)之間的這些重要關(guān)聯(lián)關(guān)系，能對(duì)績(jī)效評(píng)估分析的有效完成提供有益的幫助。因此本部分?jǐn)M結(jié)合PCA方法和DEA模型建立PCA-DEA混合模型用于標(biāo)桿分析。

標(biāo)桿集B*基礎(chǔ)上具有平均偏好的DEA-WEI模型

(3)

考慮引進(jìn)PCA模型對(duì)標(biāo)桿集的屬性集進(jìn)行分析，并將結(jié)果用于DEA-WEI模型，即建立如下混合模型

(4)

同理，也可將PCA引入到具有矩陣偏好的DEA-WEI模型。

結(jié)合PCA計(jì)算過(guò)程可以給出上述混合模型的求解算法，見(jiàn)表2.

表2　PCA-DEA混合求解算法

2模型分析

本部分對(duì)上一節(jié)所建立模型及求解算法進(jìn)行初步分析，為進(jìn)一步的模型應(yīng)用提供基礎(chǔ)保障。

2.1標(biāo)桿集優(yōu)化選擇算法分析

對(duì)于標(biāo)桿集的選擇問(wèn)題來(lái)說(shuō)，現(xiàn)有的研究基本上都是通過(guò)主觀經(jīng)驗(yàn)進(jìn)行選擇，少部分研究則是在一些簡(jiǎn)單的數(shù)據(jù)處理基礎(chǔ)上結(jié)合主觀經(jīng)驗(yàn)進(jìn)行選擇。結(jié)合數(shù)據(jù)挖掘相關(guān)技術(shù)進(jìn)行標(biāo)桿集的優(yōu)化選擇方面的研究還少有人涉及。論文從最優(yōu)化的角度出發(fā)，根據(jù)實(shí)際分析需求，建立了優(yōu)化模型(1)。下面分析其求解算法的計(jì)算復(fù)雜度。

不妨設(shè)備選標(biāo)桿集pB的規(guī)模為n，即含有n個(gè)備選標(biāo)桿。記評(píng)價(jià)函數(shù)H(B,b*)計(jì)算一次為一個(gè)度量單位。由于B是pB的子集且規(guī)模大于等于s，則由組合原理得，B的選擇數(shù)為

圖1　模型(1)求解算法復(fù)雜度分析 Fig.1　Complexity analysis for model (1) algorithm

即當(dāng)標(biāo)桿集規(guī)模不超過(guò)備選標(biāo)桿集的一半時(shí)，該模型求解算法的計(jì)算復(fù)雜度至少為O(2n-1)，這在n較大時(shí)是相當(dāng)可觀的。Matlab編程得到復(fù)雜度曲線如圖1所示。

模型(2)是模型(1)的近似，犧牲了目標(biāo)標(biāo)桿集的部分合理性以獲得求解效率的提高。同樣在上述假設(shè)下，記一次FCM的代價(jià)為δ，則可得

圖2　標(biāo)桿集優(yōu)化選擇算法復(fù)雜度分析 Fig.2　Complexity analysis for the benchmark set optimal selection algorithm

圖3　PCA-DEA求解算法復(fù)雜度分析 Fig.3　Complexity analysis for PCA-DEA algorithm

2.2混合求解算法分析

對(duì)于DEA-WEI模型來(lái)說(shuō)，并沒(méi)有考慮DMU單元內(nèi)各個(gè)指標(biāo)間的相互關(guān)系及其對(duì)后續(xù)分析的影響[16]。通過(guò)數(shù)據(jù)挖掘技術(shù)進(jìn)行指標(biāo)集的成分分析，由此建立更簡(jiǎn)潔且具代表性的綜合指標(biāo)集并進(jìn)行績(jī)效評(píng)估分析等方面的研究還少有人涉及。論文以PCA和DEA為基礎(chǔ)，建立了混合優(yōu)化模型(4)。下面分析新模型和DEA-WEI模型求解算法的計(jì)算復(fù)雜度。

對(duì)于DEA-WEI模型(3)來(lái)說(shuō)，實(shí)際上是關(guān)于k個(gè)變量的線性規(guī)劃問(wèn)題，如果采用單純形法求解，通常具有多項(xiàng)式復(fù)雜度，最壞的情形下具有指數(shù)復(fù)雜度O(2k).如果采用內(nèi)點(diǎn)法，則具有復(fù)雜度O(k3.5).

以內(nèi)點(diǎn)法求解線性規(guī)劃為例，則兩個(gè)模型的復(fù)雜度曲線如圖3所示。

綜上，特定情形下，新模型的求解在復(fù)雜度上略有增加，但是能給出便于后續(xù)分析討論的更豐富結(jié)果。這在某些實(shí)際應(yīng)用場(chǎng)合，可以發(fā)揮更好的作用。

3實(shí)例分析

近年來(lái)，針對(duì)高校的評(píng)估活動(dòng)和相關(guān)排行榜不斷涌現(xiàn)，在不同程度上對(duì)各校發(fā)展?fàn)顩r做了一定的反映。為了更科學(xué)的評(píng)價(jià)各相關(guān)高校發(fā)展?fàn)顩r，為高校后續(xù)發(fā)展及教學(xué)管理水平的提高提供更好的幫助，本部分?jǐn)M以一些典型的排行榜數(shù)據(jù)和調(diào)查數(shù)據(jù)為依據(jù)，進(jìn)行標(biāo)桿分析。

3.1指標(biāo)集準(zhǔn)備

本次標(biāo)桿分析的備選標(biāo)桿集設(shè)定為部分陜西省內(nèi)高校(依次為西安電子科技大學(xué)、長(zhǎng)安大學(xué)、西安科技大學(xué)、西安建筑科技大學(xué)、西安理工大學(xué)、西安交通大學(xué)、西安石油大學(xué)、西安工程大學(xué)、陜西科技大學(xué)、西安郵電大學(xué))，相關(guān)指標(biāo)數(shù)據(jù)來(lái)源包括2013年武書(shū)連大學(xué)排行榜、各校發(fā)展報(bào)告和校情報(bào)告、網(wǎng)絡(luò)搜集數(shù)據(jù)等。

綜合各數(shù)據(jù)來(lái)源，歸納整理后，相關(guān)指標(biāo)有16項(xiàng)分別以阿拉伯?dāng)?shù)字1～16表示(依次為研究生培養(yǎng)實(shí)力、本科生培養(yǎng)實(shí)力、自然科學(xué)研究實(shí)力、社會(huì)科學(xué)研究實(shí)力、培養(yǎng)的博碩士數(shù)、本?？粕鷶?shù)、專任教師數(shù)、高級(jí)職稱教師數(shù)、一級(jí)博士學(xué)科數(shù)、二級(jí)博士學(xué)科數(shù)、一級(jí)碩士學(xué)科數(shù)、二級(jí)碩士學(xué)科數(shù)、國(guó)家重點(diǎn)學(xué)科數(shù)、省部重點(diǎn)學(xué)科數(shù)、本科專業(yè)數(shù)、博士后科研流動(dòng)站數(shù))，分別以字母A-J表示各備選標(biāo)桿。為了后續(xù)處理方便，對(duì)每個(gè)指標(biāo)數(shù)據(jù)進(jìn)行歸一化。最終得到見(jiàn)表3.

表3　歸一化指標(biāo)集數(shù)據(jù)

表3列出了我們搜集到的所有備選標(biāo)桿的指標(biāo)集數(shù)據(jù)，可根據(jù)實(shí)際應(yīng)用需求對(duì)指標(biāo)集進(jìn)行選取并進(jìn)行分析。

3.2模型應(yīng)用及結(jié)果分析

針對(duì)所給數(shù)據(jù)，進(jìn)行某DMU單元(不妨考慮C)綜合實(shí)力的科學(xué)評(píng)估，為今后教學(xué)管理方向把握、政策制定提供一定的支持。按照第1節(jié)中所建立模型和算法，首先需要進(jìn)行標(biāo)桿集的選擇，即應(yīng)用基于FCM的標(biāo)桿集優(yōu)化選擇模型(2)。

根據(jù)求解算法，得到表4.

表4　標(biāo)桿集優(yōu)化結(jié)果

表5　積極標(biāo)桿分析的DEA-WEI結(jié)果

表6　實(shí)例1保守標(biāo)桿分析的DEA-WEI結(jié)果

可見(jiàn)，待考核單元C略強(qiáng)于標(biāo)桿G，H，I，J.這與實(shí)際情況具有一定的一致性。后續(xù)可以通過(guò)進(jìn)一步分析確定優(yōu)勢(shì)環(huán)節(jié)，保持良好績(jī)效。

當(dāng)需要進(jìn)行特定范圍的評(píng)估分析時(shí)(比如對(duì)科研績(jī)效進(jìn)行評(píng)估)，則可對(duì)指標(biāo)集設(shè)置適當(dāng)?shù)臋?quán)重，再通過(guò)模型求解。

表7　積極標(biāo)桿分析的PCA-DEA結(jié)果

表8　保守標(biāo)桿分析的PCA-DEA結(jié)果

待考核單元C仍在不同程度上弱于A，B，D，E，但值得注意的是標(biāo)桿D的績(jī)效反而超過(guò)了原來(lái)排在首位的標(biāo)桿A，這說(shuō)明在某些指標(biāo)的組合結(jié)構(gòu)上，D有比A更顯著的特征，值得C比較學(xué)習(xí)。

待考核單元C在不同程度上優(yōu)于G,H,I,J，但值得注意的是標(biāo)桿H的績(jī)效優(yōu)于標(biāo)桿I，這說(shuō)明在某些指標(biāo)的組合結(jié)構(gòu)上，H有比I更顯著的特征，值得C比較學(xué)習(xí)。

4結(jié)論

當(dāng)前日益復(fù)雜的社會(huì)經(jīng)濟(jì)環(huán)境下，進(jìn)行科學(xué)的績(jī)效評(píng)估和分析顯得尤為重要。標(biāo)桿分析作為一種有效的績(jī)效評(píng)估和管理手段，在各行業(yè)受到越來(lái)越廣泛的應(yīng)用，也產(chǎn)生了眾多研究成果。眾多高校經(jīng)歷了多年的高速發(fā)展，正處于發(fā)展轉(zhuǎn)型期，進(jìn)行科學(xué)的績(jī)效評(píng)估和分析，能為長(zhǎng)期發(fā)展提供有效的幫助。目前標(biāo)桿分析在這方面的應(yīng)用研究相對(duì)較少。

結(jié)合現(xiàn)代數(shù)據(jù)挖掘技術(shù)進(jìn)行新標(biāo)桿分析模型的研究具有一定的科學(xué)性和創(chuàng)新性，能為復(fù)雜績(jī)效評(píng)估和分析提供一定的基礎(chǔ)支持。鑒于此，論文首先結(jié)合模糊c-均值聚類、主成分分析、數(shù)據(jù)包絡(luò)分析等對(duì)標(biāo)桿分析模型進(jìn)行了新的研究，建立了標(biāo)桿集優(yōu)化選擇模型和PCA-DEA混合模型，并給出了求解算法。然后利用部分搜集的地方高校數(shù)據(jù)構(gòu)建了標(biāo)桿集指標(biāo)數(shù)據(jù)，應(yīng)用所建立模型進(jìn)行了標(biāo)桿分析。

研究結(jié)果表明：所建立模型結(jié)合了數(shù)據(jù)挖掘技術(shù)和標(biāo)桿分析方法的特點(diǎn)，能滿足一定的復(fù)雜績(jī)效評(píng)估和分析需求，可為地方高校教學(xué)管理提供一定的數(shù)據(jù)支持。

參考文獻(xiàn)References

[1] 馮曉光.土木工程專業(yè)大學(xué)生就業(yè)與專業(yè)實(shí)踐的關(guān)系[J].西安科技大學(xué)學(xué)報(bào)，2012，32(5)：667-670.

FENG Xiao-guang.On the relationship between obtaining employment and practice of civil engineering graduates[J].Journal of Xi’an University of Science and Technology，2012，32(5)：667-670.

[2]許滿貴，梁念興，寶銀曇.煤礦安全評(píng)價(jià)關(guān)鍵問(wèn)題及對(duì)策[J].西安科技大學(xué)學(xué)報(bào)，2013，33(2)：136-141.

XU Man-gui，LIANG Nian-xing，BAO Yin-tan.Key problems of coal mine safety evaluation and countermeasures[J].Journal of Xi’an University of Science and Technology，2013，33(2)：136-141.

[3]Martin，B R.The use of multiple indicators in the ass-essment of basic research [J].Scientometrics，1996，36(3)：343-362.

[4]Roy，B.The problems and methods with multiple objective functions[J].Mathematical Programming，1971，1(1)：239-266.

[5]Roy B.Multicriteria methodology for decision Aiding[M].Dordrecht:Kluwer Academic Publishers,1996.

[6]胡君,蔣艷.PROMETHEE方法在城市環(huán)境空氣質(zhì)量評(píng)價(jià)中的應(yīng)用[J].上海理工大學(xué)學(xué)報(bào)，2012,34(4):318-322.

HU Jun,JIANG Yan.PROMETHEE method applied in the evaluation of urban air environmental quality[J].Journal of University of Shanghai for Science and Technology,2012,34(4):318-322.

[7]Brans J P，Vincke P.A preference ranking organization method：the PROMETHEE method for MCDM[J].Management Science，1985，31(6)：647-656.

[8]Braes J P，Mareschal B，Vincke P.How to select and how to rank projects：The PROMETHEE method[J].European Journal of Operation Research，1986，24(2)：228-238.

[9]Hwang C L，Yoon K.Multiple attribute decision making[M].New York：Sgringer-Verlag，1981.

[10] Saaty T L.A scaling method for priorities in hierarchical structures[J].Journal of Mathematical Psychology，1977，15(3)：234-281.

[11] Saaty T L.The analytic hierarchy process：planing，priority setting，resource allocation[M].New York：McGraw-Hill International Book company，1980.

[12] 張儉讓，楊日麗.主成分分析法在煤礦通風(fēng)系統(tǒng)評(píng)價(jià)中的應(yīng)用[J].西安科技大學(xué)學(xué)報(bào)，2011，31(6)：745-749.

ZHANG Jian-rang，YANG Ri-li.Application of principal components analysis to mine ventilation system evaluation[J].Journal of Xi’an University of Science and Technology，2011，31(6)：745-749.

[13] 李洪，蔣金泉，張開(kāi)智.回采巷道圍巖分類的模糊聚類分析方法[J].西安科技大學(xué)學(xué)報(bào)，2005，25(1)：12-16.

LI Hong，JIANG Jin-quan，ZHANG Kai-zhi.Fuzzy clustering analysis of tunnel surrounding rock classification[J].Journal of Xi’an University of Science and Technology，2005，25(1)：12-16.

[14] 毛紅閣，劉長(zhǎng)旺，劉香偉，等.兩層模糊神經(jīng)網(wǎng)絡(luò)交通信號(hào)控制模型[J].西安科技大學(xué)學(xué)報(bào)，2012，32(5)：662-666.

MAO Hong-ge，LIU Chang-wang，LIU Xiang-wei，et al.A signal control model based on two-layer signal fuzzy neural network[J].Journal of Xi’an University of Science and Technology，2012，32(5)：662-666.

[15] 劉潔，高佳，王綠.基于AHP的高校學(xué)報(bào)編輯評(píng)優(yōu)[J].西安科技大學(xué)學(xué)報(bào)，2013，33(4)：494-498.

LIU Jie，GAO Jia，WANG Lu.Editor assessment of university journal based on AHP[J].Journal of Xi’an University of Science and Technology，2013，33(4)：494-498.

[16] 章正高.采用層次分析法對(duì)地質(zhì)災(zāi)害進(jìn)行危險(xiǎn)性評(píng)價(jià)[J].西安科技大學(xué)學(xué)報(bào)，2014，34(1)：87-91.

ZHANG Zheng-gao.Risk assessment of geologic hazards by analytic hierarchy process[J].Journal of Xi’an University of Science and Technology，2014，34(1)：87-91.