航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系

徐春榮

(北京航空航天大學(xué) 經(jīng)濟管理學(xué)院，北京100191)

任文婧

(北京航空航天大學(xué) 中法工程師學(xué)院，北京100191)

周 泓

(北京航空航天大學(xué) 經(jīng)濟管理學(xué)院，北京100191)

航空發(fā)動機是關(guān)系國家安全和國民經(jīng)濟發(fā)展的戰(zhàn)略性產(chǎn)業(yè)，而航空發(fā)動機研發(fā)能力建設(shè)項目旨在發(fā)展和改善航空發(fā)動機研制生產(chǎn)的保障，近年來國家在這一方面的投入力度越來越大.為了強化投資效益，確保有效提高我國航空發(fā)動機研發(fā)能力，在建設(shè)項目竣工驗收后全面系統(tǒng)地進行后評價對于總結(jié)項目成果和積累經(jīng)驗教訓(xùn)具有十分重要的意義.在我國，項目評價工作處于探索階段，評價經(jīng)驗不足，針對航空發(fā)動機相關(guān)項目的后評價主要集中在技術(shù)方面，且多以專家集體討論的方式為主，后評價體系并不完善.而參照航空武器裝備項目評價，國內(nèi)外的研究大多集中在項目預(yù)研階段，其中又以風險評估居多，其次是技術(shù)評估和效能評估.在近年的相關(guān)研究中，侯金曄等人提出了航空武器裝備項目過程評估指標體系構(gòu)建方法[1]，殷旭東等人提出了武器裝備動員能力評價的指標體系構(gòu)建方法[2]，但針對航空發(fā)動機產(chǎn)業(yè)的項目后評價研究仍幾乎空白.

為了對航空發(fā)動機研發(fā)能力建設(shè)項目進行更科學(xué)合理的后評價，本文通過兩階段過程來建立一套適用于航空發(fā)動機研發(fā)能力建設(shè)項目后評價的指標體系.即，首先通過借鑒一般項目后評價指標體系結(jié)構(gòu)，并通過專家訪談?wù){(diào)查，建立一個初步的后評價指標體系;在此基礎(chǔ)上，以指標精煉性、數(shù)據(jù)可獲得性和實踐可行性為原則，對初選指標進行優(yōu)選.優(yōu)選過程中，采用群組決策最大特征根法(GEM，Group Eigenvalue Method)對第一階段結(jié)果進行初步篩選，然后進行評價指標的相關(guān)性分析篩選和鑒別能力篩選，最后得到優(yōu)選的指標體系.

1 后評價指標體系初選

根據(jù)航空發(fā)動機研發(fā)能力建設(shè)項目具體特征[3]，以項目后評價指標體系設(shè)計理論[4－5]和一般原則[6]為指導(dǎo)，并結(jié)合專家訪談，初步提出一套針對性的評價指標體系.如表1所示.

表1 航空發(fā)動機研發(fā)建設(shè)項目后評價指標體系(初選)Table 1 Post-evaluation index system for aero-engine R＆D capacity building projects(primary)

2 后評價指標體系優(yōu)選

由于后評價指標體系的初選更注重全面性、系統(tǒng)整體性、以及專家經(jīng)驗，并沒有充分考慮各指標的重要性差異、鑒別能力以及指標之間的關(guān)聯(lián)性，因此需要進一步優(yōu)化.優(yōu)化內(nèi)容主要檢測具體指標的可行性、可靠性、科學(xué)性、關(guān)聯(lián)性、協(xié)調(diào)性、冗余度等方面.目前常用的優(yōu)選方法有因子分析法[7]、聚類分析，以及以德爾菲法為代表的專家調(diào)查法等.根據(jù)對項目特點和初選指標體系的具體分析，本文采用基于李克特量表的專家調(diào)查法獲取評分數(shù)據(jù)，并結(jié)合GEM和多種統(tǒng)計學(xué)方法來優(yōu)化指標體系.

2.1 問卷調(diào)查統(tǒng)計

本文采用調(diào)查問卷的形式對航空發(fā)動機研制、生產(chǎn)和項目管理領(lǐng)域的相關(guān)專家進行調(diào)查，給表1中的34個指標打分.為更好地體現(xiàn)各指標要素的重要性，設(shè)計了5級順序的李克特量表，1=很不重要，2=不重要，3=一般重要，4=重要，5=非常重要.此外，為保證調(diào)查結(jié)果的質(zhì)量和權(quán)威性，問卷設(shè)計時考慮了專家知識水平，即同時調(diào)查專家職稱、職位、學(xué)歷以及工作年限等，盡量保證專家知識水平具有一定的權(quán)威性，且各專家水平接近，否則就要考慮賦以專家權(quán)重.本次問卷調(diào)查共收回37份有效答卷.限于篇幅，部分統(tǒng)計結(jié)果如表2所示.

表2 專家調(diào)查問卷統(tǒng)計結(jié)果Table 2 Statistical results of the expert survey

2.2 基于群組決策最大特征根法的指標初篩

群組決策最大特征根法(GEM)是在層次分析法(AHP)的基礎(chǔ)上演變而來的[8].該方法克服了AHP算法判斷矩陣出現(xiàn)不一致的問題，GEM方法中，各受訪專家只需要按傳統(tǒng)方式對指標打分，就能夠得出群體對于目標的最優(yōu)排序結(jié)果，即可用來篩選初選得出的各指標的重要性，去除重要性微小的指標，以達到指標精簡的目的.

2.2.1 GEM 計算的一般步驟

1)由m個專家直接對n個被評單位進行打分，得到評分矩陣

其中，xij(i=1，2，…，m;j=1，2，…，n)為第 i個專家Si對應(yīng)第j個被評目標Pj的評分值.

2)計算矩陣F=XTX，求取F的最大特征根及其對應(yīng)的特征向量.

3)若計算出的最大特征根為單根，則該特征根所對應(yīng)的特征向量，即為要求的評價指標的權(quán)向量;若得出的最大特征根為重根，應(yīng)同時解出其特征向量空間，此時認為該特征向量空間所對應(yīng)的評價對象具有同等的重要性，即排名并列.而對于其他評價對象，需要根據(jù)與第二最大特征根所對應(yīng)的特征向量來排名(或在原評分矩陣中，剔除并列排名的評價對象的相應(yīng)分值，重建一個新的評分矩陣，然后用同樣的方法再進行評判)[9].

2.2.2 指標體系的GEM計算步驟

在本研究中，共有34個被評價指標，37位專家的有效評分，所以構(gòu)建的評分矩陣是37×34維矩陣.以下應(yīng)用Matlab求解.

1)計算矩陣的最大特征值.得到矩陣的最大特征值是單根，為λ=18851.9803.對應(yīng)的特征向量為

2)對所得特征向量進行歸一化.得

經(jīng)研究分析，歸一化處理后的因素重要性平均值為0.02941，上下波動40%左右.再仔細分析各指標意義，最終取平均值的85%，即0.025為臨界值，去掉重要性在0.025以下的6個指標，即剔除項目管理工具使用效率(C53)，社會經(jīng)濟推動效果(C72)，研發(fā)技術(shù)人員職稱及學(xué)歷水平(C62)，產(chǎn)業(yè)貢獻度(C74)，管理和文化創(chuàng)新性(C64)，以及技術(shù)成果影響性(C35).余下28個指標.

2.3 基于Pearson算法的指標相關(guān)性分析篩選

評價指標體系在經(jīng)過群組決策特征根法(GEM)的初篩之后，保留的指標之間往往仍具有一定程度的關(guān)聯(lián)性.然而根據(jù)指標的差異性原則要求，指標之間的相關(guān)性不能過大，否則會導(dǎo)致重復(fù)使用評價對象信息的現(xiàn)象，從而違背了評價指標的合理性和科學(xué)性.

2.3.1 相關(guān)性分析的計算步驟

本文采用一種研究指標關(guān)聯(lián)程度時常用統(tǒng)計學(xué)方法，即相關(guān)性分析.基本步驟如下[10]:

1)指標數(shù)據(jù)的無量綱化處理.

由于各個評價指標的評價方面不同，其量綱也往往不同，不利于進行分析，所以必須先進行無量綱化處理.記yi和s分別為評價指標數(shù)據(jù)及其標準差，則無量綱化公式為

2)求取各指標之間相關(guān)系數(shù):

3)設(shè)定臨界值M.

在計算評價指標相關(guān)系數(shù)之前應(yīng)先設(shè)定一個絕對值大于0小于1的臨界值.如果T＜M，兩個指標相關(guān)性較小，予以保留;如果T＞M，則兩個指標相關(guān)性較大，應(yīng)刪除其中一個與其他指標相關(guān)性比較大的指標，或者分析合并.

2.3.2 指標體系的相關(guān)性分析篩選

表3 指標體系的相關(guān)性系數(shù)Table 3 Correlation coefficients of the index system

可見，該航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系在經(jīng)群組決策最大特征根方法篩選之后，大部分指標之間的相關(guān)性小于所設(shè)臨界值，即指標間相關(guān)度不大，而立項決策程序規(guī)范性(C11)和立項審批程序規(guī)范性(C12)、預(yù)算調(diào)整頻率(C42)和費用偏差百分比(C43)、以及項目管理體系的合理性(C52)和項目管理規(guī)劃能力(C54)這3對指標的相關(guān)度超過了預(yù)先設(shè)定的臨界值，屬于強烈關(guān)聯(lián)指標，需要進一步篩選.

對比發(fā)現(xiàn)，C11和C12，C42和C43各自與其他指標的關(guān)聯(lián)度相差不多，再通過分析各指標的具體意義、項目評價要求以及專家的反饋意見，決定將C11和C12整合為新的指標C11“立項決策和審批程序的規(guī)范性”.同樣C42和C43整合為新C42“經(jīng)費調(diào)整頻率及偏差百分比”.至于C52和C54這對指標，C52與其他指標的關(guān)聯(lián)度明顯強烈于C54，因此決定剔除C52，只保留C54.

經(jīng)過整理后，新的指標體系有25個有效指標，再以同樣的步驟進行相關(guān)性分析，即用SPSS再次執(zhí)行Pearson運算，本次得到的相關(guān)系數(shù)全部小于臨界值0.78，說明篩選后的指標體系中，各指標之間的關(guān)聯(lián)性不高，基本符合要求.

2.4 評價指標鑒別能力篩選

評價指標鑒別能力是指標識別被評價對象特征差異性的能力.在對評價指標相關(guān)性篩選時，除了遵循相關(guān)性分析的原則外，通常還要檢驗指標的鑒別能力，保留鑒別能力強的指標，以提高評價結(jié)果的差異性.

2.4.1 基于變差系數(shù)的指標鑒別能力篩選方法

在實際應(yīng)用中，變差系數(shù)常被用來識別指標的鑒別能力.計算公式為，其中，為各指標的平均值;為各指標的標準差.

如果某個指標的分數(shù)一直較低或者一直較高，則說明該指標的鑒別能力偏弱，反之，則說明指標具有較強的鑒別能力.

2.4.2 指標體系鑒別能力篩選

本文的指標篩選是專家打分得到的，所以變差系數(shù)較小就存在2種情況:①眾多專家對某一項指標都打分比較高;②眾多專家對某一項指標都打分比較低.因為已經(jīng)使用群組決策特征根法將打分比較低的指標篩選掉，所以變差系數(shù)較小的指標反而是應(yīng)該選擇的.那些變差系數(shù)較大的指標因為專家意見不統(tǒng)一性太強，故可以刪除[11].

后評價指標體系的鑒別能力分析仍采用SPSS軟件來計算，結(jié)果如表4所示.

表4 指標體系的鑒別能力分析Table 4 Resolution capability analysis of the index system

根據(jù)計算結(jié)果，25個指標中，變差系數(shù)最大的是C83的0.276 064，可見，篩選后的航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系中不存在鑒別能力過低的指標，整體指標鑒別能力表現(xiàn)良好.

3 評價指標體系的確立

在已明確航空發(fā)動機研發(fā)能力建設(shè)項目后評價工作的構(gòu)成要素的基礎(chǔ)上，通過建立航空發(fā)動機研發(fā)能力建設(shè)項目后評價初選指標體系，運用群組決策最大特征根法來篩選初選指標，同時通過評價指標相關(guān)性分析和指標鑒別能力分析，并綜合考慮數(shù)據(jù)的可獲取性，最終確立了一套航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系，如表5所示.

優(yōu)選后的航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系保持了8個一級指標，余有25個二級指標，其中項目執(zhí)行程度以及項目可持續(xù)性指標全部保留，而綜合管理類指標變動較大.結(jié)合項目實際情況、研發(fā)能力建設(shè)項目的重點目標以及航空發(fā)動機產(chǎn)業(yè)中管理科學(xué)的應(yīng)用情況，優(yōu)選后的后評價指標體系結(jié)果基本科學(xué)、合理，適用于航空發(fā)動機研發(fā)能力建設(shè)項目的特點，并在項目后評價中得到了應(yīng)用.

表5 航空發(fā)動機研發(fā)建設(shè)項目后評價指標體系(優(yōu)選)Table 5 Post-evaluation index system for aero-engine R＆D capacity building projects(optimized)

4 結(jié)束語

本文通過專家問卷調(diào)查法，針對航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系的優(yōu)化問題獲取了37份有效問卷，并通過群組決策最大特征根法將后評價指標體系的篩選剔除7項二級指標，整合4項指標為2項，從而使原先34個指標精簡為25個，在保證了指標體系的全面性和系統(tǒng)性的基礎(chǔ)上，又檢驗了指標的獨立性、可測性和可比性，最終得到了科學(xué)合理的航空發(fā)動機研發(fā)能力建設(shè)項目后評價指標體系.優(yōu)化后的指標體系具有較好的實際應(yīng)用價值，對于構(gòu)建航空發(fā)動機研發(fā)能力建設(shè)項目后評價模型具有重要意義.

References)

[1]侯金曄，白思俊，郭云濤.航空武器裝備項目過程評估指標體系的構(gòu)建[J].航空制造技術(shù)，2008(1):90－91

Hou Jinye，Bai Sijun，Guo Yuntao.Constitution of process evaluation index system for aerial weapon equipment project[J].Aeronautical Manufacturing Technology，2008(1):90 － 91(in Chinese)

[2]殷旭東，汪恩華.武器裝備動員能力評價的指標體系構(gòu)建[J].統(tǒng)計與決策，2008(1):43 －44

Yin Xudong，Wang Enhua.Construction of index system for evaluation of weapon equipment mobilization ability[J].Statistics and Decision，2008(1):43 －44(in Chinese)

[3]張欽，周德群.國防科技工業(yè)創(chuàng)新型企業(yè)評價研究[M].北京:科學(xué)出版社，2011

Zhang Qin，Zhou Dequn.Study on evaluation of innovative enterprises in the national defense industry[M].Beijing:Science Press，2011(in Chinese)

[4]蘇為華.多指標綜合評價理論與方法問題研究[D].廈門:廈門大學(xué)，2000

Su Weihua.Research on theory and method of multi index comprehensive evaluation[D].Xiamen:Xiamen University，2000(in Chinese)

[5]Geisler E.The metrics of science and technology[M].New York:Greenwood Press，2000

[6]鮑玉昆，張金隆，孫福全，等.基于SMART準則的科技項目評標指標體系結(jié)構(gòu)模型設(shè)計[J].科學(xué)學(xué)與科學(xué)技術(shù)管理，2003(2):46－48

Bao Yukun，Zhang Jinlong，Sun Fuquan，et al.Design on smartbased s＆t evaluation indicators system with three-layer classified structure[J].Science of Science and Management of S ＆ T，2003(2):46－48(in Chinese)

[7]侯金曄.航空武器裝備項目過程評估研究[D].西安:西北工業(yè)大學(xué)，2007:27－28

Hou Jinye.Research on process evaluation for aerial weapon equipment project[D].Xi’an:Northwestern Polytechinical University，2007:27 －28(in Chinese)

[8]邱苑華.群組決策特征根法[J].應(yīng)用數(shù)學(xué)和力學(xué)，1997(11):1027－1028

Qiu Wanhua.An enginvalue method on group decision[J].Applied Mathematics and Mechanics，1997(11):1027 － 1028(in Chinese)

[9]吳堅，梁昌勇，李績才.群決策中專家決策意見的可靠性研究[J].合肥工業(yè)大學(xué)學(xué)報:自然科學(xué)版，2009，32(3):366 －367

Wu Jian，Liang Changyong，Li Jicai.Study on the reliability of group agreement under group decision making[J].Journal of Hefei University of Technology:Natural Science，2009，32(3):366－367(in Chinese)

[10]吳雷.裝備制造業(yè)企業(yè)持續(xù)創(chuàng)新能力評價:以黑龍江省為例[M].北京:經(jīng)濟科學(xué)出版社，2011:83－85

Wu Lei.Evaluation of innovation capability for equipment manufacturing enterprises:taking heilongjiang province as an example[M].Beijing:Economic Science Press，2011:83 － 85(in Chinese)

[11]姜喜龍.國防工業(yè)企業(yè)自主創(chuàng)新能力體系構(gòu)建與對策研究[D].哈爾濱:哈爾濱工程大學(xué)，2007:65－66

Jiang Xilong.Research on the construction of the defense industry enterprise s independent innovation ability system and corresponding countermeasures[D].Harbin:Harbin Engineering U-niversity，2007:65 －66(in Chinese)