以科研生產(chǎn)管理評(píng)估數(shù)據(jù)分析支持改進(jìn)決策

◎中國(guó)運(yùn)載火箭技術(shù)研究院 郝照平 李瀟瀟 王愛(ài)武 劉菊青 孫鵬

以科研生產(chǎn)管理評(píng)估數(shù)據(jù)分析支持改進(jìn)決策

◎中國(guó)運(yùn)載火箭技術(shù)研究院 郝照平 李瀟瀟 王愛(ài)武 劉菊青 孫鵬

通過(guò)對(duì)中國(guó)運(yùn)載火箭技術(shù)研究院及其它2個(gè)研究院2011～2014年的科研生產(chǎn)評(píng)估數(shù)據(jù)（過(guò)程部分）采用參數(shù)統(tǒng)計(jì)方法，按總體、模塊、子要素3層對(duì)“系數(shù)得分”進(jìn)行分析，對(duì)某要素總平均分、模塊平均分、關(guān)鍵子要素平均分的年度、各研究院之間差異進(jìn)行統(tǒng)計(jì)檢驗(yàn)。探討了各年度各研究院科研生產(chǎn)管理特征的異同，分析了運(yùn)載火箭技術(shù)研究院4年間低分要素占比的差異。結(jié)合數(shù)據(jù)分析，提出了關(guān)鍵子要素按發(fā)展型、衰退型、問(wèn)題型和頑固型4個(gè)類別分類及其針對(duì)性改進(jìn)方法，為管理決策提供支撐。

中國(guó)運(yùn)載火箭技術(shù)研究院自2009年以來(lái)全面推進(jìn)科研生產(chǎn)管理評(píng)估工作，其中涵蓋對(duì)中國(guó)航天科技集團(tuán)公司的評(píng)估準(zhǔn)備和研究院對(duì)廠所的評(píng)估2個(gè)層面，以集團(tuán)公司對(duì)研究院評(píng)估為主導(dǎo)帶動(dòng)研究院對(duì)廠所的評(píng)估，同時(shí)后者也為前者提供較好支撐。在4年的評(píng)估工作中，展現(xiàn)研究院科研生產(chǎn)管理優(yōu)勢(shì)與成績(jī)的同時(shí)，也發(fā)現(xiàn)了一系列問(wèn)題和差距，形成了一套以當(dāng)年評(píng)估結(jié)果總結(jié)帶動(dòng)次年策劃改進(jìn)的有效機(jī)制，從而實(shí)現(xiàn)了科研生產(chǎn)管理的實(shí)質(zhì)性改進(jìn)。

當(dāng)代信息科學(xué)認(rèn)為，隨著數(shù)據(jù)量的積累其資源屬性越加明晰，開(kāi)發(fā)價(jià)值越加明顯；而社會(huì)發(fā)展要求快速反應(yīng)和精細(xì)管理，急需借助對(duì)數(shù)據(jù)的分析來(lái)科學(xué)決策 。這種注重?cái)?shù)據(jù)積累和挖掘數(shù)據(jù)價(jià)值的科學(xué)思維方式對(duì)提升科研生產(chǎn)管理具有重要意義。經(jīng)過(guò)這些年的評(píng)估，研究院積累了比較豐富、詳實(shí)的數(shù)據(jù)和資料。由于歷年對(duì)評(píng)估的總結(jié)基本上是“斷面”式的，缺乏將歷年評(píng)估數(shù)據(jù)和資料連貫起來(lái)整體分析，一些有價(jià)值的管理信息未被察覺(jué)，跨年、跨院的差距未被客觀識(shí)別，趨勢(shì)性問(wèn)題也未全面把握。因此，研究院提出以“大數(shù)據(jù)”思維對(duì)歷年的評(píng)估數(shù)據(jù)資料進(jìn)行連續(xù)性分析和對(duì)比，并以科學(xué)的分析作為依據(jù)進(jìn)行深入總結(jié)，有針對(duì)性地提出改進(jìn)方案，從而推動(dòng)研究院科研生產(chǎn)管理升級(jí)。

一、要素總平均分分析

年度總平均分是當(dāng)年所有子要素“系數(shù)得分”的算術(shù)平均值，近似于各年度單位的綜合評(píng)分。對(duì)總平均分的分析，可以考察同一單位各年度以及不同單位之間科研生產(chǎn)管理總體水平的差異和變化趨勢(shì)。考慮到不同年度、不同單位之間評(píng)估要素項(xiàng)目可能存在差異，僅統(tǒng)計(jì)對(duì)比年度或?qū)Ρ葐挝幌嗤氐目偲骄帧?/p>

1．同單位各年度總平均分分析

對(duì)運(yùn)載火箭技術(shù)研究院2011～2014年科研生產(chǎn)評(píng)估總平均分進(jìn)行差異性檢驗(yàn)和線性相關(guān)分析，其結(jié)果見(jiàn)圖1和表1。差異性檢驗(yàn)采用配對(duì)樣本T檢驗(yàn)，即計(jì)算2個(gè)相比較的年度各個(gè)相同子要素得分之差，再分析各子要素得分之差是否符合均數(shù)為0的正態(tài)分布，如數(shù)據(jù)顯示不符合，則認(rèn)為這2個(gè)年度總體得分水平存在顯著性差異。線性相關(guān)分析可以量化評(píng)判2次評(píng)估各要素得分是否具有相同的趨勢(shì)，反映不同年度科研生產(chǎn)管理特征的相似程度。反映到圖形上，相關(guān)性顯著者的雷達(dá)圖形相似程度較高，如圖2所示。所謂差異或相關(guān)具有“顯著性”是統(tǒng)計(jì)學(xué)術(shù)語(yǔ)，是當(dāng)相關(guān)統(tǒng)計(jì)模型計(jì)算出的參數(shù)（如表1中的P值）達(dá)到特定數(shù)值時(shí)給出的統(tǒng)計(jì)推斷，其結(jié)論較直觀，數(shù)值更為科學(xué)、審慎。

圖1 研究院2011～2014年評(píng)估總平均分及標(biāo)準(zhǔn)差

結(jié)果表明，研究院科研生產(chǎn)評(píng)估的總體水平自2011年后有實(shí)質(zhì)性提升，2012年與2013年處于同等水平，2014年水平雖然有所降低但仍好于2011年。不過(guò)這一結(jié)論需要審慎看待，一方面，4年間子要素項(xiàng)目變化較大，此結(jié)論僅限于對(duì)可比項(xiàng)目的分析，尤其是2014年與2011年相同子要素?cái)?shù)僅20個(gè)，同時(shí)調(diào)整了成熟度判定等級(jí)，對(duì)其可比性有較大影響；另一方面，航天科技集團(tuán)逐年提高評(píng)估要求，這也是2014年研究院總體得分降低的原因。

表1 研究院2011～2014年評(píng)估總平均分差異性及相關(guān)性檢驗(yàn)結(jié)果

圖2 研究院2011～2014年評(píng)估得分雷達(dá)圖

線性相關(guān)分析顯示，除2011年外各年度子要素評(píng)分具有相關(guān)性，說(shuō)明研究院近3年各子要素得分具有相似趨勢(shì)，反映這3年科研生產(chǎn)管理整體特征比較相似。2011年相關(guān)不顯著，主要是因?yàn)樵u(píng)估要素變動(dòng)比較多。從圖2的雷達(dá)圖中可以直觀地看出，2013年和2012年的圖形較為相似。

2．同年度不同單位總平均分分析

為分析運(yùn)載火箭技術(shù)研究院與其它2個(gè)研究院間科研生產(chǎn)管理總體水平上的差異及其4年間的變化情況，在相同年度對(duì)研究院與甲院、乙院進(jìn)行總平均分的差異性檢驗(yàn)和線性相關(guān)分析，結(jié)果見(jiàn)圖3及表2。

結(jié)果顯示，乙院的總平均分在前2年低于研究院，而近2年與研究院已無(wú)顯著差異；而甲院的總平均分除在2013年顯著高于研究院外，歷年均與研究院無(wú)顯著差異。結(jié)果說(shuō)明，4年間乙院的科研生產(chǎn)管理水平趕上了研究院；而研究院的科研生產(chǎn)管理水平與甲院雖然不分伯仲，但從未超越過(guò)甲院，而且存在被其超越的可能。3個(gè)研究院之間子要素得分的線性相關(guān)分析顯示，歷年評(píng)估中研究院與甲、乙研究院間的子要素得分均顯著相關(guān)，說(shuō)明研究院與甲、乙研究院間各評(píng)估子要素得分趨勢(shì)相似，因而可以認(rèn)為其科研生產(chǎn)管理特征具有一定共性。

圖3 2011～2014年研究院與其它研究院評(píng)估總平均分及標(biāo)準(zhǔn)差

通過(guò)分析可以看出，4年來(lái)研究院科研生產(chǎn)管理水平總體上獲得了實(shí)質(zhì)性的提升，2012年獲得了較大的進(jìn)步，此后基本穩(wěn)定在這一水平。隨著航天科技集團(tuán)評(píng)估要求的提高，研究院評(píng)估工作壓力也在逐年增大。雖然還不能認(rèn)為總體評(píng)分出現(xiàn)了大幅下滑，但仍需增強(qiáng)防微杜漸的意識(shí)。分析還顯示，4年來(lái)航天科技集團(tuán)所屬研究院間的差距在整體上正在逐步縮小，目前已經(jīng)處于比較接近的水平，而且各研究院之間在科研生產(chǎn)管理要素整體特征上確實(shí)具有較大相似性。

二、要素模塊平均分分析

根據(jù)評(píng)估手冊(cè)中模塊的劃分，將過(guò)程部分的子要素分為科研生產(chǎn)任務(wù)管理、科研生產(chǎn)能力建設(shè)、市場(chǎng)開(kāi)拓與立項(xiàng)、售后服務(wù)與支持保障4個(gè)模塊，對(duì)各研究院之間4個(gè)模塊內(nèi)子要素的4年平均分和變異度進(jìn)行分析，結(jié)果見(jiàn)圖4和表3。

要素連續(xù)年度分值的變異度可反映其發(fā)展水平（異度=標(biāo)準(zhǔn)差/均數(shù)，用百分比表示），平均分值較高或近期分值高，但連續(xù)年度分值不穩(wěn)定（即變異度高）的模塊/要素尚不能認(rèn)為已經(jīng)成熟，只有在近一個(gè)時(shí)期平均分值較高且變異度較小的模塊/要素才可以認(rèn)為已趨于成熟。

結(jié)果顯示，研究院和甲院在科研生產(chǎn)任務(wù)管理、科研生產(chǎn)能力建設(shè)2個(gè)模塊得分均高于乙院，在市場(chǎng)開(kāi)拓與立項(xiàng)模塊也高于乙院，而研究院與甲、乙院之間在售后服務(wù)與支持保障模塊無(wú)顯著差異。研究院得分變異程度較大，即最不穩(wěn)定的是科研生產(chǎn)能力建設(shè)模塊，相對(duì)穩(wěn)定的是市場(chǎng)開(kāi)拓與立項(xiàng)模塊。就4年平均水平而言，研究院在科研生產(chǎn)任務(wù)管理、科研生產(chǎn)能力建設(shè)、市場(chǎng)開(kāi)拓與立項(xiàng)方面優(yōu)于乙院，但4個(gè)模塊對(duì)甲院均無(wú)優(yōu)勢(shì)。表明研究院科研生產(chǎn)能力建設(shè)仍處于發(fā)展變動(dòng)的階段，而市場(chǎng)開(kāi)拓與立項(xiàng)已趨于成熟。

通過(guò)分析可以看出，研究院雖然在4個(gè)模塊的保持和趕超方面取得了一些成績(jī)，但對(duì)其它單位并未形成整體性優(yōu)勢(shì)。而且從發(fā)展的速度來(lái)看，某些單位進(jìn)步較快，研究院的優(yōu)勢(shì)已不再明顯。此外，研究院在科研生產(chǎn)管理的4個(gè)方面發(fā)展并不平衡，除市場(chǎng)開(kāi)拓與立項(xiàng)方面優(yōu)勢(shì)明顯外，其它方面還需要加強(qiáng)。

表2 2011～2014年研究院與其它研究院評(píng)估總平均分差異性及相關(guān)性檢驗(yàn)結(jié)果

圖4 各研究院四大類評(píng)估子要素平均分平衡計(jì)分卡圖

三、關(guān)鍵子要素分析

1．關(guān)鍵子要素的分類

在管理實(shí)踐中，運(yùn)載火箭技術(shù)研究院將評(píng)估得分曾低于0.9的要素視為關(guān)鍵子要素。為有針對(duì)性地對(duì)這些子要素實(shí)施管理，根據(jù)其近年平均分、分值穩(wěn)性并結(jié)合變化趨勢(shì)將其分為4類。

第一類為發(fā)展型子要素，其特征是平均分較高、變異度較大、呈上升趨勢(shì)。這類要素雖然不斷提升進(jìn)步，但還未穩(wěn)定到一定的水平，因此尚不能認(rèn)為其完全成熟，工作中還需進(jìn)一步鞏固提高。

第二類為衰退型子要素，其特征是平均分較高或中等、變異度較大、呈下降趨勢(shì)。這類要素連年評(píng)分一直滑坡，其變異度越大，說(shuō)明衰退問(wèn)題越嚴(yán)重。

第三類為問(wèn)題型子要素，其特征是平均分較低或中等、變異度大、無(wú)明確趨勢(shì)。這類要素評(píng)估表現(xiàn)不穩(wěn)定，通常是“抓一抓有起色，放一放出問(wèn)題”。

第四類為頑固型子要素，其特征是平均分較低、變異度較小、無(wú)明確趨勢(shì)。這類要素評(píng)估中長(zhǎng)期表現(xiàn)不良，反映科研管理中存在頑固性問(wèn)題，但也不排除某些要素不甚符合被評(píng)單位管理實(shí)際。

使用上述分類半對(duì)研究院4年間子要素進(jìn)行分類診斷，為相關(guān)要素改進(jìn)方案的制定尋找依據(jù)。表4列出了研究院若干具有一定分類特征的子要素。需要指出的是，研究院關(guān)鍵子要素評(píng)估表現(xiàn)基本良好，故多數(shù)只表現(xiàn)為有某種特征的傾向，特別典型者暫不多見(jiàn)。

總之，子要素成熟與否不能僅憑個(gè)別年份得分，應(yīng)經(jīng)過(guò)若干連續(xù)年度評(píng)估且具備平均分較高、變異度較小、呈上升或穩(wěn)定狀態(tài)等特征，方可認(rèn)為達(dá)到較成熟水平。一些曾表現(xiàn)不良的子要素必須經(jīng)過(guò)整改，穩(wěn)步提升并趨于穩(wěn)定后，方可認(rèn)為達(dá)到成熟。

2．關(guān)鍵子要素的計(jì)數(shù)統(tǒng)計(jì)

經(jīng)計(jì)數(shù)統(tǒng)計(jì)，2011～2014年研究院曾低于0.9分的子要素共有14項(xiàng)，甲院和乙院分別為14項(xiàng)和16項(xiàng)，如圖5所示。其中，研究院重復(fù)4次低于0.9分的子要素為1項(xiàng)——新產(chǎn)品開(kāi)發(fā)及產(chǎn)品更新?lián)Q代管理；重復(fù)3次低于0.9分的為1項(xiàng)；重復(fù)2次低于0.9分的為4項(xiàng)；僅1次低于0.9分的為8項(xiàng)。

表3 各研究院四大類評(píng)估子要素平均分差異性檢驗(yàn)結(jié)果

表4 研究院典型關(guān)鍵子要素示例

3．低分子要素占比分析

計(jì)算歷年低于0.9分的子要素占當(dāng)年全部子要素?cái)?shù)的比例，要考慮到歷年評(píng)估要素?cái)?shù)量有一定變動(dòng)。研究院此類要素占比最高的年份是2011年，達(dá)34.78%；占比最低的年份是2012年，為10.34%，見(jiàn)圖6和表5。

采用卡方檢驗(yàn)分析研究院各年度低于0.9分的子要素占比差異。結(jié)果顯示，2012年和2013年的占比較2011年顯著下降，說(shuō)明相關(guān)子要素的整改有實(shí)質(zhì)性進(jìn)展。2014年占比數(shù)值雖有所上升，達(dá)22.86%，但統(tǒng)計(jì)檢驗(yàn)顯示與2012年和2013年占比并無(wú)顯著性差異，說(shuō)明低分要素占比仍在同等水平。

在相同年度對(duì)研究院和甲、乙院低分要素占比進(jìn)行卡方檢驗(yàn)，研究院低分要素占比與甲院和乙院均無(wú)顯著性差異。結(jié)果說(shuō)明，雖然直觀的數(shù)值上研究院低分要素占比低于乙院并高于甲院，但還不能認(rèn)為與這2個(gè)單位拉開(kāi)了實(shí)質(zhì)性差距。

圖5 各研究院2011～2014年評(píng)估低于0．9分的子要素復(fù)現(xiàn)情況

4．低分子要素平均分差異性分析

經(jīng)計(jì)算得到研究院14項(xiàng)低分子要素的平均分及標(biāo)準(zhǔn)差，如圖7所示。其中4年平均分低于0.9的子要素有11項(xiàng)。將這些子要素的4年平均分與甲、乙院相同子要素4年平均分進(jìn)行統(tǒng)計(jì)學(xué)差異性檢驗(yàn)，研究院的產(chǎn)品重大問(wèn)題/重大短線/共性問(wèn)題的識(shí)別分析與處理高于乙院，其余子要素與甲、乙院均無(wú)顯著差異。結(jié)果說(shuō)明，若從4年整體觀察，研究院的低分子要素與其它研究院有很大共性。

根據(jù)上述分類方半對(duì)研究院14個(gè)關(guān)鍵子要素作出分類，偏向于發(fā)展型的子要素3個(gè)，偏向于衰退型的子要素1個(gè)，偏向于頑固型的子要素3個(gè)，偏向于問(wèn)題型的子要素6個(gè)，評(píng)估周期過(guò)短不便分類的子要素1個(gè)。其中個(gè)別子要素具有混雜特征，介于問(wèn)題型與頑固型、頑固型與衰退型之間。

5．統(tǒng)計(jì)結(jié)果討論

可以看出，雖然研究院部分子要素在向健康方向發(fā)展，但多在產(chǎn)品工程建設(shè)中新老問(wèn)題相互交織，不同要素相互影響。

圖6 各研究院2011～2014年評(píng)估低于0．9分的子要素的當(dāng)年占比

表5 各研究院2011～2014年評(píng)估低于0．9分的子要素的數(shù)量及占比

6．以評(píng)估數(shù)據(jù)支持改進(jìn)決策

研究院結(jié)合歷年航天科技集團(tuán)的反饋意見(jiàn)將統(tǒng)計(jì)分析結(jié)果進(jìn)行深入探討，明晰了自身的發(fā)展水平和趨勢(shì)，進(jìn)一步了解了相對(duì)其它單位的優(yōu)勢(shì)與劣勢(shì)，理清科研生產(chǎn)管理問(wèn)題的特征和脈絡(luò)。在宏觀層面，將有關(guān)調(diào)控內(nèi)容融數(shù)低分子要素仍表現(xiàn)為遷延反復(fù)的問(wèn)題型或改進(jìn)阻力較大的頑固型，對(duì)相關(guān)管理提出較大挑戰(zhàn)?？蒲猩a(chǎn)管理問(wèn)題主要體現(xiàn)在能力建設(shè)方面，相關(guān)要素占全部問(wèn)題的85%；科研生產(chǎn)任務(wù)管理也是問(wèn)題的重要方面，相關(guān)要素占全部問(wèn)題的14%，表明研究院科研生產(chǎn)管理的主要矛盾在于能力建設(shè)。非常值得注意的是，產(chǎn)品工程建設(shè)中的關(guān)鍵子要素絕大部分呈現(xiàn)“問(wèn)題型”特征，說(shuō)明入未來(lái)規(guī)劃，發(fā)揚(yáng)優(yōu)勢(shì)提升能力；在微觀層面，結(jié)合研究院科研生產(chǎn)管理問(wèn)題的分類，根據(jù)各類要素的特征有針對(duì)性地逐條制定改進(jìn)措施和實(shí)施方案。

圖7 研究院2011～2014年評(píng)估低于0．9分的子要素的平均分及標(biāo)準(zhǔn)差

例如，通過(guò)分析發(fā)現(xiàn)，盡管各子要素是分別評(píng)分再線性相加，但各類子要素間往往具有內(nèi)在關(guān)聯(lián)性，具有“牽一發(fā)動(dòng)全身”的聯(lián)動(dòng)效應(yīng)。第一個(gè)子要素背后的管理領(lǐng)域出現(xiàn)問(wèn)題，都可能對(duì)相關(guān)管理領(lǐng)域造成影響，反過(guò)來(lái)再影響其它子要素的評(píng)分。尤其對(duì)于產(chǎn)品工程建設(shè)中的子要素，這種特征更加明顯，所以其問(wèn)題也往往表現(xiàn)為“扎堆”的現(xiàn)象。針對(duì)這些問(wèn)題，在管理決策中要做好持續(xù)艱苦攻關(guān)的思想準(zhǔn)備，不能急于求成，應(yīng)本著緊跟航天科技集團(tuán)的思路創(chuàng)新開(kāi)擴(kuò)思維、系統(tǒng)規(guī)劃部署、逐項(xiàng)推進(jìn)解決的原則推進(jìn)產(chǎn)品工程建設(shè)管理的改進(jìn)。

另外，對(duì)分析中呈現(xiàn)“衰退型”特征的要素，應(yīng)認(rèn)識(shí)到相關(guān)管理工作出現(xiàn)了滑坡或跟不上航天科技集團(tuán)的新要求。因此，必須給予足夠的重視，在管理決策中及時(shí)采取措施，憑借相關(guān)管理工作有較好的基礎(chǔ)，可以迅速?gòu)浹a(bǔ)促其趕上，如果久拖不決，則可能形成更大的問(wèn)題而難于治理。

航天科研生產(chǎn)管理評(píng)估以現(xiàn)代管理理論為指導(dǎo)，以系統(tǒng)分析量化研究為特征，是一項(xiàng)重大的企業(yè)管理綜合評(píng)估活動(dòng)，具有重要的理論和實(shí)踐價(jià)值。歷年來(lái)為推動(dòng)航天科研生產(chǎn)管理評(píng)估，集團(tuán)公司、研究院、廠所3級(jí)均投入了眾多精力和資源，在這個(gè)過(guò)程中生成了大量詳實(shí)、寶貴的數(shù)據(jù)。這些數(shù)據(jù)與研究院、廠所/型號(hào)的科研生產(chǎn)活動(dòng)密切相關(guān)，比較客觀地反映了歷年各級(jí)科研生產(chǎn)活動(dòng)的要素特征，具有良好的數(shù)據(jù)質(zhì)量和優(yōu)質(zhì)豐富的信息載荷，是一筆寶貴的管理信息資源，非常有必要加以充分利用。通過(guò)對(duì)其深入分析可以發(fā)現(xiàn)科研生產(chǎn)管理的關(guān)鍵因素和問(wèn)題，掌握管理過(guò)程的狀態(tài)和趨勢(shì)，把握其中的特點(diǎn)和規(guī)律，確證其中重要的結(jié)論和問(wèn)題，進(jìn)而作出預(yù)測(cè)、給出建議。

數(shù)據(jù)資源的價(jià)值與其積累的深度和廣度呈指數(shù)關(guān)系。評(píng)估數(shù)據(jù)分析如果僅限于當(dāng)年、鄰年或局限于小范圍，則不足以說(shuō)明大問(wèn)題、把握大趨勢(shì)、獲取大發(fā)現(xiàn)，也不足以得出嚴(yán)謹(jǐn)?shù)慕Y(jié)論、作出準(zhǔn)確的預(yù)測(cè)。只有盡可能全面、完整地將歷年各單位的評(píng)估數(shù)據(jù)匯集起來(lái)，采用專業(yè)的統(tǒng)計(jì)方半加以分析，運(yùn)用科學(xué)的理論進(jìn)行闡釋，才能為科研生產(chǎn)管理提供切實(shí)有效的決策信息。因此，要使數(shù)據(jù)分析發(fā)揮對(duì)科研生產(chǎn)管理的決策支持作用，必須首先建立一整套相關(guān)數(shù)據(jù)收集、整理、儲(chǔ)存、利用的制度，形成一套可持續(xù)運(yùn)行的機(jī)制。?