軍用軟件測評供方能力特長評估探索與實踐

◎96901部隊 張幼春 史國華

現(xiàn)代化武器裝備日趨復(fù)雜，軟件在武器裝備中所占的比重越來越大，對武器裝備的影響也日益增加。隨著我軍裝備建設(shè)的發(fā)展，各類武器系統(tǒng)的綜合性能也相應(yīng)提高，但從根本上看，絕大部分武器性能的提高都離不開軟件，軟件已成為各類武器系統(tǒng)和保障裝備的中樞神經(jīng)，軟件質(zhì)量的高低，將對武器裝備性能的發(fā)揮帶來直接影響。由于武器裝備軟件在開發(fā)標(biāo)準(zhǔn)、使用環(huán)境、作用結(jié)果等方面的特殊性，要求軟件在研發(fā)完成后必須符合軍方所提出的戰(zhàn)標(biāo)，最終結(jié)果由軍方主導(dǎo)。因此，如何更進(jìn)一步的提高軟件質(zhì)量，確保武器裝備性能得到最大限度地發(fā)揮，是擺在我們軍用軟件測評總體單位面前的一個重要課題。

近期，我們結(jié)合測評工作開展及任務(wù)承擔(dān)單位情況，組織開展了軍用軟件測評供方能力特長評估審核工作，以探索一條更加適應(yīng)軍用軟件建設(shè)發(fā)展需要的軟件測評保障方式，為今后軟件測評工作的開展和確保軟件質(zhì)量的不斷提高提供一個良好的基礎(chǔ)和條件。

一、開展測評供方能力特長評估的必要性及其意義

隨著部隊新的編制體制的逐步推進(jìn)和武器裝備建設(shè)快速發(fā)展的實際，軟件測評需求和測評力量建設(shè)之間的矛盾成為一個較為突出的問題，主要表現(xiàn)為以下幾個方面。

一是軍內(nèi)軟件測評機(jī)構(gòu)受編制名額的限制，實有的人員技術(shù)力量難以再繼續(xù)承擔(dān)大量的武器裝備軟件測評任務(wù)；二是武器裝備建設(shè)發(fā)展的速度不斷提高，相關(guān)軟件項目研制數(shù)量也隨之不斷增加，相應(yīng)的測評需求也較前有著成倍或多倍的增長；三是隨著國家信息化建設(shè)的不斷發(fā)展，地方一些有資質(zhì)的工業(yè)部門及相關(guān)企事業(yè)單位對軟件測評力量建設(shè)的重視程度不斷提高，軟件測評單位如雨后春筍般蓬勃發(fā)展，在其能力特長范圍內(nèi)可以并且期望承擔(dān)軍用軟件測評任務(wù)；四是對于期望承擔(dān)軍用軟件測評任務(wù)的地方軟件測評單位，如何準(zhǔn)確選擇和把握其特長，充分發(fā)揮其測評能力，合理安排和部署軍用軟件測評任務(wù)，確保軟件測評質(zhì)量。

這些矛盾和問題的根本，是軍用軟件測評需求與軍內(nèi)測評力量建設(shè)的矛盾，這個問題僅靠部隊自身的力量難以得到有效的解決，只有按照“軍民融合”這一國家戰(zhàn)略的要求，走軍民融合的發(fā)展道路，充分發(fā)揮地方測評機(jī)構(gòu)機(jī)制靈活、手段多樣、各具特長等優(yōu)勢，才能使這些矛盾和問題得到有效緩解，確保武器裝備軟件的研制質(zhì)量和工作效率不斷提高。因此，適時組織軍用軟件測評供方能力特長評估審核工作，具有重要的現(xiàn)實意義，可有效解決以下幾個方面的問題：一是可解決軍用軟件測評需求量大、部隊測評機(jī)構(gòu)人員技術(shù)力量不足的問題；二是可進(jìn)一步提高軍用軟件測評任務(wù)安排部署的準(zhǔn)確性，避免目前軟件測評任務(wù)按招標(biāo)、指定測評單位等方式安排部署所存在的弊端；三是按評估的能力特長安排測評工作，可使相關(guān)測評單位的能力特長得到充分發(fā)揮，最大限度地保證軍用軟件質(zhì)量；四是通過評估審核，既可達(dá)到優(yōu)中選優(yōu)、擇強(qiáng)選用的目的，又可促進(jìn)相關(guān)軟件測評單位整體建設(shè)和測評質(zhì)量的進(jìn)一步提高。

二、測評供方能力特長評估方式及實踐

（一）能力特長評估審核的方式

軍用軟件測評供方能力特長評估審核工作，按照單位申請、現(xiàn)場審核、數(shù)據(jù)匯總、擇優(yōu)推薦、上報審批的程序執(zhí)行。具體審核方式與2725A和CNAS審核有較大的不同，主要在以下幾個方面：

一是審核內(nèi)容的不同。軍用軟件能力特長評估審核主要是在2725A和CNAS審核的基礎(chǔ)上，著重對測評單位所具備的能力特長組織審核評估。具體地說，就是相關(guān)申請單位首先必須具備2725A或CNAS資質(zhì)，這是申請評估的準(zhǔn)入條件。在申請評估時，需在申請書中所明確的軟件分類的幾種類型中，選擇與本單位完成過的項目特點(diǎn)相同或相近、且具備明顯經(jīng)驗特長的軟件類型進(jìn)行申報，審核評估專家組依據(jù)申請內(nèi)容，重點(diǎn)組織對所申報的能力特長進(jìn)行評估審核，對于2725A和CNA S認(rèn)定的內(nèi)容不再組織專門的重復(fù)審核。

二是審核標(biāo)準(zhǔn)的不同。軍用軟件能力特長評估審核主要采取定量審核的方式，與2725A和CNAS以定性審核為主的方式有所不同。評估審核主要依據(jù)評估模型，結(jié)合申請單位所申報的能力特長項目，逐項、定量地檢查項目中每項指標(biāo)的落實情況，同步采集記錄相關(guān)結(jié)果。評估模型對測評單位的管理能力、測評技術(shù)能力及過程質(zhì)量管理等各方面都規(guī)定了具體的考核指標(biāo)，并根據(jù)相關(guān)指標(biāo)在測評工作中的重要程度明確了量化評定標(biāo)準(zhǔn)，現(xiàn)場審核結(jié)束后，依據(jù)標(biāo)準(zhǔn)對審核數(shù)據(jù)進(jìn)行匯總、統(tǒng)計，得出評估審核的最終量化結(jié)果。

在這里需要說明的是，采用量化考核的方式進(jìn)行評估，各參評單位的能力特長水平通過具體的量化結(jié)果來體現(xiàn)，相較定性考核更為客觀、有效。經(jīng)過定量考核，各單位能力特長方面的實際情況直觀明確、高低立現(xiàn)，更加有利于特長突出單位的確認(rèn)。

三是審核程序的不同。軍用軟件能力特長評估審核在審核程序上，與2725A和CNAS也有所不同。除前所述的總體程序為申請、現(xiàn)場審核、數(shù)據(jù)匯總、擇優(yōu)推薦、上報審批外，在現(xiàn)場審核的程序上也有不同。主要是現(xiàn)場審核為一次性審核，不組織復(fù)審，不開具不符合項，不組織整改落實的監(jiān)督核查；在末次會上只提出審核發(fā)現(xiàn)的問題及整改建議，不現(xiàn)場明確審核是否通過的初步結(jié)論；最終的評估審核結(jié)論在參評單位達(dá)到一定量的積累后，通過對各單位評估審核最終量化結(jié)果的比對、衡量，按優(yōu)中選優(yōu)的原則提出能力特長測評單位推薦意見，報機(jī)關(guān)審批。

四是審核的結(jié)論不同。軍用軟件能力特長評估審核的審核結(jié)論，是測評機(jī)構(gòu)能否被確定為某種類型軍用軟件能力特長測評單位。相關(guān)機(jī)構(gòu)被確定的能力特長可以是一項，也可以是多項，以各單位在評估審核中的實際量化成績，經(jīng)最終比對、衡量、推薦后的審批結(jié)果為準(zhǔn)。

五是結(jié)論的應(yīng)用不同。軍用軟件能力特長評估審核的結(jié)論，是相關(guān)測評單位可否參加軍用軟件測評工作的主要依據(jù)，也是軟件測評總體單位安排部署軟件測評任務(wù)的主要依據(jù)。相關(guān)軟件測評機(jī)構(gòu)能且只能承擔(dān)經(jīng)評估審核后審批確認(rèn)的特長類型軟件測評任務(wù)。軟件測評總體單位在安排部署測評任務(wù)時，也將依據(jù)軟件類型，結(jié)合審批確認(rèn)的類型特長測評機(jī)構(gòu)實際情況，進(jìn)行測評單位的甄選及任務(wù)的安排部署。未經(jīng)確認(rèn)軟件類型能力特長的測評單位，原則上不得承擔(dān)該類型軟件的測評任務(wù)。

（二）能力特長評估審核試點(diǎn)工作開展情況

為確保能力特長評估審核工作的準(zhǔn)確、有效，根據(jù)需要，我們組織有關(guān)專家依據(jù)實際需求完成了評估模型的制定，選擇了三家單位作為評估審核工作的試點(diǎn)，并組織專家組分別對試點(diǎn)單位進(jìn)行了全面細(xì)致的評估審核。在試點(diǎn)審核工作中，按照不同的準(zhǔn)備條件，對審核實施工作進(jìn)行了驗證確認(rèn)，確定了更為合理的現(xiàn)場審核準(zhǔn)備要求；同時，在每次試點(diǎn)單位現(xiàn)場審核工作完成后，我們組織審核專家結(jié)合試點(diǎn)審核情況，對評估審核的相關(guān)工作進(jìn)行了研討，并依據(jù)專家意見，對評估模型進(jìn)行了進(jìn)一步的修改完善，為下一步評估審核工作的全面開展摸索了經(jīng)驗、打下了基礎(chǔ)。

（三）評估審核工作中發(fā)現(xiàn)的主要問題

通過對幾個試點(diǎn)單位現(xiàn)場審核工作的情況梳理我們感覺到，從總體上來看，各單位整體建設(shè)水平相對都比較扎實，各方面的建設(shè)也都在持續(xù)推進(jìn)，但在一些具體的管理能力、技術(shù)能力和條件建設(shè)等方面的發(fā)展水平也還存在著參差不齊的現(xiàn)象。存在的主要問題有：在管理能力方面，對于一些測試技術(shù)和方法的規(guī)范指導(dǎo)文件不夠健全，人員技術(shù)力量與所申報特長要求還不適應(yīng)，對于測試發(fā)現(xiàn)的一些軟件問題(缺陷)的級別不能嚴(yán)格按標(biāo)準(zhǔn)確定，部分過程數(shù)據(jù)的比對、計算管理記錄未及時收集歸檔等；在測試技術(shù)方面，覆蓋率測試不到位，動態(tài)測試工具的使用不夠，測試環(huán)境或平臺在測試項目中的應(yīng)用及效果難以證明，過程測試記錄欠缺或不完整，有些嵌入式軟件缺乏白盒測試內(nèi)容等；在可編程邏輯器件軟件測試方面，存在測試設(shè)計不夠充分，測試類型涵蓋不全，設(shè)計約束要求不到位，測試激勵要求不明確，有的測試類型使用測試方法不當(dāng)?shù)?。上述這些問題都是比較有代表性的問題，需要我們在后續(xù)的測試工作中盡可能地改進(jìn)、克服。

三、測評單位在能力特長建設(shè)方面需關(guān)注的幾個方面

在組織對試點(diǎn)單位進(jìn)行的評估審核工作中，除發(fā)現(xiàn)一些管理和測試技術(shù)方面的問題外，還有一些整體建設(shè)方面的問題需不斷加以改進(jìn)和完善，主要是以下幾個方面。

（一）質(zhì)量管理體系的充實完善

質(zhì)量管理體系，是各測評單位開展測評工作的指導(dǎo)依據(jù)和管理規(guī)范，在試點(diǎn)評估工作中，我們發(fā)現(xiàn)各單位在質(zhì)量管理體系建設(shè)方面總體上都比較重視，質(zhì)量管理體系相對也比較完善，但在作業(yè)指導(dǎo)文件上還不同程度地存在一些問題。主要表現(xiàn)在作業(yè)指導(dǎo)文件的編制還不夠細(xì)致，一些測試主要環(huán)節(jié)的技術(shù)要求過于粗略，無法起到對某項具體作業(yè)的指導(dǎo)和規(guī)范作用。例如有的單位在作業(yè)指導(dǎo)文件中對于測試需求分析、測試用例設(shè)計、文檔審查、代碼審查等工作的技術(shù)規(guī)范，僅在某一級別的測試規(guī)程中進(jìn)行了簡單說明，沒有進(jìn)行詳細(xì)的規(guī)范和明確，更沒有使用獨(dú)立章節(jié)進(jìn)行說明，這就導(dǎo)致在同一項工作內(nèi)容中，因為沒有詳細(xì)的技術(shù)程序和規(guī)范作指導(dǎo)，技術(shù)能力強(qiáng)的測試人員所做的工作相對會細(xì)一些，而技術(shù)能力較弱的測試人員所作的工作則會很粗，測評質(zhì)量也會因此而大打折扣；還有的單位對于可編程邏輯器件軟件這類測評工作的規(guī)范，僅用《可編程邏輯器件軟件測試》這樣一個作業(yè)文件進(jìn)行了說明，對于一些諸如靜態(tài)時序分析、形式驗證、仿真測試等主要測試方法的技術(shù)要求，只是在文件中一筆帶過，甚至根本沒提，將很難保證軟件的測試質(zhì)量。

（二）軟件測試工具的使用和完善

軟件測試工具作為軟件測評工作的主要輔助測試技術(shù)手段，對測評質(zhì)量和效率的提升有著極為重要甚至不可替代的作用，因此，軟件測試工具在各測評單位的條件建設(shè)中，應(yīng)該占有較大的比重，亦應(yīng)給予必要的關(guān)注。在幾個試點(diǎn)單位的評估審核工作中我們發(fā)現(xiàn)，各單位對于軟件測試工具的建設(shè)都比較重視，有的測試工具已相對比較完備，有的已開始啟動整改建設(shè)，隨著建設(shè)的進(jìn)展，測試工具也將逐步完備落實。但在測試工具的具體使用上，則還存在一些不足。主要表現(xiàn)在有的單位所提供審核的軟件測評項目中，工具使用率較低，有些項目(特別是在協(xié)作單位搭建環(huán)境組織的測評項目)甚至基本沒有使用工具，全部靠測試人員的自身能力完成測試，圄于人員精力和項目時間的限制，這類測試項目的質(zhì)量將難以得到有效保障，同時，一些必要的數(shù)據(jù)資料也難以收集、提取和存檔保留，給后續(xù)的分析、總結(jié)等相關(guān)工作帶來不便。因此，建議各測評單位在測試工具的使用上要提高重視程度，無論是在自有的環(huán)境組織測試，還是到外單位的環(huán)境中開展測試工作，只要有可用的測試工具，都要盡可能合理安排使用，為自身能力建設(shè)和軟件測評質(zhì)量的提高創(chuàng)造條件。

（三）測評經(jīng)驗、力量與申請?zhí)亻L的適應(yīng)程度

測評經(jīng)驗，是每一個測評單位經(jīng)過多年的工作實踐、不斷總結(jié)積累而形成的、對于軟件測評某一領(lǐng)域或某一類型的深刻的認(rèn)識和技能的凝聚，且與單位測評力量的建設(shè)緊密相關(guān)。在試點(diǎn)工作中，我們發(fā)現(xiàn)有的測評單位申報測試特長時，在自身經(jīng)驗的總結(jié)梳理上不夠充分，忽視了測評經(jīng)驗及力量建設(shè)與能力特長的關(guān)系，過于追求能力特長在名義上的多而全，以致出現(xiàn)所申報能力特長與實際情況不相適應(yīng)的情況。為此，建議各測評單位在歷年完成的測評工作基礎(chǔ)上，對自身的經(jīng)驗、特長進(jìn)行深入的總結(jié)梳理，結(jié)合軟件類型、工具配備、人員力量建設(shè)、項目積累等多個方面，形成對自身實際具有的能力特長的準(zhǔn)確認(rèn)識，按照不斷強(qiáng)化特長、逐步補(bǔ)足短板的方式，有針對性地開展工作，以扎實推進(jìn)自身測評能力特長建設(shè)。對于還存在的一些自身目前可以做、但還不足以成為能力特長的方面，在組織建設(shè)時應(yīng)注重從體系的完善、工具的配套、測試技術(shù)力量及技能的提高、測評項目的總結(jié)積累等方面同步加強(qiáng)，以達(dá)到“強(qiáng)的更強(qiáng)、弱的建強(qiáng)”的目的，把自身建設(shè)成為一個管理有效、環(huán)境工具配套、技能全面的軟件測評機(jī)構(gòu)。

（四）測試數(shù)據(jù)的采集和管理

測試數(shù)據(jù)是測評工作從準(zhǔn)備、實施至結(jié)果評價都密不可分的重要測試依據(jù)及結(jié)論評定依據(jù)，它貫穿于測評工作的方方面面；按實際情況分，既有需要測試予以驗證的數(shù)據(jù)，也有需通過測試執(zhí)行對結(jié)果進(jìn)行驗證的數(shù)據(jù)，還有作為評判依據(jù)對結(jié)果進(jìn)行評定的數(shù)據(jù)，無論哪個方面的數(shù)據(jù)，對測評工作來說都至為重要，需要進(jìn)行嚴(yán)密的采集和嚴(yán)格的管理。在試點(diǎn)審核工作中我們發(fā)現(xiàn)，在數(shù)據(jù)的采集管理方面還不同程度地存在采集不夠嚴(yán)謹(jǐn)、管理不夠到位的問題。體現(xiàn)在：一是用于測試的數(shù)據(jù)準(zhǔn)備記錄不詳細(xì)、管理不充分，在測試文檔中僅記錄測試數(shù)據(jù)由誰提供，是真實數(shù)據(jù)還是模擬數(shù)據(jù)，對于數(shù)據(jù)的數(shù)量、類型、對需求的覆蓋程度等沒有具體描述，且未能做到對所用數(shù)據(jù)全部進(jìn)行存檔管理；二是某些測試類型的測試結(jié)果數(shù)據(jù)記錄不全，且未能按要求進(jìn)行存檔管理；三是過程數(shù)據(jù)的比對、計算管理記錄采集不夠到位，也未能按要求進(jìn)行存檔管理。對于一些因客觀原因而無法采集的數(shù)據(jù)(如源程序、部分真實數(shù)據(jù)等)可以不做為硬性要求，但對于其他數(shù)據(jù)、特別是測試產(chǎn)生的數(shù)據(jù)，無論是在測試方提供的環(huán)境中測試還是在自己搭建的環(huán)境中測試，都應(yīng)予以嚴(yán)密的采集和嚴(yán)格的管理，測評項目結(jié)束后，應(yīng)與相關(guān)測評文檔一并按規(guī)定進(jìn)行歸檔管理，這既是保證測評質(zhì)量的必要手段，也是各測評單位不斷加強(qiáng)自身建設(shè)、全面提高測評能力所需依托的必要條件，同時也是測評管理的必然要求。

（五）可編程邏輯器件軟件測試技術(shù)及方法的規(guī)范

隨著可編程邏輯器件技術(shù)的發(fā)展和應(yīng)用，可編程邏輯器件軟件測試能力建設(shè)，已成為測評領(lǐng)域的一個重要建設(shè)內(nèi)容，作為一類在測試方法上有著明顯自身特點(diǎn)的軟件測試技術(shù)，各測評機(jī)構(gòu)均已投入精力進(jìn)行相關(guān)測試技術(shù)的學(xué)習(xí)和探索，有些測評機(jī)構(gòu)已經(jīng)積累了相當(dāng)豐富的測試經(jīng)驗，基本具備了這類軟件的測試特長?；谶@類軟件的特殊性，我們在評估模型中專門將其定義為一種獨(dú)立于各種軟件類型之外、需要單獨(dú)評價的特長類型。在試點(diǎn)審核中，各測評單位都申報了可編程邏輯器件軟件測試特長這一項，但在審核取證中，感覺各單位對這類軟件測試技術(shù)的認(rèn)識和理解存在差異,在測試技術(shù)及方法的應(yīng)用上也不盡相同，需進(jìn)一步統(tǒng)一和規(guī)范。目前，GJ B 9433-2018已正式頒布實施，建議各測評機(jī)構(gòu)嚴(yán)格按照國軍標(biāo)的要求，對相關(guān)的體系文件、測試技術(shù)、測試方法及條件建設(shè)進(jìn)行進(jìn)一步的梳理、規(guī)范和完善，不斷加強(qiáng)在這一領(lǐng)域的能力特長建設(shè)，以更加適應(yīng)可編程邏輯器件軟件建設(shè)及應(yīng)用快速發(fā)展的實際需要。

四、對后續(xù)軟件測評質(zhì)量監(jiān)管工作的思考

對軍用軟件測評供方能力特長的評估，是我們對軍用軟件測評工作的準(zhǔn)入機(jī)制進(jìn)行的探索與實踐。同時，為保證軟件測評質(zhì)量監(jiān)管工作的持續(xù)、有效，我們對后續(xù)相關(guān)監(jiān)管機(jī)制的建立也進(jìn)行了同步的思考。

對于通過準(zhǔn)入機(jī)制承擔(dān)軍用軟件測評任務(wù)的機(jī)構(gòu)，建立完善測評機(jī)構(gòu)動態(tài)管理機(jī)制，與監(jiān)督抽查、定期考評、獎優(yōu)罰劣等制度有機(jī)結(jié)合，定期發(fā)布測評工作簡報，對測評工作總體情況及測評機(jī)構(gòu)的增減情況進(jìn)行通報明確。

對于測評機(jī)構(gòu)動態(tài)管理中的質(zhì)量監(jiān)管和考核工作通常結(jié)合測評任務(wù)進(jìn)行，特殊情況下可組織專項考核；監(jiān)管和考核情況做為對測評機(jī)構(gòu)實施動態(tài)管理的基本依據(jù)。

監(jiān)管和考核工作擬按以下幾個方面組織實施。一是建立過程跟蹤機(jī)制。依據(jù)軟件測評工作不同階段的實際，安排專職人員對軟件測評項目的執(zhí)行情況進(jìn)行全程跟蹤，在組織重要節(jié)點(diǎn)工作成果專家評審的基礎(chǔ)上，按照不同階段的工作特點(diǎn)，有針對性地開展相關(guān)監(jiān)督檢查工作；檢查過程中如發(fā)現(xiàn)問題，按不同情況進(jìn)行必要的處理，并將問題情況予以登記備案。二是建立能力比對機(jī)制。對定型級別比較高的項目或測評結(jié)果存疑的項目，根據(jù)實際需要安排不同測評機(jī)構(gòu)進(jìn)行比測或復(fù)測等比對驗證工作，對能力比對中出現(xiàn)重大誤差的測評機(jī)構(gòu)，予以必要的處理。三是建立中期考核機(jī)制。按照軍用軟件測評管理的實際需要，定期組織對名錄中的測評機(jī)構(gòu)質(zhì)量管理體系運(yùn)行情況和技術(shù)能力進(jìn)行檢查考核。對檢查中發(fā)現(xiàn)的問題，及時通報被審核測評機(jī)構(gòu)，相關(guān)考核數(shù)據(jù)作為對測評機(jī)構(gòu)年度管理考核的重要依據(jù)。