從用戶角度探討空管自動化系統(tǒng)軟件測試

侯立鋒

0 引言

空管自動化系統(tǒng)（以下簡稱自動化系統(tǒng)）直接面向管制員，為管制員提供監(jiān)視信息、飛行計劃信息，以及各種告警服務(wù)，是最重要的空管設(shè)備之一。在現(xiàn)實中，自動化廠商將大部分的投入都用在了軟件開發(fā)上，對于支持系統(tǒng)運行的硬件，包括：服務(wù)器、工作站、網(wǎng)絡(luò)設(shè)備、記錄儀、GPS授時設(shè)備、傳輸設(shè)備等，基本上都是直接采購現(xiàn)成的貨架產(chǎn)品，由此可見，只有空管自動化系統(tǒng)軟件才能體現(xiàn)空管自動化系統(tǒng)的核心價值。

隨著自動化系統(tǒng)在空管系統(tǒng)應(yīng)用越來越廣泛，其軟件質(zhì)量的優(yōu)劣也日益受到人們的重視。質(zhì)量不佳的自動化軟件產(chǎn)品不僅會增加使用和維護(hù)費用，還可能影響飛行安全，甚至造成災(zāi)難性的后果。軟件測試是軟件生命周期中一項非常重要且非常復(fù)雜的工作，對軟件質(zhì)量的保證具有極其重要的意義。

本文將站在用戶角度，分析探討如何在工廠驗收和現(xiàn)場驗收時，提高用戶的參與度，讓軟件測試工作覆蓋更全面，盡可能多的發(fā)現(xiàn)自動化系統(tǒng)軟件隱藏的錯誤，為自動化系統(tǒng)正式投產(chǎn)運行把好軟件測試關(guān)。

1 軟件測試基礎(chǔ)

1.1 什么是軟件測試

軟件測試是為了發(fā)現(xiàn)錯誤而執(zhí)行程序的過程。或者說，軟件測試是根據(jù)軟件開發(fā)各階段的規(guī)格說明和程序的內(nèi)部結(jié)構(gòu)而精心設(shè)計一批測試用例（即輸入數(shù)據(jù)及其預(yù)期的輸出結(jié)果），并利用這些測試用例去運行程序，以發(fā)現(xiàn)程序錯誤的過程。

1.2 軟件測試的目的和方法

1.2.1 軟件測試的目的

Grenford J.Myers就軟件測試目的提出以下觀點：

1）測試是程序的執(zhí)行過程，目的在于發(fā)現(xiàn)錯誤；

2）一個好的測試用例在于能發(fā)現(xiàn)至今未發(fā)現(xiàn)的錯誤；

3）一個成功的測試是發(fā)現(xiàn)了至今未發(fā)現(xiàn)的錯誤的測試。

1.2.2 軟件測試方法

在軟件的測試過程中，應(yīng)該應(yīng)用各種測試方法，以保證產(chǎn)品有一個較高較穩(wěn)定的質(zhì)量。根據(jù)不同的生產(chǎn)過程進(jìn)行不同的測試，包括黑盒測試、白盒測試、功能測試、系統(tǒng)測試、壓力測試、安裝/卸載測試、兼容性測試、α 測試、β 測試等 。

在工廠驗收（相當(dāng)于α 測試）、現(xiàn)場驗收（相當(dāng)于β 測試）的測試活動中，主要測試對象都是功能已經(jīng)完成，即將要交付或者發(fā)布的軟件，所以大多是通過黑盒法來進(jìn)行功能、性能等各種測試。黑盒法中的一些典型方法，如等價分類法、邊界值分析法、錯誤推測法、因果圖以及狀態(tài)轉(zhuǎn)換圖等方法。

2 自動化系統(tǒng)軟件測試現(xiàn)狀

2.1 用戶對軟件測試工作專業(yè)知識欠缺，在與廠家共同做軟件測試時，處于弱勢一方，往往依賴于廠家的提供的測試方案和標(biāo)準(zhǔn)。

目前用戶參與到自動化系統(tǒng)軟件測試工作，是從工廠驗收測試開始的。自動化系統(tǒng)廠商按照與客戶談好的需求規(guī)格說明書，完成自動化系統(tǒng)軟件開發(fā)和測試。在軟件出廠前，廠家會邀請用戶代表到工廠，完成工廠驗收，以確認(rèn)開發(fā)的軟件是否是用戶需要的產(chǎn)品，并按照客戶意見，修改軟件。之后，廠家會將自動化系統(tǒng)安裝到客戶現(xiàn)場。自動化系統(tǒng)調(diào)試完成后，自動化系統(tǒng)廠家和客戶以及其他相關(guān)方會一起完成現(xiàn)場驗收。在系統(tǒng)驗收時，測試方案由自動化廠家提供。按照自動化廠家提供的測試用例（這些用例廠家已測試多遍）在真實環(huán)境下驗證一遍就算通過，現(xiàn)場驗收只是對廠家測試用例的簡單重復(fù)，用戶未能對軟件測試工作提供新的幫助。

2.2 某廠家現(xiàn)場考核測試方案舉例

2.2.1 測試目的和依據(jù)

依據(jù)軟件需求規(guī)格說明書，在真實環(huán)境下，驗證自動化系統(tǒng)功能的正確性。

2.2.2 測試方案總體結(jié)構(gòu)和測試用例分布

某自動化廠家的現(xiàn)場考核測試方案，該方案分為8個部分，共320個測試用例，具體如下：雷達(dá)數(shù)據(jù)處理（43），飛行數(shù)據(jù)處理功能（54），人-機(jī)界面和人-機(jī)對話功能（90）；記錄、重演（14），技術(shù)監(jiān)控功能（25），數(shù)據(jù)庫管理（19），飛行數(shù)據(jù)操作席（62），性能指標(biāo)（31）。在功能、性能測試的同時，系統(tǒng)連續(xù)運行72小時，進(jìn)行可靠性考核。系統(tǒng)通過可靠性考核驗證。

2.2.3 系統(tǒng)錯誤等級分類

1）第1級錯誤（嚴(yán)重錯誤）：不能完全滿足系統(tǒng)基本要求或系統(tǒng)正常運行，導(dǎo)致系統(tǒng)癱瘓或危及人員安全的錯誤并且不存在合理的、可以變通解決的辦法（重新裝入或重新啟動該系統(tǒng)不屬于變通解決辦法）。

2）第2級錯誤（一般錯誤）：不利于完全滿足系統(tǒng)基本要求或系統(tǒng)正常運行，但卻存在合理的、可以變通解決的辦法（重新裝入或重新啟動該系統(tǒng)不屬于變通解決辦法）。

3）第3級錯誤（輕微錯誤）：不影響系統(tǒng)要求的滿足或基本功能的實現(xiàn)，但操作不方便。

2.2.4 考核測試通過標(biāo)準(zhǔn)

1）沒有1級錯誤；

2）2級錯誤不多于3個；

3）3級錯誤不多于12個；

4）針對系統(tǒng)考核還需驗證對需求的覆蓋程度：

5）每個系統(tǒng)功能至少被一個測試用例覆蓋；

6）覆蓋期望的系統(tǒng)性能需求；

7）覆蓋所有外部接口；

8）覆蓋100%的系統(tǒng)主流程（根據(jù)用戶需求）；

9）主流程、主要功能至少被2個測試用例覆蓋。

廠家的測試方案很專業(yè)，也很正規(guī)，具備包括測試目的、測試依據(jù)、測試方法（測試用例）、錯誤等級定義、考核通過標(biāo)準(zhǔn)等全部要素，可操作性很強(qiáng)。測試用例基本覆蓋了系統(tǒng)主流程的功能模塊，測試用例的數(shù)量分布相對合理，是一個不錯的測試方案。

2.3 廠家測試方案的不足

2.3.1 觀察測試角度存在局限性

目前有兩種需用戶參與的測試。一個是工廠測試，一個是現(xiàn)場測試。當(dāng)軟件開發(fā)完成，自動化廠商搭建模擬測試環(huán)境，邀請用戶完成出廠測試。另一種是在用戶現(xiàn)場，當(dāng)系統(tǒng)安裝調(diào)試完成后，在真實的環(huán)境下完成的現(xiàn)場驗收測試。這兩種測試均為廠家提供測試方案?？展茏詣踊到y(tǒng)是一個非常復(fù)雜的軟件系統(tǒng)，測試方案僅站在開發(fā)者角度編制，觀察測試角度存在局限性。

2.3.2 廠家的測試方案存在覆蓋盲點

盡管廠家提供的測試方案，已涵蓋絕大部分功能，但再好的測試方案，也很難覆蓋全部測試要點，存在覆蓋盲點。下面的案例很好的說明了這一點。

2015年12月4日18：45，飛服通報某航班落地，主用系統(tǒng)自動拍發(fā)落地報不成功，人工補(bǔ)發(fā)。維護(hù)人員發(fā)現(xiàn)系統(tǒng)提示不能找到收報地址，檢查收報地址庫數(shù)據(jù)無缺失。事后查明，因現(xiàn)用收報地址條數(shù)（1011）已超出系統(tǒng)容量（1000）限制，排在容量之外的收報地址將被棄用，導(dǎo)致發(fā)報時不能找到收報地址，發(fā)送不成功。

現(xiàn)場考核測試方案中涉及收報地址庫的測試用例只有一條，該測試用例僅驗證了收報地址庫的增加、刪除、修改功能，并沒有覆蓋收報地址庫的容量測試。收報地址庫1000條的容量限制隱患被保留下來，自動化系統(tǒng)頭幾年工作運行都正常，幾年后，隨著航班量的增加，收報地址條目超過1000條，1000條以外的地址被認(rèn)為無效地址，導(dǎo)致系統(tǒng)自動派發(fā)起飛報/落地報功能異常。

3 完善自動化系統(tǒng)軟件測試方案的建議

3.1 自動化系統(tǒng)要符合民航規(guī)章標(biāo)準(zhǔn)

2010年民航出臺了《民用航空空中交通管制自動化系統(tǒng)配置規(guī)范》MH/T4029.1-2010，2012年出臺了《民用航空空中交通管制自動化系統(tǒng)技術(shù)規(guī)范》MH/T4029.2-2012，兩個重要規(guī)范性文件。2012年以后建設(shè)的自動化系統(tǒng)，在現(xiàn)場驗收時，用戶一定要按照上述規(guī)章標(biāo)準(zhǔn)，檢查所建自動化系統(tǒng)是否符合規(guī)章要求。當(dāng)然在項目前期的需求規(guī)格說明書中一定注明所建自動化系統(tǒng)應(yīng)符合民航規(guī)章要求。

3.2 雇傭第三方軟件測試機(jī)構(gòu)設(shè)計測試用例

前文提到用戶對于軟件測試相關(guān)技術(shù)不熟悉，致使不會設(shè)計測試用例，可以聘請第三方軟件機(jī)構(gòu)，根據(jù)軟件需求規(guī)格說明書，站在第三方角度，采用黑盒測試方法（例如控件測試法、邊界值分析法，等價類劃分法，性能指標(biāo)法等），協(xié)助用戶設(shè)計測試用例。這樣可以讓測試工作更完善。

3.3 聘請空管業(yè)內(nèi)專家參與測試

空管一體化后，各個空管單位之間的聯(lián)系加強(qiáng)，對于初次建設(shè)空管自動化系統(tǒng)的單位，可以邀請其他單位有經(jīng)驗的業(yè)內(nèi)專家，參與現(xiàn)場驗收測試。

3.4 參考空管積累的經(jīng)驗補(bǔ)充測試用例

3.4.1 敏感時間節(jié)點測試

某空管自動化系統(tǒng)，每天早晨8點（北京時間）會刪除24小時前的計劃，廠家設(shè)計軟件時正處于閏年，故此將系統(tǒng)2月份計劃結(jié)算天數(shù)設(shè)為29天。這個缺陷非常隱蔽，工廠驗收河現(xiàn)場驗收均未能發(fā)現(xiàn)。系統(tǒng)投入使用后，第二年剛好為平年，2月份變成只有28天。系統(tǒng)仍然按照29天結(jié)算，導(dǎo)致結(jié)算天數(shù)比正常時間多一天，根據(jù)系統(tǒng)設(shè)置，若航班計劃實際執(zhí)行時間與系統(tǒng)推算執(zhí)行時間相差24小時，系統(tǒng)將自動刪除該航班計劃。當(dāng)3月1日來臨時，系統(tǒng)認(rèn)為2月28日的計劃已超過24小時，將2月28日為執(zhí)行的計劃自動刪除。而航班計劃被刪除后，航跡無法找到對應(yīng)的計劃，會自動去相關(guān)。建議系統(tǒng)測試時，增加例如2月29日時間節(jié)點測試。

3.4.2 磁盤空間可能耗盡測試

一般應(yīng)用軟件運行，會往磁盤里寫一些東西，例如運行日志，每天數(shù)據(jù)量不大，如果軟件沒有設(shè)計日志定期自動清除機(jī)制，日積月累會，會逐漸耗盡磁盤空間。

空管安全信息網(wǎng)記載了這樣一則案例，2016年3月12日，某地發(fā)生管制綜合信息系統(tǒng)某一模塊無法操作的問題。經(jīng)查原因為服務(wù)器磁盤空間已經(jīng)完全被占滿，數(shù)據(jù)庫日志無法寫入。期間該模塊退出服務(wù)，無法正常使用。事后查明，主數(shù)據(jù)庫服務(wù)器的X盤（DATA）已占465G，Y盤（LOG）已占499G，兩個盤分配的空間均為500G。檢查Y盤剩余空間，為0KB。每當(dāng)程序往數(shù)據(jù)庫寫入、更新、刪除數(shù)據(jù)時，需先增加一個日志記錄，也就是要先往Y盤（LOG）寫入一條數(shù)據(jù)。由于Y盤已經(jīng)沒有剩余的空間去保存這條日志記錄，所以整個數(shù)據(jù)庫更改操作都失敗。建議在系統(tǒng)驗收時，增加磁盤空間自動釋放機(jī)制檢查。

3.4.3 AFTN報文壓力測試

AFTN網(wǎng)傳輸?shù)膱笪臄?shù)據(jù)流具有突發(fā)性特點，用大流量報文可以驗證系統(tǒng)電報處理能力。自動化系統(tǒng)在接入轉(zhuǎn)報鏈路后，通過關(guān)閉轉(zhuǎn)報機(jī)對該端口報文的轉(zhuǎn)發(fā)，讓轉(zhuǎn)報機(jī)積壓一定量的報文，當(dāng)放開端口后，積壓的報文會涌入自動化系統(tǒng)。壓力測試也是系統(tǒng)處理性能極限測試，在極端情況下更容易暴露系統(tǒng)隱藏的缺陷。

4 總結(jié)

自動化系統(tǒng)是面向管制員的重要空管設(shè)備，其核心是軟件，軟件質(zhì)量的好壞與運行安全息息相關(guān)，而做好軟件測試工作是保障軟件質(zhì)量的重要手段。本文針對常規(guī)軟件測試的目的、原則進(jìn)行了闡述，簡單描述自動化系統(tǒng)軟件測試的現(xiàn)狀，在用戶參與的工廠測試、和現(xiàn)場測試環(huán)節(jié)，提出了一些個人建議，僅供參考。

目前關(guān)于自動化系統(tǒng)軟件測試還缺少權(quán)威性的規(guī)范作為指導(dǎo)，對于自動化系統(tǒng)軟件測試工作用戶參與度較低，主要依賴自動化廠家軟件測試水平。另一方面，空管系統(tǒng)的運行標(biāo)準(zhǔn)越來越高，運行壓力越來越大，用戶作為自動化系統(tǒng)的使用者，是自動化系統(tǒng)因軟件缺陷導(dǎo)致異常的責(zé)任載體。用戶必須想盡辦法，在系統(tǒng)投入使用前，盡可能多的發(fā)現(xiàn)并消除自動化系統(tǒng)中的隱患，降低自動化系統(tǒng)的運行風(fēng)險。

[責(zé)任編輯：李書培]