智能保護(hù)裝置軟件模塊動(dòng)態(tài)仿真測(cè)試工具研制

劉 沛，張超永，許英豪，王 鵬

(許繼電氣股份有限公司，河南 許昌 461000)

0 引 言

軟件模塊具有結(jié)構(gòu)清晰、可重用性高等特點(diǎn)，廣泛應(yīng)用于特高壓交流、智能變電站保護(hù)裝置、穩(wěn)控裝置等電力系統(tǒng)重點(diǎn)項(xiàng)目的智能保護(hù)裝置中[1].針對(duì)模塊開展軟件白盒測(cè)試，是夯實(shí)保護(hù)裝置產(chǎn)品軟件基礎(chǔ)的重要手段，在提升保護(hù)裝置產(chǎn)品軟件質(zhì)量上發(fā)揮了重要作用.

目前，軟件模塊開展軟件動(dòng)態(tài)測(cè)試雖然取得一定的成效，但仍存在以下不足：

1) 模塊測(cè)試主要針對(duì)軟件內(nèi)部源代碼開展測(cè)試，對(duì)人員素質(zhì)要求較高，同時(shí)當(dāng)前缺乏適用的測(cè)試工具，依靠人工開展測(cè)試的效率有待提高[2].

2) 基礎(chǔ)模塊作為元件庫的形式存在，數(shù)量龐大，質(zhì)量要求高，隨著批量測(cè)試需求的增加，需要?jiǎng)?chuàng)新測(cè)試方法和手段來保證測(cè)試進(jìn)度.

3) 測(cè)試驅(qū)動(dòng)、測(cè)試用例、測(cè)試數(shù)據(jù)等保存的方法和格式過于簡單，不利于軟件模塊快速迭代開發(fā)對(duì)回歸測(cè)試的需求，需要規(guī)范化建立完善的測(cè)試過程數(shù)據(jù)存儲(chǔ)機(jī)制，以便于軟件模塊的回歸測(cè)試[3，4].

4) 僅依靠人員的交叉覆蓋測(cè)試難以控制人為的偶發(fā)性失誤，容易造成測(cè)試不充分或測(cè)試質(zhì)量參差不齊的情況.

5) 軟件模塊級(jí)的動(dòng)態(tài)測(cè)試對(duì)應(yīng)用產(chǎn)品依賴性高、針對(duì)性強(qiáng)，導(dǎo)致市場上很難出現(xiàn)針對(duì)軟件模塊動(dòng)態(tài)測(cè)試通用工具[5].

針對(duì)以上測(cè)試現(xiàn)狀，本文設(shè)計(jì)開發(fā)一套嵌入式軟件保護(hù)模塊動(dòng)態(tài)仿真測(cè)試工具，旨在解決測(cè)試過程中的難題，提高測(cè)試效率和測(cè)試質(zhì)量，支撐軟件研發(fā)質(zhì)量的持續(xù)提升.

1 動(dòng)態(tài)仿真測(cè)試工具需求分析

1.1 功能性需求

軟件模塊的一般測(cè)試過程如圖 1 所示，測(cè)試人員拿到一個(gè)軟件模塊后，首先，根據(jù)軟件模塊應(yīng)用場景，開發(fā)測(cè)試驅(qū)動(dòng)，確保軟件模塊能夠編譯通過、動(dòng)態(tài)運(yùn)行；然后，編輯測(cè)試用例，在測(cè)試驅(qū)動(dòng)中執(zhí)行用例；最后，查看測(cè)試結(jié)果給出判斷，完成軟件模塊的動(dòng)態(tài)測(cè)試[5].

圖 1 軟件模塊測(cè)試過程圖

在整個(gè)測(cè)試過程中，有3個(gè)核心步驟，① 編輯用例，② 開發(fā)測(cè)試驅(qū)動(dòng)，③ 查看測(cè)試結(jié)果并給出判斷.目前，這3個(gè)過程全靠測(cè)試人員手動(dòng)完成，其中測(cè)試用例是測(cè)試人員在TXT中文本中手動(dòng)編輯; 驅(qū)動(dòng)是測(cè)試一個(gè)模塊，測(cè)試人員開發(fā)一個(gè)驅(qū)動(dòng)，測(cè)試執(zhí)行完再由測(cè)試人員去查看結(jié)果.對(duì)此，工具應(yīng)具備以下幾種基本功能：

1) 測(cè)試用例自動(dòng)生成：測(cè)試工具應(yīng)能對(duì)被測(cè)源代碼進(jìn)行靜態(tài)分析，挖掘出代碼變量、邏輯等重要信息，并根據(jù)這些重要信息生成測(cè)試用例供測(cè)試人員選擇；

2) 強(qiáng)大的用例管理功能：隨著保護(hù)裝置產(chǎn)品的不斷升級(jí)，軟件規(guī)模越來越大，模塊數(shù)量越來越多，測(cè)試用例成指數(shù)級(jí)增長，如何管理好這些用例、維護(hù)好用例庫已成為一個(gè)亟待解決的問題，測(cè)試工具應(yīng)具備強(qiáng)大的測(cè)試用例管理功能；

3) 具備通用性強(qiáng)的測(cè)試驅(qū)動(dòng)：測(cè)試工具應(yīng)有一個(gè)通用性很強(qiáng)的仿真數(shù)據(jù)模型[6]，以避免每次新軟件模塊的測(cè)試都需要重寫測(cè)試驅(qū)動(dòng)；

4) 測(cè)試過程自動(dòng)化：工具應(yīng)具備測(cè)試過程的高度自動(dòng)化，一個(gè)軟件模塊設(shè)計(jì)完測(cè)試用例后，應(yīng)能達(dá)到不需要人工干預(yù)的情況下完成測(cè)試自動(dòng)執(zhí)行、結(jié)果自動(dòng)判別.

5) 測(cè)試信息靈活展示：工具應(yīng)具備展示當(dāng)前測(cè)試結(jié)果、歷史測(cè)試結(jié)果、測(cè)試過程信息等功能.

1.2 非功能性需求

測(cè)試工具除了功能性滿足基本要求外，還應(yīng)滿足以下非功能性要求：

1)易用性：測(cè)試工具的使用應(yīng)符合測(cè)試人員的工作習(xí)慣，使測(cè)試人員不需要培訓(xùn)或進(jìn)行簡單的培訓(xùn)就能輕易使用工具[7].能達(dá)到簡單易用、界面友好等基本要求；

2)可擴(kuò)展性：隨著保護(hù)裝置產(chǎn)品的更新?lián)Q代，軟件模塊的應(yīng)用環(huán)境難免出現(xiàn)新的變化，測(cè)試工具應(yīng)具備很強(qiáng)的可擴(kuò)展性以滿足新產(chǎn)品軟件模塊的測(cè)試需求；

3)高效性：測(cè)試工具一定要具備高效性，不能為了實(shí)現(xiàn)自動(dòng)化而犧牲效率.另外，工具不應(yīng)該出現(xiàn)卡頓、切換界面遲鈍等現(xiàn)象[8].

2 動(dòng)態(tài)仿真測(cè)試工具設(shè)計(jì)

2.1 仿真測(cè)試工具整體架構(gòu)設(shè)計(jì)

根據(jù)需求分析，采用模塊化、層次化的理念對(duì)仿真動(dòng)態(tài)測(cè)試工具進(jìn)行總體設(shè)計(jì).

仿真測(cè)試工具的整體架構(gòu)如圖 2 所示，整體架構(gòu)分應(yīng)用層和數(shù)據(jù)仿真層.應(yīng)用層主要包含測(cè)試用例編輯功能模塊、測(cè)試用例管理功能模塊、測(cè)試自動(dòng)執(zhí)行模塊、測(cè)試自動(dòng)判斷、測(cè)試寫過展示、測(cè)試報(bào)告生成、測(cè)試任務(wù)控制和系統(tǒng)配置等功能；數(shù)據(jù)仿真層主要包括智能保護(hù)裝置采樣通道仿真、品質(zhì)因數(shù)通道仿真、開入開出通道仿真、通道狀態(tài)仿真、采樣連續(xù)狀態(tài)仿真、采樣跟蹤頻率仿真、CPU間通信狀態(tài)仿真和遙控狀態(tài)配置等仿真功能[9，10].以下對(duì)動(dòng)態(tài)仿真測(cè)試工具的核心功能設(shè)計(jì)進(jìn)行詳細(xì)說明.

圖 2 仿真測(cè)試工具整體架構(gòu)圖

2.2 動(dòng)態(tài)仿真功能設(shè)計(jì)

項(xiàng)目團(tuán)隊(duì)結(jié)合多年的保護(hù)模塊測(cè)試經(jīng)驗(yàn)積累，對(duì)幾十種智能保護(hù)產(chǎn)品軟件進(jìn)行深入研究、全面分析、反復(fù)論證，最終構(gòu)建了一套通用性強(qiáng)的仿真數(shù)據(jù)模型，并通過測(cè)試任務(wù)鏈表動(dòng)態(tài)控制數(shù)據(jù)模型工作，實(shí)現(xiàn)動(dòng)態(tài)仿真功能，測(cè)試工具實(shí)現(xiàn)動(dòng)態(tài)仿真的原理如圖 3 所示.

圖 3 本文研制工具實(shí)現(xiàn)動(dòng)態(tài)仿真原理圖

測(cè)試工具根據(jù)測(cè)試用例生成用例執(zhí)行任務(wù)鏈表，并依據(jù)任務(wù)鏈表進(jìn)行用例執(zhí)行，在用例執(zhí)行過程中，動(dòng)態(tài)調(diào)用數(shù)據(jù)模型接口，實(shí)現(xiàn)對(duì)保護(hù)軟件模塊應(yīng)用環(huán)境的仿真.

2.3 測(cè)試用例編輯功能設(shè)計(jì)

測(cè)試工具通過對(duì)被測(cè)軟件模塊的源代碼進(jìn)行靜態(tài)分析，提煉出源代碼中變量、參數(shù)、邊界、條件語句等信息，根據(jù)這些信息生成測(cè)試用例供測(cè)試人員選擇、編輯，并能根據(jù)變量類型邊界值檢測(cè)測(cè)試人員輸入數(shù)據(jù)的合法性，確保測(cè)試用例能可靠執(zhí)行.

用例編輯的過程如圖 4 所示，測(cè)試人員選擇、編輯用例的來源有3種：測(cè)試工具自動(dòng)生成的用例，打開原有用例和純手動(dòng)輸入用例生成條件生成的用例.

圖 4 用例編輯過程圖

自動(dòng)生成的測(cè)試用例一般數(shù)量比較多，針對(duì)性不強(qiáng)，具體執(zhí)行時(shí)需要測(cè)試人員通過選擇、修改等手段優(yōu)化測(cè)試用例集.回歸測(cè)試時(shí)，特別是針對(duì)性回歸時(shí)，測(cè)試人員可以選擇打開原有的用例進(jìn)行編輯優(yōu)化等.測(cè)試工具支持沒有加載任何測(cè)試對(duì)象情況下的純手工編輯用例，以增加用例編輯的靈活性.

2.4 測(cè)試用例管理功能設(shè)計(jì)

測(cè)試用例是測(cè)試工作的靈魂，更是測(cè)試人員勞動(dòng)成果的重要價(jià)值體現(xiàn)，做好測(cè)試用例管理十分必要.

測(cè)試用例管理主要包括測(cè)試用例的搜索，用例庫導(dǎo)入、導(dǎo)出，及用例備份等.用例搜索主要是在用例庫中搜索目標(biāo)用例，然后導(dǎo)出，以供測(cè)試人員使用.用例導(dǎo)入支持測(cè)試人員完成測(cè)試后提交用例入庫.用例備份支持測(cè)試用例的打包備份，保證用例數(shù)據(jù)的安全性.

2.5 測(cè)試工具工作流程設(shè)計(jì)

測(cè)試工具的工作流程設(shè)計(jì)如圖5所示.

圖 5 測(cè)試工具工作流程圖

啟動(dòng)測(cè)試工具之后，首先是確定要執(zhí)行的用例.有3種方式確定用例集：① 自動(dòng)生成用例，然后人工選擇、修改優(yōu)化用例，這種方式需要加載被測(cè)對(duì)象，然后點(diǎn)擊自動(dòng)生成用例；② 純手工輸入生成用例條件，即純手工編輯測(cè)試用例，前提是測(cè)試人員對(duì)被測(cè)對(duì)象很熟悉，測(cè)試工程已經(jīng)建好，直接人工編輯用例，用例針對(duì)性強(qiáng)；③ 打開原有用例集進(jìn)行修改、優(yōu)化等.

確定完測(cè)試用例集之后，直接點(diǎn)擊保存，即可接著點(diǎn)擊執(zhí)行，測(cè)試工具會(huì)自動(dòng)檢測(cè)用例合法性、自動(dòng)執(zhí)行測(cè)試、自動(dòng)判別測(cè)試結(jié)果，最后，通過界面展示出當(dāng)前測(cè)試結(jié)果，測(cè)試人員也可以通過工具查看歷史測(cè)試數(shù)據(jù).

3 本文設(shè)計(jì)中關(guān)鍵問題及其解決方案

3.1 智能裝置保護(hù)功能的仿真

由于被測(cè)對(duì)象最終是運(yùn)行在智能裝置內(nèi)的，所以對(duì)軟件模塊的測(cè)試中必須建立智能裝置的部分功能的仿真環(huán)境.但建立一個(gè)功能齊全的智能保護(hù)裝置仿真環(huán)境又不現(xiàn)實(shí)(特別是開發(fā)新產(chǎn)品時(shí)建立一個(gè)功能齊全的仿真環(huán)境所花費(fèi)的時(shí)間足可以開發(fā)一個(gè)新產(chǎn)品).另外，作為測(cè)試人員來說，主要精力也不在此.所以只需要憑借資深測(cè)試人員多年積累的測(cè)試經(jīng)驗(yàn)建立一個(gè)通用的、保護(hù)裝置核心的功能仿真環(huán)境來保證被測(cè)對(duì)象的運(yùn)行.具體設(shè)計(jì)方案在文章2.2節(jié)中已經(jīng)詳細(xì)給出，這里不再贅述.

3.2 測(cè)試用例的自動(dòng)生成

測(cè)試用例自動(dòng)生成技術(shù)是測(cè)試領(lǐng)域的一個(gè)重點(diǎn)也是難點(diǎn)，至今沒有很好的解決方案，本文采用人工干預(yù)的測(cè)試用例自動(dòng)生成，首先，測(cè)試工具通過靜態(tài)分析被測(cè)對(duì)象的源代碼得出基礎(chǔ)信息，根據(jù)這些基礎(chǔ)信息生成盡可能全的測(cè)試用例，最后，再由測(cè)試人員根據(jù)測(cè)試項(xiàng)目需要修改、完善測(cè)試用例.這樣既提高了測(cè)試用例生成的效率，又保證了用例設(shè)計(jì)的準(zhǔn)確性.

4 測(cè)試工具的實(shí)現(xiàn)

測(cè)試工具在windows系統(tǒng)中VS2010+Qt開發(fā)環(huán)境下實(shí)現(xiàn)，界面如圖 6 所示.

測(cè)試工具界面包括菜單欄，工具欄.其中菜單欄位于主窗口的頂端，菜單固定不能拖動(dòng)，包括文件、用例編輯、測(cè)試執(zhí)行、測(cè)試結(jié)果展示、模式選擇、系統(tǒng)設(shè)置和幫助等主菜單；工具欄位于窗口的頂部，可拖動(dòng).工具欄列出了菜單欄里的幾個(gè)常用功能，包括加載測(cè)試文件、生成測(cè)試用例、打開測(cè)試用例、保存用例、打開測(cè)試工程、查看當(dāng)前測(cè)試結(jié)果、測(cè)試報(bào)告生成、取報(bào)告號(hào)、系統(tǒng)配置、關(guān)于、添加一行、刪除選中行.

圖 6 保護(hù)軟件模塊動(dòng)態(tài)仿真工具界面

4.1 用例編輯菜單的實(shí)現(xiàn)

用例編輯主要是實(shí)現(xiàn)試用例的生成、編輯等，菜單如圖 7 所示.

圖 7 用例編輯菜單

1) 生成用例：根據(jù)對(duì)被測(cè)源代碼的分析，工具自動(dòng)生成一部分測(cè)試用例.

2) 打開用例：打開原有的測(cè)試用例.

3) 保存用例，保存當(dāng)前界面中顯示的測(cè)試用例，并同時(shí)更新配置文件DataFileNameList信息.

4) 添加一行：在當(dāng)前界面上添加一行測(cè)試數(shù)據(jù).

5) 刪除選中行：刪除當(dāng)前界面顯示的選中行.

6) 用例另存為：與用例保存類似，但不更新配置文件.

7) 手工編輯用例：不打開被測(cè)對(duì)象，直接手動(dòng)編輯用例.

4.2 測(cè)試結(jié)果展示菜單的實(shí)現(xiàn)

展示測(cè)試結(jié)果，如圖 8 所示.

圖 8 測(cè)試結(jié)果展示菜單

1) 測(cè)試結(jié)果查看：查看當(dāng)前測(cè)試結(jié)果.

2) 測(cè)試報(bào)告生成：自動(dòng)生成測(cè)試報(bào)告.

3) 取報(bào)告號(hào)：自動(dòng)關(guān)聯(lián)報(bào)告號(hào)管理網(wǎng)站.

4) 歷史測(cè)試結(jié)果查看：支持選擇打開查看歷史測(cè)試結(jié)果.

5 測(cè)試工具實(shí)際應(yīng)用及效果

智能保護(hù)裝置軟件模塊動(dòng)態(tài)仿真測(cè)試工具在某公司多個(gè)重大工程項(xiàng)目的軟件模塊動(dòng)態(tài)測(cè)試中得到了廣泛應(yīng)用.測(cè)試工具具有跨平臺(tái)特性，支持Linux、windows等系統(tǒng)，現(xiàn)以windows系統(tǒng)為例，動(dòng)態(tài)測(cè)試工具部署在一臺(tái)PC測(cè)試機(jī)上，具體配置如表 1 所示.

表 1 測(cè)試機(jī)配置信息

經(jīng)過多個(gè)重大工程及科研項(xiàng)目近千次的軟件模塊具體測(cè)試應(yīng)用發(fā)現(xiàn)，該動(dòng)態(tài)仿真測(cè)試工具有以下特點(diǎn)：

1) 能顯著降低軟件模塊測(cè)試難度.由于該工具有通用性很強(qiáng)的仿真數(shù)據(jù)模型，使用該工具測(cè)試，測(cè)試人員不需要自己開發(fā)驅(qū)動(dòng)，只要能讀懂被測(cè)源代碼，設(shè)計(jì)好測(cè)試用例，不要求測(cè)試人員具有編程能力.大大降低了軟件模塊測(cè)試的難度.

2) 能明顯提升測(cè)試用例編輯效率.由于該工具有測(cè)試用例自動(dòng)生成功能，工具根據(jù)對(duì)被測(cè)源代碼進(jìn)行靜態(tài)分析，挖掘出源代碼中生成動(dòng)態(tài)測(cè)試用例必要的信息，自動(dòng)生成大量的測(cè)試用例，供測(cè)試人員選擇、修改.沒用工具之前，一個(gè)軟件模塊測(cè)試編輯用例一般不低于2 h，使用工具后一般30 min左右能完成用例，測(cè)試用例編輯效率明顯提升.

3) 增強(qiáng)了測(cè)試流程規(guī)范性.測(cè)試工具固化了被測(cè)源代碼加載、測(cè)試用例設(shè)計(jì)、用例規(guī)范性檢查、用例執(zhí)行、結(jié)果判斷、結(jié)果展示等一系列測(cè)試流程，避免了用例執(zhí)行完成后發(fā)現(xiàn)用例不合格等低級(jí)錯(cuò)誤.使測(cè)試流程從原來的無序狀態(tài)變成有序狀態(tài)，進(jìn)一步規(guī)范了測(cè)試流程.

4) 提高了軟件模塊測(cè)試的自動(dòng)化程度.根據(jù)編輯好的測(cè)試用例，在無人工干預(yù)的情況下可以完成軟件模塊的全面測(cè)試，達(dá)到高度自動(dòng)化效果.

6 結(jié) 論

對(duì)軟件模塊測(cè)試用例設(shè)計(jì)方法進(jìn)行歸納總結(jié)，制定了自動(dòng)生成測(cè)試用例規(guī)則；規(guī)范并固化測(cè)試工作流程；設(shè)計(jì)開發(fā)測(cè)試工具，實(shí)現(xiàn)保護(hù)軟件模塊源代碼的靜態(tài)分析、保護(hù)模塊動(dòng)態(tài)應(yīng)用仿真、測(cè)試用例自動(dòng)生成、測(cè)試自動(dòng)執(zhí)行、規(guī)范測(cè)試工作流程及測(cè)試結(jié)果的靈活展示等功能.經(jīng)實(shí)際應(yīng)用表明，該工具效果顯著，為軟件模塊研發(fā)測(cè)試提供了技術(shù)手段，提高了研發(fā)測(cè)試整體能力，推進(jìn)研發(fā)質(zhì)量持續(xù)提升.軟件模塊測(cè)試的有效開展能夠使大部分軟件缺陷在研發(fā)階段初期發(fā)現(xiàn)并修復(fù)，能夠提高軟件產(chǎn)品的競爭力和企業(yè)的聲譽(yù)，同時(shí)大幅降低售后服務(wù)成本.