適應(yīng)IRISIRIS體系產(chǎn)品研發(fā)的系統(tǒng)測(cè)試過程研究

李啟翮 董歡歡（北京全路通信信號(hào)研究設(shè)計(jì)院有限公司，北京 100073)

李啟翮,男,博士畢業(yè)于清華大學(xué),高級(jí)工程師,測(cè)試試驗(yàn)中心質(zhì)量安全總監(jiān)。主要研究方向包括鐵道信號(hào)、圖像處理與計(jì)算機(jī)視覺，曾參與武廣高鐵CTCS-3攻關(guān)組RBC組工作、國(guó)家科技支撐計(jì)劃課題無線閉塞中心的關(guān)鍵技術(shù)及裝備、鐵道部京滬RBC關(guān)鍵技術(shù)深化研究等項(xiàng)目。

1 概述

IRIS是國(guó)際鐵路行業(yè)標(biāo)準(zhǔn)（International Railw ay Industry Standard）的縮寫，這是一套建立在ISO9001標(biāo)準(zhǔn)基礎(chǔ)上，由歐洲鐵路行業(yè)協(xié)會(huì)針對(duì)鐵路行業(yè)的特殊要求制定的一套質(zhì)量管理體系標(biāo)準(zhǔn)。隨著我國(guó)高鐵事業(yè)的發(fā)展，為了更好地提高產(chǎn)品和服務(wù)質(zhì)量、參與國(guó)內(nèi)國(guó)際競(jìng)爭(zhēng)，北京全路通信信號(hào)研究設(shè)計(jì)院有限公司于2011年實(shí)施了IRIS體系導(dǎo)入工作，并于2012年進(jìn)行了修訂。

在新版IRIS體系中，為了進(jìn)一步加強(qiáng)對(duì)產(chǎn)品研發(fā)流程的控制以提高產(chǎn)品質(zhì)量，對(duì)《應(yīng)用科研控制程序》做了較大修訂。

1）將產(chǎn)品研發(fā)的質(zhì)量過程與原安全保障體系對(duì)安全產(chǎn)品的研發(fā)要求徹底融為一體，不再區(qū)分安全與非安全產(chǎn)品，統(tǒng)一按照相同的過程實(shí)施，統(tǒng)一使用原來只在安全產(chǎn)品研發(fā)中采用的“驗(yàn)證”和“確認(rèn)”概念；

2）將整個(gè)產(chǎn)品研發(fā)流程分為“項(xiàng)目立項(xiàng)”、“系統(tǒng)定義與項(xiàng)目計(jì)劃”、“風(fēng)險(xiǎn)分析”、“需求規(guī)范”、“設(shè)計(jì)與實(shí)現(xiàn)”、“系統(tǒng)測(cè)試”、“檢驗(yàn)測(cè)試”、“試驗(yàn)應(yīng)用”、“系統(tǒng)確認(rèn)”、“驗(yàn)收結(jié)題”共10個(gè)階段（其中“風(fēng)險(xiǎn)分析”在各個(gè)階段都需持續(xù)進(jìn)行），劃分更加合理，并且將項(xiàng)目組、技術(shù)管理、質(zhì)量保證、安全確認(rèn)的工作分別描述，使得整個(gè)過程更加清晰；

3）以新產(chǎn)品研發(fā)流程為完整過程，通過階段裁減得到既有產(chǎn)品修改、先期技術(shù)研究和軟課題3個(gè)副過程；

4）引入“質(zhì)量門”的概念。若前后兩個(gè)階段間設(shè)置了質(zhì)量門，則需要由質(zhì)量保證工程師確認(rèn)達(dá)到了開門條件。否則，禁止進(jìn)入下一個(gè)階段的工作。

此外，由于進(jìn)一步注意到測(cè)試工作在保障產(chǎn)品的質(zhì)量方面的重要作用，新版程序文件加強(qiáng)了對(duì)產(chǎn)品測(cè)試的要求：

1）明確了測(cè)試工作從計(jì)劃階段就必須介入，與早期那種在開發(fā)完成之后才開始測(cè)試的過程（如瀑布式開發(fā)模型）相比，更加有利于節(jié)省時(shí)間并提高測(cè)試質(zhì)量；

2）要求測(cè)試人員全部與開發(fā)設(shè)計(jì)人員獨(dú)立（EN 50128:2001允許在安全完善度為SIL0級(jí)的產(chǎn)品研發(fā)中，開發(fā)者與測(cè)試者不獨(dú)立，但EN 50128:2011提高了獨(dú)立性的要求，不再允許開發(fā)者與測(cè)試者相互兼任）；

3）整個(gè)研發(fā)流程中一共設(shè)置了4個(gè)質(zhì)量門，第一個(gè)質(zhì)量門就設(shè)置在設(shè)計(jì)與實(shí)現(xiàn)與系統(tǒng)測(cè)試之間，并明確了系統(tǒng)測(cè)試作為確認(rèn)測(cè)試的地位。

為更好地指導(dǎo)測(cè)試人員的工作，有必要對(duì)流程中的測(cè)試工作過程進(jìn)行研究，使之與產(chǎn)品研發(fā)的主流程能夠緊密結(jié)合，進(jìn)一步確保所交付的產(chǎn)品質(zhì)量。本文針對(duì)“系統(tǒng)測(cè)試過程”從人員角色、子過程的劃分、工作任務(wù)等方面進(jìn)行探討，提出一個(gè)適應(yīng)IRIS體系產(chǎn)品研發(fā)流程的系統(tǒng)測(cè)試過程。

2 系統(tǒng)測(cè)試定義

2.1 測(cè)試層級(jí)劃分

在《應(yīng)用科研控制程序》中，除用戶驗(yàn)收測(cè)試外，測(cè)試活動(dòng)被分為3類（不包括試驗(yàn)類活動(dòng)）：模塊測(cè)試、集成測(cè)試、系統(tǒng)測(cè)試。

模塊測(cè)試是針對(duì)硬件或軟件的最小功能模塊進(jìn)行的測(cè)試，用以驗(yàn)證該模塊的功能、接口的正確性。

集成測(cè)試包括軟件集成測(cè)試、硬件集成測(cè)試以及軟硬件集成測(cè)試等多個(gè)級(jí)別，其方法均是將各個(gè)模塊集成在一起，對(duì)模塊之間的接口、交互功能進(jìn)行測(cè)試，以確保能向系統(tǒng)測(cè)試階段提交一個(gè)可運(yùn)行的被測(cè)系統(tǒng)。

系統(tǒng)測(cè)試是針對(duì)系統(tǒng)需求的測(cè)試，目的是確認(rèn)系統(tǒng)是否滿足規(guī)定的所有需求，是系統(tǒng)確認(rèn)的重要手段之一。

2.2 系統(tǒng)測(cè)試與驗(yàn)證測(cè)試

所謂驗(yàn)證，指通過檢查和提供客觀依據(jù)，證實(shí)規(guī)定的需求已經(jīng)得到滿足（即是否正確的構(gòu)造了產(chǎn)品）。在質(zhì)量過程中，要求在每個(gè)階段均實(shí)施驗(yàn)證活動(dòng)。驗(yàn)證分為動(dòng)態(tài)驗(yàn)證和靜態(tài)驗(yàn)證兩類方法，后者指評(píng)審、分析及文檔檢查的方法，前者采用測(cè)試與演示的方法。因此，系統(tǒng)測(cè)試本身也是系統(tǒng)測(cè)試階段的驗(yàn)證測(cè)試。

2.3 系統(tǒng)測(cè)試與確認(rèn)測(cè)試

所謂確認(rèn)，指通過檢查和提供客觀依據(jù)，證實(shí)特定預(yù)期用途的需求是否得到滿足（即是否構(gòu)造了正確的產(chǎn)品）。根據(jù)IR IS的要求，產(chǎn)品研發(fā)后必須對(duì)整個(gè)系統(tǒng)進(jìn)行確認(rèn)。確認(rèn)過程中需要進(jìn)行相應(yīng)的測(cè)試作為確認(rèn)的輸入，以幫助確認(rèn)系統(tǒng)滿足需求，這類測(cè)試稱為系統(tǒng)確認(rèn)測(cè)試，在安全產(chǎn)品研發(fā)流程中，若系統(tǒng)測(cè)試經(jīng)過了確認(rèn)工程師的見證和確認(rèn)，即可作為系統(tǒng)確認(rèn)測(cè)試，對(duì)于非安全產(chǎn)品的研發(fā)，通常默認(rèn)以系統(tǒng)測(cè)試作為系統(tǒng)確認(rèn)測(cè)試。

3 系統(tǒng)測(cè)試過程

由于系統(tǒng)測(cè)試在系統(tǒng)驗(yàn)證和確認(rèn)中都承擔(dān)著重要的作用，因此必須制定規(guī)范化的測(cè)試過程，以確保測(cè)試質(zhì)量。

本節(jié)通過研究整個(gè)系統(tǒng)測(cè)試過程所需要做的工作，辨識(shí)其與設(shè)計(jì)開發(fā)過程之間的關(guān)系，并考慮所必須的輸出，首先對(duì)測(cè)試任務(wù)組內(nèi)人員的角色進(jìn)行識(shí)別，然后將整個(gè)系統(tǒng)測(cè)試過程劃分為數(shù)個(gè)子過程分別描述。

3.1 測(cè)試人員角色

在整個(gè)項(xiàng)目組中，設(shè)置一個(gè)與開發(fā)組獨(dú)立的測(cè)試組，組內(nèi)人員可以劃分為3類。

3.1.1 測(cè)試負(fù)責(zé)人

對(duì)整個(gè)測(cè)試工作負(fù)責(zé)，包括測(cè)試的計(jì)劃、過程以及最后的報(bào)告，還負(fù)責(zé)與項(xiàng)目負(fù)責(zé)人、開發(fā)者、確認(rèn)者等項(xiàng)目組內(nèi)其他角色的溝通協(xié)調(diào)。

3.1.2 測(cè)試工程師

在測(cè)試負(fù)責(zé)人的領(lǐng)導(dǎo)下負(fù)責(zé)實(shí)際的測(cè)試工作的執(zhí)行，包括測(cè)試設(shè)計(jì)、測(cè)試執(zhí)行等工作。

3.1.3 測(cè)試環(huán)境工程師

負(fù)責(zé)構(gòu)建、配置特定的測(cè)試平臺(tái)、工具、設(shè)備等測(cè)試環(huán)境。

3.2 測(cè)試過程

在實(shí)際實(shí)施中，階段與流程并非是同一概念，盡管系統(tǒng)測(cè)試是在設(shè)計(jì)與實(shí)現(xiàn)之后才開始，但系統(tǒng)測(cè)試過程必須從系統(tǒng)定義與計(jì)劃就介入項(xiàng)目工作，以確保測(cè)試人員更好的理解系統(tǒng)及其需求，提高測(cè)試質(zhì)量。

根據(jù)系統(tǒng)測(cè)試全過程在產(chǎn)品研發(fā)流程不同階段所執(zhí)行的工作性質(zhì)，將整個(gè)測(cè)試過程劃分為“測(cè)試計(jì)劃”、“測(cè)試規(guī)范”、“測(cè)試執(zhí)行”和“測(cè)試報(bào)告”4個(gè)子過程。

由圖1可以看出，系統(tǒng)測(cè)試過程開始于系統(tǒng)定義與項(xiàng)目計(jì)劃，結(jié)束于系統(tǒng)測(cè)試（由于風(fēng)險(xiǎn)分析實(shí)際上貫穿于整個(gè)產(chǎn)品研發(fā)流程中，因此未單獨(dú)體現(xiàn)），除測(cè)試規(guī)范子過程中的測(cè)試環(huán)境規(guī)范部分跨越兩個(gè)階段外，其余子過程都在一個(gè)階段內(nèi)結(jié)束。測(cè)試執(zhí)行子過程由于測(cè)試結(jié)果會(huì)導(dǎo)致產(chǎn)品的修改，因此可能會(huì)執(zhí)行多次，還會(huì)導(dǎo)致《測(cè)試計(jì)劃》及《測(cè)試規(guī)范》等文檔的更新。模塊測(cè)試和集成測(cè)試都在設(shè)計(jì)與實(shí)現(xiàn)階段進(jìn)行，由于不屬于系統(tǒng)測(cè)試層級(jí)，此處采用了不同的顏色顯示。下面將分別對(duì)4個(gè)子過程進(jìn)行描述。

3.2.1 測(cè)試計(jì)劃子過程

《測(cè)試計(jì)劃》是在項(xiàng)目計(jì)劃階段所需制定的眾多計(jì)劃之一，其目的如下。

1）規(guī)劃測(cè)試過程中的所有行動(dòng)及明確測(cè)試的范圍；

2）指導(dǎo)測(cè)試如何開展，規(guī)定要使用的測(cè)試策略、過程、方法、工具與模板；

本子過程又可分為兩個(gè)階段：總體測(cè)試計(jì)劃和每個(gè)測(cè)試層級(jí)的測(cè)試計(jì)劃。

《總體測(cè)試計(jì)劃》涵蓋項(xiàng)目中所有層級(jí)的測(cè)試，并對(duì)這些測(cè)試進(jìn)行協(xié)調(diào)，以優(yōu)化測(cè)試過程。

各個(gè)層級(jí)的《測(cè)試計(jì)劃》則根據(jù)該層級(jí)具體的測(cè)試要求撰寫，若包含的測(cè)試層級(jí)較少或測(cè)試較簡(jiǎn)單，也可僅編制一個(gè)測(cè)試計(jì)劃包含多個(gè)測(cè)試層級(jí)，例如，當(dāng)僅關(guān)注系統(tǒng)測(cè)試層級(jí)時(shí)，只需編寫涉及系統(tǒng)測(cè)試的《測(cè)試計(jì)劃》即可。本子過程所包含的主要活動(dòng)階段如圖2所示。

本子過程的輸入包括：項(xiàng)目計(jì)劃、安全計(jì)劃、質(zhì)量計(jì)劃、系統(tǒng)定義等。通常，測(cè)試計(jì)劃應(yīng)包含如下內(nèi)容。

1）對(duì)被測(cè)對(duì)象的描述，所用的測(cè)試度量；

2）測(cè)試活動(dòng)的進(jìn)入/退出準(zhǔn)則、掛起/恢復(fù)準(zhǔn)則；

3）所包含的測(cè)試層級(jí)，該層級(jí)所涉及的測(cè)試范圍、目標(biāo)、測(cè)試方案、測(cè)試環(huán)境、工具、配置、地點(diǎn)等；

4）測(cè)試人員組織結(jié)構(gòu)、測(cè)試活動(dòng)的時(shí)間表；5）整個(gè)測(cè)試過程所需提交的文檔。

3.2.2 測(cè)試規(guī)范子過程

此子過程包含兩個(gè)部分的內(nèi)容：測(cè)試規(guī)范與測(cè)試環(huán)境規(guī)范，其輸入包括所有需求、計(jì)劃文檔以及相應(yīng)標(biāo)準(zhǔn)、規(guī)范。

測(cè)試規(guī)范部分需進(jìn)行如下活動(dòng)。

1）對(duì)作為測(cè)試基礎(chǔ)的需求規(guī)范和其他規(guī)范進(jìn)行可測(cè)性檢查；

2）編寫測(cè)試案例（Test Cases）；

3）建立系統(tǒng)需求與測(cè)試案例的追溯矩陣，并確保達(dá)到所需的測(cè)試覆蓋率；

4）確定測(cè)試數(shù)據(jù)；

5）開發(fā)測(cè)試腳本；

正因?yàn)橐獙?duì)需求規(guī)范進(jìn)行可測(cè)性檢查，所以測(cè)試規(guī)范活動(dòng)必須在“需求規(guī)范階段”完成，該活動(dòng)可能導(dǎo)致需求規(guī)范的更新。而測(cè)試環(huán)境規(guī)范活動(dòng)則可以持續(xù)到測(cè)試執(zhí)行活動(dòng)開始之前，在測(cè)試執(zhí)行開始之后還需要對(duì)所搭建的測(cè)試環(huán)境進(jìn)行支持與維護(hù)。該部分所必須進(jìn)行活動(dòng)包括內(nèi)容如下。

1）設(shè)計(jì)測(cè)試環(huán)境構(gòu)建方案；

2）完成測(cè)試環(huán)境的構(gòu)建與驗(yàn)證確認(rèn)，并進(jìn)行支持與維護(hù)；

3）描述測(cè)試環(huán)境的使用方法。

圖3提供了對(duì)本子過程的簡(jiǎn)要示意。

3.2.3 測(cè)試執(zhí)行子過程

當(dāng)被測(cè)對(duì)象完成集成測(cè)試，通過第一個(gè)質(zhì)量門后，即可進(jìn)入“系統(tǒng)測(cè)試階段”，根據(jù)《測(cè)試規(guī)范》和《測(cè)試環(huán)境規(guī)范》執(zhí)行測(cè)試。測(cè)試執(zhí)行通常并非一次性過程，往往由多個(gè)輪次組成，其中每個(gè)輪次所完成的活動(dòng)基本一致。之所以需要多個(gè)輪次，原因主要分為兩類。

1）根據(jù)開發(fā)計(jì)劃，產(chǎn)品的功能采用迭代開發(fā)方式，分段實(shí)現(xiàn)，測(cè)試也相應(yīng)的需要分輪次完成；

2）測(cè)試執(zhí)行過程中發(fā)現(xiàn)了被測(cè)對(duì)象的缺陷（NCR），導(dǎo)致了代碼實(shí)現(xiàn)、設(shè)計(jì)、甚至是需求的修改變更，當(dāng)修改完成后需要再次提交測(cè)試。

由于測(cè)試執(zhí)行的這個(gè)特點(diǎn)，本子過程可能導(dǎo)致一系列文檔的更新，包括以下內(nèi)容。

1）輪次增加導(dǎo)致測(cè)試計(jì)劃的變更；

2）測(cè)試結(jié)果導(dǎo)致的設(shè)計(jì)甚至需求文檔的變更；

3）案例執(zhí)行過程中發(fā)現(xiàn)案例的錯(cuò)誤導(dǎo)致的測(cè)試規(guī)范的變更；

4）測(cè)試執(zhí)行中發(fā)現(xiàn)測(cè)試環(huán)境存在的問題導(dǎo)致的測(cè)試環(huán)境規(guī)范的變更。

圖4是單輪測(cè)試執(zhí)行子過程的簡(jiǎn)要描述。執(zhí)行測(cè)試之前應(yīng)當(dāng)先對(duì)被測(cè)對(duì)象相關(guān)資料進(jìn)行檢查，包括案例、腳本、數(shù)據(jù)、環(huán)境、文檔的準(zhǔn)備情況、所交付過來的被測(cè)對(duì)象、上一輪測(cè)試的遺留項(xiàng)等，并對(duì)本輪測(cè)試的范圍、時(shí)間等進(jìn)行計(jì)劃，然后開始正式執(zhí)行測(cè)試。測(cè)試結(jié)果，報(bào)告當(dāng)前的狀態(tài)，例如一輪測(cè)試后的該輪測(cè)試報(bào)告；

2）測(cè)試迭代報(bào)告：當(dāng)項(xiàng)目采用迭代開發(fā)時(shí)，每次迭代都需要一個(gè)測(cè)試報(bào)告，測(cè)試報(bào)告更新的次數(shù)應(yīng)與迭代次數(shù)相同，每次更新都加入新一次迭代的結(jié)果，最后一次迭代的測(cè)試報(bào)告，就是最終的測(cè)試報(bào)告；

3）最終測(cè)試報(bào)告：測(cè)試的最后階段完成的報(bào)告，包括對(duì)所有執(zhí)行的測(cè)試的結(jié)果及其統(tǒng)計(jì)分析，對(duì)產(chǎn)品質(zhì)量的評(píng)價(jià)以及對(duì)測(cè)試過程的評(píng)估等。

每個(gè)測(cè)試案例的結(jié)果應(yīng)真實(shí)記錄，如發(fā)現(xiàn)缺陷則須提交缺陷報(bào)告（NCR）。當(dāng)本輪測(cè)試完成之后，應(yīng)對(duì)測(cè)試結(jié)果進(jìn)行評(píng)估，分析系統(tǒng)剩余的風(fēng)險(xiǎn)，以確定測(cè)試是否達(dá)到了預(yù)期目標(biāo)從而可以終止，提交本輪測(cè)試報(bào)告（若測(cè)試目標(biāo)已經(jīng)達(dá)到，則提交最終測(cè)試報(bào)告，見3.2.4）。

3.2.4 測(cè)試報(bào)告子過程

《測(cè)試報(bào)告》的主要用途是提供項(xiàng)目測(cè)試的結(jié)果，通常分為3種。

1）階段測(cè)試報(bào)告：根據(jù)測(cè)試計(jì)劃、系統(tǒng)風(fēng)險(xiǎn)和

如圖5所示，欲編寫《測(cè)試報(bào)告》，首先應(yīng)收集所有的測(cè)試記錄、各輪測(cè)試報(bào)告、NCR、測(cè)試所用的時(shí)間、人力、物力、執(zhí)行的案例數(shù)量等數(shù)據(jù)；然后分析測(cè)試過程中發(fā)現(xiàn)的全部NCR、系統(tǒng)剩余風(fēng)險(xiǎn)，以確定是否達(dá)到了測(cè)試的目標(biāo)、可以終止測(cè)試；在此基礎(chǔ)上，撰寫《測(cè)試報(bào)告》。完整的報(bào)告應(yīng)包括如下方面。

1）測(cè)試的目的、范圍；

2）用到的測(cè)試環(huán)境、工具；

3 用到的方法、技術(shù)，及執(zhí)行中所遇到的任何問題；

4）結(jié)果的記錄，包括測(cè)試案例執(zhí)行結(jié)果的真實(shí)記錄以及執(zhí)行的案例數(shù)、剩余的案例數(shù)、發(fā)現(xiàn)的NCR數(shù)、測(cè)試環(huán)境的問題數(shù)等；

5）結(jié)果分析，包括對(duì)案例的統(tǒng)計(jì)及對(duì)需求的覆蓋分析、NCR的統(tǒng)計(jì)分析、遺留項(xiàng)分析以及對(duì)不可測(cè)需求的說明等；

6）測(cè)試結(jié)論，包括測(cè)試是否按計(jì)劃、規(guī)范完成，執(zhí)行是否充分，測(cè)試目標(biāo)是否完成等信息。

在測(cè)試結(jié)束后，宜對(duì)整個(gè)測(cè)試過程進(jìn)行評(píng)估和總結(jié)，為后續(xù)項(xiàng)目積累經(jīng)驗(yàn)。

4 總結(jié)

隨著產(chǎn)品功能的日益復(fù)雜，如何保證所研發(fā)的產(chǎn)品質(zhì)量成為一個(gè)嚴(yán)峻課題，系統(tǒng)測(cè)試作為確保所交付產(chǎn)品質(zhì)量的重要手段之一，其理論、技術(shù)、方法、流程等各方面的研究都受到日益顯著的重視。本文提出了一個(gè)適應(yīng)于IR IS要求的系統(tǒng)測(cè)試過程，并進(jìn)行了詳細(xì)描述，為測(cè)試工程師的工作提供參考。

需要指出的是，系統(tǒng)測(cè)試過程是整個(gè)產(chǎn)品研發(fā)流程中的一個(gè)子流程，需要與開發(fā)、驗(yàn)證、確認(rèn)等其他子流程相互協(xié)調(diào)，不能孤立的分隔開來。

此外，本文提出的測(cè)試過程也并非只能用于產(chǎn)品研發(fā)的系統(tǒng)測(cè)試層級(jí)，其4個(gè)子過程的劃分方式對(duì)于其他層級(jí)的測(cè)試也同樣適用，測(cè)試計(jì)劃子過程中的總體測(cè)試計(jì)劃的存在也證明了這一點(diǎn)，實(shí)際操作中只需根據(jù)具體的測(cè)試層級(jí)進(jìn)行適當(dāng)?shù)牟脺p或修正即可。