鄧林,鄧明
基于系統(tǒng)工程過程論驗(yàn)證和確認(rèn)
鄧林,鄧明
(中國電子科技集團(tuán)公司第二十九研究所,成都 610036)
為了解析工程過程驗(yàn)證和確認(rèn)之間的關(guān)系,明確兩者的作用和方法。對(duì)兩個(gè)概念的形成溯源、異同比較、關(guān)系分析、方法應(yīng)用等角度展開分析和論述。驗(yàn)證和確認(rèn)是系統(tǒng)工程過程中非常重要的兩個(gè)技術(shù)過程,兩個(gè)過程中的若干活動(dòng)的方法比較相似,甚至相同,容易引起混淆。分析結(jié)果表明,兩者目的不同,方法相似。驗(yàn)證(Verification)和確認(rèn)(Validation)是系統(tǒng)工程的技術(shù)過程中非常重要的兩個(gè)子過程,是整體過程中的不可缺少的兩個(gè)環(huán)節(jié),區(qū)別在于驗(yàn)證過程是確定設(shè)計(jì)過程和結(jié)果是正確的,確認(rèn)過程則是確定所設(shè)計(jì)的對(duì)象是正確的,是符合利益相關(guān)方需求的。
系統(tǒng)工程;驗(yàn)證;確認(rèn)
驗(yàn)證和確認(rèn)是系統(tǒng)工程過程中非常重要的兩個(gè)技術(shù)過程,由于兩個(gè)過程中若干活動(dòng)的方法比較相似,甚至相同。因而,我們對(duì)這兩個(gè)不同目的過程的概念和應(yīng)用上存在不少困惑。如術(shù)語如何形成的,術(shù)語概念的異同是什么,驗(yàn)證和確認(rèn)之間的關(guān)系是什么,什么時(shí)機(jī)運(yùn)用驗(yàn)證或者確認(rèn),驗(yàn)證和確認(rèn)過程有哪些活動(dòng)。
由于不同標(biāo)準(zhǔn)對(duì)這兩個(gè)術(shù)語定義不盡相同,如國際標(biāo)準(zhǔn)化組織ISO、美國民用航空航天局NASA、美國國防部DOD、國際系統(tǒng)工程學(xué)會(huì)INCOSE。因此,更有必要理清它們之間的關(guān)系已便于合理應(yīng)用。
由于這兩個(gè)詞是由西方語系英語翻譯過來的詞,因此要搞清其本質(zhì),須從詞源角度先看看這兩個(gè)詞的本意是什么。
驗(yàn)證(Verification):牛津英語(Oxford)給出解釋為,名詞,詞起源于古法國16世紀(jì)早期,來源于拉丁文,從動(dòng)詞verificare(verify),從“真實(shí)”。意為確定某物的真實(shí)性、準(zhǔn)確性或有效性的過程。詞義落腳點(diǎn)在過程(process)。標(biāo)準(zhǔn)(3.8.12,ISO 9000:2015(E))給出的解答是,通過提供客觀證據(jù)(可以用觀察、演示、測(cè)試、試驗(yàn)和分析等方法獲得證據(jù))證實(shí)規(guī)定的要求已經(jīng)實(shí)現(xiàn)[1]。
確認(rèn)(Validation):牛津英語(Oxford)給出解釋為,名詞,詞形成于17世紀(jì)中期,有律例或法律上“有效”的意義,來源于16世紀(jì)晚期的拉丁文動(dòng)詞的validus(valid),從“有效”。意為檢查或證明某物有效性或準(zhǔn)確性的措施;或在法律或官方上做出可以接受決策的措施。詞義落腳點(diǎn)在措施(action)。標(biāo)準(zhǔn)(3.8.13,ISO 9000:2015(E))給出的解答是,通過提供客觀證據(jù),證實(shí)預(yù)期的使用和應(yīng)用要求已經(jīng)實(shí)現(xiàn)[2]。
從標(biāo)準(zhǔn)上來看,驗(yàn)證是證實(shí)規(guī)定的要求已被實(shí)現(xiàn),確認(rèn)是證實(shí)預(yù)期的使用和應(yīng)用要求已被實(shí)現(xiàn),雖然同是證實(shí)要求已被實(shí)現(xiàn),但驗(yàn)證的對(duì)象是規(guī)定的要求,而確認(rèn)的對(duì)象則是預(yù)期的使用和應(yīng)用要求。這是兩個(gè)概念相近,但對(duì)象不同,具有差異性的術(shù)語,易引起混淆。在特定領(lǐng)域,為易于理解,其術(shù)語定義還被細(xì)化,如ANSI/GEIA-STD-0009給出了特定的驗(yàn)證(Verification)術(shù)語定義:通過提供和檢查客觀證據(jù),證實(shí)最終產(chǎn)品(被設(shè)計(jì)、編碼或組裝而成的產(chǎn)品)的規(guī)定要求已經(jīng)實(shí)現(xiàn)[3]。
查閱文獻(xiàn)后發(fā)現(xiàn),在管理體系過程和系統(tǒng)工程過程中,驗(yàn)證和確認(rèn)還是兩個(gè)非常重要的過程,如ISO/IEC/IEEE 15288:2015(E) 系統(tǒng)和軟件工程-系統(tǒng)的生命周期過程,其中將驗(yàn)證過程和確認(rèn)過程作為其四大過程之一,技術(shù)過程14個(gè)子過程中的兩個(gè)重要技術(shù)過程。分別是6.4.9驗(yàn)證和6.4.11確認(rèn),并進(jìn)行了標(biāo)準(zhǔn)化的描述[4],很值得學(xué)習(xí)。國際系統(tǒng)工程學(xué)會(huì)2015年發(fā)布的第4版系統(tǒng)工程師手冊(cè)(INCOSE-TP- 2003-002-04)同樣將驗(yàn)證(4.9)和確認(rèn)(4.11)放入技術(shù)過程中進(jìn)行了詳細(xì)的說明[5]。
對(duì)于這些概念,應(yīng)注意廣泛查閱相關(guān)資料中的異同點(diǎn),以助于學(xué)習(xí)、理解、掌握這些概念。綜合各方論述,建議參考國際標(biāo)準(zhǔn)化組織ISO/IEC/IEEE 15288: 2015(E),對(duì)驗(yàn)證過程和確認(rèn)過程的目的說明,有助于我們理解這兩個(gè)術(shù)語概念。
標(biāo)準(zhǔn)對(duì)于驗(yàn)證過程的目的描述如下:驗(yàn)證過程的目的是提供客觀證據(jù),證明系統(tǒng)或系統(tǒng)要素符合其規(guī)定的要求和規(guī)格。驗(yàn)證過程使用適當(dāng)?shù)姆椒ā⒓夹g(shù)、標(biāo)準(zhǔn)或規(guī)則,來識(shí)別已實(shí)現(xiàn)系統(tǒng)或生命周期過程中與描述信息項(xiàng)(如系統(tǒng)要求或體系結(jié)構(gòu)描述)不一致的各種異常(包括錯(cuò)誤、缺陷和故障)。這一過程為識(shí)別異常的判別準(zhǔn)確度提供了必要的信息。驗(yàn)證過程是確定“產(chǎn)品設(shè)計(jì)正確”,確認(rèn)過程則是確定“設(shè)計(jì)的產(chǎn)品正確,是所需的”[4]。
標(biāo)準(zhǔn)對(duì)于確認(rèn)過程的目的描述如下:確認(rèn)過程的目的是提供客觀證據(jù),證明系統(tǒng)在預(yù)期的工作環(huán)境中,以及預(yù)期的使用條件下,實(shí)現(xiàn)其業(yè)務(wù)或任務(wù)目標(biāo)以及相關(guān)方(也稱為利益相關(guān)方,指有權(quán)、利益、投資,可影響系統(tǒng)涉及開發(fā)決策或活動(dòng)的個(gè)人或組織)的相關(guān)要求,以及達(dá)成其預(yù)期的使用用途。進(jìn)行系統(tǒng)或系統(tǒng)要素確認(rèn)的目標(biāo),是在特定的工作條件下,取得系統(tǒng)或系統(tǒng)要素實(shí)現(xiàn)其預(yù)期任務(wù)或使用能力的置信度。確認(rèn)結(jié)果是由相關(guān)方批準(zhǔn)認(rèn)可的。這一過程為針對(duì)引入異常的過程點(diǎn),利用適宜的技術(shù)過程解決各種識(shí)別出的異常,提供了必要的信息。確認(rèn)也適用于系統(tǒng)定義和實(shí)現(xiàn)過程中產(chǎn)出的工程工件(可視其為系統(tǒng)元素)[4]。
通過以上解析,大致可以得出這兩者概念的異同。相同的是兩者都是證實(shí)要求已被實(shí)現(xiàn),不同的是驗(yàn)證用于證實(shí)事做對(duì)了,確認(rèn)則用于證實(shí)相關(guān)方的錢花沒有白花,東西做正確了,所得即所需。
要了解這兩個(gè)過程之間的關(guān)系,首先需要去了解系統(tǒng)工程技術(shù)過程中,這兩個(gè)過程是什么,做什么。
對(duì)于一個(gè)成功的驗(yàn)證過程,標(biāo)準(zhǔn)認(rèn)為有以下幾個(gè)衡量標(biāo)準(zhǔn):影響需求、架構(gòu)和設(shè)計(jì)的驗(yàn)證限制條件已被識(shí)別;所有驗(yàn)證所需的支持系統(tǒng)或配套設(shè)施是有效的;系統(tǒng)和系統(tǒng)元素已得到驗(yàn)證;糾正措施所需的,由數(shù)據(jù)歸納出的信息,已得到報(bào)告或記錄;已實(shí)現(xiàn)系統(tǒng)符合需求、架構(gòu)和設(shè)計(jì)的客觀證據(jù)已提供;驗(yàn)證結(jié)論和各類異常(錯(cuò)誤、缺陷和故障)已被識(shí)別;各類已驗(yàn)證系統(tǒng)元素的可追溯性已被建立。
標(biāo)準(zhǔn)認(rèn)為,一個(gè)成功的確認(rèn)過程應(yīng)有如下衡量標(biāo)準(zhǔn):相關(guān)方的需求確認(rèn)標(biāo)準(zhǔn)已定義;相關(guān)方要求的可用服務(wù)/功能已確定;影響需求、架構(gòu)、設(shè)計(jì)確認(rèn)的限制已識(shí)別;系統(tǒng)或系統(tǒng)元素已得到確認(rèn);所有確認(rèn)所需的支持系統(tǒng)或配套設(shè)施是有效的;確認(rèn)結(jié)論和各類異常(錯(cuò)誤、缺陷和故障)已被識(shí)別;已實(shí)現(xiàn)的系統(tǒng)或系統(tǒng)元素符合相關(guān)方要求的客觀證據(jù)已提供;各類已確認(rèn)系統(tǒng)元素的可追溯性已被建立。
綜合上述描述可以看出,對(duì)同一系統(tǒng)或系統(tǒng)元素對(duì)象而言,驗(yàn)證應(yīng)在確認(rèn)之前。驗(yàn)證是證實(shí)對(duì)象的形成過程是對(duì)的,結(jié)果是符合設(shè)計(jì)規(guī)格和要求的。確認(rèn)則是證實(shí)已形成的結(jié)果在預(yù)期的使用條件和預(yù)期使用環(huán)境中,能夠?qū)崿F(xiàn)相關(guān)方對(duì)其的預(yù)期應(yīng)用和任務(wù)能力要求,且經(jīng)過相關(guān)方的認(rèn)可批準(zhǔn)??梢哉f,二者過程之間,活動(dòng)和方法相近,目的不同。
運(yùn)用時(shí)機(jī)方面,對(duì)同一系統(tǒng)或系統(tǒng)元素對(duì)象,驗(yàn)證在其實(shí)現(xiàn)過程中,需要對(duì)過程和過程的輸出實(shí)施驗(yàn)證,以證實(shí)做對(duì)了。確認(rèn)則是在其實(shí)現(xiàn)之后,運(yùn)用特定方法對(duì)其實(shí)施結(jié)果進(jìn)行確認(rèn),以證實(shí)做正確了且符合相關(guān)方的需求,如圖1所示。
圖1 驗(yàn)證與確認(rèn)的時(shí)機(jī)
從多份參考資料中可以看出,驗(yàn)證過程和確認(rèn)過程非常相似,就像同一工具使用在不同對(duì)象上一樣,目的雖不同,方法卻一致。
標(biāo)準(zhǔn)對(duì)驗(yàn)證過程活動(dòng)描述為:驗(yàn)證策略通常會(huì)基于成本、進(jìn)度、風(fēng)險(xiǎn)三個(gè)維度,權(quán)衡出最小化代價(jià)的方案,用以證實(shí)系統(tǒng)或系統(tǒng)元素已符合設(shè)計(jì)要求。驗(yàn)證過程分為3個(gè)子過程[4]。
1)驗(yàn)證準(zhǔn)備,包含7個(gè)活動(dòng)。分別是識(shí)別驗(yàn)證范圍和相應(yīng)的驗(yàn)證措施;識(shí)別可能限制驗(yàn)證措施可行性的各類約束條件;為每一個(gè)驗(yàn)證措施,選擇適宜的驗(yàn)證方法、技術(shù),以及相應(yīng)的標(biāo)準(zhǔn);定義驗(yàn)證策略;在驗(yàn)證策略中,識(shí)別系統(tǒng)約束,并納入到系統(tǒng)需求、架構(gòu)、設(shè)計(jì)規(guī)格要求中;識(shí)別并策劃所有驗(yàn)證所需的支持系統(tǒng)或配套設(shè)施;獲得或獲取這些支持系統(tǒng)或配套設(shè)施的使用或訪問權(quán)限,用于實(shí)施驗(yàn)證活動(dòng)。
2)驗(yàn)證實(shí)施,包含兩個(gè)活動(dòng)。分別是定義驗(yàn)證活動(dòng)程序,每個(gè)程序支持一個(gè)或一組驗(yàn)證措施;執(zhí)行驗(yàn)證程序。
3)驗(yàn)證結(jié)果管理,包含5個(gè)活動(dòng)。分別是記錄驗(yàn)證結(jié)果以及所遇到的任何異常;記錄操作過程中的失效事件和問題,并跟蹤其解決過程形成的各類決議;獲取有關(guān)系統(tǒng)或系統(tǒng)元素滿足特定要求的利益相關(guān)方協(xié)議;維護(hù)已驗(yàn)證系統(tǒng)元素之間的可追蹤性;對(duì)各類已選定為基線的,提供驗(yàn)證的關(guān)鍵信息項(xiàng)。
與驗(yàn)證過程相似,確認(rèn)過程也分為3個(gè)子過程[4]。
1)確認(rèn)準(zhǔn)備,包含7個(gè)活動(dòng)。分別是識(shí)別確認(rèn)范圍和相應(yīng)的確認(rèn)措施;識(shí)別可能限制確認(rèn)措施可行性的各類約束條件;為每一個(gè)確認(rèn)措施選擇適宜的確認(rèn)方法、技術(shù),以及相應(yīng)的標(biāo)準(zhǔn);定義確認(rèn)策略;在確認(rèn)策略中,識(shí)別系統(tǒng)約束,并納入到利益相關(guān)者要求中;識(shí)別并策劃所有確認(rèn)所需的支持系統(tǒng)或配套設(shè)施;獲得或獲取這些支持系統(tǒng)或配套設(shè)施的使用或訪問權(quán)限,用于實(shí)施確認(rèn)活動(dòng)。
2)確認(rèn)實(shí)施,包含3個(gè)活動(dòng)。分別是定義確認(rèn)活動(dòng)程序,每個(gè)程序支持一個(gè)或一組驗(yàn)證措施;在指定的環(huán)境中,執(zhí)行確認(rèn)程序;評(píng)審確認(rèn)過程給出的結(jié)論,用以確定利益相關(guān)方所提出的系統(tǒng)各種功能使用要求是已實(shí)現(xiàn)且可用的。
3)確認(rèn)結(jié)果管理,包含5個(gè)活動(dòng)。分別是記錄確認(rèn)結(jié)果以及所遇到的任何異常;記錄操作過程中的失效事件和問題,并跟蹤其解決過程形成的各類決議;獲取有關(guān)系統(tǒng)或系統(tǒng)元素滿足特定要求的利益相關(guān)方協(xié)議;維護(hù)已確認(rèn)系統(tǒng)元素之間的可追蹤性;對(duì)各類已選定為基線的,提供確認(rèn)的關(guān)鍵信息項(xiàng)。
以上驗(yàn)證和確認(rèn)過程中的子過程和各子過程中的活動(dòng)非常相似,但目的不同。特別是兩個(gè)過程的實(shí)施過程,驗(yàn)證強(qiáng)調(diào)的是可執(zhí)行性,確認(rèn)則是強(qiáng)調(diào)評(píng)審驗(yàn)證結(jié)論,用以證實(shí)已實(shí)現(xiàn)系統(tǒng)滿足利益相關(guān)方最初提出的使用和應(yīng)用需求。
驗(yàn)證和確認(rèn)是系統(tǒng)工程的技術(shù)過程中非常重要的兩個(gè)子過程[6],是整體過程中不可缺少的兩個(gè)環(huán)節(jié),驗(yàn)證過程用以確保技術(shù)實(shí)現(xiàn)過程的正確性,避免或消除出現(xiàn)局部與整體之間的偏差。通過驗(yàn)證過程,可以有效地降低系統(tǒng)實(shí)現(xiàn)過程中的過程或技術(shù)來帶的偏差和異常風(fēng)險(xiǎn)。確認(rèn)過程則是確保已實(shí)現(xiàn)系統(tǒng)或系統(tǒng)元素是正確的,是符合利益相關(guān)方最初提出的系統(tǒng)或系統(tǒng)元素的開發(fā)需求,即得到的結(jié)果對(duì)于利益相關(guān)方來講,是正確的。也可以反過來理解,設(shè)計(jì)過程和結(jié)果雖正確,但不一定是利益相關(guān)方想要的。
歸納為一句話:驗(yàn)證過程是確定設(shè)計(jì)過程和結(jié)果是正確的,確認(rèn)過程則是確定設(shè)計(jì)的對(duì)象是正確的,是滿足利益相關(guān)方需求的。
[1] ISO 9000, Quality Management Systems—Fundamen- tals and Vocabulary[S].
[2] ISO 9000—2015, Quality Management Systems—Fun- damentals and Vocabulary[S].
[3] ANSI/GEIA-STD-0009, Reliability Program Standard for Systems Design, Development, and Manufacturing[S].
[4] ISO/IEC/IEEE 15288, Systems and software engineering—System life cycle processes[S].
[5] INCOSE-TP-2003-002-04, Systems Engineering Handbook, a Guide for System Life Cycle Processes and Activities[S].
[6] NASA/SP-2016-6105 Rev2, NASA Systems Engineering Handbook[S].
Verification and Validation Based on System Engineering Process Theory
DENG Lin, DENG Ming
(The 29th Research Institute of China Electronics Technology Group Corporation, Chengdu 610036, China)
To analyze the relationship between verification and validation of engineering processes and clarify the roles and methods of both, this paper analyzed and discussed the two concepts from traceability, similarities and differences, relationship analysis, method application, etc. Verification and validation are two important technical processes in system engineering. Methods of several activities in two processes are similar, even the same, and confusing. The results show that their purposes were different, while their methods were similar. Verification and validation are two very important sub-processes in technical process of system engineering. They are essential for the integral process. Their difference is that: the verification process is to determine the design process and the results are correct, the confirmation process is to determine the design of the object is correct. They are in line with the needs of stakeholders.
system engineering; verification; validation
10.7643/ issn.1672-9242.2017.11.005
TJ01;TB21
A
1672-9242(2017)11-0027-03
2017-07-11;
2017-08-26
鄧林(1972—),男,四川遂寧人,高級(jí)工程師,主要研究方向?yàn)榄h(huán)境可靠性工程/質(zhì)量工程技術(shù)。