樊智勇,李國鑫,劉 濤
(1.中國民航大學 工程技術(shù)訓練中心,天津 300300;2.中國民航大學 電子信息與自動化學院,天津 300300)
王子才院士在21世紀初期將仿真系統(tǒng)的可信度評估的概念引入中國[1],指出可信度評估與建模與仿真(M&S,modeling and simulation)技術(shù)的發(fā)展應(yīng)該是相輔相成的,兩者具有相同的重要性。隨著建模與仿真應(yīng)用范圍日益廣泛和仿真系統(tǒng)結(jié)構(gòu)日益復雜,仿真模型的可信性評估變得愈發(fā)重要。仿真模型是為特定的目的(或應(yīng)用)開發(fā)的,其目的是回答一系列問題,針對每個問題確定仿真模型的評估,它的可信性應(yīng)該根據(jù)其預期的目的來確定[2-5]。飛機虛擬維修訓練系統(tǒng)是針對民用飛機的內(nèi)部構(gòu)造較為復雜,維修工作困難,維修訓練成本高的特點,設(shè)計的一種低成本,高效率的,新型的仿真系統(tǒng)[6-10]。飛機虛擬維修訓練系統(tǒng)作為一種仿真系統(tǒng)與傳統(tǒng)的仿真系統(tǒng)相比,具有人在環(huán)路,硬件在環(huán)路的特點,維修訓練系統(tǒng)不僅需要將真實世界的飛機電子系統(tǒng)進行仿真,還需要將飛機的各個硬件部分以及工作環(huán)境模擬出來,最大程度達到與真實維修環(huán)境相一致的效果,其可信度直接影響維修訓練效果,因此本文對飛機虛擬維修訓練系統(tǒng)進行可信度評估。
可信度評估是貫穿復雜仿真系統(tǒng)的M&S全生命周期,文獻[11]提出基于貝葉斯網(wǎng)的M&S全過程仿真可信度的評估,雖然從主觀的角度論證了模型的可信度,但是對于已建立完成的仿真系統(tǒng)可信度評估還有待研究。隨著仿真規(guī)模的逐漸擴大,人們提出利用已有的仿真資源,進行模塊化建模。可重用建模方式極大的提高仿真模型的靈活性和可拓展性,逐漸成為復雜仿真系統(tǒng)建模的必然選擇。但是這種建模方式存在難以全生命周期可信度評估的問題,文獻[12]提出了基于偏差傳播的仿真重用模型可信度計算方法,并且分析了可重用模型在新的領(lǐng)域和仿真環(huán)境下,能否實現(xiàn)有效重用的問題,該方法避免對重用模型進行大量采樣而造成的時間冗余問題,從而加快了可信度評估進程。此方法對可重用模型軟件系統(tǒng)的可信度進行了較全面的評估研究,對于軟硬件結(jié)合的仿真系統(tǒng)可信度評估還有待進一步研究。進行可信度評估時,最重要的一步就是建立可信度指標體系,文獻[13]提出構(gòu)建可信度評估以可用性,正確性,互操作性和有效性為高層指導的可信度指標體系。隨著M&S的發(fā)展,進行人在回路仿真實驗時,仿真系統(tǒng)的環(huán)境仿真,硬件模擬與真實環(huán)境的相似程度也是影響仿真效果的重要因素。為此,本文根據(jù)復雜仿真系統(tǒng)人在回路的特點,在此基礎(chǔ)上提出可信度評估的指標體系是以可用性,正確性,互操作性,有效性和逼真性為指導建立的可信度指標體系。
當今仿真模型的可信度評估是一個非常復雜的過程,涉及數(shù)以百計的定性和定量指標的測量和評價,需要分析仿真系統(tǒng)的特點,結(jié)合不同的方法進行評估。在進行飛機虛擬維修訓練系統(tǒng)的可信度評估時,不僅需要將模糊的,不確定的問題轉(zhuǎn)化為一個可量化的問題,還要考慮指標體系的建立是否可行。本文全面考慮飛機虛擬維修系統(tǒng)各個模型的特點,綜合考慮人與硬件在仿真環(huán)境的特性,將“硬件在環(huán)路”與“人在環(huán)路”加入可信度評估過程,建立一套基于層次分析法(AHP,analytic hierarchy process)的二級模糊綜合評價模型,對飛機虛擬維修訓練系統(tǒng)進行可信度評估。AHP可以將飛機虛擬維修訓練系統(tǒng)可信度評估指標體系進行定量分析,使最終結(jié)果量化。通過模糊綜合評價法與專家評價法對飛機虛擬維修訓練系統(tǒng)進行全面綜合評估,將仿真系統(tǒng)的可信度這種模糊的問題轉(zhuǎn)化為可視的量化問題。
飛機虛擬維修訓練系統(tǒng)是在一定軟硬件環(huán)境支持下,模擬機務(wù)人員真實維修環(huán)境的仿真系統(tǒng)。此仿真系統(tǒng)主要用于對飛機維修人員的培訓,培養(yǎng)民用飛機維修人員需要消耗大量的時間與金錢成本,建立飛機虛擬維修訓練系統(tǒng)可以讓維修人員在虛擬環(huán)境中提前模擬真實的飛機維修環(huán)境,起到教學與實訓的作用。如圖1所示,仿真系統(tǒng)由仿真軟件系統(tǒng)、飛機設(shè)備仿真件、人機界面系統(tǒng)、數(shù)據(jù)顯示系統(tǒng)、教員臺系統(tǒng)和計算機系統(tǒng)組成,使用高分辨率的觸摸屏實現(xiàn)飛機駕駛艙各部件的控制和顯示,同時使用數(shù)據(jù)顯示器顯示教學數(shù)據(jù)和系統(tǒng)原理圖。
圖1 A320飛機維修訓練模擬機
為了使得實驗過程盡量逼近真實的工作環(huán)境,飛機虛擬維修訓練系統(tǒng)還需要模擬維修飛機的工作環(huán)境,在該環(huán)境中有一架??吭跈C庫中的虛擬A320飛機,并且建立了仿真工具、仿真設(shè)備、仿真工具庫、耗材庫、航材庫、仿真電子設(shè)備艙等環(huán)境,具體的環(huán)境及功能如圖2所示。
圖2 虛擬維修環(huán)境
飛機虛擬維修訓練系統(tǒng)能夠模擬飛機的故障現(xiàn)象,真實反映飛機系統(tǒng)在正常和非正常操作條件下的駕駛艙效應(yīng)。除軟件仿真功能外,維護模擬機還配備駕駛桿、油門桿、多功能控制顯示組件、自動飛行和顯示系統(tǒng)控制板等硬件仿真件。這些硬件系統(tǒng)可以提高訓練的真實度。教師席位安裝教師實訓管理軟件,學生席位安裝學生實訓操作軟件、動態(tài)原理圖軟件、虛擬飛機軟件和維修手冊,駕駛艙席位安裝駕駛艙軟件。
飛機虛擬維修訓練系統(tǒng)主要功能是教學,通過動態(tài)原理圖了解飛機系統(tǒng),能夠使學員更加明確飛機系統(tǒng)的工作方式。動態(tài)原理圖具有多層次結(jié)構(gòu),包括動態(tài)系統(tǒng)邏輯圖、系統(tǒng)結(jié)構(gòu)組成圖、線路測量圖三層。動態(tài)原理圖與虛擬飛機、駕駛艙同步關(guān)聯(lián),覆蓋空調(diào)、自動飛行、通信、電源、防火、飛行操縱、燃油、液壓、防冰和排雨、指示與記錄、起落架、燈光、導航、氧氣、引氣、輔助動力系統(tǒng)(APU,auxiliary power units)和發(fā)動機等系統(tǒng)。以動態(tài)系統(tǒng)邏輯圖為例,動態(tài)系統(tǒng)邏輯圖能夠與駕駛艙、虛擬飛機操作同步,通過二維動畫實時展示維修操作動作,呈現(xiàn)機載系統(tǒng)工作原理,如圖3所示。
圖3 動態(tài)系統(tǒng)邏輯圖
虛擬維修訓練具有安全、經(jīng)濟、可控、可多次重復、不受氣候與場地約束的優(yōu)點。經(jīng)過長時間的發(fā)展,虛擬維修訓練已經(jīng)從最初的空管計算機訓練系統(tǒng)(CBT,computer based tranining)級別發(fā)展到現(xiàn)在的全尺寸模擬器的級別,其復雜度也是與日俱增,也給對該系統(tǒng)的可信度評估帶來難題。中國民用航空總局在2013年頒布了《民用航空機務(wù)維修模擬機等級要求》[14],該標準從真實飛機,操縱行程,性能測試,操縱特性,功能檢查五個方面對飛機虛擬維修訓練系統(tǒng)提出了不同的要求。在進行飛機虛擬維修訓練系統(tǒng)可信度評估時要以此標準為指導來展開工作。
校核、驗證與確認(VV&A,verification validation and accreditation)是M&S開發(fā)過程中必不可少的環(huán)節(jié),仿真系統(tǒng)的可信度評估在VV&A過程中占有決定性的地位[15-17]。不同的仿真系統(tǒng)的復雜程度,仿真?zhèn)戎攸c和基本特性各不相同,因此衍生出多種可信度評估方法,每種評估方法都有其自己的特點以及適用范圍。目前主流的評估方法有相似度評估法、置信度評估法、逼真度評估法、人工神經(jīng)網(wǎng)絡(luò)評估法、灰色綜合評估法、層次分析法、模糊綜合評價法、模糊層次分析法等。對不同的仿真系統(tǒng)來說,沒有任何一種可信度評估方法能夠嚴格的與之對應(yīng)。因此,在對仿真系統(tǒng)進行可信度評估時,首先綜合分析仿真系統(tǒng)的研究對象、特點、目標以及復雜程度等因素的影響,然后選取合適的方法,最后進行可信度評估。并且根據(jù)不同的仿真實驗出具不同的可信度評估結(jié)果。
飛機虛擬維修訓練系統(tǒng)是一個典型的復雜仿真系統(tǒng),AHP可以將虛擬維修訓練系統(tǒng)分為若干層次,自上而下評估可信度,其基本思路是將復雜仿真系統(tǒng)的影響可信度的影響因素按照隸屬關(guān)系分為幾個不同的層次,對每個層次的可信度分別進行計算,通過方根法計算出權(quán)重,為后面的計算做基礎(chǔ)[18-19]。模糊綜合評價法是一種基于模糊數(shù)學的綜合評判方法[20-21]。對于復雜仿真系統(tǒng)具有極高的可重用性,難以按照M&S全生命周期評估,運用模糊綜合評價法可以很好的解決此類問題,并且模糊綜合評價法還可以對可信度問題進行量化。另外需要注意的是,層次分析法與模糊綜合評估法一起應(yīng)用并不是模糊層次分析法。因此根據(jù)飛機虛擬維修訓練系統(tǒng)的特點,仿真目標以及復雜程度,采用AHP與模糊綜合評價法相結(jié)合的方法對其進行評估。
用層次分析法進行可信度評估時,需先將飛機虛擬維修訓練系統(tǒng)進行層次分析,并建立二級層次模型和可信度指標體系。請相關(guān)領(lǐng)域?qū)<覍γ恳粚蛹壷腥我鈨蓚€元素對比重要性,建立指標層判斷矩陣A,二級指標層判斷矩陣U1、U2、U3、U4、U5。對已建立完成的矩陣進行一致性檢驗,一致性檢驗的作用是判斷所計算的權(quán)重是否符合客觀規(guī)律,不同的專家評判是否一致。如果一致就計算權(quán)重,不一致則重新審核判斷矩陣,進行修改。根據(jù)層次分析法建立的指標體系創(chuàng)建評語集,請相關(guān)領(lǐng)域?qū)<疫M行打分。充分利用學科專家的經(jīng)驗和知識來評估仿真系統(tǒng)的可信度,專家對二級指標層各影響因素進行打分。建立隸屬度矩陣Ri,最后加入層次分析法中計算得出的權(quán)重向量,得出最終可信度評估量化結(jié)果,整體評估流程如圖4所示。
飛機虛擬維修訓練系統(tǒng)的仿真目的是模仿真實的維修環(huán)境,完成對學員的模擬訓練。傳統(tǒng)的仿真可信度研究主要研究軟件系統(tǒng)是否可信,飛機虛擬維修訓練系統(tǒng)不只有軟件系統(tǒng),硬件系統(tǒng)也是其重要組成部分。飛機虛擬維修訓練系統(tǒng),不僅需要將飛機的各種電子系統(tǒng)模擬出來,還需要對維修環(huán)境,物理環(huán)境,具體操作步驟以及飛機的各種顯示裝置模擬出來,以達到與真實維修環(huán)境一致。進行仿真建模時,首先在接到建模仿真需求后先建立概念模型,接著再進行具體化,加入現(xiàn)實世界的物理模型;最后進行軟件實現(xiàn),得出最終仿真結(jié)果。因此,考慮到飛機虛擬維修訓練系統(tǒng)具有“硬件在回路”的特點,將飛機虛擬維修訓練系統(tǒng)的一級指標層分為概念模型、物理模型、軟件模型、硬件模擬系統(tǒng)、仿真系統(tǒng)結(jié)果。
仿真系統(tǒng)的可信度指標體系是進行可信度評估的基礎(chǔ),作為一種參數(shù)指標,需要反映出仿真系統(tǒng)的屬性,并且能夠反映出評估對象可信度。創(chuàng)建復雜仿真系統(tǒng)可信度評估指標體系是一項冗長,困難的工作,是可信度評估過程中的難題。建立過程不僅要全面,還要能夠在某一方面能夠影響仿真系統(tǒng)可信程度。因此,在建立仿真系統(tǒng)的可信度指標體系時要以可用性、正確性、互操作性、有效性,逼真性為指導進行建立。在具體實施過程中會存在各種問題,比如各個影響因素之間存在冗余問題,不同指標可能含有相同的可信度影響因素,在建立過程中需要將冗余影響因素進行處理。對于指標體系的邏輯層次關(guān)系也要考慮到,構(gòu)建二級層次模型需要具有遞階的層次結(jié)構(gòu),同一可信度影響因素可能出現(xiàn)在不同的層級結(jié)構(gòu)中,需要對此類指標進行處理。在建立指標體系時還要考慮指標中的可信度影響因素對被評估對象所產(chǎn)生的可信度的表達,其中包括已有體系中通用的指標,飛機虛擬維修訓練仿真系統(tǒng)的特有因素。最終建立如表1可信度指標體系。
表1 飛機虛擬維修訓練系統(tǒng)可信度指標體系
2.3.1 構(gòu)造判斷矩陣
層次分析法構(gòu)造兩兩判斷矩陣,并要經(jīng)過一致性檢驗。這種方法具體操作步驟就是避免將所有評價指標放在一起進行比較,而是在建立的層次結(jié)構(gòu)模型基礎(chǔ)上,對同一層面內(nèi)的任意兩個評價指標進行相互比較確定其重要性。在層次分析法建立矩陣過程中,影響因子或評價指標的相對重要性,一般都是用1到9及其倒數(shù)來表示,1表示相同重要,9表示其中一個因素比另一個因素極端重要。例如,二級指標層評價指標u11與二級指標層評價指標u12的重要性之比為a,那么二級指標u12與相對二級指標u11的重要性就是a的倒數(shù)1/a。請相關(guān)領(lǐng)域?qū)<?,根?jù)描述的評判方法,對構(gòu)造好的矩陣進行評判,分析目標層的5種影響因素,進行兩兩因素對比,構(gòu)建出正互反矩陣的判斷矩陣A,矩陣的行元素與列元素相同。
(1)
式中,滿足aij>0,aijaji=1,aii=1。
2.3.2 一致性檢驗
在計算權(quán)重之前需要先進行一致性檢驗,這一步驟是為了使構(gòu)造的判斷矩陣在判斷思維上具備基本的一致性,能夠找出不同的專家是否判斷一致,或者同一專家在進行判斷時邏輯上是否出現(xiàn)不一致的情況,并且能夠在一定程度上判斷矩陣中是否存在奇異值。一致性檢驗的步驟如下。
第一步,計算一致性指標CI,λmax表示矩陣的最大特征值,計算公式如(4),W表示特征向量,n表示矩陣階數(shù),計算公式如下公式(2);
第二步,查表確定相應(yīng)的矩陣隨機一致性指標,跟據(jù)判斷矩陣不同階數(shù)查表2RI取值,n代表階數(shù),一階矩陣與二階矩陣的RI=0;
表2 RI取值
第三步,計算一致性比例CR(consistency ratio),CR計算公式如公式(3),并進行判斷,判斷規(guī)則如下:當CR=0時,此矩陣為一致陣,當0
公式如下:
(2)
(3)
(4)
2.3.3 計算權(quán)重
計算權(quán)重向量,采用方根法確定權(quán)重,計算公式如下:
(5)
(6)
2.4.1 建立評語集
評語集C是對各個最底層指標做出的評判結(jié)果所組成的集合,僅用于最后計算,專家在打分時并不知道分值,用C=(c1,c2,…,cm)表示。表3顯示了1個較嚴格的可信度評價集,采用了100分制。按照人們基于7等級自然語言判斷的習慣,將“比較可信”定位于60分,向上和向下依次以10分為1個等級,分別延展至“不可信”的30分和“可信”的90分。
表3 百分制可信度指標
2.4.2 確定隸屬度函數(shù)
根據(jù)上表做調(diào)查問卷,請相關(guān)領(lǐng)域?qū)<疫M行打分,為充分利用學科專家的經(jīng)驗和知識來評估系統(tǒng)的可信度,要求專家從可用性、正確性、互操作性、有效性,逼真性五個方面對每一個二級層次指標綜合分析后進行打分。根據(jù)層次分析法建立的因素集U和模糊層次分析法建立的評語集C,請相關(guān)領(lǐng)域?qū)<疫M行打分。建立隸屬度矩陣Ri,將每個影響因子量化,即從最底層可信度影響因素確定被評價對象對各影響因素對自己的隸屬程度。
(7)
二級模糊綜合評價將隸屬矩陣與同級的權(quán)重系數(shù)矩陣相乘,可得出上一級評價因素層的模糊綜合評價結(jié)果,再將該級因素的評價結(jié)果作為更高一級的隸屬矩陣,再運用同樣的方法進行相乘,可算出最終的評價結(jié)果,公式如下:
Bi=ωUiRi
(8)
Di=ωiBiCT
(9)
式中,Bi為一級指標層可信度;ωUi為二級指標層權(quán)重向量;Ri為相應(yīng)的隸屬矩陣,Di為模型可信度。
在對飛機虛擬維修訓練系統(tǒng)進行整體可信度評估時,應(yīng)先選取準確的維修訓練項目,對維修訓練項目中包含的所有模塊進行可信度評估。由于飛機虛擬維修訓練系統(tǒng)復雜而龐大,本文根據(jù)《民用航空機務(wù)維護模擬機等級要求(MH/T 3028—2013)》中的功能測試模塊,結(jié)合《飛機維修手冊(AMM,aircraft maintenance manual)》中實際的飛機維護例程,選取空調(diào)組件測試實驗,多功能控制顯示組件(MCDU,multipurpose control and display unit)操作實驗,發(fā)動機正常試車實驗進行可信度評估。選取這三項實驗覆蓋了硬件模擬模塊,飛機駕駛艙面板、飛機電子系統(tǒng)、虛擬維修環(huán)境等飛機虛擬維修訓練系統(tǒng)的主要模塊,計算過程以空調(diào)組件測試實驗為例。
實驗所用維修訓練系統(tǒng)的硬件由觸摸板模擬,如圖5所示為模擬空調(diào)面板截圖,圖6為空調(diào)顯示面板。
圖5 模擬空調(diào)控制面板
圖6 模擬空調(diào)控制面板
根據(jù)以上方法請相關(guān)領(lǐng)域?qū)<疫M行評價建立一級指標層判斷矩陣:
二級指標層判斷矩陣U1、U2、U3、U4、U5也按照上述方式建立。
一級指標層構(gòu)建出5階判斷矩陣,查表2得到隨機一致性RI值為1.120 0。計算得λmax=5.351 1,代入算得CR=0.078 1<0.1,可知判斷矩陣滿足一致性檢驗,計算所得權(quán)重具有一致性。同理一級指標層的五個矩陣都進行一致性檢驗,經(jīng)計算均符合一致性。
代入公式算得權(quán)重:
ωA=(0.1142,0.3269,0.3269,0.0896,0.1423)
ωU1=(0.2493,0.5936,0.1571)
ωU2=(0.2583,0.6370,0.1047)
ωU3=(0.1692,0.4434,0.3874)
ωU4=(0.0528,0.5494,0.2452,0.1526)
ωU5=(0.2500,0.5000,0.2500)
對已建立的飛機虛擬維修訓練系統(tǒng)指標體系建立隸屬度矩陣,請10名本領(lǐng)域?qū)<覍Ω髦笜诉M行打分,經(jīng)過統(tǒng)計計算,建立以下隸屬度矩陣,如表4所示。
表4 維修性設(shè)計方案各指標參數(shù)
即:
R2,R3,R4,R5與R1相同,就不再贅述。從專家打分結(jié)果可以看出,硬件系統(tǒng)中,飛機虛擬維修訓練系統(tǒng)對于真實維修環(huán)境中的聲音系統(tǒng)模仿的比較相似;難以模擬出真實維修環(huán)境下的阻尼反饋,專家一致認為不可信。
第一步代入公式(8)計算一級指標層可信度向量,代入數(shù)據(jù)得:
B1=(0,0,0,0.0594,0.5003,0.3062,0.1935)
B2=(0,0,0,0.1292,0.2314,0.3588,0.2816)
B3=(0,0.0169,0.1669,0.0782,0.4000,0.2605,0.0775)
B4=(0.0528,0.0610,0.1193,0.4186,0.3483,0.0490,0)
B5=(0,0,0,0.1500,0.3750,0.2750,0.2000)
第二步代入公式(9)得出飛機虛擬維修訓練系統(tǒng)的可信度:DA=73.787 2。DA表示飛機虛擬維修訓練系統(tǒng)的可信度。從圖7,7標度模糊評價隸屬度曲線表中可以看出,其可信任程度介于“一般可信”和“基本可信”之間,而且對于“一般可信”的隸屬度高于“基本可信”。
圖7 7標度模糊評價隸屬度曲線
代入數(shù)據(jù)可以算出一級指標層可信度分別為DU1=80.493 8,DU2=77.909 2,DU3=69.528 6,DU4=63.407 6,DU5=75.250 0。DUi表示一級指標層每個元素的可信度。從數(shù)據(jù)可以得出結(jié)論:在進行空調(diào)組件調(diào)試實驗時,仿真系統(tǒng)可信度為73.787 2,屬于一般可信,其中硬件系統(tǒng)可信度最低為63.407 6,存在薄弱點。查看隸屬度矩陣,發(fā)現(xiàn)在進行虛擬維修訓練時仿真系統(tǒng)不能很好的模擬出真實維修環(huán)境下硬件的阻尼感。
同時,結(jié)合隸屬度矩陣與實際實驗分別對MCDU操作實驗,發(fā)動機正常試車實驗同樣進行可信度評估。求得可信度分別為81.423 3和71.265 9。在進行MCDU實驗時,飛機虛擬維修訓練系統(tǒng)的MCDU沒有選用觸摸板進行仿真,而是選用與真實飛機一樣的硬件按鈕,整體可信度較高,視景系統(tǒng)的可信度還存在缺陷。在進行發(fā)動機實驗時,仿真系統(tǒng)可以模擬出較為準確的摁鍵操作聲音,但是對于發(fā)動機的試車聲音不能很好的模擬出來。
本文對飛機虛擬維修訓練系統(tǒng)的可信度評估進行研究,建立了二級層次模型。利用層次分析法建立一套針對飛機虛擬維修訓練系統(tǒng)的可信度評估指標體系,解決了指標體系建立過程中時間冗余的問題。針對可重用仿真模型可信度難以評估,以及“人在環(huán)路”與“硬件在環(huán)路”的仿真系統(tǒng)可信度評估因素難以確定的問題,運用模糊綜合評估方法將模糊問題轉(zhuǎn)化為定量問題。最終評估結(jié)果不僅可以量化,還可以根據(jù)評估結(jié)果反推仿真系統(tǒng)仿真需要改進的地方。并通過多個不同的實驗,證明此方法是可用的。為復雜仿真系統(tǒng)的可信度評估提供了借鑒,也為飛機虛擬維修訓練系統(tǒng)的優(yōu)化提供了理論支持。