實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證技術(shù)研究

劉永利　劉云鵬

摘? 要：本文針對實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)人工測試驗(yàn)證模式中存在的效率低下、工作強(qiáng)度高、測試驗(yàn)證不充分等問題，提出了基于偏差模型的測量數(shù)據(jù)模擬方法，設(shè)計(jì)了基于經(jīng)典誤差分析方法的測試驗(yàn)證評估模型，構(gòu)建了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證體系，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證的自動(dòng)化。以航天測控實(shí)際應(yīng)用場景開展實(shí)驗(yàn)，發(fā)現(xiàn)本文所提出的自主閉環(huán)測試驗(yàn)證體系能夠有效降低人員的工作量，提高實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的測試驗(yàn)證效率。

關(guān)鍵詞：數(shù)據(jù)處理系統(tǒng);自主閉環(huán)測試驗(yàn)證;偏差模型;驗(yàn)證評估

中圖分類號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract： Manual test and verification mode of real-time data processing system has problems of low efficiency， high work intensity， and insufficient verification. This paper proposes a measurement data simulation method based on deviation model and designs a test and verification evaluation model based on a classic error analysis method. The paper also proposes to construct an autonomous closed-loop test and verification framework for real-time data processing system， so to realize autonomous test and verification of real-time data processing system. Experiments carried out in the actual application scenarios of aerospace measurement and control show that the autonomous closed-loop test and verification system proposed here can effectively reduce workload of the working staff and improve efficiency of testing and verification for real-time data processing system.

Keywords： data processing system; autonomous closed-loop test and verification; deviation model; verification and?evaluation

1? ?引言（Introduction）

實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)是監(jiān)測系統(tǒng)中的重要組成部分，使用計(jì)算機(jī)對事件發(fā)生的現(xiàn)場數(shù)據(jù)進(jìn)行實(shí)時(shí)收集和處理，具有時(shí)間限制嚴(yán)格、處理速度快的特點(diǎn)。在航天測控領(lǐng)域，實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)承擔(dān)著火箭、飛船、衛(wèi)星等各類航天器的測控信息實(shí)時(shí)處理、測控設(shè)備跟蹤引導(dǎo)、信息綜合分析利用、輔助決策支持等職能，是測控系統(tǒng)的數(shù)據(jù)中樞。其系統(tǒng)架構(gòu)、邏輯結(jié)構(gòu)復(fù)雜，通常由十幾個(gè)承擔(dān)不同職能的子系統(tǒng)組成，各子系統(tǒng)擁有獨(dú)特的配置項(xiàng)目，子系統(tǒng)之間也存在著不同的接口關(guān)系。在對航天器執(zhí)行測控任務(wù)之前，需要對各子系統(tǒng)的代碼正確性、配置項(xiàng)正確性以及接口匹配的情況進(jìn)行驗(yàn)證。傳統(tǒng)的驗(yàn)證模式是依靠崗位人員長時(shí)間、高強(qiáng)度的測試比對分析來完成系統(tǒng)的測試驗(yàn)證工作，工作量大，測試時(shí)間相對較長，測試效果依賴于工作人員的工作經(jīng)驗(yàn)，難以適應(yīng)當(dāng)前高密度的航天測控任務(wù)需求。本文提出了一套自主閉環(huán)驗(yàn)證體系，完成從原始數(shù)據(jù)模擬、數(shù)據(jù)傳輸、數(shù)據(jù)處理到處理結(jié)果比對分析的一整套閉環(huán)驗(yàn)證測試工作，實(shí)現(xiàn)了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證的自動(dòng)化，降低了工作人員的勞動(dòng)強(qiáng)度，提高了工作效率。

2? ?相關(guān)研究工作（Related works）

目前已有部分學(xué)者對軟件系統(tǒng)自動(dòng)化測試工作進(jìn)行了研究。D. Xiaojun等人[1]提出了一個(gè)針對飛行器控制系統(tǒng)的快速測試驗(yàn)證平臺(tái)，基于反射式內(nèi)存構(gòu)造出一個(gè)與飛行器一致的多機(jī)冗余環(huán)境，軟件開發(fā)人員可以在沒有真實(shí)的硬件環(huán)境支撐下提前開始軟件的開發(fā)、調(diào)試工作。此外，這個(gè)測試平臺(tái)還能夠模擬多通道信息交互、錯(cuò)誤信息注入等來輔助軟件開發(fā)人員快速完成軟件測試工作。但該測試平臺(tái)面向飛行器內(nèi)部控制系統(tǒng)，缺乏普適性，無法在實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)中使用。T. Muller等人[2]基于虛擬化技術(shù)提出了一套跨平臺(tái)的自動(dòng)化軟件測試部署方案，通過虛擬機(jī)加載不同的操作系統(tǒng)，使用自動(dòng)生成測試代碼對軟件工具包進(jìn)行測試，并生成在線的測試報(bào)告。這套測試方案面向機(jī)器人視覺領(lǐng)域，針對軟件工具包進(jìn)行測試，是一種局部的功能部件測試，與本文所關(guān)注的系統(tǒng)驗(yàn)證有一定差異。孫喜剛等人[3]對軟件系統(tǒng)閉環(huán)測試驗(yàn)證工作進(jìn)行了較為全面的總結(jié)概述，但其研究工作并未涉及系統(tǒng)自動(dòng)化閉環(huán)測試驗(yàn)證的方法。吳立金等人[4，5]面向戰(zhàn)艦軟件系統(tǒng)設(shè)計(jì)了戰(zhàn)艦軟件自動(dòng)測試系統(tǒng)，重點(diǎn)在于測試戰(zhàn)艦各軟件之間的信息交互情況，各個(gè)信息接口的轉(zhuǎn)換、適配是否正常，但對于數(shù)據(jù)處理正確性方面驗(yàn)證不足。謝家森[6]、徐聰[7]對航天器內(nèi)嵌入式軟件的自動(dòng)化測試工作展開研究，設(shè)計(jì)了一套通用的測試仿真平臺(tái)，擁有動(dòng)態(tài)建模、閉環(huán)測試、故障注入、在線監(jiān)控等功能。他們的研究工作面向嵌入式軟件，無法套用到實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)中，但其部分設(shè)計(jì)思路仍具有一定的參考價(jià)值。

3? 實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證技術(shù)（Autonomous closed-loop test and verification technology of real-time data processing system）

3.1? ?系統(tǒng)驗(yàn)證工作組成及分析

在現(xiàn)有的工作模式下，實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的測試驗(yàn)證工作主要包括數(shù)據(jù)模擬、數(shù)據(jù)回放、人工比對、錯(cuò)誤分析這幾部分。在對實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)進(jìn)行代碼維護(hù)和配置修改之后，各子系統(tǒng)運(yùn)維人員利用模擬仿真子系統(tǒng)或本子系統(tǒng)回放數(shù)據(jù)的方式驗(yàn)證各子系統(tǒng)內(nèi)部數(shù)據(jù)處理的正確性以及子系統(tǒng)之間接口的匹配性。各子系統(tǒng)測試驗(yàn)證工作完成后，再進(jìn)行全系統(tǒng)測試驗(yàn)證工作，通常采用模擬仿真子系統(tǒng)模擬外部數(shù)據(jù)，各子系統(tǒng)運(yùn)維人員和系統(tǒng)測試驗(yàn)證人員以分工協(xié)作的方式完成各類信息處理結(jié)果的比對和錯(cuò)誤原因分析。這種基于人工比對的系統(tǒng)測試驗(yàn)證模式存在以下幾個(gè)方面的突出問題。

（1）測試驗(yàn)證工作量大，人工輔助正確性驗(yàn)證效率低下。傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證模式，需要人工逐一對信息的正確性進(jìn)行比對分析，相關(guān)子系統(tǒng)也要對信息處理正確性進(jìn)行確認(rèn)，相關(guān)的參數(shù)數(shù)目、信息類型等相當(dāng)龐雜。崗位人員需對參數(shù)名稱、數(shù)值、單位、量綱、關(guān)聯(lián)關(guān)系、信息收發(fā)頻率等逐一確認(rèn)核實(shí)，工作量大，驗(yàn)證效果依賴于崗位人員能力素質(zhì)。新上崗人員專業(yè)功底不夠深厚，容易出現(xiàn)比對不到位的情況，業(yè)務(wù)熟練人員易犯經(jīng)驗(yàn)主義錯(cuò)誤，這種驗(yàn)證模式效率低下且容易出現(xiàn)失誤，經(jīng)常出現(xiàn)測試驗(yàn)證不充分的問題。

（2）準(zhǔn)備周期長。實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)架構(gòu)復(fù)雜、組成多樣，測試驗(yàn)證工作需要將各子系統(tǒng)內(nèi)部情況以及子系統(tǒng)間接口情況驗(yàn)證到位，往往需要花費(fèi)較長的時(shí)間。以航天測控任務(wù)為例，在傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證模式下，常規(guī)任務(wù)全系統(tǒng)測試驗(yàn)證通常需要兩個(gè)小時(shí)以上的時(shí)間，對新型號(hào)航天器的全系統(tǒng)測試驗(yàn)證至少需要三個(gè)小時(shí)以上的時(shí)間，遇有任務(wù)狀態(tài)變更，還需要重新進(jìn)行系統(tǒng)測試驗(yàn)證，再加上各子系統(tǒng)內(nèi)部和子系統(tǒng)間的測試驗(yàn)證工作，一次試驗(yàn)任務(wù)花費(fèi)在系統(tǒng)測試驗(yàn)證上的時(shí)間至少在0.5個(gè)工作日以上。

（3）人員需求量大。實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)中，各子系統(tǒng)的軟件代碼、配置均由專人進(jìn)行維護(hù)，進(jìn)行一次全系統(tǒng)測試驗(yàn)證需要所有子系統(tǒng)的運(yùn)維人員同時(shí)在位，一旦有一個(gè)子系統(tǒng)出現(xiàn)配置狀態(tài)變更或代碼漏洞，測試驗(yàn)證工作就會(huì)停滯，其余運(yùn)維人員需等待該子系統(tǒng)問題解決之后才能夠繼續(xù)測試，木桶效應(yīng)明顯，人力資源浪費(fèi)顯著。當(dāng)大量的人力全部消耗在任務(wù)準(zhǔn)備中時(shí)，就很難有時(shí)間進(jìn)行創(chuàng)新，這種對人員需求量極大的系統(tǒng)測試驗(yàn)證方式，在一定程度上也制約了企業(yè)、科研院所的創(chuàng)新發(fā)展。

3.2? ?基于軟總線的系統(tǒng)自主閉環(huán)測試驗(yàn)證體系架構(gòu)

針對上述問題，構(gòu)建基于軟總線的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)，設(shè)計(jì)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證體系，對傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證模式進(jìn)行改進(jìn)，將人工比對分析工作由仿真測試驗(yàn)證子系統(tǒng)完成，實(shí)現(xiàn)測試數(shù)據(jù)仿真、數(shù)據(jù)傳輸、數(shù)據(jù)處理、數(shù)據(jù)比對、驗(yàn)證評估的自主閉環(huán)，達(dá)到系統(tǒng)自主閉環(huán)測試驗(yàn)證的目的，降低人員的參與力度。

在基于軟總線的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)中，對傳統(tǒng)模擬仿真子系統(tǒng)進(jìn)行功能擴(kuò)展，增加信息接收、比對、分析、評估功能，構(gòu)建集數(shù)據(jù)模擬仿真、信息比對分析等功能于一體的仿真測試驗(yàn)證子系統(tǒng)，實(shí)現(xiàn)信息的模擬、傳輸，結(jié)果的回收、比對，正確性自主驗(yàn)證評估的閉環(huán)處理。系統(tǒng)自主閉環(huán)測試驗(yàn)證實(shí)現(xiàn)框架如圖1所示，各系統(tǒng)功能及協(xié)作關(guān)系如下：

仿真測試驗(yàn)證子系統(tǒng)：負(fù)責(zé)原始信息的模擬，并向數(shù)據(jù)交換子系統(tǒng)發(fā)送。為了測試數(shù)據(jù)交換子系統(tǒng)的指定源組播數(shù)據(jù)接收功能，中間必須進(jìn)行網(wǎng)絡(luò)隔離，即跨網(wǎng)段、跨交換機(jī);同時(shí)負(fù)責(zé)從軟總線上收集各實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)數(shù)據(jù)處理結(jié)果，并與仿真數(shù)據(jù)真值進(jìn)行比對分析，評估數(shù)據(jù)傳輸、處理的正確性和接口的匹配性;接收和匯集分發(fā)對外發(fā)送信息，進(jìn)行本地緩存，并具備輔助分析功能。

數(shù)據(jù)交換子系統(tǒng)：通常由電文傳輸和匯集分發(fā)兩個(gè)子系統(tǒng)組成。匯集分發(fā)子系統(tǒng)是該系統(tǒng)的核心軟件，也是實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)內(nèi)外數(shù)據(jù)的交換中樞，接收仿真測試驗(yàn)證子系統(tǒng)模擬的原始信息并向數(shù)據(jù)處理子系統(tǒng)轉(zhuǎn)發(fā)，同時(shí)將外送信息以組播的形式同步復(fù)制發(fā)送一份，供仿真測試驗(yàn)證子系統(tǒng)分析使用。

數(shù)據(jù)存儲(chǔ)管理子系統(tǒng)：接收外線原始信息、各子系統(tǒng)數(shù)據(jù)處理結(jié)果信息，存入本地磁盤或數(shù)據(jù)庫，供事后分析使用。

實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)：由多個(gè)數(shù)據(jù)處理、數(shù)據(jù)判決子系統(tǒng)組成，是實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的核心業(yè)務(wù)模塊，從軟總線上獲取數(shù)據(jù)交換子系統(tǒng)發(fā)布的原始信息或其他數(shù)據(jù)處理子系統(tǒng)發(fā)布的數(shù)據(jù)處理結(jié)果，完成相應(yīng)數(shù)據(jù)處理后將數(shù)據(jù)處理結(jié)果發(fā)布到軟總線上，供其他子系統(tǒng)使用。

實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證流程如圖2所示。仿真測試驗(yàn)證子系統(tǒng)模擬產(chǎn)生各測控設(shè)備原始信息，通過數(shù)據(jù)交互子系統(tǒng)在軟總線上發(fā)布;實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)從軟總線上訂閱原始信息，完成數(shù)據(jù)處理后將結(jié)果向軟總線發(fā)布;仿真測試驗(yàn)證子系統(tǒng)從軟總線訂閱各實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)數(shù)據(jù)的處理結(jié)果，并與原始模擬測量信息真值進(jìn)行比對、分析、評估，以驗(yàn)證實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)信息處理的正確性和子系統(tǒng)間接口的匹配性。

3.3? ?基于偏差模型的測量數(shù)據(jù)模擬技術(shù)

仿真測試驗(yàn)證子系統(tǒng)工作的基點(diǎn)是測量數(shù)據(jù)的模擬，實(shí)際上是數(shù)值模擬的問題。在測量數(shù)據(jù)模擬時(shí)，需對兩類數(shù)據(jù)進(jìn)行模擬：

（1）正常數(shù)據(jù)。模擬這類數(shù)據(jù)的目的是驗(yàn)證各實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)數(shù)據(jù)處理的正確性和子系統(tǒng)間接口的匹配性，在數(shù)據(jù)模擬時(shí)不加偏差量，直接將真值作為模擬值送出。

（2）偏差數(shù)據(jù)。模擬這類數(shù)據(jù)的目的是檢驗(yàn)實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)數(shù)據(jù)融合、數(shù)據(jù)濾波、數(shù)據(jù)插值等算法的有效性和實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的健壯性。

在測控系統(tǒng)中，無論是參數(shù)類信息還是測量信息，都可以歸為三類參數(shù)。

第一類：靜態(tài)變量。此類變量在整個(gè)測試驗(yàn)證過程中模擬的數(shù)值都不變，是一個(gè)恒定值。

第二類：離散變量。只在有限的時(shí)間點(diǎn)或可數(shù)的時(shí)間點(diǎn)上有數(shù)值的變化，并且數(shù)值變化是在瞬時(shí)完成的，即離散事件是瞬時(shí)出現(xiàn)的，例如各類設(shè)備狀態(tài)參數(shù)、時(shí)間指令等信息。

第三類：連續(xù)變量。變量的數(shù)值隨時(shí)間連續(xù)變化，但在真實(shí)數(shù)據(jù)中，時(shí)間不可能是絕對連續(xù)的，總會(huì)有一個(gè)時(shí)間間隔，需要將連續(xù)變量在時(shí)間上進(jìn)行離散化處理，并由此模擬變量的數(shù)值，其參數(shù)值隨時(shí)間的推進(jìn)而發(fā)生變化，例如測控?cái)?shù)據(jù)中的設(shè)備測量信息、彈道信息、遙測模擬量等，此類參數(shù)占據(jù)絕大多數(shù)實(shí)際場景。

下面介紹靜態(tài)變量、離散變量和連續(xù)變量的數(shù)學(xué)仿真實(shí)現(xiàn)模型。

（1）靜態(tài)變量模擬

靜態(tài)變量的模擬很簡單，只需實(shí)現(xiàn)規(guī)定模擬真值基礎(chǔ)上的變量模擬，在測試驗(yàn)證時(shí)間段內(nèi)裝訂模擬真值進(jìn)行模擬即可。

（2）離散變量模擬

離散變量包含離散隨機(jī)變量和離散定值變量兩類。離散定值變量是指在整個(gè)測試驗(yàn)證時(shí)間段內(nèi)參數(shù)值僅在有限的幾個(gè)時(shí)間點(diǎn)進(jìn)行變換，并且變換后保持參數(shù)值不變，直到下一個(gè)參數(shù)值變化的離散時(shí)間點(diǎn)，此類參數(shù)只需按時(shí)間離散點(diǎn)裝訂對應(yīng)的參數(shù)值即可。

離散隨機(jī)變量是指在整個(gè)測試驗(yàn)證時(shí)間段內(nèi)參數(shù)值會(huì)

隨機(jī)變化，變化時(shí)間節(jié)點(diǎn)不固定。離散隨機(jī)變量模擬原理

如下：

設(shè)離散隨機(jī)變量的可能值為，相應(yīng)的概率為，;設(shè)，，;將作為分點(diǎn)，把區(qū)間分為一系列小區(qū)間。設(shè)是上均勻隨機(jī)變量，則有：

因此可以用隨機(jī)變量落在區(qū)間內(nèi)的情況來模擬離散的隨機(jī)變量的取值情況。

（3）連續(xù)變量模擬

連續(xù)變量的模擬問題可以進(jìn)行一定的轉(zhuǎn)化，即以參數(shù)真值序列（理論值）為基準(zhǔn)，在生成模擬數(shù)據(jù)時(shí)加入偏差量。由于偏差量多以隨機(jī)偏差為主，因此連續(xù)變量的模擬問題可轉(zhuǎn)換為連續(xù)型隨機(jī)變量的模擬問題。

處理連續(xù)型隨機(jī)變量的模擬問題有多種方法，其中反函數(shù)法是最常用的，其方法核心是通過求概率分布的反函數(shù)產(chǎn)生隨機(jī)數(shù)。隨機(jī)變量的概率分布函數(shù)為定義在 區(qū)間的單調(diào)遞增函數(shù)，設(shè)為區(qū)間的均勻隨機(jī)變量，令，只要求出反函數(shù)，即為具有概率分布函數(shù)的隨機(jī)數(shù)。由概率論的理論可以證明和有相同的概率分布[8]。

若的概率密度為，由，是區(qū)間上均勻分布的隨機(jī)變量。如果給定區(qū)間上均勻分布隨機(jī)數(shù)，則具有給定分布的隨機(jī)數(shù)可由方程中解出：。

在實(shí)際參數(shù)模擬過程中也可以簡單處理，僅需要加入一定范圍的隨機(jī)誤差，只要滿足實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證評估需求即可。

3.4? ?實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證評估模型

要完成實(shí)時(shí)數(shù)據(jù)處理正確性測試驗(yàn)證工作，必須研究數(shù)據(jù)處理結(jié)果正確性評價(jià)機(jī)制。如果我們把仿真測試驗(yàn)證子系統(tǒng)模擬的測量數(shù)據(jù)或加偏差前的模擬測量數(shù)據(jù)作為變量的真值，僅關(guān)注數(shù)據(jù)處理結(jié)果與真值的偏差，問題就轉(zhuǎn)變?yōu)樽兞繙y量的問題，信息比對分析問題轉(zhuǎn)變?yōu)檎`差分析問題。測試驗(yàn)證評估模型用到的誤差分析參數(shù)如下：

（1）準(zhǔn)確度：數(shù)據(jù)處理結(jié)果與真值符合的程度。

（2）絕對誤差：數(shù)據(jù)處理結(jié)果與真值之差，用表示，通常用于常量比對分析。

（3）相對誤差：絕對誤差與真值的比值，常用百分?jǐn)?shù)表示。

絕對誤差可正可負(fù)，可以表明數(shù)據(jù)處理的準(zhǔn)確度，但不能反映誤差在數(shù)據(jù)處理結(jié)果值中所占比例;相對誤差反映數(shù)據(jù)處理誤差在數(shù)據(jù)處理結(jié)果中所占的比例，在變量值本身很小時(shí)衡量相對誤差更有意義。

（4）均方根誤差：用來衡量數(shù)據(jù)處理結(jié)果同真值之間的偏差，對數(shù)據(jù)處理結(jié)果中特大或特小誤差反應(yīng)敏感，既可衡量誤差大小，也可衡量誤差離散程度，還能夠反映測量的精密度。

精密度是指幾次數(shù)據(jù)處理結(jié)果相互接近的程度，對常量數(shù)據(jù)處理的評定很有意義。各次數(shù)據(jù)處理結(jié)果越接近，精密度越高，通常用偏差衡量精密度。

準(zhǔn)確度與精密度的關(guān)系如下：

（1）精密度是保證準(zhǔn)確度的先決條件，精密度不符合要求，表示處理結(jié)果不可靠，失去衡量準(zhǔn)確度的前提。

（2）精密度高不能保證準(zhǔn)確度高。準(zhǔn)確的數(shù)據(jù)處理一定是精密的，精密的數(shù)據(jù)處理不一定是準(zhǔn)確的。

對于一次數(shù)據(jù)處理過程而言，單次數(shù)據(jù)處理結(jié)果的比對只是數(shù)據(jù)處理正確性的一個(gè)方面，一段時(shí)間內(nèi)的數(shù)據(jù)處理結(jié)果與真實(shí)值的統(tǒng)計(jì)誤差在某種意義上更有意義，更能反映數(shù)據(jù)處理的正確性。因此，下面幾個(gè)統(tǒng)計(jì)學(xué)誤差概念對數(shù)據(jù)處理測試驗(yàn)證更有意義。

（1）偏差：單次數(shù)據(jù)處理結(jié)果與時(shí)間段內(nèi)數(shù)據(jù)處理結(jié)果樣本平均值之差： 。

（2）平均偏差：各次數(shù)據(jù)處理偏差絕對值的平均值。

（3）相對平均偏差：平均偏差與平均值的比值。

（4）標(biāo)準(zhǔn)偏差：各次數(shù)據(jù)處理偏差的平方和平均后再開方，是比平均偏差更靈敏的反應(yīng)較大偏差的存在，在統(tǒng)計(jì)學(xué)上更有意義。標(biāo)準(zhǔn)偏差是一種量度數(shù)據(jù)分布的分散程度的標(biāo)準(zhǔn)，用以衡量數(shù)據(jù)值偏離算術(shù)平均值的程度。標(biāo)準(zhǔn)偏差越小，這些值偏離平均值就越少，反之亦然。標(biāo)準(zhǔn)偏差的大小可通過標(biāo)準(zhǔn)偏差與平均值的倍率關(guān)系來衡量。

其中，S為標(biāo)準(zhǔn)偏差;n為數(shù)據(jù)處理次數(shù)，一般n不應(yīng)小于30;為歷次數(shù)據(jù)處理結(jié)果值[9]。

上式中涉及平均值的計(jì)算，用到的兩種典型平均值的計(jì)算方法如下：

（1）算術(shù)平均值

這種平均值最常用。設(shè)x1、x2、……、xn為各次的測量值，n代表測量次數(shù)，則算術(shù)平均值為：

（2）均方根平均值

仿真測試驗(yàn)證子系統(tǒng)模擬數(shù)值的真值是已知的，同時(shí)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)給出數(shù)據(jù)處理結(jié)果在時(shí)間維度上與原始模擬值相比只有改變時(shí)間序列和不改變時(shí)間序列兩種情況。改變時(shí)間序列一般發(fā)生在對原始數(shù)據(jù)進(jìn)行復(fù)雜處理的情況，如數(shù)據(jù)融合、濾波、插值等操作，這些處理方式會(huì)使序列時(shí)標(biāo)發(fā)生改變;不改變時(shí)間序列的情況一般是僅對原始數(shù)據(jù)進(jìn)行量綱還原操作，這種簡單處理方式不會(huì)改變序列時(shí)標(biāo)。因此，只需構(gòu)建時(shí)間同步數(shù)據(jù)處理結(jié)果序列評估模型和時(shí)間異步數(shù)據(jù)處理結(jié)果序列評估模型，評估模型的核心是誤差、偏差評價(jià)模型，如圖3所示。

對恒定量參數(shù)、處理前后可嚴(yán)格按時(shí)間對齊的測量信息的數(shù)據(jù)處理測試驗(yàn)證采用誤差類參數(shù)進(jìn)行評定，對數(shù)據(jù)融合、濾波等算法的有效性進(jìn)行測試驗(yàn)證采用偏差類參數(shù)進(jìn)行評定，即時(shí)間同步數(shù)據(jù)處理結(jié)果序列評定采用誤差類參數(shù)，時(shí)間異步數(shù)據(jù)處理結(jié)果序列評定采用偏差類參數(shù)。在利用偏差量參數(shù)進(jìn)行評定時(shí)，可以將對測量值的處理結(jié)果評定問題轉(zhuǎn)換為對偏差量的測量問題，便于利用偏差量參數(shù)進(jìn)行評定。

測試驗(yàn)證評估準(zhǔn)則是指對時(shí)間同步數(shù)據(jù)處理結(jié)果誤差、時(shí)間異步數(shù)據(jù)處理結(jié)果偏差進(jìn)行評定的標(biāo)準(zhǔn)，即允許的誤差、偏差范圍。評定標(biāo)準(zhǔn)的選擇需根據(jù)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的處理精度進(jìn)行選取，對時(shí)間同步數(shù)據(jù)處理正確性的評估可以直接進(jìn)行誤差范圍設(shè)置，且誤差范圍可以設(shè)置得較小，依據(jù)準(zhǔn)則直接進(jìn)行比對分析評估即可;對各類算法數(shù)據(jù)處理正確性的評估需要考慮算法本身的精度，假定算法本身誤差為，誤差允許范圍一般設(shè)置為。

3.5? ?系統(tǒng)自主閉環(huán)測試驗(yàn)證體系工作流程

系統(tǒng)自主閉環(huán)測試驗(yàn)證從仿真測試驗(yàn)證子系統(tǒng)啟動(dòng)原始數(shù)據(jù)模擬開始，到數(shù)據(jù)處理結(jié)果比對分析完畢為止，形成數(shù)據(jù)模擬、傳輸、處理、比對分析的閉環(huán)，實(shí)現(xiàn)數(shù)據(jù)處理結(jié)果的自主測試驗(yàn)證分析，具體流程如圖4所示。

（1）原始信息模擬。仿真測試驗(yàn)證子系統(tǒng)依據(jù)需要處理的數(shù)據(jù)的歷史真值序列（理論值），以及測試驗(yàn)證目的產(chǎn)生原始信息，并向數(shù)據(jù)交換子系統(tǒng)發(fā)送，同時(shí)將模擬的原始信息的真實(shí)值提交測試驗(yàn)證分析模塊進(jìn)行緩存，供數(shù)據(jù)比對分析使用。

（2）數(shù)據(jù)交換。仿真測試驗(yàn)證子系統(tǒng)和實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)的數(shù)據(jù)交換功能由匯集分發(fā)子系統(tǒng)完成，通過數(shù)據(jù)交互軟總線將模擬測量數(shù)據(jù)分發(fā)給實(shí)時(shí)數(shù)據(jù)處理的各個(gè)子系統(tǒng)，同時(shí)將實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)外送信息以組播的形式發(fā)送給仿真測試驗(yàn)證子系統(tǒng)，供數(shù)據(jù)分析使用。

（3）實(shí)時(shí)數(shù)據(jù)處理。實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)完成對各類信息的處理、判決等工作，處理結(jié)果發(fā)布到軟總線上，供相關(guān)子系統(tǒng)使用。

（4）比對信息獲取。仿真測試驗(yàn)證子系統(tǒng)從匯集分發(fā)子系統(tǒng)獲取實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)外送信息，從軟總線訂閱實(shí)時(shí)數(shù)據(jù)處理結(jié)果信息，供比對分析使用。

（5）數(shù)據(jù)處理結(jié)果測試驗(yàn)證分析。測試驗(yàn)證分析模塊利用緩存在本地的模擬原始數(shù)據(jù)真值信息和數(shù)據(jù)處理結(jié)果，依據(jù)數(shù)據(jù)測試驗(yàn)證評估模型對數(shù)據(jù)進(jìn)行比對分析，形成評估結(jié)果。

（6）測試驗(yàn)證結(jié)果監(jiān)視記錄。測試驗(yàn)證結(jié)果在本地實(shí)時(shí)顯示，同時(shí)可以在本地或數(shù)據(jù)存儲(chǔ)管理系統(tǒng)進(jìn)行存儲(chǔ)，供事后比對分析使用。

4? ?實(shí)驗(yàn)及效果分析（Experiments and analysis）

本節(jié)中的實(shí)驗(yàn)以某次民用商業(yè)火箭發(fā)射任務(wù)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的測試驗(yàn)證工作為例。時(shí)間同步數(shù)據(jù)處理驗(yàn)證效果如圖5所示，圖中為雷達(dá)俯仰角參數(shù)數(shù)據(jù)處理結(jié)果比對效果，由于處理時(shí)僅作量綱還原，僅會(huì)代入量綱轉(zhuǎn)換誤差，評估準(zhǔn)則中誤差門限取10-5，從比對結(jié)果看數(shù)據(jù)處理偏差符合要求。

圖6為時(shí)間異步數(shù)據(jù)處理驗(yàn)證效果，以雷達(dá)數(shù)據(jù)測元級融合處理為例，選取位置偏差作為評價(jià)參數(shù)，測量數(shù)據(jù)模擬時(shí)加入逐漸變大的隨機(jī)誤差，檢驗(yàn)數(shù)據(jù)融合效果。綜合考慮測元級數(shù)據(jù)融合算法精度，偏差量門限取為3 m。從測試驗(yàn)證效果看，測元級數(shù)據(jù)融合算法對隨機(jī)誤差的處理精度很高，滿足處理要求。

時(shí)間異步數(shù)據(jù)處理驗(yàn)證時(shí)，系統(tǒng)會(huì)自動(dòng)計(jì)算驗(yàn)證時(shí)間段內(nèi)的標(biāo)準(zhǔn)偏差，進(jìn)一步對數(shù)據(jù)處理正確性進(jìn)行評價(jià)。

為驗(yàn)證自主閉環(huán)測試驗(yàn)證體系的有效性，可利用現(xiàn)有的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)開展實(shí)驗(yàn)驗(yàn)證工作，檢驗(yàn)自主閉環(huán)測試驗(yàn)證體系的排查、糾錯(cuò)能力。具體方法為：

（1）根據(jù)任務(wù)實(shí)際要求，對綜合、外測、遙測等測控?cái)?shù)據(jù)處理結(jié)果的誤差、偏差門限值進(jìn)行設(shè)定。

（2）將實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)中的各項(xiàng)參數(shù)進(jìn)行正確配置，確保各類算法正確運(yùn)行，運(yùn)行自主閉環(huán)測試驗(yàn)證系統(tǒng)，查看驗(yàn)證效果是否正確。

（3）通過修改實(shí)時(shí)數(shù)據(jù)處理子系統(tǒng)中的配置文件、數(shù)據(jù)處理算法源代碼等方法，人為制造一些出錯(cuò)場景，運(yùn)行自主閉環(huán)測試驗(yàn)證系統(tǒng)，查看系統(tǒng)是否可以自動(dòng)篩選出異常處理結(jié)果并生成在測試驗(yàn)證結(jié)果報(bào)告中。

表1展示了對一些常見類型數(shù)據(jù)處理進(jìn)行測試驗(yàn)證的結(jié)果。選取落點(diǎn)參數(shù)處理、遙測參數(shù)處理、外測參數(shù)預(yù)處理這三項(xiàng)時(shí)間同步數(shù)據(jù)，以及3R數(shù)據(jù)融合、測元數(shù)據(jù)融合、雷達(dá)定位數(shù)據(jù)濾波這三項(xiàng)時(shí)間異步數(shù)據(jù)對自主閉環(huán)測試驗(yàn)證方法的有效性進(jìn)行測試。設(shè)置配置正常、量綱放大、量綱縮小、站址錯(cuò)誤、模型參數(shù)錯(cuò)誤等實(shí)時(shí)數(shù)據(jù)處理中經(jīng)常遇到的場景進(jìn)行檢驗(yàn)，其中站址錯(cuò)誤和模型參數(shù)錯(cuò)誤對時(shí)間同步數(shù)據(jù)處理評價(jià)無效。從表中的驗(yàn)證結(jié)果看，系統(tǒng)有效檢測出了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)中存在的問題，給出了正確的驗(yàn)證結(jié)果。

經(jīng)驗(yàn)證，仿真測試驗(yàn)證子系統(tǒng)會(huì)根據(jù)測試驗(yàn)證評估準(zhǔn)則自動(dòng)給出評價(jià)結(jié)果，避免了人工進(jìn)行大量的比對分析工作，有效降低了人員工作量。

5? ?結(jié)論（Conclusion）

本文針對傳統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)采取人工比對的方式進(jìn)行測試驗(yàn)證的弊端，充分發(fā)揮計(jì)算機(jī)在數(shù)據(jù)處理方面的優(yōu)勢，研究了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證技術(shù)，提出了基于偏差模型的測量數(shù)據(jù)模擬方法、基于經(jīng)典誤差分析方法的測試驗(yàn)證評估模型，構(gòu)建了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證體系，提高了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的測試驗(yàn)證效率。與系統(tǒng)當(dāng)前狀態(tài)相比，數(shù)據(jù)處理中心數(shù)據(jù)模擬仿真子系統(tǒng)不再單純承擔(dān)數(shù)據(jù)模擬仿真的職能，同時(shí)要負(fù)責(zé)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)信息處理正確性測試驗(yàn)證的工作，在完成數(shù)據(jù)仿真功能的同時(shí)，同步完成各子系統(tǒng)數(shù)據(jù)處理結(jié)果及數(shù)據(jù)處理系統(tǒng)外送數(shù)據(jù)的收集整理、比對分析、正確性評估等工作，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗(yàn)證。測試驗(yàn)證過程自動(dòng)完成，測試人員只需實(shí)時(shí)監(jiān)視比對分析結(jié)果、審查正確性評估結(jié)果，極大簡化了系統(tǒng)測試驗(yàn)證中人工信息比對流程，降低了人員工作量，有效提升了實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)測試驗(yàn)證的效率。

參考文獻(xiàn)（References）

[1] D. Xiaojun， W. Chengfu， C. Huaimin， et al. A rapid test platform of redundant flight control computer software based on RFM[C]. 2012 7th International Conference on Computer Science & Education （ICCSE）， Melbourne， VIC， 2012：403-406.

[2] T. Muller， A. Knoll. Virtualization Techniques for Cross Platform Automated Software Builds， Tests and Deployment[C]. 2009 Fourth International Conference on Software Engineering Advances， Porto， 2009：73-77.

[3] 孫喜剛，付劍平，呂林峰，等.綜合電子信息系統(tǒng)軟件仿真測試方法[J].指揮信息系統(tǒng)與技術(shù)，2014（4）：75-79.

[4] 吳立金，唐龍利，柴海燕，等.面向船舶軟件的仿真測試平臺(tái)研究[J].計(jì)算機(jī)測量與控制，2015（5）：1451-1453.

[5] X. Han， N. Zhang， W. He， et al. Automated Warship Software Testing System Based on LoadRunner Automation API[C].? 2018 IEEE International Conference on Software Quality， Reliability and Security Companion （QRS-C）， Lisbon， 2018：51-55.

[6] 謝家森.調(diào)試驗(yàn)證平臺(tái)中閉環(huán)測試和故障注入的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2014.

[7] 徐聰.調(diào)試驗(yàn)證平臺(tái)中閉環(huán)測試的設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2014.

[8] 費(fèi)業(yè)泰.誤差理論與數(shù)據(jù)處理[M].北京：機(jī)械工業(yè)出版社，2017.

[9] 宋來中，王志明.數(shù)學(xué)建模與實(shí)驗(yàn)[M].北京：科學(xué)出版社，2005.

作者簡介：

劉永利（1980-），男，碩士，高級工程師.研究領(lǐng)域：實(shí)時(shí)數(shù)據(jù)處理，軟件工程.

劉云鵬（1991-），男，碩士，工程師.研究領(lǐng)域：實(shí)時(shí)數(shù)據(jù)處理，軟件工程.