基于模型驅(qū)動的海量數(shù)據(jù)判讀系統(tǒng)研究與實踐

，，，

(空間物理重點實驗室，北京 100076)

0 引言

現(xiàn)在新型號普遍采用高碼率測量體制，參數(shù)多、數(shù)據(jù)量大，人工數(shù)據(jù)判讀、編寫判讀報告的工作量大、判讀時間長、誤判與漏判風險增加。

尤其是姿控與制導(dǎo)專業(yè)，由于負責判讀的參數(shù)多，判讀工作量更大，該問題更加明顯與突出，已成為影響數(shù)據(jù)判讀效率的瓶頸。傳統(tǒng)的判讀方式為人工判讀，判據(jù)多靠自然語言進行描述，如何將判據(jù)描述精確轉(zhuǎn)換為計算機語言描述，是實現(xiàn)自動判讀的一個關(guān)鍵技術(shù)，只有使用計算機描述語言對判據(jù)進行了定義，才有可能實現(xiàn)全系統(tǒng)參數(shù)的自動判讀。針對飛行器測試數(shù)據(jù)量大，處理方法復(fù)雜的問題，開展了海量測試數(shù)據(jù)處理方法、數(shù)據(jù)自動判讀算法研究工作，提升了型號自動化測試水平。本文提出的基于模型驅(qū)動設(shè)計的數(shù)據(jù)判讀系統(tǒng)用于對各類試驗數(shù)據(jù)的管理、判讀與分析。基于網(wǎng)絡(luò)實現(xiàn)測試數(shù)據(jù)的查詢、瀏覽、分析、判讀和報告生成等功能。軟件支持自動判讀與人工判讀兩種模式,自動判讀模式下,通過預(yù)先設(shè)置好的判據(jù)實現(xiàn)全部參數(shù)的自動判讀與自動報告生成,以提高判讀效率，減少或避免漏判及誤判。

1 建模語法設(shè)計

1.1 標識符設(shè)計

在建模語言中,用來標識對象名稱(包括變量、函數(shù))的有效字符序列稱為標識符。在AIPScript建模語言中，標識符就是一個對象的名字[1]。

規(guī)定標識符由字母、數(shù)字和下劃線3種字符組成，且第一個字符必須為字母或下劃線。在AIPScript中，有2類標識符：

1)關(guān)鍵字。AIPScript語言中規(guī)定了32個關(guān)鍵字，如Diff, CM，CP，Statistics等，它們有特定的用途和含義，不能用作變量名。

2)系統(tǒng)預(yù)定義的標識符。如系統(tǒng)提供的庫函數(shù)的名稱sin,cos等。AIPScript允許它們另作它用，但這就會使它們失去原有作用，容易產(chǎn)生混亂，建議不要把它們用來作變量名。

1.2 判據(jù)語法設(shè)計

判據(jù)語法設(shè)計分為兩類，分別為緩變判據(jù)語法和指令判據(jù)語法。

其中緩變判據(jù)語法共包括待判參數(shù)、起始時間、終止時間、處理公式、判據(jù)公式、正向誤差及負向誤差等7部分，自動判讀時，將判據(jù)公式的計算結(jié)果與處理公式的計算結(jié)果進行比對。處理公式部分可以省略，如下圖所示，當處理公式省略時，判據(jù)公式的計算結(jié)果直接與待判參數(shù)的值進行比對。

指令判據(jù)基本語法共包括待判指令、基準指令、相對時間、正向誤差及負向誤差等共5部分，表示待判指令與基準指令的差值應(yīng)該等于相對時間的值，誤差在正負向誤差范圍之內(nèi)。其中基準指令部分可以省略，當基準指令省略時，直接將待判指令的時間值與相對時間值進行比較。

1.3 表達式設(shè)計

在AIPScript建模語言中，表達式設(shè)計是構(gòu)成語句的基本單元,時段、處理公式、判據(jù)公式、誤差等均用到表達式。

1) 指令動作時間表達式設(shè)計：指令動作時間表達式用于計算指令參數(shù)發(fā)生某次動作時的時間值，其一般格式為“參數(shù)代號 開關(guān)符號 發(fā)生次序”，其中，參數(shù)代號為指令的代號，開關(guān)符號表示指令的開關(guān)動作，“#”表示開，“！”表示關(guān)，發(fā)生次序為正整數(shù)，表示指令動作的序號，即指令的第幾次動作。如下表所示。

表1 指令動作時間表達式舉例

2) 差分表達式設(shè)計：差分表達式用于計算輸入表達式當前點與前某個點的差值，其一般形式為“diff(輸入表達式,補償量表達式,補償方法標識,間隔點數(shù))”，其中補償量表達式表示一個數(shù)值量，當當前點值比前一點值小時，根據(jù)該補償量對差值進行補償；補償方法標識用于區(qū)分不同的補償方法，包括“l(fā)ess”，“equal”，“min”3種方法。

1.4 判據(jù)分類設(shè)計

在AIPScript建模語言中，利用標識符、判據(jù)語法和表達式，組合成AIPScript建模語言中的判據(jù)語法。其中本文提出并設(shè)計了包括固定上下判據(jù)設(shè)計、參考參數(shù)判據(jù)設(shè)計、多參數(shù)運算判據(jù)設(shè)計、多時段判據(jù)設(shè)計、指令型判據(jù)設(shè)計、差分運算判據(jù)設(shè)計、丟幀分析判據(jù)設(shè)計、關(guān)鍵點類型判據(jù)設(shè)計、變化點類型判據(jù)設(shè)計、統(tǒng)計值判據(jù)設(shè)計、峰峰值判據(jù)設(shè)計和一致性判據(jù)設(shè)計，共12類判據(jù)。

1)固定上下限判據(jù)：固定值算法的判據(jù)為一個常量，一般用于電壓、溫度等物理量的判讀。下面的判據(jù)給出了溫度參數(shù)W04bglq的理論值為293，上下限分別為20的判據(jù)描述。

P("W04bglq"):{-600,-200} {293} 20 20;

2)參考參數(shù)判據(jù)：參考參數(shù)算法的判據(jù)為另一個參數(shù)，多用于表征同一物理意義的不同參數(shù)的比對。下例給出了模擬量采集與數(shù)字量采集的同一數(shù)據(jù)的判據(jù)描述。參數(shù)01T01ISA1FK1_B1的判據(jù)為參數(shù)01R01ISA1JD_B1。

P("01T01ISA1FK1_B1"):

{"Tqf3"↑1,"ZCT-1_B1"↑1}

{P("01R01ISA1JD_B1")}0.1 0.1;

3)多參數(shù)運算判據(jù)：多參數(shù)運算判據(jù)，多參數(shù)運算判據(jù)將多個參數(shù)進行數(shù)學運算后的結(jié)果作為待判參數(shù)的理論值。

P("21R01S_Ny_B1"):

{"Tqf3"↑1,"ZCT-1_B1"↑1}

{(P("21R01S_Ny1_B1")+P("21R01S_Ny2_B1")+P("21R01S_Nz3_B1"))/3}0.1 0.1;

4)多時段判據(jù)：多時段判據(jù)，多時段判讀語句的一般形式為：

待判參數(shù)：{起始時間1,結(jié)束時間1} {處理公式1} {判據(jù)公式1} 正誤差 負誤差

| {起始時間2,結(jié)束時間2} {處理公式2} {判據(jù)公式2} 正誤差 負誤差

| …

| {起始時間n,結(jié)束時間n} {處理公式n} {判據(jù)公式n} 正誤差 負誤差;

各時段內(nèi)，通過比較處理公式與判據(jù)公式的計算結(jié)果進行判斷，處理公式部分可省略，省略時，直接比較待判參數(shù)值與判據(jù)公式的計算結(jié)果。起始時間與結(jié)束時間可省略，起始時間省略時，取待判參數(shù)第一個點對應(yīng)的時間作為起始時間，結(jié)束時間省略時，取待判參數(shù)最后一個點對應(yīng)的時間作為結(jié)束時間。如：

P("U40z") : {,Tayz 1 -0.1 } {0} 0.2 0.1 | {Tayz 1 + 0.1 ,} {1.96} 0.2 0.2;

5) 指令型判據(jù)：指令判據(jù)設(shè)計的一般形式為“待判指令動作時間表達式 基準指令動作時間表達式 理論時間表達式 正誤差 負誤差 時間標識符”，其中基準指令動作時間表達式可省略，省略時，用待判指令動作時間與理論時間比較，標識符包括yctime與kztime兩個，分別表示取遙測時間與取控制時間，默認取遙測時間。如：

"DGL1" 1 {1} 0.02 0.02 kztime;

"DGL1"!2 "DGL1" 1 {0.2} 0.02 0.02 kztime;

"DGL2" 1 "DGL1" 1 {0} 0.02 0.02 kztime;

"DGL2"!2 "DGL1" 1 {0.2} 0.02 0.02 kztime;

"DGL3" 1 "DGL1" 1 {0} 0.02 0.02 kztime;

"DGL3"!2 "DGL1" 1 {0.2} 0.02 0.02 kztime;

6) 差分運算判據(jù)：差分運算判據(jù)設(shè)計，實現(xiàn)計算待判參數(shù)的差分，將計算結(jié)果與給定的值進行比較，下例給出參數(shù)21R01G_Ngx1_B1的差分判據(jù)描述。Diff運算符標識差分運算，Diff函數(shù)中第一個參數(shù)標識計算差分的參數(shù)，第二個參數(shù)標識差分計算的點間隔，50表示當前點與當前點的前50個點作差值，第三個參數(shù)標識參數(shù)的溢出補償；函數(shù)T標識取參數(shù)當前點或相對當前點指定位置點的時間；0.002674標識差分計算的理論值。

P("21R01G_Ngx1_B1"):

{,}

{

(diff("21R01G_Ngx1_B1", 50, 1.6))/

(T("21R01G_Ngx1_B1"[0])-T("21R01G_Ngx1_B1"[-50]))

}

{0.002674}

0.1 0.1;

7) 丟幀分析判據(jù)：丟幀分析判據(jù)是差分計算的一個特例，特定用于幀計數(shù)參數(shù)，判斷每個幀計數(shù)和前一個幀計數(shù)之間的差值是否為1，以此確認是否有丟幀情況,其中待判參數(shù)一般配置為幀計數(shù)，比如frameCount，判讀時間起始一般不設(shè)，默認為全時間段判讀，Diff("frameCount ", 1, 65536)表示每一個數(shù)據(jù)點都和前一個數(shù)據(jù)點直接做差，如果差值小于0則加上65536后再進行計算，理論值均為1，表示不丟幀，如果差值大于1，則表示有丟幀情況發(fā)生。

P("frameCount" ):

{,}

{(diff("frameCount", 1, 65536))}

{1} 0.1 0.1;

8) 關(guān)鍵點類型判據(jù)：關(guān)鍵點類型判據(jù)設(shè)計用于對待判參數(shù)的指定時間點的值進行判讀的判據(jù)描述。下例給出參數(shù)21R01G_DeltaJ_B1的關(guān)鍵點判據(jù)，在判讀算法部分，給出了3個(時間，值)的數(shù)對，分別表示在3個關(guān)機時刻點對應(yīng)的21R01G_DeltaJ_B1的理論值。

在關(guān)鍵點類型判據(jù)中，如果理論值公式(即"21R01G_T_B1")為空，則取參數(shù)的遙測時間為關(guān)鍵點的查詢依據(jù)，如果理論值公式不為空，則以理論值公式計算結(jié)果作為關(guān)鍵點的查詢依據(jù)。如下例中，在獲取第一個關(guān)鍵點值的時候，首先計算指令"04T01Tk1_B1"↑1的時間T，然后在參數(shù)21R01G_T_B1中查找值等于T時對應(yīng)的遙測時間Tyc,在參數(shù)21R01G_DeltaJ_B1結(jié)果中查找Tyc時刻對應(yīng)的值，為最終結(jié)果。

P("21R01G_DeltaJ_B1")

{0,T_scope}

{

{"04T01Tk1_B1"↑1,10.8118}

{"14T01Tk2_B1"↑1,313.1792}

{"14T01Tk3_B1"↑1,-1.2292}

}

{"21R01G_T_B1"}

1000 1000;

9) 變化點類型判據(jù)：變化類型判據(jù)設(shè)計用于對待判參數(shù)的值發(fā)生變化的時刻進行判讀。下例給出參數(shù)21R01G_Cutoff_B1的變化點判據(jù)，在判讀算法部分，給出了6個(值、時間)的數(shù)對，分別表示參數(shù)21R01G_Cutoff_B1變化為相應(yīng)值對應(yīng)的時間的理論值。

在變化點類型判據(jù)中，如果理論值公式(即"21R01G_T_B1")為空，則取參數(shù)的遙測時間為理論值，如果理論值公式不為空，則以理論值公式計算結(jié)果作為變化點的理論值。

P("21R01G_Cutoff_B1" )

{0,800}

{

CP({0,0} {1,172.3073} {3,173.3073}

{11,183.43} {43,581.13} {2347,601.13})

}

{"21R01G_T_B1"}

0.6 0.6;

10) 統(tǒng)計值判據(jù)：統(tǒng)計值判據(jù)設(shè)計如下，第一個誤差為最大值的上限，第二個誤差值為最小值的下限。

Abcd{,} {Statistics()} 3 1;

Igf1 {,} {Statistics()} 1.5 1.1;

Igps {,} {Statistics()} 0.6 0.5;

Ijzzd {,} {Statistics()} 0.5 0.3;

11) 峰峰值判據(jù)：峰峰值判據(jù)設(shè)計針對那些沒有理論值，但是有明確的上下限類型的緩變參數(shù)，min_max為關(guān)鍵字，{P("U19s1")}為處理公式，一般可以省略。參數(shù)在給定的時間范圍內(nèi)最小值和最大值由min_max(-0.1, 0.1)指定。

P("U19s1"):{,} {P("U19s1")} min_max(-0.1, 0.1);

12) 一致性判據(jù)：一致性判據(jù)設(shè)計使用運算符CM進行描述，CM中參數(shù)個數(shù)不限，進行判讀時，用第一個參數(shù)作為參考參數(shù)，后續(xù)各參數(shù)均與第一個參數(shù)進行比較，判斷是否在允許誤差范圍之內(nèi)，下例給出3個導(dǎo)航速度參數(shù)的一致性判據(jù)描述。該類型判據(jù)在判讀報告中給出一致性判讀結(jié)果的表格描述，同時給出多個參數(shù)的曲線圖。

"21R01G_Vz" {,} {mp( P( "21R01G_Vz_B1" ), P( "21R01G_Vz_B2" ), P( "21R01G_Vz_B3" ) ) } 0.1 0.1。

2 系統(tǒng)設(shè)計

海量數(shù)據(jù)自動判讀系統(tǒng)設(shè)計包括前端和后端兩部分，前端采用B/S和C/S架構(gòu)的結(jié)合實現(xiàn)數(shù)據(jù)判讀功能，后端采用B/S架構(gòu)設(shè)計實現(xiàn)數(shù)據(jù)分析、數(shù)據(jù)存儲與管理和數(shù)據(jù)采集設(shè)計。系統(tǒng)總體架構(gòu)如圖1所示[2-4]。

圖1 系統(tǒng)架構(gòu)設(shè)計

數(shù)據(jù)自動判讀系統(tǒng)的總體工作流程和原理簡要表示如下：數(shù)據(jù)判讀服務(wù)器啟動后，將知識庫備份中的規(guī)則和事實加載到位于內(nèi)存區(qū)的黑板中。數(shù)據(jù)判讀服務(wù)器通過網(wǎng)絡(luò)，從外部接口接收到來的數(shù)據(jù)后，首先對數(shù)據(jù)進行解析，通過數(shù)據(jù)驅(qū)動推理引擎工作。推理引擎得到判讀的配置信息，包括判讀所采取的業(yè)務(wù)類型(參數(shù)判讀、指令判讀、事件判讀、指令監(jiān)視和事件監(jiān)視等)及其他配置信息。數(shù)據(jù)判讀服務(wù)器上的知識庫副本從數(shù)據(jù)庫服務(wù)器上的知識庫得到刷新。此時推理機采取特定的推理策略、方法和推理算法，調(diào)用黑板區(qū)加載的事實，通過黑板區(qū)加載的知識庫中的規(guī)則實現(xiàn)推理過程，得出監(jiān)視判讀的結(jié)果。在推理過程中，調(diào)度引擎模塊實現(xiàn)對規(guī)則的動態(tài)調(diào)度。推理機將判讀結(jié)果發(fā)送到解釋器，由解釋器對判讀結(jié)論提出解釋，說明結(jié)論得出的理由。之后解釋器將判讀結(jié)論及相關(guān)解釋數(shù)據(jù)進行顯示。

數(shù)據(jù)自動判讀系統(tǒng)的基本工作流程和原理如圖2所示。

圖2 軟件工作流程及原理

數(shù)據(jù)自動判讀系統(tǒng)用于對各類試驗結(jié)果數(shù)據(jù)的管理、判讀與分析。主要功能包括試驗選擇、試驗數(shù)據(jù)管理、自動判讀、人工判讀、模板管理、判讀結(jié)果分析、報告管理、訪問權(quán)限控制、設(shè)置等功能,如圖3所示。

圖3 數(shù)據(jù)自動判讀系統(tǒng)功能

3 關(guān)鍵技術(shù)

3.1 圖形化建模技術(shù)

基于模型驅(qū)動的自動判讀系統(tǒng)應(yīng)用AIPScript語言驅(qū)動判斷模型運行。如何將判讀模型的圖形化形式轉(zhuǎn)化成腳本是該系統(tǒng)的關(guān)鍵技術(shù)之一。把模型中的每個判據(jù)作為一個函數(shù)f(x,y)，將每各判據(jù)規(guī)則的輸出轉(zhuǎn)換為另一個規(guī)則的輸入，如函數(shù)g(x)，h(x)的值看成規(guī)則的兩個輸入，則判讀模型的最終輸出即為f(g(x),h(x))的值?？梢暬９ぞ哕浖峁┡袚?jù)和表達式元素庫作為判據(jù)可視化建模的基礎(chǔ)元素。判據(jù)的可視化建模本質(zhì)上是通過拖拽相應(yīng)的表達式和判據(jù)到判據(jù)編輯面板上，并通過設(shè)置相應(yīng)的屬性值來完成判據(jù)的編輯和生成的。

整個判據(jù)可視化建模工具軟件主要設(shè)計了判據(jù)和表達式元素庫、判據(jù)創(chuàng)建、判據(jù)可視化編輯、判據(jù)自動語法檢查和判據(jù)保存這幾大模塊。圖形化建模界面如圖4所示。

圖4 圖像化建模示意圖

針對峰峰值判據(jù)規(guī)則建立的判讀模型后生成的AIPScript腳本示例如圖5所示。

圖5 AIPScript腳本示意圖

3.2 速/緩變參數(shù)的曲線擬合

對于在試驗中需要重點關(guān)注的且變化復(fù)雜的速變或緩變參數(shù)，為了更好地實現(xiàn)自動或人工判讀以及事后數(shù)據(jù)分析，在對該類參數(shù)進行判斷規(guī)則建模時，需對該類參數(shù)進行線性或?qū)?shù)等曲線擬合。在進行曲線擬合時，首先需要確定理論曲線的關(guān)鍵點以及曲線在各關(guān)鍵點中的理論值，然后再根據(jù)關(guān)鍵點及其理論值設(shè)計合理算法并進行建模，最后得出該擬合理論曲線[5-7]。

3.3 數(shù)據(jù)預(yù)處理

在遙測數(shù)據(jù)的接收和處理中會有野值，自動判讀系統(tǒng)對接收到的遙測數(shù)據(jù)，首先需要進行預(yù)處理，本文采用肖維涅準則來剔除野值，減小自動判讀過程中對效率和質(zhì)量的影響。

另外，對于振動數(shù)據(jù)考慮到零點漂移具有長周期趨勢項，在對該類數(shù)據(jù)進行后續(xù)的判讀或分析時得到的結(jié)果可能完全失真，因此利用最小二乘法消除數(shù)據(jù)趨勢項，減少零漂和長周期趨勢項對于后續(xù)判斷和分析的影響。

4 應(yīng)用效果

基于模型驅(qū)動的自動判讀系統(tǒng)已成功應(yīng)用于多個型號測試。試驗前，試驗人員根據(jù)型號需求對試驗數(shù)據(jù)進行判據(jù)配置，判據(jù)配置包括可視化建模及腳本編輯方式，判據(jù)可根據(jù)不同專業(yè)判讀需求保存判據(jù)模板，判據(jù)模板無需多次重復(fù)配置。試驗中，自動判讀系統(tǒng)根據(jù)判據(jù)對全部試驗數(shù)據(jù)進行判讀，對不滿足判據(jù)的數(shù)據(jù)給出提示，同時提供人工判讀模式對異常數(shù)據(jù)進行精細化判讀，避免了試驗數(shù)據(jù)的誤判和漏判。試驗結(jié)束后，自動判讀系統(tǒng)生成判讀報告，同時試驗人員也可直接根據(jù)試驗需要配置試驗報告的內(nèi)容，總之海量數(shù)據(jù)自動判讀系統(tǒng)的研制大大節(jié)省了試驗人員判讀數(shù)據(jù)和編寫報告的時間，提升了試驗效率和質(zhì)量，為型號研制提供了有力保障。

5 結(jié)語

在基于模型驅(qū)動的自動判讀系統(tǒng)內(nèi)，用戶通過在可視化的判讀規(guī)則視圖中，建立用戶所需要的判讀規(guī)則。通過對判讀參數(shù)與判讀規(guī)則視圖化建立，從而實現(xiàn)對測試數(shù)據(jù)進行自動判讀，并根據(jù)條件自動輸出、記錄測試結(jié)果?；谀Ｐ万?qū)動的可視化判讀建模減少了數(shù)據(jù)錯判與漏判，減輕了測試人員的工作量，提高了測試效率。