多源試驗(yàn)數(shù)據(jù)重構(gòu)與融合存儲技術(shù)研究

丁世來 ， 陳克澎 ， 葛智君 ， 李浩波 ， 舒寧

（1.工業(yè)和信息化部電子第五研究所， 廣東 廣州 511370；2.工業(yè)裝備質(zhì)量大數(shù)據(jù)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室， 廣東 廣州 511370）

0 引言

航空發(fā)動機(jī)因其高度復(fù)雜精密的特點(diǎn)， 被譽(yù)為“現(xiàn)代工業(yè)皇冠上的明珠”， 并且是飛機(jī)的“心臟”，直接影響著飛機(jī)的性能、 可靠性和經(jīng)濟(jì)性[1]。 航發(fā)產(chǎn)品的研制和生產(chǎn)是衡量一個國家綜合科技水平、 科技工業(yè)基礎(chǔ)實(shí)力和綜合國力的重要標(biāo)志。 而我國航空工業(yè)系統(tǒng)中各種試驗(yàn)場景下產(chǎn)生的大量試驗(yàn)數(shù)據(jù)， 普遍存在多源異構(gòu)、 屬性單一等特點(diǎn)， 同時試驗(yàn)數(shù)據(jù)處理工具或系統(tǒng)多是分散獨(dú)立， 因數(shù)據(jù)割裂而造成的“數(shù)據(jù)孤島” 現(xiàn)象較為嚴(yán)重。

通過研究多源數(shù)據(jù)重構(gòu)與融合存儲技術(shù)， 重點(diǎn)突破多維試驗(yàn)數(shù)據(jù)的模板化抽取、 數(shù)據(jù)升維、 數(shù)據(jù)重構(gòu)和數(shù)據(jù)融合存儲等技術(shù)， 著力解決航空發(fā)動機(jī)試驗(yàn)數(shù)據(jù)屬性單一、 表達(dá)能力弱， 以及數(shù)據(jù)割裂、統(tǒng)一存儲難等困難與問題， 進(jìn)一步地為動態(tài)、 高效、 實(shí)時的發(fā)動機(jī)試驗(yàn)數(shù)據(jù)分析提供有力的支撐，有效地提升航空工業(yè)企業(yè)的生產(chǎn)效率與競爭力， 實(shí)現(xiàn)航空產(chǎn)品的生產(chǎn)過程智能化、 流程管理智能化和制造模式智能化， 實(shí)現(xiàn)我國航空發(fā)動機(jī)“彎道超車”， 打破歐美強(qiáng)國對航空發(fā)動機(jī)的壟斷狀態(tài)， 創(chuàng)造屬于我國自主研發(fā)的航空發(fā)動機(jī)的獨(dú)立領(lǐng)地[2]。

1 研究現(xiàn)狀分析

美、 英、 法等航空大國一直特別重視航空發(fā)動機(jī)試驗(yàn)工作。美國普惠公司借助IBM 云管理，利用大數(shù)據(jù)技術(shù)對4 000 多臺在役商用發(fā)動機(jī)的性能監(jiān)控， 為客戶提供更長的在翼時間、 更強(qiáng)大的發(fā)動機(jī)機(jī)隊管理和健康解決方案。 英國羅羅公司較早采用大數(shù)據(jù)技術(shù)建立發(fā)動機(jī)健康管理系統(tǒng)（EHM）， 實(shí)時地檢測工作狀態(tài)， 合理地安排使用和維修時間， 協(xié)助設(shè)計更加高效低耗的發(fā)動機(jī)， 因而其發(fā)動機(jī)被稱為“大數(shù)據(jù)引擎”[3]。 歐洲空客公司利用大數(shù)據(jù)技術(shù)收集與分析試飛數(shù)據(jù)， 實(shí)時地監(jiān)控飛行狀態(tài)， 提供優(yōu)化建議。 盡管這些公司利用大數(shù)據(jù)技術(shù)收集與分析試驗(yàn)數(shù)據(jù)， 使得設(shè)計的薄弱環(huán)節(jié)充分地暴露， 并予以改進(jìn)。 但在多源數(shù)據(jù)重構(gòu)、融合存儲和存儲關(guān)聯(lián)等方面的技術(shù)研究和產(chǎn)業(yè)化應(yīng)用， 尚未形成較為有效的局面。

國內(nèi)南航、 海航和國航等大型航空公司逐步地開始重視利用大數(shù)據(jù)技術(shù)對試驗(yàn)數(shù)據(jù)進(jìn)行管理分析。 南航建立飛機(jī)遠(yuǎn)程診斷實(shí)時跟蹤平臺， 利用大數(shù)據(jù)技術(shù)解決飛行大數(shù)據(jù)的存儲問題， 并積極地開展工程應(yīng)用研究[4]。 海航建立飛機(jī)健康管理大數(shù)據(jù)應(yīng)用平臺， 利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)實(shí)時監(jiān)控、 健康管理和優(yōu)化機(jī)隊維修和工程管理水平， 為維修控制、工程管理和航線維護(hù)部門帶來了極大的便利[5]。國航Ameco 工程部自主地建立飛機(jī)狀態(tài)預(yù)測和維修作業(yè)管理平臺， 利用大數(shù)據(jù)技術(shù)對數(shù)百架飛機(jī)累計完成500 多萬飛行小時的試驗(yàn)驗(yàn)證， 將進(jìn)一步地在國航全機(jī)隊中逐步地推廣和應(yīng)用[6]。 盡管國內(nèi)在航空大數(shù)據(jù)采集、 存儲、 處理與分析等方面取得了一定的成效， 但是在多源數(shù)據(jù)重構(gòu)、 多源數(shù)據(jù)融合存儲、 多源多維數(shù)據(jù)存儲關(guān)聯(lián)等方面能力仍有不足。

2 總體技術(shù)路線

當(dāng)前試驗(yàn)數(shù)據(jù)采集、 集成、 分析和應(yīng)用已初具規(guī)模， 但仍存在著多源試驗(yàn)數(shù)據(jù)屬性單一、 多源異構(gòu)數(shù)據(jù)集成困難和數(shù)據(jù)重構(gòu)能力不足等瓶頸， 已經(jīng)嚴(yán)重地影響了工業(yè)多源數(shù)據(jù)的高效、 深度應(yīng)用， 所以亟需研究多源試驗(yàn)數(shù)據(jù)重構(gòu)與融合存儲技術(shù)， 突破多源異構(gòu)數(shù)據(jù)在清洗、 治理、 重構(gòu)、 融合、 存儲與關(guān)聯(lián)等方面技術(shù)， 總體技術(shù)路線如圖1 所示。

圖1 總體技術(shù)路線

1） 針對航空發(fā)動機(jī)試驗(yàn)中文本類、 音視頻類等非結(jié)構(gòu)化數(shù)據(jù)， 采用多源數(shù)據(jù)模板化抽取技術(shù)提取航空發(fā)動機(jī)試驗(yàn)數(shù)據(jù)； 2） 針對屬性單一、 字段缺失的試驗(yàn)數(shù)據(jù)， 采用多源數(shù)據(jù)升維技術(shù)做維度擴(kuò)展處理， 高度聚合重要信息與特征， 重構(gòu)形成一種多源多維數(shù)據(jù)； 3） 針對數(shù)據(jù)割裂、 分散存儲的試驗(yàn)數(shù)據(jù)， 采用跨引擎數(shù)據(jù)庫一致性操作、 異構(gòu)數(shù)據(jù)源集成共享等技術(shù)， 將其統(tǒng)一融合存儲到數(shù)據(jù)庫中； 4） 針對表達(dá)力薄弱的試驗(yàn)數(shù)據(jù)， 采用多源數(shù)據(jù)維度關(guān)聯(lián)、 多源異構(gòu)數(shù)據(jù)引擎整合和多源數(shù)據(jù)存儲管理等技術(shù)， 建立形成數(shù)據(jù)存儲關(guān)聯(lián)機(jī)制， 實(shí)現(xiàn)對工業(yè)多源、 多維數(shù)據(jù)在存儲、 管理、 運(yùn)行和傳輸?shù)确矫嫣峁└咝У闹巍?/p>

3 關(guān)鍵技術(shù)研究

3.1 工業(yè)多源數(shù)據(jù)重構(gòu)方法與應(yīng)用技術(shù)研究

首先， 梳理與分析用戶的業(yè)務(wù)實(shí)際需求， 結(jié)合專家的領(lǐng)域知識， 構(gòu)建出規(guī)則執(zhí)行模塊、 信息轉(zhuǎn)換模塊和規(guī)則庫模塊等3 個部分， 如圖2 所示。 建立的規(guī)則庫模塊中包含各類基于機(jī)器學(xué)習(xí)的模板化抽取方法， 如基于規(guī)則的模板化抽取方法等[7]。 通過規(guī)則庫， 建立數(shù)據(jù)抽取的模板規(guī)則或模型， 對規(guī)則執(zhí)行模塊提供自定義抽取、 清洗規(guī)則等支撐， 協(xié)助規(guī)則執(zhí)行模塊從多源異構(gòu)、 屬性單一的試驗(yàn)數(shù)據(jù)中抽取有效信息（如事件、 類型等）， 并通過信息轉(zhuǎn)換模塊對不同數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換， 自動化根據(jù)用戶自定義的轉(zhuǎn)換規(guī)則將異構(gòu)數(shù)據(jù)轉(zhuǎn)換成特定的、 能被用于維度擴(kuò)展處理的某種數(shù)據(jù)結(jié)構(gòu)存儲的數(shù)據(jù)， 并以轉(zhuǎn)換規(guī)則的形式存放于數(shù)據(jù)庫中，實(shí)現(xiàn)對測試數(shù)據(jù)的自動清洗。

圖2 基于規(guī)則的模板化抽取方法

其次， 對于抽取的試驗(yàn)數(shù)據(jù)， 普遍存在著數(shù)據(jù)屬性單一、 分析維度不足等問題， 這既要從技術(shù)的角度考慮數(shù)據(jù)升維， 又不能完全依賴于技術(shù)， 要適當(dāng)?shù)貜臉I(yè)務(wù)方面結(jié)合領(lǐng)域知識或?qū)嵺`經(jīng)驗(yàn)去梳理與分析原始數(shù)據(jù)， 思索其升維后的潛在形式和數(shù)據(jù)結(jié)構(gòu)， 從中挖掘出數(shù)據(jù)升維的部分特征， 最終滿足用戶的多維試驗(yàn)數(shù)據(jù)需求。 具體將從業(yè)務(wù)和技術(shù)兩個方面對數(shù)據(jù)升維展開研究， 如圖3 所示。

圖3 面向工業(yè)多維數(shù)據(jù)的升維方法

在業(yè)務(wù)升維方面， 從單一試驗(yàn)數(shù)據(jù)的業(yè)務(wù)角度出發(fā)， 梳理與分析出工藝優(yōu)化、 壽命預(yù)測和環(huán)境試驗(yàn)性等不同層面的業(yè)務(wù)維度擴(kuò)展需求， 并利用邏輯關(guān)聯(lián)等業(yè)務(wù)思維和統(tǒng)計方法提取這些數(shù)據(jù)維度擴(kuò)展需求的關(guān)鍵特征， 例如： 利用基于時序邏輯的關(guān)聯(lián)規(guī)則挖掘方法[8]， 從業(yè)務(wù)邏輯思路里提取用戶數(shù)據(jù)升維需求的新可用特征。

在技術(shù)升維方面， 基于業(yè)務(wù)升維需求分析的特征， 采用數(shù)據(jù)關(guān)聯(lián)技術(shù)， 將抽取的單一試驗(yàn)數(shù)據(jù)與業(yè)務(wù)需求特征間建立關(guān)聯(lián)映射規(guī)則， 以業(yè)務(wù)需求驅(qū)動單一試驗(yàn)數(shù)據(jù)智能化獲取， 并采用基于神經(jīng)網(wǎng)絡(luò)算法的升維方法對數(shù)據(jù)進(jìn)行升維處理， 將選取的單一試驗(yàn)數(shù)據(jù)按照升維規(guī)則進(jìn)行某種組合以生成多維數(shù)據(jù)， 從而實(shí)現(xiàn)對工業(yè)多源數(shù)據(jù)的數(shù)據(jù)重構(gòu)。

3.2 多源數(shù)據(jù)融合存儲方法與應(yīng)用技術(shù)研究

然后， 利用異構(gòu)數(shù)據(jù)庫統(tǒng)一訪問、 跨引擎數(shù)據(jù)庫一致性操作和異構(gòu)數(shù)據(jù)源集成共享3 種技術(shù)手段， 實(shí)現(xiàn)對工業(yè)多源試驗(yàn)數(shù)據(jù)的融合存儲。

a） 異構(gòu)數(shù)據(jù)庫統(tǒng)一訪問方面， 異構(gòu)數(shù)據(jù)庫具有自身應(yīng)用特性、 自治性、 完整性控制和安全性控制等特征， 是由多個數(shù)據(jù)庫系統(tǒng)組成的， 例如： Oracle、 Sql Server、MySQL 或者達(dá)夢、 神通等數(shù)據(jù)庫系統(tǒng)， 各數(shù)據(jù)庫系統(tǒng)運(yùn)行在大型機(jī)、 小型機(jī)、 工作站或嵌入式系統(tǒng)中， 涉及到的基礎(chǔ)操作系統(tǒng)分別有Windows NT、 Unix/Linux 等。 通過整合與集成不同數(shù)據(jù)庫間的連接訪問使用的驅(qū)動包， 建立統(tǒng)一的數(shù)據(jù)訪問入口， 統(tǒng)一數(shù)據(jù)庫對各種數(shù)據(jù)展現(xiàn)方式、 不同數(shù)據(jù)語義等要素的解釋方式， 屏蔽各不相同數(shù)據(jù)庫的差異， 并構(gòu)建統(tǒng)一的可視化操作界面， 促使應(yīng)用系統(tǒng)與數(shù)據(jù)庫系統(tǒng)間松耦合， 從而有利于數(shù)據(jù)集成、 共享與維護(hù)。

b） 跨引擎數(shù)據(jù)庫一致性操作方面

在異構(gòu)數(shù)據(jù)庫系統(tǒng)環(huán)境下， 整合與統(tǒng)一不同數(shù)據(jù)庫系統(tǒng)的管理維護(hù)規(guī)則， 構(gòu)建統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)操作定義和統(tǒng)一的可視化操作界面， 屏蔽各個數(shù)據(jù)庫管理系統(tǒng)間的數(shù)據(jù)模型、 數(shù)據(jù)結(jié)構(gòu)、 關(guān)系映射、 物理存儲、 視圖與物理存儲映射關(guān)系、 SQL 語法規(guī)則、 事務(wù)支持和事務(wù)安全等級等差異性， 實(shí)現(xiàn)跨引擎數(shù)據(jù)庫一致性操作， 將數(shù)據(jù)模型與數(shù)據(jù)操作轉(zhuǎn)換成對應(yīng)的數(shù)據(jù)庫操作， 優(yōu)化不同數(shù)據(jù)庫系統(tǒng)的操作與維護(hù)管理工作。

c） 異構(gòu)數(shù)據(jù)源集成與共享方面

綜合地考慮不同數(shù)據(jù)源的異構(gòu)性，通過數(shù)據(jù)抽取、 轉(zhuǎn)換和裝載等3 個步驟，將不同來源、 格式及特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中， 促使業(yè)務(wù)系統(tǒng)能夠更加充分地使用已有的數(shù)據(jù)資源， 減少資料獲取、 數(shù)據(jù)采集等重復(fù)性

勞動和響應(yīng)性費(fèi)用， 實(shí)現(xiàn)較為全面的數(shù)據(jù)集成與共享。 在數(shù)據(jù)抽取方面， 結(jié)合業(yè)務(wù)需求， 確定需抽取的數(shù)據(jù)內(nèi)容， 得到規(guī)范統(tǒng)一的數(shù)據(jù)； 在數(shù)據(jù)轉(zhuǎn)換方面， 根據(jù)業(yè)務(wù)規(guī)則， 對異常數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換處理， 得到規(guī)則一致的數(shù)據(jù)； 在數(shù)據(jù)裝載方面， 結(jié)合使用的數(shù)據(jù)庫系統(tǒng)， 確定最優(yōu)的數(shù)據(jù)加載方案， 將經(jīng)過轉(zhuǎn)換后的數(shù)據(jù)按照預(yù)定義的結(jié)構(gòu)裝入目標(biāo)庫中， 節(jié)約CPU、 硬盤IO 和網(wǎng)絡(luò)傳輸資源。

通過研究多源數(shù)據(jù)融合存儲方法與應(yīng)用技術(shù)，統(tǒng)一數(shù)據(jù)內(nèi)容、 數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量， 促進(jìn)數(shù)據(jù)在不同系統(tǒng)間交流、 融合與共享， 進(jìn)而打破“信息孤島” 的瓶頸。

3.3 多源多維數(shù)據(jù)的數(shù)據(jù)存儲關(guān)聯(lián)技術(shù)研究

最后， 利用實(shí)時數(shù)據(jù)流存儲關(guān)聯(lián)技術(shù)、 非結(jié)構(gòu)化數(shù)據(jù)存儲關(guān)聯(lián)技術(shù)和基于關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)存儲關(guān)聯(lián)技術(shù)， 對多源多維數(shù)據(jù)進(jìn)行數(shù)據(jù)存儲關(guān)聯(lián)處理。

特別是對于實(shí)時的航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)流獲取，考慮到實(shí)時數(shù)據(jù)流不僅具有時序性、 海量性和多變性等特點(diǎn)， 而且數(shù)據(jù)流中元素出現(xiàn)的先后次序、 數(shù)據(jù)流速等因素， 均與數(shù)據(jù)源及數(shù)據(jù)采集設(shè)備相關(guān)，難以人為干預(yù)， 采用實(shí)時數(shù)據(jù)流存儲關(guān)聯(lián)技術(shù)， 利用Storm 實(shí)時計算系統(tǒng)， 監(jiān)測數(shù)以萬計的數(shù)據(jù)點(diǎn)實(shí)時采集到的試驗(yàn)數(shù)據(jù)， 并借助毫秒級響應(yīng)， 進(jìn)行持續(xù)不斷的流計算， 彌補(bǔ)批處理難以達(dá)到的實(shí)時要求。 同時利用Storm 對每秒鐘數(shù)萬甚至數(shù)十萬量級的數(shù)據(jù)進(jìn)行實(shí)時在線分析、 持續(xù)分布式計算， 滿足數(shù)據(jù)采集、 傳輸、 處理與存儲等方面提出的高要求。

考慮到試驗(yàn)數(shù)據(jù)不僅包含結(jié)構(gòu)化數(shù)據(jù)， 同時也包含非結(jié)構(gòu)化數(shù)據(jù)， 例如： 試驗(yàn)過程中的音視頻數(shù)據(jù)等。 對于非結(jié)構(gòu)化數(shù)據(jù)而言， 當(dāng)前的存儲管理模式主要集中在基于文件系統(tǒng)、 數(shù)據(jù)庫系統(tǒng)， 以及融合數(shù)據(jù)庫和文件系統(tǒng)的管理模式， 如表1 所示。

表1 3 種非結(jié)構(gòu)化數(shù)據(jù)存儲管理模式

基于上述考慮， 采用非結(jié)構(gòu)化數(shù)據(jù)存儲關(guān)聯(lián)技術(shù)， 利用HDFS 文件存儲系統(tǒng)融合Cassandra 分布式數(shù)據(jù)庫的管理模式， 對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲關(guān)聯(lián)。

在實(shí)際應(yīng)用中， 若訪問包含多個字段的數(shù)據(jù)，例如： 圖片、 文本和音頻等數(shù)據(jù)， 則需要將該數(shù)據(jù)的所有字段均被訪問。 而這些同一網(wǎng)頁字段間是具有較強(qiáng)關(guān)聯(lián)性的， 統(tǒng)一合并存儲這些數(shù)據(jù)， 在提高存儲效率的同時也提高訪問效率。 進(jìn)一步地利用關(guān)聯(lián)規(guī)則算法[9]， 如Apriori 算法， 主要分為查找頻繁項集和產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則兩個部分。 首先， 利用AprioriPMR 并行關(guān)聯(lián)規(guī)則算法對數(shù)據(jù)庫只需掃描2次后， 即可得到頻繁項集； 然后， 利用關(guān)聯(lián)規(guī)則挖掘航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)中較強(qiáng)的關(guān)聯(lián)性數(shù)據(jù)， 并將這些數(shù)據(jù)進(jìn)行合并存儲； 最后， 得到合并集合表、 高頻訪問表和預(yù)取機(jī)制表等結(jié)果[10]。

其中， 合并集合表是用于記錄合并存儲的文件名的記錄表， 每項記錄對應(yīng)一個合并文件集。 高頻訪問表是用于記錄數(shù)據(jù)表中被訪問次數(shù)最多的文件， 按支持度對得到的頻繁1-項集排序， 取出前N 項作為高頻訪問表。 預(yù)取機(jī)制表是用于強(qiáng)關(guān)聯(lián)規(guī)則的記錄表， 按置信度大小對篩選后的強(qiáng)關(guān)聯(lián)規(guī)則排序， 從大于置信度的強(qiáng)關(guān)聯(lián)規(guī)則中， 選擇單個項集作為前提條件， 并將這些規(guī)則放入到預(yù)取機(jī)制表中。

4 結(jié)束語

通過梳理與分析航發(fā)產(chǎn)品的試驗(yàn)數(shù)據(jù)， 結(jié)合典型試驗(yàn)場景及業(yè)務(wù)實(shí)際需求， 首先， 構(gòu)建多源數(shù)據(jù)模板化抽取的規(guī)則庫， 并提出基于維度擴(kuò)展的多源試驗(yàn)數(shù)據(jù)升維方法， 對抽取的多源試驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)升維重構(gòu)， 解決航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)字段的屬性單一、 表達(dá)能力弱、 無法充分利用的問題； 然后， 提出異構(gòu)數(shù)據(jù)庫統(tǒng)一訪問、 跨引擎數(shù)據(jù)庫一致性操作和異構(gòu)數(shù)據(jù)源集成共享等方法對數(shù)據(jù)融合存儲， 解決航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)中結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)間的管理混亂， 無法統(tǒng)一存儲的問題； 最后， 突破多源數(shù)據(jù)存儲管理、 多源數(shù)據(jù)維度關(guān)聯(lián)和異構(gòu)數(shù)據(jù)引擎整合等技術(shù)， 對融合存儲后的多源多維數(shù)據(jù)進(jìn)行存儲關(guān)聯(lián)， 解決航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)割裂， 表結(jié)構(gòu)不合理， 獨(dú)立存儲的問題。