趙瑞國,馬 杰,何志勇,李 君
(西安航天動力研究所,陜西西安710100)
隨著計算機(jī)軟硬件技術(shù)的迅猛發(fā)展,數(shù)據(jù)庫技術(shù)在各行各業(yè)得到了越來越廣泛的應(yīng)用。應(yīng)用數(shù)據(jù)庫技術(shù)針對液體火箭發(fā)動機(jī)熱試車中獲取的高速采集數(shù)據(jù)進(jìn)行存儲和管理對于數(shù)據(jù)的高效存儲、快速提取及多樣化的后處理具有重要意義。
為了解發(fā)動機(jī)及其零部件的動態(tài)響應(yīng)特性,需在試驗(yàn)中以高采樣速率(通常為25600 kHz)采集大量的振動、壓力脈動、位移及轉(zhuǎn)速等數(shù)據(jù),這些數(shù)據(jù)具有數(shù)據(jù)量大、格式復(fù)雜、后處理分析算法多樣等特性。這些數(shù)據(jù)及其分析結(jié)果,以往存貯在磁帶和不同的計算機(jī)里,由于數(shù)據(jù)格式多樣、分析方法不同等原因,造成對數(shù)據(jù)的檢索、調(diào)用與后處理都十分困難。鑒于上述原因,需要一個統(tǒng)一的、規(guī)范的、安全的、便捷的液體火箭發(fā)動機(jī)數(shù)據(jù)管理平臺來解決以上問題。
為此研制開發(fā)了基于SQLSever數(shù)據(jù)庫平臺的發(fā)動機(jī)試車高速采集數(shù)據(jù)工程數(shù)據(jù)庫。該數(shù)據(jù)庫較好的解決了上述問題。在數(shù)據(jù)庫研制過程中針對數(shù)據(jù)庫架構(gòu)及數(shù)據(jù)存儲方式等關(guān)鍵技術(shù)進(jìn)行了深入的研究。
發(fā)動機(jī)高速采集數(shù)據(jù)具有數(shù)據(jù)量大、格式復(fù)雜、后處理分析算法多樣等特性。因而液體火箭發(fā)動機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫與常用的商用、管理、文獻(xiàn)檢索數(shù)據(jù)庫及主要針對CADCAM設(shè)計的工程數(shù)據(jù)庫均有一定的差異,主要表現(xiàn)在:
1)液體火箭發(fā)動機(jī)的技術(shù)術(shù)語定義復(fù)雜;
2) 發(fā)動機(jī)本身作為實(shí)體對象具有多型號、同一型號具有多批次的特點(diǎn);
3)試驗(yàn)種類多,試驗(yàn)次數(shù)多;
4)數(shù)據(jù)來源于多種采集設(shè)備,數(shù)據(jù)類型多;
5)數(shù)據(jù)之間的關(guān)系復(fù)雜;
6)數(shù)據(jù)量極大;
7)需采用的分析手段多樣。
使用和管理上存在較多的差異如表1所示。
數(shù)據(jù)庫主要致力于建立試驗(yàn)數(shù)據(jù)的核心存儲模型和系統(tǒng),具體目標(biāo)包括:
1)提供所有數(shù)據(jù)資源的存儲模型,統(tǒng)一的存儲資源;
2)滿足用戶對數(shù)據(jù)的高速存取需求;
3)提供對數(shù)據(jù)的完整的安全備份能力;
4)提供對數(shù)據(jù)的生命周期管理能力;
5)提供對數(shù)據(jù)處理的擴(kuò)展開發(fā)能力。
1.3.1 組織結(jié)構(gòu)
與本數(shù)據(jù)庫相關(guān)的用戶包括發(fā)動機(jī)設(shè)計室和相關(guān)研究室專業(yè)組,組織結(jié)構(gòu)如圖1所示。
圖1 數(shù)據(jù)庫用戶結(jié)構(gòu)組織圖Fig.1 Structural diagram of database users
1.3.2 業(yè)務(wù)流程分析
兩個研究室的業(yè)務(wù)流程如圖2所示。
圖2 數(shù)據(jù)庫用戶業(yè)務(wù)流程圖Fig.2 Business flow chart of database user
根據(jù)用戶的工作特點(diǎn)、需求和業(yè)務(wù)流程分析,設(shè)計了滿足需求的數(shù)據(jù)庫架構(gòu),高速采集數(shù)據(jù)工程數(shù)據(jù)庫由若干試驗(yàn)數(shù)據(jù)子庫組成,基本原理如圖3所示,其結(jié)構(gòu)組成如圖4所示。
從數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)圖可以看出,高速采集數(shù)據(jù)工程數(shù)據(jù)庫系統(tǒng)分為三個部分。
1)基礎(chǔ)數(shù)據(jù)庫:用于存儲和管理原始試驗(yàn)數(shù)據(jù)。
2)通用數(shù)據(jù)庫:用于管理通用算法處理后的試驗(yàn)數(shù)據(jù)及存儲通用數(shù)據(jù)處理程序。
3)專用數(shù)據(jù)庫:負(fù)責(zé)存儲經(jīng)過專用的數(shù)據(jù)處理方法處理過的結(jié)果數(shù)據(jù)。
圖3 試驗(yàn)數(shù)據(jù)庫運(yùn)行原理圖Fig.3 Working principle of testing database
圖4 高速采集數(shù)據(jù)工程數(shù)據(jù)庫系統(tǒng)結(jié)構(gòu)圖Fig.4 Structure of high-speed data acquisition database
1.4.1 基礎(chǔ)數(shù)據(jù)庫
基礎(chǔ)數(shù)據(jù)庫負(fù)責(zé)管理各類試驗(yàn)信息和試驗(yàn)數(shù)據(jù),其主要功能包括:原始數(shù)據(jù)導(dǎo)入、原始數(shù)據(jù)管理、原始數(shù)據(jù)查詢、原始數(shù)據(jù)導(dǎo)出、原始數(shù)據(jù)備份及原始數(shù)據(jù)的訪問控制。
基礎(chǔ)數(shù)據(jù)庫最主要的功能就是管理原始數(shù)據(jù),遵循數(shù)據(jù)完整性管理的原則,按照型號樹的方式存儲在系統(tǒng)中,存儲結(jié)構(gòu)如圖5所示。
圖5 基礎(chǔ)數(shù)據(jù)庫存儲結(jié)構(gòu)圖Fig.5 Storage structure of basic database
1.4.2 通用數(shù)據(jù)庫
系統(tǒng)最主要的功能是管理經(jīng)過通用算法處理后的結(jié)果數(shù)據(jù)。從圖6可以看出“通用試驗(yàn)數(shù)據(jù)庫”分為三個部分:通用試驗(yàn)數(shù)據(jù)倉庫、通用算法及算法配置。
圖6 通用數(shù)據(jù)庫的結(jié)構(gòu)圖Fig.6 Structure of universal database
通用數(shù)據(jù)庫的數(shù)據(jù)存儲結(jié)構(gòu)如圖7所示??梢钥闯?,通用數(shù)據(jù)庫的數(shù)據(jù)存儲方式也是以型號樹為基礎(chǔ),對于試驗(yàn)的原始數(shù)據(jù)可以進(jìn)行全程的數(shù)據(jù)處理,也可以根據(jù)工況分段進(jìn)行數(shù)據(jù)處理。這樣做可提高試驗(yàn)數(shù)據(jù)查詢及數(shù)據(jù)導(dǎo)出的速度。
圖7 通用數(shù)據(jù)庫存儲結(jié)構(gòu)Fig.7 Storage structure of universal database
1.4.3 專用數(shù)據(jù)庫
專用試驗(yàn)數(shù)據(jù)庫結(jié)構(gòu)分為兩個部分:專用試驗(yàn)數(shù)據(jù)倉庫和臨時數(shù)據(jù)存儲區(qū)域。
專用數(shù)據(jù)庫數(shù)據(jù)存儲結(jié)構(gòu)如圖8所示。專用數(shù)據(jù)庫功能包括專用數(shù)據(jù)管理、專用數(shù)據(jù)查詢、數(shù)據(jù)顯示及臨時數(shù)據(jù)存儲區(qū)域管理。
圖8 專用數(shù)據(jù)庫存儲結(jié)構(gòu)圖Fig.8 Storage structure of private database
由于傳統(tǒng)的商業(yè)數(shù)據(jù)庫的存儲模式很難存儲數(shù)據(jù)量極大的試驗(yàn)數(shù)據(jù),發(fā)動機(jī)高速采集試驗(yàn)數(shù)據(jù)工程數(shù)據(jù)庫采用了海量數(shù)據(jù)存儲的新方式。這是一種基于關(guān)系數(shù)據(jù)管理和文件管理的模式,參考了PDM等相關(guān)領(lǐng)域的海量數(shù)據(jù)存儲概念,由于試驗(yàn)數(shù)據(jù)的復(fù)雜性,它又與傳統(tǒng)PDM存儲方式還有許多的不同。它是基于關(guān)系數(shù)據(jù)庫和海量試驗(yàn)數(shù)據(jù)混合存儲的系統(tǒng),它需要具有一個統(tǒng)一的數(shù)據(jù)管理平臺,對數(shù)據(jù)使用者屏蔽底層數(shù)據(jù)存儲,負(fù)責(zé)提供對試驗(yàn)數(shù)據(jù)的各種訪問、管理能力。試驗(yàn)數(shù)據(jù)庫和常見的商業(yè)數(shù)據(jù)庫的特點(diǎn)比較如表2所示。
表2 商用數(shù)據(jù)庫與試驗(yàn)數(shù)據(jù)庫的比較Tab.2 Comparison of comercial database and testing database
根據(jù)試驗(yàn)數(shù)據(jù)自身的特點(diǎn),為了保證試驗(yàn)數(shù)據(jù)存儲的高效性,采用了大型關(guān)系數(shù)據(jù)庫和海量文件系統(tǒng)結(jié)合的策略。用大型關(guān)系數(shù)據(jù)庫存儲結(jié)構(gòu)化試驗(yàn)數(shù)據(jù)信息以保證數(shù)據(jù)存儲和查詢的高效性;同時用海量文件存儲系統(tǒng)存儲非結(jié)構(gòu)化的試驗(yàn)數(shù)據(jù)信息,確保對非結(jié)構(gòu)化數(shù)據(jù)存儲和訪問的安全、高效性。
提供一套完備的、針對試驗(yàn)數(shù)據(jù)特點(diǎn)的存儲模型和服務(wù),其中包含用于存儲結(jié)構(gòu)化試驗(yàn)數(shù)據(jù)的大型關(guān)系數(shù)據(jù)庫系統(tǒng)和用于存儲非結(jié)構(gòu)化數(shù)據(jù)的工程文件系統(tǒng)。其中包括:大型關(guān)系數(shù)據(jù)庫、工程文件系統(tǒng)(Engineer File System) 及工程試驗(yàn)存儲EngTDS。
大型關(guān)系型數(shù)據(jù)庫負(fù)責(zé)存儲結(jié)構(gòu)化的試驗(yàn)數(shù)據(jù)信息,包括與試驗(yàn)相關(guān)的任務(wù)配置、規(guī)范、流程、環(huán)境、檢測、參數(shù)等各種信息。工程文件系統(tǒng)針對大量的非結(jié)構(gòu)化的工程試驗(yàn)數(shù)據(jù),提供基于文件的存儲模型。保證這些非結(jié)構(gòu)化數(shù)據(jù)存儲的完整性、安全性及高效性。工程試驗(yàn)存儲EngTDS提供統(tǒng)一的工程試驗(yàn)數(shù)據(jù)存儲訪問服務(wù),屏蔽掉底層關(guān)系型數(shù)據(jù)庫和工程文件系統(tǒng)的差異,系統(tǒng)抽象出EngTDS層,向外圍的功能模塊提供統(tǒng)一的存儲訪問模型。
MTDS主要致力于解決海量試驗(yàn)數(shù)據(jù)存儲的難題。試車過程中采集的高速采集數(shù)據(jù)數(shù)據(jù)量與測試通道數(shù)量及采樣速率有直接的關(guān)系,單次長程試車獲得的數(shù)據(jù)量往往超過2GB,數(shù)據(jù)庫總在線試驗(yàn)數(shù)據(jù)也有可能達(dá)到TB級。在這種情況下,采用傳統(tǒng)模式(直接存儲在硬盤上)已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足數(shù)據(jù)管理需求。另外,由于試驗(yàn)數(shù)據(jù)的特殊性(比如:格式多樣等等)和需求多樣性(數(shù)據(jù)分析、數(shù)據(jù)處理等等),直接采用基于文件的存儲系統(tǒng)也不能滿足用戶的需求。
為此,需要系統(tǒng)采用針對海量試驗(yàn)數(shù)據(jù)的存儲模型,并能提供更為有效的數(shù)據(jù)維護(hù)管理工具,達(dá)到數(shù)據(jù)存儲的安全、高效,滿足用戶的不同需求。
MTDS的使用,將主要致力于解決以下問題:海量級(上10TB)在線數(shù)據(jù)存儲能力、數(shù)據(jù)生命周期管理能力及數(shù)據(jù)處理擴(kuò)展能力。
MTDS運(yùn)行框架主要由三部分組成:
1)發(fā)動機(jī)海量試驗(yàn)數(shù)據(jù)存儲模型:實(shí)現(xiàn)數(shù)據(jù)以統(tǒng)一的存儲模型進(jìn)行存儲;
2)擴(kuò)展引擎接口:提供運(yùn)行框架功能模塊的擴(kuò)展能力;
3)發(fā)動機(jī)核心試驗(yàn)數(shù)據(jù)存儲服務(wù):對其他功能模塊提供核心存儲服務(wù)。
MTDS采用了最先進(jìn)的全開放式架構(gòu)理念,讓海量數(shù)據(jù)存儲的各個功能都可以根據(jù)用戶需求重新定制開發(fā)(甚至用戶自身開發(fā))。在運(yùn)行框架中提供了海量試驗(yàn)數(shù)據(jù)存儲的核心模型結(jié)構(gòu),同時還提供了用于擴(kuò)展功能開發(fā)的重要結(jié)構(gòu)和數(shù)據(jù)存儲服務(wù)。
MTDS采用幾乎全開放式的體系結(jié)構(gòu),并且采用Provider編程模式。用戶可以開發(fā)出各種不同的Provider,然后通過簡單的配置,直接連接到系統(tǒng)中。采用這種編程模式,用戶可以針對不同的需求,開發(fā)出各種不同的功能擴(kuò)展模塊。
海量數(shù)據(jù)存儲的寫入及搜索方式與傳統(tǒng)數(shù)據(jù)庫有很大的不同,決定了海量數(shù)據(jù)的存儲的效率的大幅度的提高。傳統(tǒng)意義上的數(shù)據(jù)庫的入庫效率則由數(shù)據(jù)庫的導(dǎo)入效率決定的。
采用虛擬數(shù)據(jù)和工程實(shí)際中存在的某次試車數(shù)據(jù)為例,試車時間400 s,采樣通道40個,單通道的點(diǎn)采樣率為25600/s,數(shù)據(jù)約為700 M,進(jìn)行了兩種寫入方式的速度對比,對比結(jié)果如表3所示。
表3 不同存儲方式數(shù)據(jù)導(dǎo)入時間對比Tab.3 Comparison of data import time in different storage modes
在搜索過程中,海量數(shù)據(jù)存儲系統(tǒng)可以很快的在數(shù)據(jù)庫中提取相關(guān)的時間信息,找到與之相對應(yīng)的文件,提取相應(yīng)的數(shù)據(jù)行;而商業(yè)數(shù)據(jù)庫則要化大量的時間提取相應(yīng)的文件或數(shù)據(jù),然后才能對應(yīng)相應(yīng)的數(shù)據(jù)。
對比結(jié)果表明,海量數(shù)據(jù)存儲的應(yīng)用解決了傳統(tǒng)商用數(shù)據(jù)庫在存儲發(fā)動機(jī)高速采集試驗(yàn)數(shù)據(jù)上的突出問題,使得發(fā)動機(jī)高速采集試驗(yàn)數(shù)據(jù)庫的建設(shè)成為可能。
發(fā)動機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫的建立滿足了工程中的實(shí)際需要,挽救了部分年代已久的寶貴數(shù)據(jù),解決了由于數(shù)據(jù)存放混亂、格式不統(tǒng)一帶來的數(shù)據(jù)使用效率低下的實(shí)際問題,為數(shù)字發(fā)動機(jī)研制進(jìn)行了有益的探索,為提高發(fā)動機(jī)設(shè)計手段和能力開辟了新路。
針對發(fā)動機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫的建立,經(jīng)過需求分析、概念設(shè)計、邏輯設(shè)計及物理設(shè)計等幾個過程,提出了合適的發(fā)動機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫的架構(gòu)設(shè)計,設(shè)計的數(shù)據(jù)庫架構(gòu)既可滿足使用者對數(shù)據(jù)的快速調(diào)用,又可滿足數(shù)據(jù)安全、完整的存儲,確實(shí)解決了工程中的實(shí)際問題。
針對發(fā)動機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫的建立,提出了將海量數(shù)據(jù)存儲技術(shù)應(yīng)用數(shù)據(jù)庫,解決了海量數(shù)據(jù)快速存儲的問題,使得數(shù)據(jù)庫的構(gòu)建順利進(jìn)行。
發(fā)動機(jī)高速采集數(shù)據(jù)工程數(shù)據(jù)庫的建立,解決了現(xiàn)有工作中的部分矛盾,由于投入使用時間較短,實(shí)際應(yīng)用中的存在問題還未充分暴露,與數(shù)字發(fā)動機(jī)信息平臺的要求也還有差距,在今后的工作中應(yīng)繼續(xù)開展相關(guān)課題的研究,搜集工程數(shù)據(jù)庫實(shí)際應(yīng)用中出現(xiàn)的問題,不斷完善工程數(shù)據(jù)庫,并開展該工程數(shù)據(jù)庫與AVIDM系統(tǒng)的集成研究。
[1]BRAUN S,SETH B.Analysis of repetitive mechanism signature[J].Journal of Sound and Vibration,1980,70(4):513-526.
[2]宗孔德.數(shù)字信號處理[M].北京:清華大學(xué)出版社,1988.
[3]林君.高速數(shù)字信號處理原理、器件及應(yīng)用[M].北京:海洋出版社,1993.
[4]曹瑾.航空發(fā)動機(jī)共享試驗(yàn)數(shù)據(jù)管理系統(tǒng)的研究與應(yīng)用[J].數(shù)字軍工,2010,(7):41-42.
[5]梁陳劍.JDBC3.0數(shù)據(jù)庫開發(fā)與設(shè)計[M].北京:希望電子出版社,2001.
[6]O′NEIL Patrick,O′NEIL Elizabeth.數(shù)據(jù)庫原理、編程與性能[M].北京:機(jī)械工業(yè)出版社,2002.
[7]張鴻江.基于Web的動力學(xué)數(shù)據(jù)庫的研究與開發(fā)[J].強(qiáng)度與環(huán)境,2003(3):7-11.
[8]徐敏.設(shè)備故障診斷手冊[M].西安:西安交通大學(xué)出版社,1998.
[9]趙新民.智能儀器原理及設(shè)計[M].哈爾濱:哈爾濱工業(yè)大學(xué)出版社,1990.