◆楊紹雄 韓戈白 陳柯 閆龍
行業(yè)與應用安全
主數據全生命周期管理在航空行業(yè)的應用
◆楊紹雄1韓戈白1陳柯2閆龍2
(1.中國電子科技集團公司第二十八研究所 江蘇 210000;2.中部戰(zhàn)區(qū)空軍保障部信息保障室 北京 100000)
現階段,航空行業(yè)中圍繞航空器的數據使用與管理現狀展現出數據定義及表示模糊、數據整合率低、數據質量低和數據不可追溯的問題。為了解決這些問題,本文梳理出以航空器為核心的航空行業(yè)主數據,并建設主數據全生命周期管理平臺,通過元數據管理、數據標準管理、質量規(guī)則管理和作業(yè)工廠等功能完成對主數據的全生命周期管理,構建高整合、高質量、多主題、可溯源的數據倉庫,為后續(xù)數據商店、數據同步和數據分析等數據應用提供了堅實的數據基礎。
主數據;全生命周期管理;數據治理
隨著航空行業(yè)信息化建設的不斷推進,圍繞航空器產生的數據變得愈發(fā)復雜,不同的業(yè)務系統(tǒng)在進行數據管理時可能遇到數據定義不清晰、數據整合率低、數據質量低和數據不可追溯等問題,使提高各系統(tǒng)中的業(yè)務連貫性和數據完整性變得困難,對核心業(yè)務實體的跨業(yè)務協同和跨系統(tǒng)共享成了挑戰(zhàn)。
當前各個航空部門業(yè)務信息化建設逐漸普及,圍繞航空器從研制、訂購到使用、維修的業(yè)務流程都將產生大量可追溯的數據。但各個部門的業(yè)務系統(tǒng)各自為政,煙囪林立,與航空器相關的重要數據散布在各個業(yè)務系統(tǒng)中,使得在處理跨部門、跨業(yè)務的綜合分析時會遇到以下問題:
(1)數據定義及表示模糊
同一類數據在不同業(yè)務系統(tǒng)中各自表述方法、管理方法和統(tǒng)計方法不一致導致不同部門中的核心數據產生差異,數據定義的不準確、數據標準的缺失以及不統(tǒng)一的編碼方式使數據變更、整合和交互過程變得困難[1]。
(2)數據整合率低
圍繞航空器產生的數據涵蓋從研制直至退役的全系統(tǒng)、全壽命、全要素的周期管理活動,業(yè)務種類繁多。航空器各個生命周期的活動由不同的業(yè)務部門負責,數據散布在各個業(yè)務之中,并且部門之間橫、縱向業(yè)務關系復雜,導致數據整合率低,缺失對數據的整體視角。同時,分散的數據缺乏統(tǒng)一標準,導致數據對照和映射關系復雜,影響了業(yè)務數據整合的及時性和準確率。
(3)數據質量低
數據在使用過程中不可避免地產生了偏差,導致數據產生缺失、錯誤和冗余等現象,數據整體價值降低,無法滿足各業(yè)務部門對管理對象的精細化管理需求[2]。
(4)數據不可追溯
對數據的產生、使用和變更等行為缺少信息化管理工具和手段,信息在業(yè)務部門之間的流轉缺少記錄,使得數據缺少可追溯的完整數據鏈。當出現問題時無法快速定位問題來源,確定責任人和尋找解決方法,影響問題解決的速度。
(1)主數據
主數據(Master Data)是指具有高度業(yè)務價值的、可以在企業(yè)內跨越各個業(yè)務部門被重復使用的數據,是單一準確、權威的數據來源[3-5]。
與業(yè)務型和分析型數據相比,主數據具有特征一致性、識別唯一性、長期有效性和業(yè)務穩(wěn)定性幾個特征[6]。特征一致性是指主數據在各業(yè)務流程的運轉和數據分析的對象層次中活動的特征一致。識別唯一性主要體現在同一主數據實體在不同的場合需要有唯一的標識。長期有效性是指主數據對象貫穿了整個業(yè)務周期的活動范圍,同時也表達了主數據自身應具有長期穩(wěn)定不變的特性。業(yè)務穩(wěn)定性體現在主數據本身的特征不會隨著業(yè)務的演變而變化,能廣泛應用于不同的業(yè)務需求,是隨時能支撐業(yè)務活動的關鍵數據。
(2)主數據全生命周期管理
主數據的全生命周期是指主數據從獲取、轉化、校驗、發(fā)布、申請、分發(fā)、應用、變更到最終核銷的整個生命歷程。對主數據整個生命周期的集中管理稱為主數據全生命周期管理,這種集中管理體系改變了原本分散管理中的平臺不統(tǒng)一、流程不一致、標準有差異、嚴重依靠人工檢驗等問題,實現了從分散到集中、從片面到全局、從人工非專業(yè)到自動化作業(yè)流程管理的轉變,完成了高質量并且唯一準確和規(guī)范的主數據建設,為各個部門業(yè)務活動流轉、數據分析報表和決策分析提供了堅實的基礎[7-9]。
為解決航空行業(yè)數據使用現狀體現出來的幾個缺陷,本文設計和建設的主數據管理平臺中幾個重要的功能設計如下。
要對主數據進行管理,首要任務就是對業(yè)務活動進行梳理,識別業(yè)務問題,定義主數據主題區(qū)域[10]。航空行業(yè)的關鍵主數據可以定義為通用數據、航空器、組織機構和人員、供應商和客戶、保障設備器材、設施、財務、項目、知識類信息等幾大類[11]。
元數據是指描述數據的數據,其使用目的在于識別資源、評價資源、追蹤資源在使用過程中的變化,實現簡單高效地管理大量數據,信息資源的有效發(fā)現、查找、一體化組織和對使用資源的有效管理[8]。在物理層面,對底層各個業(yè)務庫的數據表的元數據定義越精準,整個主數據管理越有效。
數據標準定義了各種主數據對象的編碼體系,提供了主數據對象的編碼和變更流程,包括業(yè)務對象的數據項定義、域定義、枚舉值范圍和數據來源等,為業(yè)務之中的數據交互提供了標準。
通過對元數據的準確定義和數據標準的實施可以有效解決數據定義和表示模糊的問題,為主數據管理打下堅實的基礎。
質量規(guī)則主要包括編碼規(guī)則、引用規(guī)則和字段校驗規(guī)則,是驅動數據質量檢查的核心要素。編碼規(guī)則與數據標準相輔相成,為數據中字段的編碼方式提供準則,統(tǒng)一引入平臺中的數據字段定義。引用規(guī)則為字段提供標準的枚舉值范圍。字段校驗規(guī)則主要為數據字段提供多種規(guī)范化方法。數據質量管理通過對數據表的字段設置質量規(guī)則,對平臺中流轉的數據進行自動檢查,識別出重復、缺失和錯誤的數據,并通過計算機自動修正與人工干預相結合的方法去除噪聲數據,提高數據的整體質量,為航空行業(yè)對數據精細化管理提供保障[12]。
作業(yè)工廠模塊主要以自動化作業(yè)的形式管理接入平臺的主數據獲取、轉化、校驗、發(fā)布過程,形成以主數據為核心的數據倉庫。數據倉庫是面向主題的、集成的、非易失的并且隨時間變化的數據集合,用以支持經驗管理中的決策制定過程。因此數據倉庫側重于從決策者的角度來組織數據,將數據整合、分類成多種主題的數據集合。
作業(yè)管理搭配數據源配置和數據分類配置,可以將多個異種數據源的數據按照不同的主題集成,通過給表項打上分類標簽來進行數據多維度的整合。
同時,通過在數據轉化過程中隊數據表添加數據來源、作業(yè)時間等作業(yè)字段,使整個數據流轉過程有源可溯。而數據倉庫的非易失性和隨時間變化的特性表明存在于數據倉庫的數據是按時間累加的數據,可以從不同版本的數據中推算數據演變過程,實現對數據來源和變化的完整記錄。
通過作業(yè)管理形成以主數據為核心的數據倉庫,使平臺內的數據從不同的維度高度整合,并且可以追溯數據生成和演變的全過程。
作業(yè)工廠最終完成對數據的發(fā)布,可供用戶申請和使用。整個主數據的全生命周期管理如圖1所示。
本文針對航空行業(yè)圍繞航空器的數據使用過程體現出來的缺陷,設計實現了主數據全生命周期管理平臺。本文首先通過梳理航空行業(yè)各部門實際業(yè)務需求,整理出以航空器為核心的主數據。通過主數據管理平臺中的元數據和數據標準管理來統(tǒng)一并準確地定義每一個數據表項,避免數據實體在不同業(yè)務中識別困難的問題。通過質量規(guī)則設置和質量檢查篩選出有噪聲的數據并進行修正,提高數據整體質量。通過作業(yè)工廠來管理數據的獲取、轉換、校驗和發(fā)布過程,形成高整合、多主題、可溯源的數據倉庫,供后續(xù)數據分析和商業(yè)智能等數據應用提供優(yōu)質的數據基礎。
圖1 主數據全生命周期管理
[1]鄧林. 主數據管理系統(tǒng)在大型企業(yè)中的應用[J]. 煉油與化工,2019,30(02):59-61.
[2]宋金玉,陳爽,郭大鵬,等. 數據質量及數據清洗方法[J]. 指揮信息系統(tǒng)與技術,2013,004(005):63-70.
[3]王春麗. 基于主數據管理的數據共享平臺設計[J]. 電腦編程技巧與維護,2019(9).
[4]歐志洪,胡天牧,康永 . 淺談主數據管理應用問題治理[J]. 電子世界,2018.
[5]趙飛. 基于全生命周期的主數據管理:MDM 詳解與實踐[M]. 北京:清華大學出版社,2015:66.
[6]張玉爽. 企業(yè)主數據管理方法研究及實踐[J]. 現代信息科技,2019,3(05):117-119.
[7]和軼東,張怡,曹乃剛.SAP MDM 主數據管理[M]. 北京:清華大學出版社,2013:1-3.
[8]房俊彥. 集團型企業(yè)的主數據管理[J]. 信息與電腦(理論版),2019,420(02):162-163.
[9]羅莉.主數據管理在信息化建設中的應用[J]. 電子世界,2012(7).
[10]陳亞杰,董俊,鄭芳霖,王洋.淺析企業(yè)信息化發(fā)展之主數據管理[J]. 船舶標準化工程師,2015(4).
[11]亓東霞,馬琳,張永京,等. 企業(yè)業(yè)務主數據建設與應用研究[J]. 數字技術與應用,2019(6).
[12]魏健,葉安娜,楊春. 指揮信息系統(tǒng)數據質量評估指標體系[J]. 指揮信息系統(tǒng)與技術,2020(002):85-88,93.