面向數(shù)據(jù)分析的數(shù)據(jù)倉庫設(shè)計(jì)與應(yīng)用

王國鋒，張 文，武麗君，胡天野，亢宇飛

（北京機(jī)械設(shè)備研究所，北京 100854）

0 引言

隨著5G、物聯(lián)網(wǎng)、AI等先進(jìn)信息技術(shù)迅猛發(fā)展和廣泛應(yīng)用，數(shù)據(jù)大爆炸成為當(dāng)今時代重要特征。黨的十九大四中全會提出數(shù)據(jù)是一種新型生產(chǎn)要素；2023年3月，國家組建了國家數(shù)據(jù)局，數(shù)據(jù)已經(jīng)正式上升到國家層面成為戰(zhàn)略資源，數(shù)據(jù)價值體現(xiàn)在我們工作、學(xué)習(xí)、生活、生產(chǎn)的方方面面。對于企業(yè)而言，數(shù)據(jù)已成為愈發(fā)重視的無形資產(chǎn)和生產(chǎn)要素，“雖然數(shù)據(jù)還沒有被列入企業(yè)的資產(chǎn)負(fù)債表，但這只是一個時間問題”[1]。如何將企業(yè)產(chǎn)生的大量數(shù)據(jù)進(jìn)行規(guī)范治理、融合和分析應(yīng)用，挖掘數(shù)據(jù)價值，成為企業(yè)信息化領(lǐng)域持續(xù)研究和探索的課題。

1 航天企業(yè)數(shù)據(jù)資源概述

1.1 概述

航天企業(yè)在多年的科研生產(chǎn)和經(jīng)營管理過程中，積累了大量的數(shù)據(jù)。前期主要是紙介質(zhì)數(shù)據(jù)，在信息化建設(shè)過程中，逐步實(shí)現(xiàn)了數(shù)據(jù)電子化，產(chǎn)品數(shù)據(jù)管理系統(tǒng)PDM、試驗(yàn)數(shù)據(jù)管理系統(tǒng)TDM、工藝設(shè)計(jì)及數(shù)據(jù)管理CAPP、面向業(yè)財(cái)一體的ERP、綜合經(jīng)營管理平臺、協(xié)同辦公平臺等信息化系統(tǒng)覆蓋了企業(yè)主要業(yè)務(wù)，產(chǎn)生了大量的數(shù)據(jù)。這些寶貴的科研生產(chǎn)和經(jīng)營管理數(shù)據(jù)是航天企業(yè)核心技術(shù)和知識產(chǎn)權(quán)的體現(xiàn)，也是企業(yè)數(shù)據(jù)資產(chǎn)最為重要的部分。

1.2 數(shù)據(jù)資源

航天企業(yè)作為典型的離散型制造企業(yè)，擁有復(fù)雜的產(chǎn)品結(jié)構(gòu)，繁多的產(chǎn)品種類和數(shù)量，結(jié)合產(chǎn)品研制過程及企業(yè)經(jīng)營管理可將其數(shù)據(jù)分為如下5類。

（1）產(chǎn)品數(shù)據(jù)。包括產(chǎn)品在設(shè)計(jì)、工藝、生產(chǎn)、試驗(yàn)、運(yùn)行等過程中產(chǎn)生的數(shù)據(jù)，記錄、傳輸、處理和加工這些數(shù)據(jù)，使產(chǎn)品全生命周期管理成為可能，也為滿足個性化的產(chǎn)品提供了條件。

（2）運(yùn)營數(shù)據(jù)。包括市場營銷、質(zhì)量控制、外協(xié)生產(chǎn)管控、物料采購、庫存、項(xiàng)目任務(wù)計(jì)劃、綜合業(yè)務(wù)管理等數(shù)據(jù)。這些數(shù)據(jù)可能會驅(qū)動創(chuàng)新企業(yè)的研發(fā)、生產(chǎn)、運(yùn)營、營銷和管理方式。

（3）設(shè)備數(shù)據(jù)。包括生產(chǎn)線上各種生產(chǎn)設(shè)備的工作狀態(tài)、運(yùn)行記錄等數(shù)據(jù)。設(shè)備數(shù)據(jù)對于支撐掌控制造資源狀態(tài)，合理實(shí)施排產(chǎn)非常關(guān)鍵。

（4）價值鏈數(shù)據(jù)。包括客戶、供應(yīng)商、合作伙伴等數(shù)據(jù)。企業(yè)在當(dāng)前全球化的經(jīng)濟(jì)環(huán)境中參與競爭，需要全面地了解技術(shù)開發(fā)、生產(chǎn)作業(yè)、采購銷售、服務(wù)、內(nèi)外部后勤等環(huán)節(jié)的競爭力要素。深入分析和挖掘價值鏈上各個環(huán)節(jié)數(shù)據(jù)和信息，可為企業(yè)管理者和參與者觀察價值鏈提供全新視角，有機(jī)會將價值鏈上更多的環(huán)節(jié)轉(zhuǎn)化為企業(yè)戰(zhàn)略優(yōu)勢。

（5）外部數(shù)據(jù)。包括經(jīng)濟(jì)運(yùn)行、行業(yè)、市場、競爭對手等數(shù)據(jù)。為了應(yīng)對外部環(huán)境變化所帶來的風(fēng)險(xiǎn)，企業(yè)必須充分掌握外部環(huán)境的發(fā)展現(xiàn)狀以增強(qiáng)自身的應(yīng)變能力。

根據(jù)數(shù)據(jù)資源規(guī)劃，數(shù)據(jù)資源可規(guī)劃為以下三類：①業(yè)務(wù)數(shù)據(jù)：業(yè)務(wù)系統(tǒng)運(yùn)行過程中產(chǎn)生的數(shù)據(jù)，如產(chǎn)品設(shè)計(jì)數(shù)據(jù)、工藝設(shè)計(jì)數(shù)據(jù)、物料采購數(shù)據(jù)、質(zhì)量記錄數(shù)據(jù)、任務(wù)計(jì)劃執(zhí)行數(shù)據(jù)等。②主數(shù)據(jù)：主數(shù)據(jù)不是企業(yè)內(nèi)所有的業(yè)務(wù)數(shù)據(jù)，主數(shù)據(jù)有必要在各個系統(tǒng)間共享的且相對靜止不變的數(shù)據(jù)。③主題數(shù)據(jù)：該數(shù)據(jù)是根據(jù)業(yè)務(wù)范圍進(jìn)行跨系統(tǒng)、企業(yè)全局的匯聚、融合，進(jìn)而可按照一定的規(guī)則進(jìn)行統(tǒng)計(jì)，為決策分析和數(shù)據(jù)服務(wù)提供支撐的數(shù)據(jù)。

2 企業(yè)級數(shù)據(jù)倉庫設(shè)計(jì)及實(shí)施

2.1 數(shù)據(jù)倉庫概述

近年來，隨著企業(yè)數(shù)字化轉(zhuǎn)型持續(xù)深入開展，企業(yè)逐步實(shí)現(xiàn)各類主數(shù)據(jù)在各業(yè)務(wù)領(lǐng)域系統(tǒng)中的規(guī)范應(yīng)用，為系統(tǒng)之間集成貫通及匯聚融合夯實(shí)了基礎(chǔ)，構(gòu)建企業(yè)大腦，為企業(yè)決策層進(jìn)行戰(zhàn)略制定、科學(xué)決策提供重要數(shù)據(jù)支撐[2]，成為航天企業(yè)信息化建設(shè)的重點(diǎn)方向。企業(yè)大腦以數(shù)據(jù)分析及應(yīng)用為牽引、以構(gòu)建企業(yè)級全局?jǐn)?shù)據(jù)倉庫為技術(shù)路徑、以建設(shè)分類主題數(shù)據(jù)庫為主要內(nèi)容，逐步推進(jìn)基于數(shù)據(jù)倉庫的數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)賦能，體現(xiàn)數(shù)據(jù)價值。

數(shù)據(jù)倉庫面向主題構(gòu)建，可支撐OLAP服務(wù)，與傳統(tǒng)的數(shù)據(jù)庫相比，還具有集成性、非易失性和隨時間不斷變化等特點(diǎn)。相對于傳統(tǒng)支撐OLTP的關(guān)系型數(shù)據(jù)庫，以多維數(shù)據(jù)模型設(shè)計(jì)為基礎(chǔ)的數(shù)據(jù)倉庫從整體架構(gòu)設(shè)計(jì)到具體實(shí)施整個過程更為復(fù)雜，難度也較大。下面結(jié)合數(shù)據(jù)倉庫相關(guān)技術(shù)，從設(shè)計(jì)和實(shí)施兩方面具體介紹數(shù)據(jù)倉庫的構(gòu)建過程。

2.2 數(shù)據(jù)倉庫設(shè)計(jì)

2.2.1 總體架構(gòu)設(shè)計(jì)

數(shù)據(jù)倉庫會圍繞數(shù)據(jù)開展一系列復(fù)雜處理，考慮目標(biāo)、數(shù)據(jù)處理性能和降低復(fù)雜性等因素，將數(shù)據(jù)倉庫總體架構(gòu)設(shè)計(jì)為兩區(qū)三層。兩區(qū)即數(shù)據(jù)緩沖區(qū)和目標(biāo)數(shù)據(jù)倉庫區(qū)，三層即數(shù)據(jù)貼源層（ODS層）、全局?jǐn)?shù)據(jù)倉庫層和數(shù)據(jù)集市層。

ODS層處于數(shù)據(jù)緩沖區(qū)，主要是將數(shù)據(jù)從OLTP系統(tǒng)中以全部或者增量的方式抽取至此，此過程無需經(jīng)過復(fù)雜的數(shù)據(jù)操作，數(shù)據(jù)基本和數(shù)據(jù)源保持一致（主要變化就是異構(gòu)數(shù)據(jù)庫存儲格式的處理）。

全局?jǐn)?shù)據(jù)倉庫處于目標(biāo)數(shù)據(jù)倉庫區(qū)，將ODS層的數(shù)據(jù)抽取后經(jīng)過轉(zhuǎn)換、清洗，最后加載到全局?jǐn)?shù)據(jù)倉庫，全局?jǐn)?shù)據(jù)倉庫會存儲明細(xì)數(shù)據(jù)。

數(shù)據(jù)集市層處于目標(biāo)數(shù)據(jù)倉庫區(qū)，主要用于存放大量明細(xì)數(shù)據(jù)分析統(tǒng)計(jì)后的結(jié)果數(shù)據(jù)。統(tǒng)計(jì)數(shù)據(jù)與明細(xì)數(shù)據(jù)往往會通過下鉆和上卷的關(guān)聯(lián)操作，所以數(shù)據(jù)集市層與全局?jǐn)?shù)據(jù)倉庫放在同一數(shù)據(jù)區(qū)，可以保證前端展示的響應(yīng)速度，提供用戶體驗(yàn)。

2.2.2 維度設(shè)計(jì)

在數(shù)據(jù)倉庫中，維度是可用于觀察、分析統(tǒng)計(jì)業(yè)務(wù)數(shù)據(jù)的視角，主要分為靜態(tài)維度和動態(tài)維度。

靜態(tài)維度：主要是指時間維度，由于時間（主要包括日期和時間）的不變性確定了時間維度是一個特殊的維度。

動態(tài)維度：是區(qū)別于時間維度、可變更的維度，稱之為緩慢變更維，如組織機(jī)構(gòu)、項(xiàng)目、供應(yīng)商、客戶等，這類維度一般是企業(yè)的主數(shù)據(jù)。

2.2.3 數(shù)據(jù)模型設(shè)計(jì)

數(shù)據(jù)倉庫主要采用多維結(jié)構(gòu)的數(shù)據(jù)視圖的多維數(shù)據(jù)模型，主要分為星形模型、雪花型模型和事實(shí)星座模型三類。其中星形模型具有存取速度快，基于多維存儲，利于上卷、下鉆等優(yōu)點(diǎn)，所以在數(shù)據(jù)倉庫中得到了廣泛應(yīng)用。星形多維模型主要由度量值和維度兩部分組成，度量值一般是業(yè)務(wù)數(shù)據(jù)值，如入庫數(shù)量、出庫數(shù)量、庫存數(shù)量等；維度是為這些業(yè)務(wù)數(shù)據(jù)值提供上下文關(guān)系的，例如，庫存與產(chǎn)品、供方有關(guān)，產(chǎn)品和供方就是統(tǒng)計(jì)的維度。

2.2.4 數(shù)據(jù)融合

數(shù)據(jù)融合在數(shù)據(jù)倉庫中是指根據(jù)業(yè)務(wù)聯(lián)性進(jìn)行跨系統(tǒng)的業(yè)務(wù)數(shù)據(jù)整合的過程，在數(shù)據(jù)倉庫中主要通過維度的關(guān)聯(lián)性實(shí)現(xiàn)數(shù)據(jù)融合。在數(shù)據(jù)倉庫中分別設(shè)置存放業(yè)務(wù)數(shù)據(jù)的事實(shí)表和存放維度的維度表，這樣不僅便于基于維度的統(tǒng)計(jì)分析，也便于基于維度進(jìn)行數(shù)據(jù)融合。

2.3 數(shù)據(jù)倉庫實(shí)施

ETL是數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load）的縮寫[3]。它是將數(shù)據(jù)從OLTP系統(tǒng)中轉(zhuǎn)移到數(shù)據(jù)倉庫中的一系列操作的集合，貫穿數(shù)據(jù)貼源層、全局?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)集市的數(shù)據(jù)處理全過程，是數(shù)據(jù)倉庫實(shí)施過程的主體，關(guān)系數(shù)據(jù)倉庫實(shí)施的成敗。數(shù)據(jù)倉庫一般通過一定頻率將數(shù)據(jù)從OLTP系統(tǒng)中轉(zhuǎn)移到數(shù)據(jù)倉庫中，主要通過ETL過程與定時任務(wù)調(diào)度相結(jié)合的方式實(shí)現(xiàn)。

2.3.1 ETL過程

基于ETL平臺設(shè)計(jì)開發(fā)ETL過程，實(shí)現(xiàn)抽取、轉(zhuǎn)換和加載的功能。ETL實(shí)施過程需要注意的以下幾個方面。

①合理的數(shù)據(jù)抽取方案。數(shù)據(jù)抽取主要針對OLTP系統(tǒng)的數(shù)據(jù)庫進(jìn)行非侵入式操作，涉及的數(shù)據(jù)源類型包括Oracle數(shù)據(jù)庫、SQLserver和SAP的RFC接口等，應(yīng)根據(jù)數(shù)據(jù)量、實(shí)施難度等因素制定增量和全量抽取的方案。

②維度數(shù)據(jù)的ETL過程。將OLTP系統(tǒng)中的源數(shù)據(jù)通過ETL抽取并存儲到數(shù)據(jù)倉庫中，形成維度數(shù)據(jù)表，OLTP系統(tǒng)更新時，向數(shù)據(jù)倉庫的維度表中新插入一條數(shù)據(jù)，通過添加時間戳來確保在任何時間點(diǎn)都能找到唯一一行維度數(shù)據(jù)，每行數(shù)據(jù)由代理鍵來唯一標(biāo)識。

③業(yè)務(wù)數(shù)據(jù)的ETL過程。業(yè)務(wù)數(shù)據(jù)在數(shù)據(jù)倉庫中存放在事實(shí)表中。業(yè)務(wù)數(shù)據(jù)的ETL過程需要注意將維度數(shù)據(jù)的代理主鍵添加到屬性字段中，并結(jié)合維度進(jìn)行跨系統(tǒng)業(yè)務(wù)數(shù)據(jù)的融合。

④定時任務(wù)調(diào)度?；贓TL平臺開發(fā)任務(wù)調(diào)度功能，實(shí)現(xiàn)ETL任務(wù)的維護(hù)、管理，能夠查看日志，及時處理異常任務(wù)，確保ETL高效易用。

3 基于數(shù)據(jù)倉庫的數(shù)據(jù)應(yīng)用

以企業(yè)各領(lǐng)域信息系統(tǒng)為數(shù)據(jù)基礎(chǔ)，建設(shè)面向決策層的的企業(yè)大腦是數(shù)據(jù)分析的典型場景。企業(yè)大腦的建設(shè)是先自頂向下，再自底向上的過程。先自頂向下是業(yè)務(wù)層面，具體是指面向管理駕駛艙的數(shù)據(jù)分析需求，明確需要劃分的主題庫，設(shè)計(jì)相應(yīng)的數(shù)據(jù)倉庫。自底向上是實(shí)現(xiàn)層面，具體是指根據(jù)數(shù)據(jù)倉庫的設(shè)計(jì)需求，通過構(gòu)建數(shù)據(jù)倉庫，在數(shù)據(jù)倉庫的基礎(chǔ)上形成主題數(shù)據(jù)庫，在主題數(shù)據(jù)的基礎(chǔ)上構(gòu)建管理駕駛艙，最終實(shí)現(xiàn)企業(yè)管理的數(shù)字賦能。

3.1 主題庫建設(shè)

企業(yè)結(jié)合自身信息系統(tǒng)建設(shè)情況及決策要求，規(guī)劃出三大類主題建設(shè)需求，分別是財(cái)務(wù)主題、市場主題和項(xiàng)目主題。財(cái)務(wù)主題融合預(yù)算、合同收付款、應(yīng)收賬款、庫存等數(shù)據(jù)，形成兩金、預(yù)算執(zhí)行等主題數(shù)據(jù)；市場主題融合客戶信息、商機(jī)、立項(xiàng)、合同、收款等信息，構(gòu)建客戶、商機(jī)等主題數(shù)據(jù)；項(xiàng)目主題融合CRM、立項(xiàng)、經(jīng)營指標(biāo)、經(jīng)營計(jì)劃、合同收付款、計(jì)劃、質(zhì)量等信息，構(gòu)建項(xiàng)目盈虧、項(xiàng)目進(jìn)度、項(xiàng)目質(zhì)量等主題數(shù)據(jù)。

3.2 管理駕駛艙

基于數(shù)據(jù)倉庫的可視化應(yīng)用主要是圍繞財(cái)務(wù)主題、市場主題和項(xiàng)目主題為不同管理人員構(gòu)建的管理駕駛艙。從全所、產(chǎn)品線、部門、項(xiàng)目四個維度為所領(lǐng)導(dǎo)、產(chǎn)品線所領(lǐng)導(dǎo)、項(xiàng)目問題、總會計(jì)師等不同角色提供相關(guān)內(nèi)容的企業(yè)管理駕駛艙，覆蓋客戶與供方、市場情況、營收情況、任務(wù)進(jìn)展、財(cái)務(wù)指標(biāo)等內(nèi)容，取得了較好的應(yīng)用效果。

通過企業(yè)大腦的建設(shè)，實(shí)現(xiàn)企業(yè)科研生產(chǎn)、經(jīng)營等各業(yè)務(wù)領(lǐng)域中的關(guān)鍵指標(biāo)數(shù)據(jù)可視化展視和分析，并為領(lǐng)導(dǎo)層提供輔助決策，提升企業(yè)內(nèi)運(yùn)營狀況的敏捷反應(yīng)與綜合決策能力。同時面向不同層級人員，根據(jù)業(yè)務(wù)需求展現(xiàn)相關(guān)領(lǐng)域指標(biāo)情況，強(qiáng)化過程管控力，提升運(yùn)營管理智能化水平。

4 結(jié)束語

數(shù)據(jù)倉庫作為一項(xiàng)重要技術(shù)，在支撐企業(yè)數(shù)據(jù)分析及應(yīng)用領(lǐng)域有著廣泛的應(yīng)用。圍繞企業(yè)數(shù)據(jù)分析及應(yīng)用，對企業(yè)級全局?jǐn)?shù)據(jù)倉庫進(jìn)行了總體設(shè)計(jì)，并結(jié)合實(shí)際業(yè)務(wù)進(jìn)行實(shí)踐，取得了較好效果。后續(xù)將根據(jù)企業(yè)對結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多種類型的海量數(shù)據(jù)管理和應(yīng)用需求，結(jié)合業(yè)界數(shù)據(jù)技術(shù)的發(fā)展，構(gòu)建具備數(shù)據(jù)采集、數(shù)據(jù)存儲計(jì)算、數(shù)據(jù)分析挖掘和可視化功能為一體的大數(shù)據(jù)中心，從而提供服務(wù)功能更完備、服務(wù)領(lǐng)域更廣泛的數(shù)據(jù)服務(wù)及應(yīng)用?！?/p>