基于數(shù)據(jù)倉庫技術(shù)的集裝箱行業(yè)數(shù)據(jù)管理平臺設(shè)計

張圣揚(yáng) 程學(xué)林 楊小虎

摘要：集裝箱行業(yè)目前處于快速發(fā)展階段，但依然存在很多問題，導(dǎo)致各組織之間信息溝通不暢，政府部門對行業(yè)的監(jiān)管和服務(wù)水平不夠深入。現(xiàn)存的一些物流信息化平臺在行業(yè)監(jiān)管和信息挖掘方面相對不足，數(shù)據(jù)共享以原始數(shù)據(jù)為主。本文以寧波市集裝箱行業(yè)數(shù)據(jù)管理平臺的建設(shè)為例，介紹了數(shù)據(jù)倉庫技術(shù)在集裝箱行業(yè)監(jiān)管、信息挖掘以及數(shù)據(jù)共享等方面的應(yīng)用。

關(guān)鍵詞：集裝箱運(yùn)輸;數(shù)據(jù)倉庫;ETL

中圖分類號：TP311.13 文獻(xiàn)標(biāo)識碼：A 文章編號：1007-9416（2019）04-0142-02

1 研究背景

寧波市集裝箱行業(yè)雖然整體發(fā)展穩(wěn)健，但依然存在集裝箱車輛規(guī)模大、運(yùn)輸企業(yè)眾多、運(yùn)作流程復(fù)雜等問題，導(dǎo)致貨代、港口、物流園區(qū)等組織之間信息溝通不暢，集裝箱行業(yè)的動態(tài)監(jiān)管與公眾服務(wù)不夠深入。

而現(xiàn)存的一些系統(tǒng)，例如運(yùn)政管理系統(tǒng)、運(yùn)管處監(jiān)管系統(tǒng)、物流園區(qū)系統(tǒng)等存在以下問題：

（1）行業(yè)監(jiān)管和信息挖掘不足，行業(yè)輔助決策支持內(nèi)容需要豐富。（2）企業(yè)數(shù)據(jù)共享以基礎(chǔ)數(shù)據(jù)為主，需要加強(qiáng)企業(yè)間分析統(tǒng)計數(shù)據(jù)的共享。（3）各系統(tǒng)以企業(yè)內(nèi)部使用為主，涉及行業(yè)數(shù)據(jù)也比較少，不能面向整個行業(yè)進(jìn)行分析。

因此，建立集裝箱行業(yè)數(shù)據(jù)管理平臺，對實(shí)現(xiàn)集裝箱行業(yè)的數(shù)據(jù)整合，提升政府對集裝箱行業(yè)的監(jiān)管和服務(wù)水平，推進(jìn)港口信息化建設(shè)都具有重要意義。而數(shù)據(jù)倉庫技術(shù)，因其具有面向主題、集成性、不可更新的，隨時間變化的特性，在對集裝箱行業(yè)數(shù)據(jù)的整合、存儲和查詢的過程中發(fā)揮了重要作用。

2 需求分析

集裝箱行業(yè)數(shù)據(jù)管理平臺主要需要實(shí)現(xiàn)如下幾方面的要求：

（1）車輛運(yùn)營監(jiān)測。統(tǒng)計分析寧波市道路集裝箱運(yùn)輸車輛每月實(shí)際運(yùn)營情況。（2）企業(yè)運(yùn)行監(jiān)測。統(tǒng)計分析集裝箱運(yùn)輸企業(yè)相關(guān)車輛運(yùn)行次數(shù)，反映企業(yè)運(yùn)營能力。（3）運(yùn)量需求監(jiān)測。了解寧波港口集裝箱流量流向情況，反映集裝箱運(yùn)輸需求變化。（4）運(yùn)價監(jiān)測。分析集裝箱行業(yè)運(yùn)價變動趨勢，幫助企業(yè)制定合理運(yùn)價。

3 數(shù)據(jù)倉庫技術(shù)

W.H.Inmon 把數(shù)據(jù)倉庫定義為“用于管理決策支持的面向主題、穩(wěn)定、集成、隨時間變化的數(shù)據(jù)集合”。Christopher Adamson將數(shù)據(jù)倉庫分成三類，即Inmon的企業(yè)信息化工廠、Kimball的維度數(shù)據(jù)倉庫以及獨(dú)立型數(shù)據(jù)集市。本系統(tǒng)采用維度數(shù)據(jù)倉庫，它由一系列星型模型組成，并由它們獲取盡可能詳盡的數(shù)據(jù)。

維度數(shù)據(jù)倉庫有兩個重要的概念：維度和事實(shí)。維度是指業(yè)務(wù)發(fā)生的環(huán)境，通常指在什么情況發(fā)生，在實(shí)現(xiàn)過程中，我們從其他行業(yè)信息系統(tǒng)中抽取出維度數(shù)據(jù)，例如從公安交管信息網(wǎng)中獲取集裝箱車輛的車牌號、注冊日期等數(shù)據(jù)來形成車輛信息維度。事實(shí)是指描述業(yè)務(wù)的度量，通常指實(shí)際發(fā)生了什么，可以通過ETL的方式，從其他行業(yè)系統(tǒng)中獲取事實(shí)數(shù)據(jù)，例如可以從各集裝箱物流園區(qū)系統(tǒng)抽取集裝箱車輛的作業(yè)時間等來形成車輛作業(yè)事實(shí)表。

通過各種維度表和事實(shí)表的創(chuàng)建，可以形成多個星型模型，從而實(shí)現(xiàn)對集裝箱行業(yè)數(shù)據(jù)的面向主題的集成，方便對于數(shù)據(jù)的查詢、展示與分析。

4 系統(tǒng)設(shè)計以及數(shù)據(jù)倉庫的應(yīng)用

集裝箱行業(yè)數(shù)據(jù)管理平臺通過與其他系統(tǒng)對接獲取行業(yè)信息，并對原始數(shù)據(jù)進(jìn)行取樣建模，對數(shù)據(jù)進(jìn)行處理計算，以圖表形式提供集裝箱行業(yè)經(jīng)濟(jì)運(yùn)行分析、行業(yè)運(yùn)行監(jiān)測、從業(yè)人員監(jiān)測等服務(wù)，方便有關(guān)部門對集裝箱行業(yè)運(yùn)行狀況的監(jiān)督，進(jìn)而科學(xué)的發(fā)布行業(yè)管理決策。

系統(tǒng)總體設(shè)計流程由四部分組成，包括數(shù)據(jù)對接、數(shù)據(jù)倉庫建模、ETL和數(shù)據(jù)展示。數(shù)據(jù)對接用于采集來自口岸辦系統(tǒng)、GPS監(jiān)管系統(tǒng)、物流園區(qū)系統(tǒng)等數(shù)據(jù)。數(shù)據(jù)建模包括設(shè)計并搭建數(shù)據(jù)倉庫用于集成所有行業(yè)數(shù)據(jù)。ETL用于對行業(yè)原始數(shù)據(jù)進(jìn)行處理并裝載至數(shù)據(jù)倉庫。數(shù)據(jù)展示是以數(shù)據(jù)可視化作為關(guān)鍵技術(shù)、基于數(shù)據(jù)倉庫構(gòu)造的互聯(lián)網(wǎng)應(yīng)用系統(tǒng)，實(shí)現(xiàn)了對集裝箱行業(yè)數(shù)據(jù)的展示。

本系統(tǒng)的核心是數(shù)據(jù)倉庫建模的實(shí)現(xiàn)。數(shù)據(jù)倉庫建模主要遵循四個步驟：

（1）選取業(yè)務(wù)過程。結(jié)合對業(yè)務(wù)需求和原始數(shù)據(jù)的理解，確定建模的業(yè)務(wù)處理內(nèi)容。例如運(yùn)價監(jiān)測可以作為一個業(yè)務(wù)過程。（2）定義粒度。由于原子型數(shù)據(jù)可為分析提供最大限度的靈活性，所以應(yīng)優(yōu)先考慮用業(yè)務(wù)流程記錄最細(xì)粒度的信息開發(fā)維度模型。例如為了描述運(yùn)價變動趨勢，可以定義描述運(yùn)價的粒度是時間、線路、集裝箱尺寸，其中作為最佳粒度，時間粒度細(xì)分到月份，線路粒度細(xì)分到線路的起點(diǎn)和終點(diǎn)地區(qū)。（3）選定維度。粒度確定后形成基本維度。例如時間、集裝箱尺寸和線路粒度確定后即可形成月份維度、集裝箱類型維度和線路維度。（4）確定事實(shí)。確定要分析的度量。例如根據(jù)選中的運(yùn)價監(jiān)測業(yè)務(wù)過程可以收集到的事實(shí)為運(yùn)價和平均運(yùn)價，因?yàn)槠骄\(yùn)價是非可加事實(shí)，不存儲，所以只存儲具有可加性的運(yùn)價事實(shí)。這樣通過關(guān)聯(lián)集裝箱類型維度和運(yùn)價事實(shí)，即可分析不同尺寸集裝箱的運(yùn)價變動趨勢。

在實(shí)際的操作過程中，基于以上四個數(shù)據(jù)倉庫建模步驟，還會出現(xiàn)各種不同的數(shù)據(jù)倉庫類型，例如有事實(shí)的和無事實(shí)的事實(shí)表、聚集表等。

5 數(shù)據(jù)倉庫的應(yīng)用效果

集裝箱行業(yè)數(shù)據(jù)管理平臺基于以數(shù)據(jù)倉庫為技術(shù)基礎(chǔ)而集成和存儲的各類集裝箱行業(yè)數(shù)據(jù)，可以方便實(shí)現(xiàn)對各類行業(yè)統(tǒng)計數(shù)據(jù)的查詢，從而實(shí)現(xiàn)對集裝箱行業(yè)的經(jīng)濟(jì)運(yùn)行分析、行業(yè)運(yùn)行監(jiān)測以及從業(yè)人員監(jiān)測等。例如根據(jù)我們建立的車輛維度表、日期維度表和車輛作業(yè)事實(shí)表形成的星型模型可以查詢?nèi)我庖欢螘r間集裝箱車輛的出車率情況，如圖1展示了連續(xù)12月的集裝箱車輛出車率的變動情況，可以發(fā)現(xiàn)過年期間出車率降到了最低。

6 結(jié)語

基于數(shù)據(jù)倉庫技術(shù)的集裝箱行業(yè)數(shù)據(jù)管理平臺實(shí)現(xiàn)了對集裝箱行業(yè)數(shù)據(jù)的有機(jī)整合，實(shí)現(xiàn)了數(shù)據(jù)的共享特別是統(tǒng)計分析數(shù)據(jù)的共享，并且最大化了各類行業(yè)數(shù)據(jù)的價值，從而實(shí)現(xiàn)了對集裝箱運(yùn)輸企業(yè)、車輛和人員的監(jiān)管和監(jiān)測，提高了行業(yè)監(jiān)管部門的服務(wù)水平，并可以促進(jìn)集裝箱運(yùn)輸行業(yè)的進(jìn)一步規(guī)范和發(fā)展。

參考文獻(xiàn)

[1] Inmon W H. Building the data warehouse[M].John wiley & sons，2005.

[2] ChristopherAdamson，亞當(dāng)森，王紅濱，等.Star Schema完全參考手冊：數(shù)據(jù)倉庫維度設(shè)計權(quán)威指南[M].清華大學(xué)出版社，2012.

[3] Kimball R，金博爾， Ross M， et al.數(shù)據(jù)倉庫工具箱：維度建模的完全指南[M].電子工業(yè)出版社，2003.