ＥＤＩ技術(shù)在集裝箱運輸市場應(yīng)用研究

孫海濤

摘要:在信息技術(shù)高速發(fā)展的知識經(jīng)濟時代,EDI技術(shù)在航運市場的應(yīng)用不但得到了肯定,而且已經(jīng)形成了全球性的EDI網(wǎng)絡(luò)。該文主要分析數(shù)據(jù)倉庫系統(tǒng)的結(jié)構(gòu)和建立,其次對基于EDI信息的集裝箱運輸市場系統(tǒng)進(jìn)行分析。目的在于對于EDI技術(shù)如何進(jìn)一步加工提煉信息增值服務(wù),為眾多港航EDI用戶的日常運作提供更多的信息支持。

關(guān)鍵詞:EDI技術(shù);數(shù)據(jù)倉庫系統(tǒng);市場分析系統(tǒng)

中圖分類號:TP311文獻(xiàn)標(biāo)識碼:A文章編號:1009-3044(2009)22-pppp-0c

EDI是英文Electronic Data Interchange三個單詞的首字母或者這個詞組的縮寫。從字面意義上看,EDI的定義很廣泛,包括了計算機通信和數(shù)據(jù)處理的方方面面。在航運市場,尤其是在集裝箱運輸市場的EDI信息增值服務(wù)方面,為規(guī)范其日趨激烈的競爭,在增加相關(guān)信息的透明度方面做出了比較成功的努力。比如ED工中心、航運企業(yè)組織等,建立了集裝箱運價/運量報備體系、借助集裝箱運價指數(shù)的編制設(shè)計了一些企業(yè)統(tǒng)計數(shù)據(jù)機制、定期發(fā)布了集裝箱運輸市場分析報告等,但這些做法雖然對提高市場信息透明度起到了一定的積極作用,卻仍然普遍存在信息不全面,干擾信息過多等缺陷。由于EDI系統(tǒng)傳送的信息是最全面和最精確的,因此,如何進(jìn)一步提煉EDI信息并加以分析,就成了解決這些缺陷,建立基于EDI信息的集裝箱運輸市場分析系統(tǒng)的核心內(nèi)容。

1 數(shù)據(jù)倉庫系統(tǒng)的建立

1.1 數(shù)據(jù)倉庫概述

數(shù)據(jù)倉庫,又叫信息倉庫,是一個面向主題的、集成的、非易失的且隨時間變化的數(shù)據(jù)集合,用來支持企業(yè)或組織決策分析的數(shù)據(jù)的集合。數(shù)據(jù)倉庫概念提出的意義主要在于建立一種數(shù)據(jù)存儲體系結(jié)構(gòu),把分散的、不利于訪問的數(shù)據(jù)轉(zhuǎn)換成集中、統(tǒng)一、隨時可用的信息,從而可以集成不同形式的數(shù)據(jù),并為數(shù)據(jù)分析產(chǎn)品提供系統(tǒng)開放性。數(shù)據(jù)倉庫為不同來源的數(shù)據(jù)提供一致的數(shù)據(jù)視圖,一旦與數(shù)據(jù)挖掘、聯(lián)機分析處理等數(shù)據(jù)分析方法相結(jié)合,就能使數(shù)據(jù)得到更充分的利用。

1.2 數(shù)據(jù)倉庫的結(jié)構(gòu)

數(shù)據(jù)倉庫是在原有關(guān)系型數(shù)據(jù)庫基礎(chǔ)上發(fā)展形成的,但不同于數(shù)據(jù)庫系統(tǒng)的組、織結(jié)構(gòu)形式,它從原有的業(yè)務(wù)數(shù)據(jù)庫中獲得的基本數(shù)據(jù)和綜合數(shù)據(jù)被分成一些不同的層次。一般數(shù)據(jù)倉庫的結(jié)構(gòu)組成如圖1所示。包括當(dāng)前基本數(shù)據(jù)(current detail data)、歷史基本數(shù)據(jù)(older detail data)、輕度綜合數(shù)據(jù)(lightly summarized data)、高度綜合數(shù)據(jù)(highly summarized data)和元數(shù)據(jù)(meta data)。

1) 當(dāng)前基本數(shù)據(jù):是最近時期的業(yè)務(wù)數(shù)據(jù),是數(shù)據(jù)倉庫用戶最感興趣的部分,數(shù)據(jù)量大。

2) 歷史基本數(shù)據(jù):來自當(dāng)前基本數(shù)據(jù),即當(dāng)前基本數(shù)據(jù)隨時間的推移,由數(shù)據(jù)倉庫的時間控制機制轉(zhuǎn)為歷史基本數(shù)據(jù),一般被轉(zhuǎn)存于一些轉(zhuǎn)換介質(zhì)中,如磁帶等。

3) 輕度綜合數(shù)據(jù):是從當(dāng)前基本數(shù)據(jù)中提取出來的,設(shè)計這層數(shù)據(jù)結(jié)構(gòu)時會遇到“綜合處理數(shù)據(jù)的時間段選取,綜合數(shù)據(jù)包含哪些數(shù)據(jù)屬性和內(nèi)容”等問題。

4) 高度綜合數(shù)據(jù)層:是最高一層,這一層的數(shù)據(jù)十分精練,是一種準(zhǔn)決策數(shù)據(jù)。

5) 元數(shù)據(jù):整個數(shù)據(jù)倉庫的組織結(jié)構(gòu)是由元數(shù)據(jù)來組織的,它不包含任何業(yè)務(wù)數(shù)

據(jù)庫中的實際數(shù)據(jù)信息。

1.3 數(shù)據(jù)倉庫系統(tǒng)

從概念上而言,數(shù)據(jù)倉庫系統(tǒng)包括數(shù)據(jù)倉庫(DW)、數(shù)據(jù)倉庫管理系統(tǒng)(DWMS)和數(shù)據(jù)倉庫工具集三大部分(如圖2)。

但數(shù)據(jù)倉庫并非一個簡單的由各種數(shù)據(jù)合并而成的超大型數(shù)據(jù)庫,而是一種專為聯(lián)機分析應(yīng)用和決策支持系統(tǒng)DSS提供數(shù)據(jù)源與決策工具的結(jié)構(gòu)化數(shù)據(jù)環(huán)境。它涉及數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載、數(shù)據(jù)存取、元數(shù)據(jù)管理、查詢、報表、分析工具及相應(yīng)的開發(fā)方法學(xué)。數(shù)據(jù)倉庫存儲的供查詢和決策分析用的集成化數(shù)據(jù)包括三個方面的基本功能:數(shù)據(jù)獲取、數(shù)據(jù)存儲和管理、信息訪問。它把領(lǐng)域內(nèi)相關(guān)的數(shù)據(jù)項收集、歸納、集成起來,解決了數(shù)據(jù)沖突、表達(dá)不一致等問題,面向復(fù)雜的數(shù)據(jù)分析—支持決策過程,可并行地提供實時的信息服務(wù)。因此,數(shù)據(jù)倉庫系統(tǒng)(DWS)由源數(shù)據(jù)、數(shù)據(jù)倉庫(Dw)及其管理系統(tǒng)(DWS)和分析工具三部分組成,它的應(yīng)用是一種典型的C/S結(jié)構(gòu),客戶端的工作包括客戶交互、格式化查詢及結(jié)果和報表生成等;服務(wù)器端完成各種輔助決策的SQL查詢、復(fù)雜的計算以及其它各種綜合功能。

2 運輸市場分析系統(tǒng)的建立

基于EDI信息的集裝箱運輸市場分析系統(tǒng)有三層結(jié)構(gòu)模式,即基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)管理層和分析應(yīng)用層?；A(chǔ)數(shù)據(jù)層即外部港航EDI數(shù)據(jù)庫,主要針對集裝箱運輸市場的EDI數(shù)據(jù),包括船舶信息、船公司信息、集裝箱信息、訂艙信息、運費信息、貨物信息、堆存信息等幾大類信息。數(shù)據(jù)管理層以數(shù)據(jù)倉庫作為應(yīng)用的基礎(chǔ),這種管理模式有利于克服傳統(tǒng)數(shù)據(jù)庫管理模式的不足,能夠高效、有序地管理龐大復(fù)雜的EDI數(shù)據(jù),又不影響系統(tǒng)的效率和數(shù)據(jù)庫的更新能力。分析應(yīng)用層則以集裝箱運輸市場分析的應(yīng)用平臺為主,主要進(jìn)行對集裝箱運輸市場統(tǒng)計分析的查詢服務(wù)。如下圖3所示:

因為港航EDI信息的數(shù)量非常之大,而且往往都是雜亂無章,有用信息與無用信息混合在一起,使得通過EDI獲得數(shù)據(jù)首先要經(jīng)過第一步的數(shù)據(jù)凈化,即先提取出有用信息,剔除無用甚至垃圾信息,再將干凈的數(shù)據(jù)裝載入數(shù)據(jù)倉庫之中。外界港航EDI提供的信息有船舶信息、集裝箱信息、港口信息、堆場信息以及提單信息等等。但其中對于集裝箱運輸市場分析有用的只有一部分,比如船期表(IFTSAL)中包含的船名代碼、船名、噸位、可載箱數(shù)等,集裝箱交接單(CTNJJD)中的箱號、箱尺寸、船名、航次等,這樣就需要先把這些信息進(jìn)行加工處理,必須先從數(shù)據(jù)庫中采集各類數(shù)據(jù),重整結(jié)構(gòu)后歸類存放于數(shù)據(jù)倉庫中,再根據(jù)各類數(shù)據(jù)的特性重新組合和調(diào)整這些數(shù)據(jù)。因此EDI數(shù)據(jù)的抽取、轉(zhuǎn)換和載入(ETL)可包括四個部分:

l) 抽取外界港航EDI數(shù)據(jù)庫中的有用數(shù)據(jù):船舶名稱、船舶公司名、船舶所屬航次、船舶離港日期、船舶離港地點、船舶載箱數(shù)、集裝箱箱重、尺寸、狀況、交貨港、卸貨港、中轉(zhuǎn)港、訂艙信息、拒絕訂艙信息、運費、集裝箱進(jìn)場日期、出廠日期等。對無用的數(shù)據(jù)進(jìn)行剔除:集裝箱殘損程度等。

2) 對抽取的數(shù)據(jù)進(jìn)行轉(zhuǎn)換,保證類型和結(jié)構(gòu)的統(tǒng)一,比如:日期和時間格式的統(tǒng)一等。

3) 把調(diào)整后的數(shù)據(jù)裝入數(shù)據(jù)倉庫:對從外界港航EDI數(shù)據(jù)庫中抽取、轉(zhuǎn)換的數(shù)據(jù)進(jìn)行分析、匯總、統(tǒng)計后載入集裝箱運輸市場數(shù)據(jù)倉庫。

4) 刷新數(shù)據(jù)倉庫中主題庫信息:以“市場規(guī)?！薄ⅰ笆袌龉┬琛?、“供需平衡”和“市場服務(wù)”為四大主題。

3 集裝箱運輸市場分析系統(tǒng)的實現(xiàn)

基于EDI信息的集裝箱運輸市場分析系統(tǒng)的實現(xiàn)以三層結(jié)構(gòu)模式的第三層,即分析應(yīng)用層為主。通過一個集裝箱運輸市場統(tǒng)計指標(biāo)查詢體系,使得用戶可以直接獲得集裝箱運輸市場的統(tǒng)計信息,使信息精簡、規(guī)范、清楚;系統(tǒng)開發(fā)的總體任務(wù)是使集裝箱運輸市場分析數(shù)量化。

以集裝箱運輸市場統(tǒng)計指標(biāo)用戶查詢作為集裝箱運輸市場分析模型應(yīng)用平臺的人機界面。主界面采用菜單形式,一共分為市場規(guī)模、供需情況、供需平衡和市場服務(wù)四個主菜單,然后分別加入開辟航線數(shù)、每月航班數(shù)、投入運力、當(dāng)年累計集裝箱進(jìn)出口箱量和市場運力集中度、運力結(jié)構(gòu)、分航線進(jìn)出口箱量及比重和船舶箱位利用率、不平衡系數(shù)、平均運價、船舶運力比重和平均箱重、分箱型比重、分箱種比重這十四個子菜單。本系統(tǒng)需要完成的功能主要即集裝箱運輸市場統(tǒng)計指標(biāo)的查詢,在集裝箱運輸市場統(tǒng)計指標(biāo)體系中包括了對市場規(guī)模、供需情況、供需平衡和市場服務(wù)四部分的查詢。

4 結(jié)束語

目前集裝箱運輸市場在EDI信息增值服務(wù)方面仍然存在著缺陷,比如:透明度不夠高、干擾信息過多等。該文就是針對干擾信息過多的缺陷,把重點放在如何進(jìn)一步提煉EDI信息使其增加實用性的問題上,對基于EDI信息的集裝箱運輸市場進(jìn)行分析研究。以市場供需關(guān)系為前提,從市場規(guī)模、供需狀況、供需平衡和市場服務(wù)四個方面考慮,分別建立了三套面向集裝箱運輸市場、集裝箱運輸企業(yè)和港口企業(yè)的集裝箱運輸市場指標(biāo)體系,并在此基礎(chǔ)上構(gòu)造了一個基于EDI信息的集裝箱運輸市場分析系統(tǒng),使得對EDI信息進(jìn)一步進(jìn)行提煉分析處理變成可能。

參考文獻(xiàn):

[1] 鄭廣,李建政,張義軍.應(yīng)用數(shù)據(jù)倉庫技術(shù)實現(xiàn)民航?jīng)Q策支持系統(tǒng)[J].計算機工程與應(yīng)用,2002,5:249-252.

[2] 王新洲,柳宗偉,陳順清.城市人口地理信息系統(tǒng)建設(shè)模式探討[J].武漢大學(xué)學(xué)報,2001,26(3):226-230.

[3] 徐濤.數(shù)據(jù)挖掘技術(shù)在綠化決策中的應(yīng)用[J].管理信息系統(tǒng),2000,(6):18-21.

[4] 馮建生,王秀芝.數(shù)據(jù)挖掘技術(shù)在寶鋼配礦系統(tǒng)中的應(yīng)用[J].計算機應(yīng)用與軟件,2001(3):24-26,39.