信息孤島解決之道——數(shù)據(jù)港口架構(gòu)理論初探

夏艷波，王 權(quán)

（大慶油田有限責任公司，黑龍江 大慶 163002）

1 困擾信息界的一個普遍問題

經(jīng)過多年的信息化建設(shè)，社會各個領(lǐng)域已經(jīng)建成十分龐大的數(shù)據(jù)體系和應(yīng)用體系，然而由于建設(shè)初期往往缺乏長遠的數(shù)據(jù)規(guī)劃和應(yīng)用規(guī)劃，數(shù)據(jù)和應(yīng)用的“孤島問題”日趨嚴重。近些年來，經(jīng)過規(guī)劃和再次建設(shè)，問題有所緩解，孤島數(shù)目可能減少了一些，但是回頭我們看一下，我們又造成了更大的孤島。

當今，業(yè)界人士尤其是奮戰(zhàn)在一線的電子政務(wù)和企業(yè)信息化建設(shè)人士普遍認為，已經(jīng)來臨的“智能”時代的主題和重點，將不再是信息系統(tǒng)建設(shè)本身，而是“數(shù)據(jù)”的全面整合升級，是數(shù)據(jù)應(yīng)用質(zhì)量和效率的大幅提升。數(shù)據(jù)整合升級的重點就是解決數(shù)據(jù)的共享問題，難點就是整合邏輯上歸屬于已建各個應(yīng)用系統(tǒng)的數(shù)據(jù)。

目前普遍在系統(tǒng)集成中遇到的現(xiàn)象就和最初航運遇到的問題一樣。系統(tǒng)之間相互訪問，其間的關(guān)系復(fù)雜密集成網(wǎng)。通過適配器等模式的點到點互訪使整個巨系統(tǒng)變得越來越復(fù)雜，耦合程度越來越緊，系統(tǒng)負載越來越重。

在長期的信息系統(tǒng)應(yīng)用建設(shè)和開發(fā)中發(fā)現(xiàn)，大部分數(shù)據(jù)供應(yīng)用系統(tǒng)內(nèi)部使用，只有一部分數(shù)據(jù)涉及與外部應(yīng)用系統(tǒng)進行交互，就像貿(mào)易流通只涉及一部分商品一樣。這些用于交互的數(shù)據(jù)才是關(guān)鍵。那么，我們通過建立一種機制解決這些數(shù)據(jù)的順暢交互問題，也就解決了整個信息巨系統(tǒng)中的孤島問題。

2 物流運輸業(yè)兩大變革的啟示

早期由于貨物運輸?shù)陌b形狀、大小各異，一大部分時間用于裝卸和擺放，空間利用效率和運輸效率十分低下。

美國貨車司機馬爾科姆·麥克萊恩，在1946年研制發(fā)明集裝箱運輸貨物獲得成功，后被廣泛應(yīng)用于汽車、鐵路、輪船和飛機運輸。此發(fā)明減少了貨物在港口的滯留時間，將國際貨物的運輸效率提升了4～5倍，使得遠洋貿(mào)易極大發(fā)展并產(chǎn)生了巨大的變革。集裝箱的成功和廣泛應(yīng)用得益于它的標準化功能。

最早期的貨物運輸大多采用點到點的運輸方式，運輸線路紛繁復(fù)雜，效率和成本一度成為國際貿(mào)易的瓶頸。港口的出現(xiàn)，尤其是集裝港口，縮短了各種貿(mào)易的運輸時間和運輸?shù)穆烦?，極大地提高了貿(mào)易往來的效率?，F(xiàn)代化港口作為“物流中心”，其強大的集散功能帶動了整個世界經(jīng)濟貿(mào)易的發(fā)展。

3 “自標準數(shù)據(jù)”及體系運行原則

通過類比，我們找到了信息世界的集裝箱及其內(nèi)裝貨物，即“自標準數(shù)據(jù)”。“自標準數(shù)據(jù)”是大慶油田早在1998年提出的，現(xiàn)已被業(yè)界廣泛認可并處于深入研究發(fā)展之中。從其定義與體系運行原則來看，“自標準”的概念與貨物運輸業(yè)中廣泛使用的集裝箱極其類似。

自標準數(shù)據(jù)（Self-Standard Data，SSD）即自帶標準或格式說明的數(shù)據(jù)體。

自標準是一套信息資源整合（IRI）的技術(shù)標準體系框架。包括數(shù)據(jù)自治域 （Data Autonomous Domain）的數(shù)據(jù)標準（Data Standards）、自治域之間數(shù)據(jù)交換標準（Data Exchange Standards）以及數(shù)據(jù)交換服務(wù)協(xié)議（Data Exchange Service Protocol）。其中，數(shù)據(jù)交換服務(wù)協(xié)議規(guī)定了自標準數(shù)據(jù)元數(shù)據(jù)獲取方式和數(shù)據(jù)獲取方式，為得到數(shù)據(jù)后按元數(shù)據(jù)（標準）識別、使用數(shù)據(jù)提供了依據(jù)。

自標準數(shù)據(jù)體系運行原則：開放、自治、簡單和集中管理。

3.1 開放原則

包括標準開放、平臺開放和技術(shù)開放等。具有開放性的思想和理論才具備可傳播性、可操作性和廣泛應(yīng)用性。開放的系統(tǒng)能夠容納更大的業(yè)務(wù)和技術(shù)復(fù)雜度，易于傳播和集成。

3.2 自治原則

自標準數(shù)據(jù)在一定的自治域內(nèi)有效。數(shù)據(jù)自治域有別于特定的某一信息系統(tǒng)，是某一應(yīng)用實體，如一個基層單位、一個部門、一個分公司甚至一個集團。只有這樣，才能有效避免數(shù)據(jù)在語義上產(chǎn)生歧義而造成數(shù)據(jù)混亂。

3.3 簡單原則

在復(fù)雜的應(yīng)用場景中被廣泛使用的規(guī)則必須具備簡單性，太復(fù)雜的規(guī)則即使具有開放性也難以被廣泛應(yīng)用。簡單規(guī)則可以讓規(guī)則本身僅關(guān)注核心的部分。TCP／IP協(xié)議族最終戰(zhàn)勝其他多種復(fù)雜協(xié)議成為當今互聯(lián)網(wǎng)的基本協(xié)議，就是因為它本身并不復(fù)雜又能夠恰到好處地解決網(wǎng)絡(luò)的核心問題。

3.4 集中管理原則

雖然數(shù)據(jù)是分散、自治的，但要有數(shù)據(jù)集中統(tǒng)一管理機制。集中管理能夠讓分散的數(shù)據(jù)運作高效而統(tǒng)一。集中管理能夠為分散的數(shù)據(jù)提供統(tǒng)一的資源尋址、目錄檢索、數(shù)據(jù)推送以及垃圾回收等服務(wù)。

4 數(shù)據(jù)港口運行機制

類比研究現(xiàn)實世界中的港口及其運行機制，提出 “數(shù)據(jù)港口”的概念。

“數(shù)據(jù)港口”（Data Harbor）是獨立于現(xiàn)有信息系統(tǒng)之外，以“自標準數(shù)據(jù)”為交互單元，在數(shù)據(jù)提供者和數(shù)據(jù)交換者之間，提供數(shù)據(jù)集裝、存儲、解析和配送應(yīng)用的一整套數(shù)據(jù)服務(wù)機制。多個數(shù)據(jù)港口之間具有互信和調(diào)度機制，并行完成整個數(shù)據(jù)體系的交互過程。

4.1 數(shù)據(jù)提供者（Supplier）和數(shù)據(jù)消費者（Consumer）

與港口交換數(shù)據(jù)的應(yīng)用程序，根據(jù)交互方向不同，稱之為數(shù)據(jù)提供者（Supplier）和數(shù)據(jù)消費者（Consumer）。

數(shù)據(jù)提供者將自標準數(shù)據(jù)提交到數(shù)據(jù)港口，數(shù)據(jù)消費者到數(shù)據(jù)港口按照數(shù)據(jù)的自標準解讀并使用數(shù)據(jù)。

一個應(yīng)用程序既可以是數(shù)據(jù)提供者，也可以是數(shù)據(jù)消費者，當然也可同時擔當兩種角色。

數(shù)據(jù)港口，數(shù)據(jù)供應(yīng)者和數(shù)據(jù)消費者避免了直接交換數(shù)據(jù)，互相之間可以不必了解細節(jié)，只需按照港口的規(guī)則提交數(shù)據(jù)和獲取數(shù)據(jù)即可。

圖1 數(shù)據(jù)港口運行機制圖

4.2 入港與出港

數(shù)據(jù)供應(yīng)者和數(shù)據(jù)消費者通過港口提供的自標準SDK與數(shù)據(jù)港口進行交流。數(shù)據(jù)供應(yīng)者將數(shù)據(jù)通過自標準SDK轉(zhuǎn)變?yōu)樽詷藴式Y(jié)構(gòu)提交到港內(nèi)，此過程為入港；數(shù)據(jù)消費者根據(jù)自標準結(jié)構(gòu)解析出自己所需數(shù)據(jù)進行應(yīng)用，此過程為出港。

4.3 港務(wù)管理

港內(nèi)實現(xiàn)對各類數(shù)據(jù)資源、標準資源和服務(wù)資源的統(tǒng)一管理，包括數(shù)據(jù)解析、標準適配、安全認證等服務(wù)，完成港口調(diào)度、泊位管理和權(quán)限分配。

港口另外提供自標準數(shù)據(jù)目錄索引和搜索引擎，以協(xié)助用戶（程序）快速檢索到所需數(shù)據(jù)資源。

4.4 數(shù)據(jù)碼頭

港內(nèi)的數(shù)據(jù)碼頭根據(jù)數(shù)據(jù)的類型和匹配的自標準對數(shù)據(jù)完成封裝、存儲以及相關(guān)的管理任務(wù)。

各類不同的自標準數(shù)據(jù)根據(jù)需要將存放在不同的數(shù)據(jù)碼頭當中。

4.5 航道管理

一個應(yīng)用實體（單位、公司、集團或政府部門）內(nèi)可以存在多個數(shù)據(jù)港口。第一個創(chuàng)建的數(shù)據(jù)港口自動成為母港口，由母港口可以創(chuàng)建生成多個子港口。各港口與數(shù)據(jù)的自治域無關(guān)，數(shù)據(jù)的自治由各港口內(nèi)部提供的機制完成。

母港口具有航道管理功能，負責管理多個子港口以及其他應(yīng)用實體外部港口的港間互信連接以及數(shù)據(jù)交互協(xié)調(diào)工作。

5 應(yīng)用實例

2013年底，“大慶油田生產(chǎn)經(jīng)營管理輔助決策系統(tǒng)（DQMDS）”立項并開始研發(fā)。目標就是通過系統(tǒng)開發(fā)和集成，打破各應(yīng)用系統(tǒng)界限，突破信息孤島問題，建立統(tǒng)一生產(chǎn)經(jīng)營管理辦公平臺，為大慶油田各級管理層和決策層提供管理依據(jù)和決策參考。

DQMDS系統(tǒng)功能涉及生產(chǎn)管理、經(jīng)營管理和決策支持的各個領(lǐng)域，幾乎涵蓋了各級機關(guān)和管理人員的所有業(yè)務(wù)，通過工作門戶、流程中心、數(shù)據(jù)中心和交流中心為用戶（微機、平板電腦、手機終端）提供服務(wù)，目標用戶總量達到5萬余人，系統(tǒng)十分龐雜。DQMDS系統(tǒng)的底層數(shù)據(jù)大多來自已建系統(tǒng)，共涉及中石油統(tǒng)建系統(tǒng)59個、大慶油田自建系統(tǒng)85個。各個系統(tǒng)建設(shè)于不同時期，地理位置各自不同，采用的技術(shù)五花八門，數(shù)據(jù)庫類型紛繁多樣。項目組系統(tǒng)研發(fā)人員通過學習，將“自標準數(shù)據(jù)”思想和“數(shù)據(jù)港口”架構(gòu)作為指導理論，圓滿地解決了整個巨系統(tǒng)的數(shù)據(jù)交換與集成問題?，F(xiàn)已完成系統(tǒng)前期設(shè)計，正在全力研發(fā)當中。

6 結(jié)束語

“數(shù)據(jù)港口”服務(wù)架構(gòu)，作為眾多信息系統(tǒng)間的數(shù)據(jù)交換中心，將自標準作為其間的“集裝箱”使用，使整個系統(tǒng)關(guān)聯(lián)變成了松耦合，系統(tǒng)之間關(guān)系和狀態(tài)清晰可見，信息孤島將無障礙聯(lián)通，信息應(yīng)用效率將大幅提升，信息化建設(shè)成本也將大幅下降?！白詷藴蕯?shù)據(jù)”和“數(shù)據(jù)港口”技術(shù)對于有效地解決企業(yè)內(nèi)外多專業(yè)、多學科間復(fù)雜的數(shù)據(jù)交換、集成和共享問題具有深遠意義，特別是對大數(shù)據(jù)交換也具有很好的應(yīng)用價值。

本文針對解決“信息孤島”問題所提出的“數(shù)據(jù)港口”概念及其運行機制，只是給出了基本架構(gòu)思路，僅僅是初步的設(shè)想，可能還存在很多缺陷，還需要在實踐中檢驗和不斷完善，希望能夠?qū)氖逻@方面研究的專家、學者，以及從事企業(yè)和政務(wù)信息化實踐的管理人員和技術(shù)人員有所啟發(fā)。本文闡述的基本觀點和內(nèi)容是在大慶油田有限責任公司信息中心王權(quán)主任的啟發(fā)和指導下形成的，在此深表謝意。