基于自標準的多源數(shù)據(jù)一體化方法研究

王月龍　王梅　高雅田　孫鶯萁

【 摘 要 】 大數(shù)據(jù)是現(xiàn)代信息技術(shù)的重要發(fā)展方向之一，實現(xiàn)大數(shù)據(jù)的共享和分析將帶來不可估量的經(jīng)濟價值，同時也對社會產(chǎn)生巨大的推動作用。但是由于應(yīng)用數(shù)據(jù)缺乏解析的標準而無法很好地實現(xiàn)信息共享。論文介紹了通過自標準數(shù)據(jù)解決數(shù)據(jù)共享的問題，利用自定義數(shù)據(jù)標準的方式實現(xiàn)數(shù)據(jù)的解析和共享，通過建立自標準數(shù)據(jù)模式、開發(fā)自定義標準支撐模型、研究自標準數(shù)據(jù)的定義過程、為應(yīng)用端預留的功能來解決數(shù)據(jù)共享的難題。

【 關(guān)鍵詞 】 大數(shù)據(jù)；自標準；一體化；數(shù)據(jù)共享

【 中圖分類號 】 P208 【 文獻標識碼 】 A

【 Abstract 】 Big data has been an important development direction of modern information technology. It will bring immeasurable economic value with analyzing and sharing the data， and it also have a huge boost to society.However the data can not be shared very well because of the using of data is a lack of analysable standard.In order to solve the problem of data sharing， we create the model of the sef-standard of data definition and develop the model support of the custom standard of data definition and study the process of the definition about data.Eventually we reserved some functionality for application.

【 Keywords 】 big data； sef-standard；integration； data sharing

1 引言

經(jīng)過多年的信息化建設(shè)，在社會各個領(lǐng)域已經(jīng)建成十分龐大的數(shù)據(jù)體系和應(yīng)用體系，然而由于建設(shè)初期往往缺乏長遠的數(shù)據(jù)規(guī)劃和應(yīng)用規(guī)劃，數(shù)據(jù)和應(yīng)用的“孤島問題”日趨嚴重?，F(xiàn)階段隨著大數(shù)據(jù)、分布式應(yīng)用的蓬勃發(fā)展，已經(jīng)來臨的“智能”時代的主題和重點，將不再是信息系統(tǒng)建設(shè)本身，而是“數(shù)據(jù)”的全面整合升級，更是數(shù)據(jù)應(yīng)用質(zhì)量和效率的大幅提升。重點就是解決數(shù)據(jù)的共享問題，難點就是整合邏輯上歸屬于已建各個應(yīng)用系統(tǒng)的數(shù)據(jù)。

采用何種方法解決共享問題，進行數(shù)據(jù)集成，很多學者對多源數(shù)據(jù)進行分析，如王榮等人提出數(shù)字化油田多元數(shù)據(jù)一體化應(yīng)用技術(shù)，通過集成數(shù)據(jù)管理實現(xiàn)油田數(shù)據(jù)的規(guī)范和統(tǒng)一性。劉文龍等人基于地理信息系統(tǒng)建設(shè)思想對測井數(shù)據(jù)管理系統(tǒng)進行了設(shè)計，實現(xiàn)了對測井多源數(shù)據(jù)管理?；亓值忍岢龆嘣葱畔⑷诤戏椒ǎ嘣葱畔⑷诤戏椒òńy(tǒng)一標識、數(shù)據(jù)比對、異構(gòu)加權(quán)等一系列過程以及多種分析建模方法。徐為雄和于江等設(shè)計并實現(xiàn)了多源空間數(shù)據(jù)的集成管理平臺，解決異構(gòu)數(shù)據(jù)的集成問題。袁滿等提出“自1標準”思想，通過自標準與標準結(jié)合，滿足復雜的數(shù)據(jù)共享需求。同時，受航運物流業(yè)務(wù)的啟示，提出了數(shù)據(jù)港口的思想，通過自標準數(shù)據(jù)與數(shù)據(jù)港口技術(shù)架構(gòu)可以實現(xiàn)對自標準數(shù)據(jù)的有效交換與共享。給出了自標準數(shù)據(jù)的定義、產(chǎn)生的背景，并且定義了利用自標準數(shù)據(jù)與數(shù)據(jù)港口實現(xiàn)數(shù)據(jù)共享管理及應(yīng)用的技術(shù)架構(gòu)，認為自標準數(shù)據(jù)具有自治性、自描述性、自組織性以及進化性等，它是公共數(shù)據(jù)交換標準的一個重要補充。

由于信息系統(tǒng)建設(shè)初期，統(tǒng)一標準往往沒有建立，提供者按照統(tǒng)一標準重新定義數(shù)據(jù)造成巨大的工作量，并且所描述數(shù)據(jù)往往又不符合應(yīng)用者的需求。因此，提出應(yīng)用元模型技術(shù)讓提供者按照自己的格式提供數(shù)據(jù)，還要包含這些數(shù)據(jù)的格式。這樣，這些數(shù)據(jù)就成為了“自標準數(shù)據(jù)”。將數(shù)據(jù)應(yīng)用實體從傳統(tǒng)繁瑣的數(shù)據(jù)標準中解放出來。通過建立一種數(shù)據(jù)自建標準的機制解決這些數(shù)據(jù)的順暢交互問題，也就解決了整個信息巨系統(tǒng)中的孤島問題。通過自定義數(shù)據(jù)標準可以很好的解決這個問題。

2 自標準數(shù)據(jù)模式

自標準數(shù)據(jù)模式是是業(yè)務(wù)數(shù)據(jù)建立的規(guī)范和準則，對于自標準數(shù)據(jù)模式的研究主要涉及自定義標準框架、表達形式、管理方式三個方面。

自定義標準框架中包括數(shù)據(jù)類型、數(shù)據(jù)類別、數(shù)據(jù)表現(xiàn)形式、數(shù)據(jù)關(guān)系以及數(shù)據(jù)取值類型。數(shù)據(jù)的存儲方式多種多樣，可以是數(shù)據(jù)庫類型的存儲方式，也可以是數(shù)據(jù)文件的方式。自標準數(shù)據(jù)可以描述任何一個行業(yè)的數(shù)據(jù)，不同行業(yè)的數(shù)據(jù)有不同的特點，因此需要根據(jù)行業(yè)的數(shù)據(jù)特點來描述數(shù)據(jù)，不同類型的數(shù)據(jù)所表現(xiàn)內(nèi)容的方式不同。數(shù)據(jù)主體之間的關(guān)系具有很大的多樣性與復雜性。不同的數(shù)據(jù)源有各自描述數(shù)據(jù)取值類型的方式。

數(shù)據(jù)自定義標準的表達形式的研究主要完成框架中主要建模元素和元素直接的關(guān)系的描述問題。首先，需要考慮的是框架內(nèi)容的形式化表達工作；其次，在形式化表達的基礎(chǔ)上，實現(xiàn)能夠支持并且方便信息計算的表達模型?，F(xiàn)階段，XML技術(shù)成為各種標準的流行定義語言，可以作為框架元素的定義工具。將XML作為基本的工具，建立自標準數(shù)據(jù)的固有表達體系，研究建模元素和各個元素之間的關(guān)系，是表達形式的研究重點。

自標準數(shù)據(jù)包括數(shù)據(jù)本身和數(shù)據(jù)自定義的標準，數(shù)據(jù)自定義標準的創(chuàng)建、存儲、刪除、修改等過程是在自定義數(shù)據(jù)標準基礎(chǔ)上的完整操作過程。但為了完成自定義數(shù)據(jù)標準工作，需要采用計算機技術(shù)來解決數(shù)據(jù)標準的創(chuàng)建和維護。因此，可以采用建立管理元模型的方法來實現(xiàn)自定義標準的管理工作。

3 自定義標準的支撐模型

自定義標準的支撐模型完成自定義標準數(shù)據(jù)與數(shù)據(jù)應(yīng)用方的交互。支撐模型的研究包括自定義標準數(shù)據(jù)的解析機制、自定義標準數(shù)據(jù)的交互方式、自定義標準數(shù)據(jù)適配器的研究、自標準數(shù)據(jù)的運行邊界等幾方面。

對于自標準數(shù)據(jù)的解析工作無非就是完成數(shù)據(jù)之間的轉(zhuǎn)換，對于任何數(shù)據(jù)轉(zhuǎn)換操作來說解析機制都可以分為讀取數(shù)據(jù)交換的標準信息、讀取源數(shù)據(jù)、建立目標數(shù)據(jù)的中間存儲結(jié)構(gòu)及由中間存儲結(jié)構(gòu)向目標數(shù)據(jù)轉(zhuǎn)移等四個步驟。

自標準很好的描述了自治數(shù)據(jù)，但是數(shù)據(jù)應(yīng)用方需要了解自標準的設(shè)計內(nèi)容。數(shù)據(jù)提供方需要對自標準數(shù)據(jù)提供相應(yīng)的描述，以契約的方式將數(shù)據(jù)的信息進行公布，包括數(shù)據(jù)的自身結(jié)構(gòu)、數(shù)據(jù)的類型、數(shù)據(jù)的特點和數(shù)據(jù)解讀的標準等信息。數(shù)據(jù)應(yīng)用方通過對數(shù)據(jù)契約的解讀來充分了解數(shù)據(jù)的特點，從而達到自標準數(shù)據(jù)對于數(shù)據(jù)應(yīng)用方的很好適用。

由于應(yīng)用數(shù)據(jù)的多樣性，自標準數(shù)據(jù)為數(shù)據(jù)的解析預留了應(yīng)用輸出類型的接口，通過不同的數(shù)據(jù)交換標準信息可以開發(fā)不同的數(shù)據(jù)適配組件，在實現(xiàn)的過程中如果有未考慮到的數(shù)據(jù)管理技術(shù)可以通過后期開發(fā)相應(yīng)的數(shù)據(jù)適配組件來完成適配。

從數(shù)據(jù)安全與操作安全角度考慮，在自定義標準數(shù)據(jù)的解析過程中，不允許應(yīng)用端直接與自定義標準數(shù)據(jù)進行交互，即使應(yīng)用終端與自定義標準數(shù)據(jù)在同一臺機器工作也不可以直接交互。應(yīng)用終端必須通過數(shù)據(jù)交換標準信息體現(xiàn)自己對于數(shù)據(jù)的需求，并且通過數(shù)據(jù)操作代理訪問自定義標準數(shù)據(jù)，即數(shù)據(jù)操作代理持有和自定義標準數(shù)據(jù)相同的數(shù)據(jù)結(jié)構(gòu)，代理公開的數(shù)據(jù)結(jié)構(gòu)與自定義標準數(shù)據(jù)相同，并且可以獲知應(yīng)用需求的數(shù)據(jù)結(jié)構(gòu)。

4 自標準數(shù)據(jù)定義的標準過程

為了實現(xiàn)完整、可理解的數(shù)據(jù)自標準定義，自標準數(shù)據(jù)的定義必須要遵守標準化過程。在完善自定義標準工作的過程研究基礎(chǔ)上，建立過程元模型、表達自定義數(shù)據(jù)標準的標準過程。自標準數(shù)據(jù)主要是完成由源數(shù)據(jù)向目標數(shù)據(jù)遷移的過程，無論源數(shù)據(jù)與目標數(shù)據(jù)有著怎樣的差別，最終都可以通過幾項規(guī)范化的步驟來完成。

（1）定義數(shù)據(jù)類型（數(shù)據(jù)庫的數(shù)據(jù)表、數(shù)據(jù)文件）；

（2）定義數(shù)據(jù)類別（三次采油數(shù)據(jù)、勘探數(shù)據(jù)、掃描信息數(shù)據(jù)）；

（3）定義數(shù)據(jù)描述的內(nèi)容（生產(chǎn)狀況、井壁取芯、巖心圖形外表面、三次采油量）；

（4）定義數(shù)據(jù)特征（井號、井別、井字、含油率、含水率）；

（5）每個特征賦予其取值類型（數(shù)值型、日期型、大字段）；

（6）定義源數(shù)據(jù)與目標數(shù)據(jù)的標準關(guān)系（一對一、一對多）。

自標準數(shù)據(jù)的最終目標是應(yīng)用，因此，自標準體系的建立需要為應(yīng)用段預留一系列協(xié)議族，實現(xiàn)支持相應(yīng)協(xié)議的部件可以自動加入自標準數(shù)據(jù)的應(yīng)用處理過程。由于對于不同的應(yīng)用端來說，對于數(shù)據(jù)的處理要求并不是完全相同的，因此，為不同的應(yīng)用端預留出相應(yīng)的功能就變得十分必要了。在實際應(yīng)用中，預留功能往往是通過預留相應(yīng)的接口來提供相應(yīng)特殊功能的使用。

對于自標準數(shù)據(jù)的最終應(yīng)用需要通過數(shù)據(jù)容器來完成，應(yīng)用方和提供方的交互是通過數(shù)據(jù)容器來完成的。數(shù)據(jù)容器中包括四大部分，數(shù)據(jù)入口、通道管理、數(shù)據(jù)定位、I/O管理，如圖1所示。數(shù)據(jù)提供著將自標準數(shù)據(jù)通過數(shù)據(jù)入口送入數(shù)據(jù)容器，數(shù)據(jù)根據(jù)相應(yīng)的信息定位到數(shù)據(jù)存放的位置，數(shù)據(jù)應(yīng)用方通過通道和I/0處理的方式獲取數(shù)據(jù)并根據(jù)數(shù)據(jù)自帶的標準信息進行解析和使用。

5 結(jié)束語

大數(shù)據(jù)是現(xiàn)代信息技術(shù)的重要發(fā)展方向之一，實現(xiàn)大數(shù)據(jù)的共享和分析將帶來不可估量的經(jīng)濟價值，同時也對社會產(chǎn)生巨大的推動作用。在大數(shù)據(jù)時代，對大數(shù)據(jù)進行統(tǒng)一表示，實現(xiàn)大數(shù)據(jù)處理、查詢、分析和可視化是亟需解決的關(guān)鍵問題。但是由于數(shù)據(jù)往往缺乏一種很好的定義和解析的標準使得數(shù)據(jù)共享變得十分困難，通過自定義數(shù)據(jù)標準可以很好的解決這種問題。目前，自標準數(shù)據(jù)還只是一個定義，還沒有得到更廣泛的應(yīng)用，技術(shù)上可能還需要繼續(xù)探索。通過本文的介紹可以清晰的認識到自標準數(shù)據(jù)在應(yīng)用上的好處，通過這種手段可以很好的解決目前的數(shù)據(jù)共享上的難題。

參考文獻

[1] 王榮，張紅.數(shù)字化油田中多源數(shù)據(jù)的一體化應(yīng)用[J].儀表電信. 2015，34（2）：30-31.

[2] 劉文龍，陳園園.石油測井多源數(shù)據(jù)管理平臺設(shè)計與系統(tǒng)實現(xiàn)[J]. 測繪，2014，37（2）：72-76.

[3] 化柏林，李廣建.大數(shù)據(jù)環(huán)境下多源信息融合的理論與應(yīng)用探討[J]. 圖書情報工作，2015，59（16）：5-10

[4] 徐為雄，佘江峰，陳景廣.基于元數(shù)據(jù)的多源空間數(shù)據(jù)集成平臺研究與設(shè)計[J].江西農(nóng)業(yè)學報，2012，24（7）：136-139

[5] 于江. 多源分布式數(shù)據(jù)集成一體化更新策略研究[J].科技技術(shù)應(yīng)用.

[6] 袁滿，王權(quán)，夏艷波，張彥國，黃剛.自標準數(shù)據(jù)研究及其在數(shù)據(jù)交換中的應(yīng)用[J].吉林大學學報，2016，46（1）：277-283.

[7] 袁滿，王丹丹，翟紅翠.基于自標準數(shù)據(jù)和數(shù)據(jù)港口架構(gòu)的數(shù)據(jù)共享技術(shù)[J].東北石油大學學報，2015，39（4）：103-109.

基金項目：

黑龍江省大學生創(chuàng)新創(chuàng)業(yè)訓練計劃項目（201510220047）。

作者簡介：

王月龍（1990-），男，漢族，黑龍江哈爾濱人，畢業(yè)于東北石油大學，本科；主要研究方向和關(guān)注領(lǐng)域：數(shù)據(jù)集成。

王梅（1976-），女，漢族，河北安國人，畢業(yè)于天津大學，博士，碩士導師，副教授；主要研究方向和關(guān)注領(lǐng)域：機器學習。

高雅田（1979-），女，漢族，黑龍江大慶人，畢業(yè)于東北石油大學，博士，講師；主要研究方向和關(guān)注領(lǐng)域：數(shù)據(jù)挖掘。

孫鶯萁（1991-），女，黑龍江大慶人，畢業(yè)于東北石油大學，碩士；主要研究方向和關(guān)注領(lǐng)域：數(shù)據(jù)挖掘。