遼寧省交通行業(yè)數(shù)據(jù)管控平臺(tái)設(shè)計(jì)與開(kāi)發(fā)的研究

王菁++劉春來(lái)

摘 要： 完善數(shù)據(jù)管控在交通行業(yè)的應(yīng)用是遼寧省交通信息化建設(shè)面對(duì)的一個(gè)大問(wèn)題。以遼寧省交通行業(yè)為研究背景，結(jié)合相關(guān)數(shù)據(jù)規(guī)范，建立了省交通行業(yè)數(shù)據(jù)資源管控平臺(tái)。根據(jù)實(shí)際應(yīng)用的要求，將該平臺(tái)劃分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫(kù)管理和系統(tǒng)管理四部分，研討了各部分的功能。結(jié)合遼寧省交通行業(yè)實(shí)際，解決數(shù)據(jù)管理與控制的問(wèn)題，從而整體提升數(shù)據(jù)管理水平，促進(jìn)信息化健康發(fā)展。

關(guān)鍵詞： 數(shù)據(jù)管控； 交通行業(yè)； 元數(shù)據(jù)； 數(shù)據(jù)質(zhì)量

中圖分類(lèi)號(hào)：TP315 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2017）02-20-04

0 引言

遼寧省初步實(shí)現(xiàn)公路管理、水路運(yùn)輸、道路運(yùn)輸?shù)刃袠I(yè)信息資源的應(yīng)用。但由于信息化應(yīng)用中很多業(yè)務(wù)系統(tǒng)在建設(shè)之初沒(méi)有遵循數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范進(jìn)行設(shè)計(jì)，以及承建廠商技術(shù)實(shí)力、管理能力差異等，使得現(xiàn)階段的行業(yè)數(shù)據(jù)資源存在著較多質(zhì)量問(wèn)題，行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化的深入應(yīng)用面臨困境。因此，加強(qiáng)行業(yè)數(shù)據(jù)管控，提升行業(yè)信息資源數(shù)據(jù)管理，成為現(xiàn)階段亟待解決的問(wèn)題。本文基于交通運(yùn)輸部交通信息數(shù)據(jù)標(biāo)準(zhǔn)，以遼寧交通行業(yè)實(shí)際情況，制訂了遼寧省地方交通行業(yè)數(shù)據(jù)規(guī)范與制度；建立統(tǒng)一數(shù)據(jù)資源管控平臺(tái)，實(shí)現(xiàn)行業(yè)數(shù)據(jù)資源的管理、控制與共享。

1 需求分析

本項(xiàng)目為了順利完成遼寧省交通行業(yè)數(shù)據(jù)質(zhì)量管控平臺(tái)開(kāi)發(fā)任務(wù)，通過(guò)前期詳細(xì)的需求調(diào)研，對(duì)現(xiàn)有和在建的全省各業(yè)務(wù)系統(tǒng)做了全面的摸底調(diào)查，了解各系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)采集、數(shù)據(jù)應(yīng)用方式等，在此基礎(chǔ)上，對(duì)分散在交通行業(yè)各部門(mén)的數(shù)據(jù)資源進(jìn)行梳理，并按照統(tǒng)一的規(guī)范進(jìn)行分級(jí)分類(lèi)和標(biāo)準(zhǔn)化，形成符合應(yīng)用需要的交通行業(yè)數(shù)據(jù)資源管控的實(shí)際功能需求，具體如下。

⑴ 利用交通部交通信息數(shù)據(jù)元標(biāo)準(zhǔn)及我省相關(guān)地方規(guī)范等，實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)元數(shù)據(jù)檢測(cè)、版本管理，作為數(shù)據(jù)質(zhì)量管控的主要依據(jù)。

⑵ 結(jié)合行業(yè)數(shù)據(jù)資源現(xiàn)狀和管理分級(jí)分類(lèi)的要求，建立省數(shù)據(jù)資源目錄體系，快速精確查詢(xún)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)結(jié)構(gòu)及其字段的定義內(nèi)容，為省數(shù)據(jù)資源體系奠定基礎(chǔ)。

⑶ 以交通部相關(guān)標(biāo)準(zhǔn)及地方規(guī)范等，進(jìn)行數(shù)據(jù)質(zhì)量治理，對(duì)現(xiàn)有已接入我省各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)資源質(zhì)量狀況進(jìn)行剖析和評(píng)估，形成數(shù)據(jù)質(zhì)量報(bào)告。

⑷ 依托于數(shù)據(jù)管控平臺(tái)，實(shí)現(xiàn)對(duì)于我省現(xiàn)有數(shù)據(jù)資源進(jìn)行監(jiān)控分析。

2 系統(tǒng)設(shè)計(jì)

為實(shí)現(xiàn)對(duì)行業(yè)數(shù)據(jù)資源相應(yīng)的管理手段，形成完整的交通行業(yè)數(shù)據(jù)管控體系。數(shù)據(jù)管控平臺(tái)設(shè)計(jì)縱向分為獲取層、資源層、功能層、應(yīng)用層，平臺(tái)系統(tǒng)功能架構(gòu)如圖1所示。

⑴ 獲取層

獲取層位于整個(gè)體系架構(gòu)的最底層，元數(shù)據(jù)獲取層抽象概括了元數(shù)據(jù)獲取的各種途徑。業(yè)務(wù)和管理元數(shù)據(jù)通常以手工方式獲??；技術(shù)元數(shù)據(jù)覆蓋數(shù)據(jù)源系統(tǒng)以及我省各業(yè)務(wù)系統(tǒng)數(shù)據(jù)的整個(gè)生命周期，要求以自動(dòng)方式獲取，如數(shù)據(jù)字典和數(shù)據(jù)模型等。

⑵ 資源層

資源層定義了元數(shù)據(jù)存儲(chǔ)所遵循的元模型，規(guī)范從獲取層得到的各類(lèi)元數(shù)據(jù)的屬性要求和存儲(chǔ)格式要求，包括業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)和管理元數(shù)據(jù)。

⑶ 功能層

功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐，包括元數(shù)據(jù)管理維護(hù)、元數(shù)據(jù)權(quán)限管理、元數(shù)據(jù)分析應(yīng)用、剖析與驗(yàn)證規(guī)則管理、質(zhì)量評(píng)估模型管理、質(zhì)量報(bào)告生成管控日志管理等。

⑷ 應(yīng)用層

在功能層的支持下，應(yīng)用層通過(guò)調(diào)用功能層的功能，對(duì)質(zhì)量管控的實(shí)際問(wèn)題提供應(yīng)用解決方案，包括元數(shù)據(jù)人工登記、元數(shù)據(jù)服務(wù)、數(shù)據(jù)源管理、剖析與驗(yàn)證過(guò)程監(jiān)控、質(zhì)量報(bào)告生成發(fā)布、系統(tǒng)管控告警等。

為達(dá)到省交通廳現(xiàn)階段數(shù)據(jù)管控的要求，系統(tǒng)實(shí)現(xiàn)的功能需求，分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫(kù)管理和系統(tǒng)管理等大部分。

3 系統(tǒng)環(huán)境

3.1 系統(tǒng)開(kāi)發(fā)環(huán)境

該平臺(tái)將采用基于J2EE的體系在ORACLE數(shù)據(jù)庫(kù)上進(jìn)行開(kāi)發(fā)，運(yùn)用BS架構(gòu)的前段展示界面加CS架構(gòu)的后臺(tái)任務(wù)支撐相結(jié)合的方式。后臺(tái)管控平臺(tái)將使用數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)，所有管控平臺(tái)業(yè)務(wù)層面所涉及到的數(shù)據(jù)分析都將基于數(shù)據(jù)交換臺(tái)進(jìn)行開(kāi)發(fā)。而管控平臺(tái)本身則負(fù)責(zé)對(duì)所有任務(wù)的管理。并且負(fù)責(zé)展示所有數(shù)據(jù)分析的結(jié)果。

3.2 關(guān)鍵技術(shù)

⑴ TOGAF規(guī)劃方法論體系

本項(xiàng)目采用Togaf對(duì)管控平臺(tái)進(jìn)行規(guī)劃。開(kāi)放組架構(gòu)框架（The Open Group Architecture Framework，TOGAF）是一套通用框架，通過(guò)詳細(xì)的方法論和一系列工具，定義架構(gòu)的內(nèi)容具體以架構(gòu)內(nèi)容框架為參考。

⑵ 大數(shù)據(jù)處理技術(shù)

本平臺(tái)中數(shù)據(jù)交換采用分布式計(jì)算技術(shù)和彈性計(jì)算來(lái)支撐對(duì)海量數(shù)據(jù)的多節(jié)點(diǎn)并行高效抽取、轉(zhuǎn)換與裝載。通過(guò)對(duì)分布式計(jì)算技術(shù)的應(yīng)用，使平臺(tái)中的主交換服務(wù)器與交換節(jié)點(diǎn)服務(wù)器之間形成了分布式架構(gòu)體系，隨著海量數(shù)據(jù)處理需求的變化，可以任意擴(kuò)展或收縮交換節(jié)點(diǎn)服務(wù)器，從而實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的并行處理，使得平臺(tái)對(duì)數(shù)據(jù)吞吐量不再受到物理設(shè)備帶寬的制約。

4 系統(tǒng)詳細(xì)設(shè)計(jì)及實(shí)現(xiàn)

交通行業(yè)數(shù)據(jù)資源管控平臺(tái)橫向劃分為元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)庫(kù)管理、系統(tǒng)管理以及組織權(quán)限以滿(mǎn)足管控平臺(tái)的建設(shè)要求。

4.1 元數(shù)據(jù)管理

通過(guò)數(shù)據(jù)源的管理，數(shù)據(jù)資源管控平臺(tái)可以獲取到不同數(shù)據(jù)源的元數(shù)據(jù)定義。通過(guò)確定設(shè)置數(shù)據(jù)源版本作為標(biāo)準(zhǔn)版本，再通過(guò)數(shù)據(jù)資源目管理來(lái)管理標(biāo)準(zhǔn)版本的元數(shù)據(jù)信息，從而建立一套標(biāo)準(zhǔn)的元數(shù)據(jù)。通過(guò)該標(biāo)準(zhǔn)元數(shù)據(jù)來(lái)審核，管理數(shù)據(jù)庫(kù)的任何變動(dòng)，一旦校驗(yàn)時(shí)發(fā)現(xiàn)異常，管理人員可輕易地查看所有數(shù)據(jù)庫(kù)的庫(kù)表設(shè)計(jì)、定義與變化情況。

⑴ 數(shù)據(jù)源管理

數(shù)據(jù)源管理是整個(gè)管控平臺(tái)的基礎(chǔ)模塊。通過(guò)該功能可以幫助建立從數(shù)據(jù)資源管控平臺(tái)到各個(gè)不同數(shù)據(jù)庫(kù)的連接。從而幫助管控平臺(tái)的各種數(shù)據(jù)分析任務(wù)從不同的數(shù)據(jù)源獲取數(shù)據(jù)，從而得出分析結(jié)果。通過(guò)數(shù)據(jù)源管理的新增功能，只需要輸入相應(yīng)的數(shù)據(jù)庫(kù)配置參數(shù)，即可實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的連接。同時(shí)，提供多種類(lèi)型的連接方式，提供不同類(lèi)型的連接用戶(hù)類(lèi)型及測(cè)試功能進(jìn)行連接測(cè)試等功能。

⑵ 數(shù)據(jù)資源目錄

我省各業(yè)務(wù)系統(tǒng)多，數(shù)據(jù)庫(kù)眾多。管理人員由于缺乏有效的手段，很難去真正了解各個(gè)數(shù)據(jù)庫(kù)的設(shè)計(jì)情況。通過(guò)對(duì)數(shù)據(jù)資源體系進(jìn)行標(biāo)準(zhǔn)分類(lèi)，就可方便查詢(xún)各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)資源情況，即數(shù)據(jù)庫(kù)表及其字段數(shù)的定義內(nèi)容，針對(duì)這些內(nèi)容提供精確查詢(xún)。

⑶ 標(biāo)準(zhǔn)規(guī)范管理

標(biāo)準(zhǔn)規(guī)范管理能夠方便的將紙質(zhì)化的各種標(biāo)準(zhǔn)規(guī)范維護(hù)到管控平臺(tái)里面，現(xiàn)有標(biāo)準(zhǔn)規(guī)范內(nèi)容基本上涵蓋到所有的交通業(yè)務(wù)信息。

⑷ 標(biāo)準(zhǔn)符合性審查

標(biāo)準(zhǔn)規(guī)范納入到平臺(tái)管理之后，通過(guò)指定對(duì)標(biāo)的表及與之比對(duì)的特定的規(guī)范，來(lái)進(jìn)行校驗(yàn)，支持類(lèi)型校驗(yàn)和長(zhǎng)度校驗(yàn)，并提供權(quán)重來(lái)劃分不同校驗(yàn)類(lèi)型所占據(jù)的比重，平臺(tái)最終需要出具校驗(yàn)報(bào)告，并明確數(shù)據(jù)表中字段的類(lèi)型校驗(yàn)是否匹配，以及整體校驗(yàn)的通過(guò)率、是否合格等信息。

⑸ 標(biāo)準(zhǔn)值域管理

標(biāo)準(zhǔn)值域管理主要是對(duì)標(biāo)準(zhǔn)數(shù)據(jù)元值域代碼集進(jìn)行管理。數(shù)據(jù)元中值域所引用到的值域代碼，以及數(shù)據(jù)質(zhì)量剖析中進(jìn)行的表字段值域剖析所引用的值域代碼都將進(jìn)行增、刪、改、查等功能，得以實(shí)現(xiàn)數(shù)據(jù)質(zhì)量管理中數(shù)據(jù)值域剖析。

4.2 數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是平臺(tái)的核心功能之一，通過(guò)數(shù)據(jù)質(zhì)量管理，可在很大程度上幫助管理人員掌握數(shù)據(jù)質(zhì)量情況，獲取質(zhì)量報(bào)告。

⑴ 數(shù)據(jù)剖析管理

數(shù)據(jù)剖析管理包括剖析規(guī)則管理和剖析任務(wù)執(zhí)行。平臺(tái)將針對(duì)交通業(yè)務(wù)，分別形成一套行業(yè)通用類(lèi)剖析規(guī)則，并提供數(shù)據(jù)質(zhì)量剖析規(guī)則定義與維護(hù)功能，用于定義和維護(hù)個(gè)性類(lèi)剖析規(guī)則，滿(mǎn)足不同的數(shù)據(jù)質(zhì)量管控要求。數(shù)據(jù)內(nèi)容技術(shù)剖析與驗(yàn)證可以對(duì)任意一個(gè)數(shù)據(jù)源的任意一個(gè)表的任意字段進(jìn)行數(shù)據(jù)剖析，并提供剖析數(shù)據(jù)總量、通過(guò)率等信息。

⑵ 數(shù)據(jù)質(zhì)量評(píng)估管理

數(shù)據(jù)質(zhì)量管理能夠?qū)崿F(xiàn)最終建立數(shù)據(jù)庫(kù)的數(shù)據(jù)質(zhì)量評(píng)估報(bào)告。系統(tǒng)提供高度可配置化的功能，自由選擇組裝剖析實(shí)例，可以建立一個(gè)質(zhì)量評(píng)估模型，并選擇若干剖析實(shí)例作為質(zhì)量模型的基礎(chǔ)構(gòu)成。結(jié)合每個(gè)剖析實(shí)例的合格率，可自由地對(duì)每個(gè)剖析實(shí)例設(shè)置權(quán)重。從而得出數(shù)據(jù)質(zhì)量評(píng)估模型的最終分?jǐn)?shù)。可以通過(guò)系統(tǒng)提供的閥值設(shè)置，判斷一個(gè)數(shù)據(jù)質(zhì)量評(píng)估模型的結(jié)果是否達(dá)到閥值，即是否合格，從而更好的掌控?cái)?shù)據(jù)的質(zhì)量。

⑶ 自定義剖析功能

數(shù)據(jù)剖析管理模塊中包含了數(shù)據(jù)內(nèi)容業(yè)務(wù)剖析，由于實(shí)際業(yè)務(wù)剖析需求種類(lèi)繁多，數(shù)據(jù)剖析規(guī)則無(wú)法滿(mǎn)足所有場(chǎng)景的實(shí)際業(yè)務(wù)剖析需求。而自定義剖析功能根據(jù)實(shí)際業(yè)務(wù)剖析需求，自定義編寫(xiě)SQL執(zhí)行業(yè)務(wù)剖析來(lái)實(shí)現(xiàn)應(yīng)對(duì)不同場(chǎng)景的剖析需求，達(dá)到對(duì)數(shù)據(jù)內(nèi)容業(yè)務(wù)剖析與驗(yàn)證的功能。

4.3 數(shù)據(jù)庫(kù)管理

數(shù)據(jù)庫(kù)管理主要是涵蓋數(shù)據(jù)庫(kù)用戶(hù)操作日志及表空間查詢(xún)與預(yù)警等功能。

4.4 系統(tǒng)管理

數(shù)據(jù)管控平臺(tái)需要運(yùn)行大量流程任務(wù)，包括元數(shù)據(jù)自動(dòng)捕獲、元數(shù)據(jù)審查、數(shù)據(jù)剖析流程、數(shù)據(jù)質(zhì)量評(píng)估流程，需要有效的任務(wù)監(jiān)控，才能有效地監(jiān)督任務(wù)運(yùn)行情況，及時(shí)發(fā)現(xiàn)異常任務(wù)。

5 結(jié)束語(yǔ)

我們?cè)跀?shù)據(jù)標(biāo)準(zhǔn)化基礎(chǔ)上開(kāi)發(fā)數(shù)據(jù)管控平臺(tái)，可以實(shí)現(xiàn)數(shù)據(jù)元管理、信息資源目錄管理，數(shù)據(jù)質(zhì)量管理及數(shù)據(jù)庫(kù)管理等功能，真正實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、動(dòng)態(tài)化管理。該數(shù)據(jù)管控平臺(tái)實(shí)施和運(yùn)行已有12個(gè)月，系統(tǒng)運(yùn)行平穩(wěn)，管控效果穩(wěn)定，達(dá)到了預(yù)期的效果。

下一步將繼續(xù)通過(guò)應(yīng)用檢驗(yàn)規(guī)范，使數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范更加實(shí)用、適用，對(duì)交通行業(yè)數(shù)據(jù)管控平臺(tái)優(yōu)化設(shè)計(jì)。實(shí)現(xiàn)規(guī)范數(shù)據(jù)資源服務(wù)的一致性，提升我省整體交通數(shù)據(jù)服務(wù)水平。

參考文獻(xiàn)（References）：

[1] 鐘南.交通運(yùn)輸行業(yè)數(shù)據(jù)中心建設(shè)體系研究[J].交通標(biāo)準(zhǔn)化，

2014.19：68-74

[2] 王輝，林垚，周紫君.基于元數(shù)據(jù)的交通運(yùn)輸科學(xué)數(shù)據(jù)共享平

臺(tái)設(shè)計(jì)[J].交通與計(jì)算機(jī)，2008.26（2）：86-89

[3] 王明生，楊艷.基于元數(shù)據(jù)的交通資源基礎(chǔ)信息數(shù)據(jù)管理研

究[J].Railway Transport and Economy，2008.30（11）：81-83

[4] 馬曉軍，張春節(jié).云南省交通運(yùn)輸行業(yè)數(shù)據(jù)中心管理平臺(tái)建

設(shè)思路[J].數(shù)字技術(shù)與應(yīng)用，2013.6：153-154

[5] 鄺帆，黃霖.貴州省交通運(yùn)輸數(shù)據(jù)中心與數(shù)據(jù)管控體系研究[J].

計(jì)算機(jī)光盤(pán)軟件與應(yīng)用，2014.11：31-32

[6] 王瑾.基于云計(jì)算的交通運(yùn)輸數(shù)據(jù)中心實(shí)現(xiàn)與應(yīng)用[J].中國(guó)

交通信息化，2015.3：84-86