茨淮新河灌區(qū)數(shù)據(jù)資源管理平臺建設(shè)思路探析

馮 偉

一、前言

茨淮新河灌區(qū)信息化系統(tǒng)是茨淮新河灌區(qū)續(xù)建配套與節(jié)水改造骨干工程項目（2016—2018年）（三期）建設(shè)的灌區(qū)綜合業(yè)務(wù)系統(tǒng)，系統(tǒng)涉及運行監(jiān)控信息、水位、水量、視頻信息、地理信息、檔案資料以及辦公多媒體等數(shù)據(jù)信息，數(shù)據(jù)量大且繁雜，隨著系統(tǒng)運行將會積累越來越多的數(shù)據(jù)。為保證系統(tǒng)的穩(wěn)定運行，確保信息共享的高效和信息的安全，需要進行科學(xué)的、系統(tǒng)的數(shù)據(jù)分析，依托數(shù)據(jù)資源管理平臺對所涉及的所有數(shù)據(jù)進行匯總和科學(xué)處理。

二、建設(shè)意義

茨淮新河灌區(qū)信息化建設(shè)將帶來豐富的數(shù)據(jù)資源，然而一直以來水利信息化的建設(shè)缺少統(tǒng)一的標準規(guī)范指導(dǎo)，加深了數(shù)據(jù)應(yīng)用和治理的難度，制約了數(shù)據(jù)共享交換能力，為了避免茨淮新河灌區(qū)信息化系統(tǒng)建設(shè)和運行期間呈現(xiàn)典型煙囪式發(fā)展格局，導(dǎo)致各類數(shù)據(jù)信息壁壘和數(shù)據(jù)隔閡，必須對產(chǎn)生的數(shù)據(jù)資源進行有效的全生命周期管理，建立規(guī)范的數(shù)據(jù)資源管理平臺。

三、建設(shè)要求

安徽省水利廳大數(shù)據(jù)平臺已初步建成且投入使用，平臺包含省級層面數(shù)據(jù)資源管理平臺的諸多功能，涉及應(yīng)用設(shè)計數(shù)據(jù)接入、預(yù)處理、目錄管理、共享、安全等多個方面（詳見圖1），可以全方位的為下級水利單位數(shù)字資源管理平臺的建設(shè)提供數(shù)據(jù)應(yīng)用服務(wù)支撐，因此，茨淮新河灌區(qū)數(shù)據(jù)資源管理平臺的建設(shè)在包含灌區(qū)全要素信息的匯集、整編、共享交換、存儲和開發(fā)功能的基礎(chǔ)上，應(yīng)符合安徽省水利廳大數(shù)據(jù)平臺建設(shè)要求并可對接和共享省級層面數(shù)據(jù)資源管理平臺。

圖1 安徽省水利廳大數(shù)據(jù)平臺建設(shè)情況圖

茨淮新河灌區(qū)信息化系統(tǒng)數(shù)據(jù)種類較多，涉及灌區(qū)日常管理業(yè)務(wù)的多個方面，匯集原始入庫數(shù)據(jù)后，需要對原始數(shù)據(jù)進行篩選和整治，按目錄管理和數(shù)據(jù)規(guī)范要求進行數(shù)據(jù)的預(yù)處理和入庫，再與安徽省水利廳數(shù)字資源管理平臺進行共享對接。

四、建設(shè)內(nèi)容

根據(jù)茨淮新河灌區(qū)信息化系統(tǒng)數(shù)據(jù)量和應(yīng)用業(yè)務(wù)分析，數(shù)據(jù)資源管理平臺的建設(shè)應(yīng)包含數(shù)據(jù)接入系統(tǒng)、數(shù)據(jù)資產(chǎn)管理系統(tǒng)和數(shù)據(jù)治理系統(tǒng)等建設(shè)內(nèi)容。

（一）數(shù)據(jù)接入系統(tǒng)

數(shù)據(jù)接入系統(tǒng)是在數(shù)據(jù)庫設(shè)計基礎(chǔ)上，接入實時、靜態(tài)和歷史數(shù)據(jù)，對數(shù)據(jù)進行集成并在水利網(wǎng)絡(luò)內(nèi)共享數(shù)據(jù)資源，主要用于系統(tǒng)運行期的數(shù)據(jù)集成與交換服務(wù)。

1.數(shù)據(jù)接入

為了滿足茨淮新河灌區(qū)信息化系統(tǒng)運行需要，需接入水位、工情、雨情等水利基礎(chǔ)數(shù)據(jù)，同時要做到數(shù)據(jù)在灌區(qū)各管理單位之間合理共享,避免重復(fù)采集、重復(fù)存放和重復(fù)加工。

2.數(shù)據(jù)集成

數(shù)據(jù)集成是根據(jù)灌區(qū)水利數(shù)據(jù)的來源、目的、任務(wù)進行分類，按照安徽省水利廳大數(shù)據(jù)平臺提供36 等類水利對象數(shù)據(jù)庫表結(jié)構(gòu)，構(gòu)建高效、易用、可擴展的數(shù)據(jù)集成模式。

對于安徽省水利廳大數(shù)據(jù)平臺和灌區(qū)已建站點的數(shù)據(jù)，采用數(shù)據(jù)信息共享、人工導(dǎo)入和調(diào)用信息服務(wù)接口的方式，將數(shù)據(jù)一次性整編導(dǎo)入到數(shù)據(jù)平臺中，實現(xiàn)數(shù)據(jù)共享，標準化處理和后續(xù)數(shù)據(jù)處理。

3.數(shù)據(jù)共享

根據(jù)全省水利數(shù)據(jù)共享發(fā)展的要求，信息化系統(tǒng)需建立和完善數(shù)據(jù)資源共享機制，編制數(shù)據(jù)采集傳輸、數(shù)據(jù)接入接口、數(shù)據(jù)共享使用等數(shù)據(jù)標準規(guī)范，并逐步形成標準的、開放的基礎(chǔ)數(shù)據(jù)信息服務(wù)窗口。

茨淮新河灌區(qū)數(shù)字資源管理平臺要和安徽省水利廳大數(shù)據(jù)平臺實現(xiàn)水文、水量等信息、數(shù)據(jù)標準、數(shù)據(jù)目錄以及政策規(guī)范的數(shù)據(jù)資源共享，使用統(tǒng)一建設(shè)的人口、空間地理等專題數(shù)據(jù)資源，共享業(yè)務(wù)管理中所需的數(shù)據(jù)信息。

（二）數(shù)據(jù)資產(chǎn)管理系統(tǒng)

數(shù)據(jù)資產(chǎn)管理系統(tǒng)主要針對數(shù)據(jù)庫系統(tǒng)進行設(shè)計，在理清灌區(qū)數(shù)據(jù)現(xiàn)狀的基礎(chǔ)上，按照基礎(chǔ)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)兩個維度進行數(shù)據(jù)庫規(guī)劃，同時按照水利對象數(shù)據(jù)庫表結(jié)構(gòu)，進行數(shù)據(jù)庫表的設(shè)計，保持與安徽省水利廳數(shù)據(jù)資源管理平臺的水利對象結(jié)構(gòu)一致。

（三）數(shù)據(jù)治理系統(tǒng)

數(shù)據(jù)治理系統(tǒng)是按照安徽省水利廳數(shù)據(jù)資源目錄的相關(guān)要求，對原始數(shù)據(jù)進行篩選和歸集，包括數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)補錄和數(shù)據(jù)校驗等。

1.數(shù)據(jù)采集

數(shù)據(jù)采集可以分類別、分地域進行收集，收集盡可能多而全面的相關(guān)資料信息。茨淮新河灌區(qū)信息化系統(tǒng)數(shù)據(jù)分為三個級別：廢棄數(shù)據(jù)、待調(diào)整數(shù)據(jù)、可轉(zhuǎn)換數(shù)據(jù)。廢棄數(shù)據(jù)是對系統(tǒng)資源造成浪費的數(shù)據(jù)，且會影響系統(tǒng)的運行，比如重復(fù)的業(yè)務(wù)信息；待調(diào)整數(shù)據(jù)是嚴重影響新系統(tǒng)的運行的數(shù)據(jù)，必須進行人工調(diào)整后才能進行數(shù)據(jù)轉(zhuǎn)換；可轉(zhuǎn)換數(shù)據(jù)是不需做任何處理，基本滿足數(shù)據(jù)轉(zhuǎn)換的要求或者是新系統(tǒng)建議調(diào)整，但是不影響系統(tǒng)運行，可以在新系統(tǒng)運行后再調(diào)整的數(shù)據(jù)。

2.數(shù)據(jù)整理

數(shù)據(jù)整理是將數(shù)據(jù)整理為系統(tǒng)轉(zhuǎn)換程序能夠識別的數(shù)據(jù)。數(shù)據(jù)整理大致分為兩個階段：第一階段是將不同類型來源數(shù)據(jù)采集備份到統(tǒng)一的數(shù)據(jù)庫中；第二階段是將原始數(shù)據(jù)按照不同業(yè)務(wù)要求進行分類，進入不同的中間數(shù)據(jù)庫，為數(shù)據(jù)轉(zhuǎn)換提供中間數(shù)據(jù)。

3.數(shù)據(jù)補錄

數(shù)據(jù)補錄主要是對需要擴充的業(yè)務(wù)數(shù)據(jù)進行補錄。這些業(yè)務(wù)數(shù)據(jù)有的是原來沒有收錄，多數(shù)是非電子格式或非結(jié)構(gòu)數(shù)據(jù)；有的是原已收錄但數(shù)據(jù)結(jié)構(gòu)和格式與新系統(tǒng)相差太大，無法通過數(shù)據(jù)整理工具整合，需要人工補錄或補錄工具軟件轉(zhuǎn)換補錄到新系統(tǒng)中。

4.數(shù)據(jù)校驗

通常情況下，數(shù)據(jù)校驗是先對歷史數(shù)據(jù)結(jié)構(gòu)進行分析，對于比較規(guī)范的業(yè)務(wù)數(shù)據(jù)先導(dǎo)出至中間數(shù)據(jù)庫，再對剩下的數(shù)據(jù)通過數(shù)據(jù)積累的校驗方法進行數(shù)據(jù)校驗，校驗并修正數(shù)據(jù)的類型、范圍以及合法性等相關(guān)數(shù)據(jù)屬性，以確保數(shù)據(jù)整理的快速有效。

五、結(jié)語

茨淮新河灌區(qū)數(shù)字資源管理平臺按照安徽省水利廳大數(shù)據(jù)平臺規(guī)范要求，運用數(shù)據(jù)庫、網(wǎng)絡(luò)儲存、數(shù)據(jù)備份等技術(shù)，建立協(xié)調(diào)運行機制和科學(xué)數(shù)據(jù)管理模式，可實現(xiàn)灌區(qū)全要素信息的匯集、整編、共享交換、存儲和開發(fā)，可以全方位的為灌區(qū)信息化系統(tǒng)的建設(shè)和業(yè)務(wù)數(shù)據(jù)交換共享提供應(yīng)用服務(wù)支撐■