數(shù)據(jù)交換技術(shù)在黃河水利信息化建設(shè)中的應(yīng)用

楊斌　馮建

摘 要：在黃河水利信息化建設(shè)過程中，根據(jù)已建立的數(shù)據(jù)交換技術(shù)架構(gòu)，為滿足各類數(shù)據(jù)獲取需求，要合理采用多種數(shù)據(jù)交換技術(shù)。首先從數(shù)據(jù)庫底層、Web應(yīng)用開發(fā)、數(shù)據(jù)交換軟件等方面介紹數(shù)據(jù)交換技術(shù)，并對比每種技術(shù)的優(yōu)缺點(diǎn)，簡述黃河水利信息化建設(shè)現(xiàn)狀，著重分析數(shù)據(jù)交換技術(shù)在水資源監(jiān)控能力建設(shè)項(xiàng)目中的作用，最后展望數(shù)據(jù)交換技術(shù)的發(fā)展前景。

關(guān)鍵詞：數(shù)據(jù)交換;水利信息化建設(shè);黃河

中圖分類號：TP311.13 文獻(xiàn)標(biāo)識碼：A 文章編號：1003-5168（2021）26-0071-03

Application of Data Exchange Technology in the Yellow River

Water Conservancy Information Construction

YANG Bin FENG Jian

（Yellow River Conservancy Commission Information Center，Zhengzhou Henan 450008）

Abstract： In the Yellow River water conservancy informatization construction process， according to the established data exchange technology architecture， in order to meet various data acquisition needs， a variety of data exchange technologies should be reasonably adopted. First， the data exchange technology is introduced from the bottom of the database， Web application development， data exchange software， etc.， and the advantages and disadvantages of each technology are compared， then， the status quo of the Yellow River water conservancy informatization construction is briefly described， and the role of data exchange technology in the water resources monitoring capacity construction project is mainly analyzed， finally， the development prospects of data exchange technology are prospected.

Keywords： data exchange;water conservancy information construction;Yellow River

信息化系統(tǒng)是業(yè)務(wù)功能和數(shù)據(jù)的有機(jī)結(jié)合。在信息化系統(tǒng)建設(shè)過程中，數(shù)據(jù)交換技術(shù)在豐富數(shù)據(jù)方面發(fā)揮著重要作用。

1 數(shù)據(jù)交換技術(shù)類型

目前，信息化系統(tǒng)建設(shè)中涉及的數(shù)據(jù)交換技術(shù)主要有4類。

1.1 基于底層數(shù)據(jù)庫的數(shù)據(jù)交換技術(shù)

無論是甲骨文公司的Oracle還是微軟公司的SQL Server數(shù)據(jù)庫，都有類似存儲過程或者觸發(fā)器的應(yīng)用功能[1]，該功能是通過PL/SQL語法獲取需要數(shù)據(jù)交換的表對象，并進(jìn)行相關(guān)表的字段匹配，然后用SQL語言編程封裝成數(shù)據(jù)庫程序包，根據(jù)觸發(fā)條件或者定時條件進(jìn)行數(shù)據(jù)的交換。

這種數(shù)據(jù)交換技術(shù)在業(yè)務(wù)流程較簡單的信息化系統(tǒng)中應(yīng)用較多，優(yōu)點(diǎn)是相對經(jīng)濟(jì)，能滿足一般的數(shù)據(jù)交換業(yè)務(wù)需求;缺點(diǎn)是對數(shù)據(jù)庫系統(tǒng)的資源消耗較大，只適合規(guī)模不大的數(shù)據(jù)交換業(yè)務(wù)，并且數(shù)據(jù)交換雙方的數(shù)據(jù)庫系統(tǒng)需要保持一致，否則異構(gòu)數(shù)據(jù)庫之間很容易出現(xiàn)兼容性問題。

1.2 基于Web應(yīng)用開發(fā)的數(shù)據(jù)交換技術(shù)

基于Web應(yīng)用開發(fā)的數(shù)據(jù)交換技術(shù)主要運(yùn)用具有跨平臺特性的Java語言，通過配置JDBC驅(qū)動訪問數(shù)據(jù)庫，在Java程序中完成數(shù)據(jù)的匹配、抽取、轉(zhuǎn)換及傳輸?shù)裙ぷ?，再配置定時觸發(fā)條件實(shí)現(xiàn)數(shù)據(jù)的交換功能[2]。

這種數(shù)據(jù)交換技術(shù)一般適用于業(yè)務(wù)規(guī)模較大的信息化系統(tǒng)。優(yōu)點(diǎn)是可以設(shè)計(jì)出相對復(fù)雜的數(shù)據(jù)交換技術(shù)架構(gòu)，能夠?qū)π枰粨Q的數(shù)據(jù)進(jìn)行字符及語義轉(zhuǎn)換，并通過使用標(biāo)準(zhǔn)PL/SQL語句在異構(gòu)數(shù)據(jù)庫之間完成數(shù)據(jù)交換;缺點(diǎn)是數(shù)據(jù)交換的業(yè)務(wù)需求相對復(fù)雜，不同數(shù)據(jù)庫之間需要做大量的匹配，實(shí)現(xiàn)難度較高，需要大量的開發(fā)人員。

1.3 基于開源數(shù)據(jù)交換軟件的數(shù)據(jù)交換技術(shù)

基于開源的數(shù)據(jù)交換軟件，目前主要是類似Kettle的ETL工具[3]，它是基于Java的免費(fèi)開源軟件，可以在Windows、Linux及Unix上運(yùn)行，面向當(dāng)前主流的各類數(shù)據(jù)庫，并且具備數(shù)據(jù)轉(zhuǎn)換、定時作業(yè)等功能。它具備友好的圖形開發(fā)界面，可通過簡單的圖形化操作完成數(shù)據(jù)交換功能配置。當(dāng)配置生效后，軟件會在后臺自動轉(zhuǎn)譯成相關(guān)代碼并定時執(zhí)行，從而實(shí)現(xiàn)數(shù)據(jù)的交換功能[4]。

這種數(shù)據(jù)交換技術(shù)適用于中小規(guī)模且對編程依賴性較弱的信息化系統(tǒng)。它的優(yōu)點(diǎn)非常明顯，以圖形設(shè)計(jì)界面進(jìn)行數(shù)據(jù)交換配置，可節(jié)省大量的開發(fā)工作量，而且編程能力較弱的技術(shù)人員也能很快上手;缺點(diǎn)是有些特定的數(shù)據(jù)交換功能無法實(shí)現(xiàn)。

1.4 基于商業(yè)ETL軟件的數(shù)據(jù)交換技術(shù)

這類軟件在實(shí)現(xiàn)原理上和開源免費(fèi)的數(shù)據(jù)交換軟件類似，也是將所需交換的數(shù)據(jù)從數(shù)據(jù)源進(jìn)行抽取、轉(zhuǎn)換并加載到目標(biāo)端，適合對數(shù)據(jù)交換的時效性和穩(wěn)定性要求都比較高的信息化系統(tǒng)。優(yōu)點(diǎn)是這類軟件是商業(yè)化的數(shù)據(jù)交換軟件，背后的技術(shù)支撐能力強(qiáng)，軟件穩(wěn)定性高，所支持的數(shù)據(jù)庫種類比較全面，并且可以根據(jù)客戶的特殊需求進(jìn)行定制開發(fā);缺點(diǎn)是有特殊需求的應(yīng)用系統(tǒng)需要投入較多的人力資源，所需費(fèi)用也較高。

2 黃河水利信息化建設(shè)的發(fā)展

2001年，黃河水利委員會（簡稱黃委會）提出了《“數(shù)字黃河”工程規(guī)劃》，它是中國水利部批復(fù)的第一個流域水利信息化規(guī)劃?！皵?shù)字黃河”是借助數(shù)據(jù)采集、數(shù)據(jù)傳輸及數(shù)據(jù)交換等手段，將黃河流域及其相關(guān)地區(qū)的各種要素進(jìn)行匯集，構(gòu)建一體化的數(shù)字集成平臺和虛擬環(huán)境。以功能強(qiáng)大的系統(tǒng)軟件和數(shù)字模型對黃河治理、開發(fā)和管理的各種方案進(jìn)行模擬、分析和研究，并在可視化的條件下提供決策支持。經(jīng)過5年的建設(shè)，到2006年，基本建成以防汛減災(zāi)、水量調(diào)度、水資源保護(hù)、水土保持、工程建設(shè)與管理、電子政務(wù)六大系統(tǒng)為主的“數(shù)字黃河”框架。基礎(chǔ)設(shè)施也初具規(guī)模，基本建成國家水文數(shù)據(jù)庫和黃河基本河情、實(shí)時水雨情、黃河下游工情險情、黃河水土保持、水量調(diào)度、防洪工程等數(shù)據(jù)庫。

在“數(shù)字黃河”的整體框架下，黃委會建成全國水利行業(yè)最大的防汛通信專網(wǎng)，黃河下游防汛SDH數(shù)字微波通信干線總長達(dá)681 km，支線總長達(dá)940 km。組成的四級通信網(wǎng)絡(luò)，將黃委會與省局、市局、縣局直至堤防、涵閘貫穿起來，實(shí)現(xiàn)語音、數(shù)據(jù)、圖像等綜合業(yè)務(wù)信息傳輸?shù)娜采w。依托防汛通信專網(wǎng)，黃委會建設(shè)全國水利行業(yè)最大的計(jì)算機(jī)廣域網(wǎng)，形成由黃河水利委員會網(wǎng)絡(luò)管理中心、各委直屬單位、市局和縣局組成的四級廣域網(wǎng)絡(luò)。黃河防汛通信專網(wǎng)和計(jì)算機(jī)廣域網(wǎng)的建立為數(shù)據(jù)的采集、傳輸、交換、匯集提供高速穩(wěn)定的信息通道。

2004年6月，黃委會建設(shè)全國水利行業(yè)第一個“數(shù)據(jù)中心”——黃河數(shù)據(jù)中心，經(jīng)過近些年不斷的技術(shù)更新和架構(gòu)升級，現(xiàn)在已形成以云計(jì)算為基礎(chǔ)設(shè)施架構(gòu)的黃河云數(shù)據(jù)中心。同時，該數(shù)據(jù)中心也是水利部的北方災(zāi)備中心。黃河數(shù)據(jù)中心的建設(shè)為數(shù)據(jù)的安全存儲提供基本保障。

隨著“數(shù)字黃河”工程建設(shè)的不斷深入，按照“大平臺、大數(shù)據(jù)、大系統(tǒng)”的總體要求，2019年，黃委會建立以應(yīng)用為核心的信息資源整合共享框架，得到水利部和業(yè)界專家的高度評價。黃委信息資源整合共享框架如圖1所示。

信息資源整合共享框架搭建以應(yīng)用為牽引、統(tǒng)一的地理信息公共服務(wù)平臺，聚集和展示海量信息，為管理提供多視角、一站式的地理信息服務(wù);實(shí)現(xiàn)基礎(chǔ)地理、遙感、水利工程、水資源、水文氣象和流域經(jīng)濟(jì)等10余大類重要數(shù)據(jù)資源的統(tǒng)一集中存儲管理;緊緊圍繞治黃業(yè)務(wù)，建設(shè)上下聯(lián)動、左右聯(lián)通的綜合信息門戶系統(tǒng)，實(shí)現(xiàn)防汛抗旱、水資源管理、水量調(diào)度、工程建設(shè)與管理、水土保持和政務(wù)系統(tǒng)的單點(diǎn)登錄及多類信息的聚合展現(xiàn)。信息資源整合共享框架通過數(shù)據(jù)交換技術(shù)，對各類治黃業(yè)務(wù)數(shù)據(jù)源進(jìn)行抽取整合，形成較豐富的治黃數(shù)據(jù)資源體系。

3 數(shù)據(jù)交換技術(shù)在水資源項(xiàng)目中的應(yīng)用

在黃河水利信息化的建設(shè)過程中，國家水資源監(jiān)控能力建設(shè)項(xiàng)目所采用的數(shù)據(jù)交換技術(shù)非常典型。國家水資源監(jiān)控能力建設(shè)項(xiàng)目對全國的取用水及取用水在線監(jiān)測點(diǎn)實(shí)現(xiàn)監(jiān)測總用水量50%的建設(shè)目標(biāo);對國家重要飲用水地表水水源地水質(zhì)實(shí)現(xiàn)在線監(jiān)測全覆蓋;對重要省際河流省界斷面實(shí)現(xiàn)水量在線監(jiān)測。通過兩期項(xiàng)目建設(shè)，水資源監(jiān)控能力顯著加強(qiáng)，提高了數(shù)據(jù)的真實(shí)性、完備性和有效性;水資源管理信息化水平大幅提升，提高了業(yè)務(wù)的統(tǒng)一性、規(guī)范性和時效性;水資源管理支撐有效增強(qiáng)，提高了水資源決策的綜合性、科學(xué)性和合理性[5]。

在國家水資源監(jiān)控能力建設(shè)項(xiàng)目實(shí)施過程中，黃委會采用的數(shù)據(jù)交換技術(shù)主要有基于底層數(shù)據(jù)庫的數(shù)據(jù)交換技術(shù)、基于Web應(yīng)用開發(fā)的數(shù)據(jù)交換技術(shù)及基于商業(yè)ETL數(shù)據(jù)交換軟件的數(shù)據(jù)交換技術(shù)。

對于同一類型數(shù)據(jù)庫范圍內(nèi)的數(shù)據(jù)交換，通過采用基于底層數(shù)據(jù)庫的數(shù)據(jù)交換技術(shù)，將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)表直接進(jìn)行匹配，將數(shù)據(jù)交換算法通過數(shù)據(jù)庫的存儲過程實(shí)現(xiàn)并進(jìn)行封裝，再配置定時執(zhí)行作業(yè)，從而實(shí)現(xiàn)數(shù)據(jù)的交換功能。由于不存在異構(gòu)數(shù)據(jù)庫的兼容性問題，采用這種數(shù)據(jù)交換技術(shù)不僅匹配度很高，執(zhí)行效率也很高。

對于跨單位跨地域的數(shù)據(jù)交換，主要是通過基于Web應(yīng)用開發(fā)的數(shù)據(jù)交換技術(shù)來實(shí)現(xiàn)。在模塊化Web應(yīng)用基礎(chǔ)上，通過分析不同管理層級單位的需求進(jìn)行定制性開發(fā)，滿足不同管理層級單位之間的數(shù)據(jù)交換業(yè)務(wù)需求。比如，黃委到水利部之間、黃委到流域省區(qū)單位之間，這種縱向管理層級間和橫向業(yè)務(wù)協(xié)同間的數(shù)據(jù)交換需求多樣，數(shù)據(jù)庫類型較多，而且對關(guān)鍵字段匹配的要求較高。這種基于Web應(yīng)用開發(fā)的數(shù)據(jù)交換技術(shù)很好地解決了跨單位跨地域之間進(jìn)行數(shù)據(jù)交換的復(fù)雜問題。

對于內(nèi)部單位間的數(shù)據(jù)交換，主要是基于商業(yè)ETL數(shù)據(jù)交換軟件，按照明確的數(shù)據(jù)交換需求，設(shè)計(jì)出符合業(yè)務(wù)流程的數(shù)據(jù)交換模型，并使用圖形化的界面進(jìn)行配置，從而完成數(shù)據(jù)交換功能。商業(yè)ETL軟件可解決內(nèi)部單位的開發(fā)能力參差不齊且數(shù)據(jù)交換任務(wù)要求緊急的問題。

黃河水資源數(shù)據(jù)交換流程框架如圖2所示。

4 結(jié)語

數(shù)據(jù)正在成為現(xiàn)代社會提高核心競爭力的關(guān)鍵因素，各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動”向“數(shù)據(jù)驅(qū)動”轉(zhuǎn)變。隨著“智慧水利”規(guī)劃的提出，云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、虛擬現(xiàn)實(shí)等新技術(shù)在治黃領(lǐng)域逐步應(yīng)用，對數(shù)據(jù)交換技術(shù)提出了新的要求。超大規(guī)模分布式存儲、彈性計(jì)算、邊緣計(jì)算及大數(shù)據(jù)等技術(shù)創(chuàng)新都將促進(jìn)數(shù)據(jù)交換技術(shù)更快地升級迭代，未來要時刻關(guān)注數(shù)據(jù)交換技術(shù)的新發(fā)展及新動態(tài)，為實(shí)現(xiàn)更高的水利信息化建設(shè)目標(biāo)而努力。

參考文獻(xiàn)：

[1]何明.Oracle PL/SQL從入門到精通[M].北京：中國水利水電出版社，2017：346-381.

[2]馬曉軒.Web服務(wù)與數(shù)據(jù)交換關(guān)鍵技術(shù)研究[M].北京：中國環(huán)境出版社，2017：54-69.

[3]王雪迎.Kettle構(gòu)建Hadoop ETL系統(tǒng)實(shí)踐[M].北京：清華大學(xué)出版社，2021：10-30.

[4]戴劍偉.跨領(lǐng)域信息交換方法與技術(shù)[M].北京：電子工業(yè)出版社，2020：112-127.

[5]黃河水利委員會.國家水資源監(jiān)控能力建設(shè)項(xiàng)目黃河流域技術(shù)方案（2016—2018年）[R].鄭州：黃河水利委員會，2016.

1010501186387