杜 文,張 昴,段 勇,吳 暉
(黃河水利委員會信息中心,河南 鄭州 450003)
水利信息具有空間分布特征[1],GIS 作為直觀形象的信息化展示手段,近年來在水利信息化管理方面得到了越來越多應(yīng)用。黃河水利委員會(以下簡稱黃委)自開展數(shù)字黃河工程為主體的水利信息化工程建設(shè)以來,在基于 GIS 系統(tǒng)的建設(shè)方面,先后建設(shè)了黃河的下游工情險情會商、水量調(diào)度管理、防汛會商決策支持,以及國家的水資源監(jiān)控能力建設(shè)和防汛抗旱指揮系統(tǒng)黃委等建設(shè)項(xiàng)目應(yīng)用系統(tǒng),積累了豐富多樣的空間、基礎(chǔ)和業(yè)務(wù)數(shù)據(jù)資源。這些治黃信息化成果已在黃河流域規(guī)劃、科研和生產(chǎn)實(shí)踐中發(fā)揮了重要作用。
然而,由于各種原因,空間地理信息數(shù)據(jù)分散建設(shè)在各個地區(qū)、不同業(yè)務(wù)部門或應(yīng)用系統(tǒng)中,形成了以地域、專業(yè)、部門、系統(tǒng)等為邊界的信息孤島[2]。由于 GIS 技術(shù)規(guī)范和數(shù)據(jù)來源各不相同,由此造成了數(shù)據(jù)標(biāo)準(zhǔn)不一、格式多樣、質(zhì)量各異及空間參考不同等問題,數(shù)據(jù)的一致性和準(zhǔn)確性難以保證。此外,隨著業(yè)務(wù)應(yīng)用中對決策需求的不斷深入,對數(shù)據(jù)進(jìn)行簡單集成和疊加已經(jīng)不能滿足實(shí)際工作要求[3]。黃委已有的 GIS 系統(tǒng)大多為實(shí)時監(jiān)測或業(yè)務(wù)統(tǒng)計系統(tǒng),業(yè)務(wù)展示單一,缺少空間、基礎(chǔ)和業(yè)務(wù)信息間關(guān)聯(lián)鉆取,趨勢預(yù)測等方面的數(shù)據(jù)挖掘分析,無法滿足治黃信息化決策支撐需要。以上問題迫切需要綜合運(yùn)用技術(shù)手段、行政措施加以解決。隨著水利一張圖建設(shè)成果落地和黃委信息化資源整合工作逐步展開,使得解決黃委數(shù)據(jù)共享難、標(biāo)準(zhǔn)不一和決策支撐能力有限等問題成為可能。
2017 年黃委正式開展了信息化資源整合共享工作。黃河一張圖信息服務(wù)平臺(以下簡稱黃河一張圖)作為黃委信息化資源整合共享工作重要組成部分,目標(biāo)是在水利一張圖信息服務(wù)資源的基礎(chǔ)上,通過充分匯聚、融合、分析和挖掘水利部提供的信息資源,黃委已有各類信息資源,按照“統(tǒng)籌規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、資源整合、共享服務(wù)、持續(xù)發(fā)展”的建設(shè)指導(dǎo)思想,構(gòu)建標(biāo)準(zhǔn)統(tǒng)一、穩(wěn)定安全、資源共享、性能高效的治黃信息匯聚,地理信息和治黃業(yè)務(wù)決策支持相結(jié)合的信息服務(wù)平臺。
經(jīng)過將近 2 a 的系統(tǒng)性建設(shè),黃河一張圖初步成為標(biāo)準(zhǔn)統(tǒng)一、內(nèi)容全面、共享方便的流域級信息聚集及展示平臺,可以提供空間地理、基礎(chǔ)和業(yè)務(wù)管理等信息融合一體的,多視角的,時間覆蓋過去現(xiàn)在和將來,信息可層層鉆取分析的信息資源服務(wù)。
黃河一張圖總體架構(gòu)如圖 1 所示。
圖 1 黃河一張圖整體架構(gòu)
在統(tǒng)一標(biāo)準(zhǔn)規(guī)范和安全保障體系基礎(chǔ)上,黃河一張圖分為感知獲取層、數(shù)據(jù)治理層、服務(wù)支撐層和業(yè)務(wù)應(yīng)用層,具體功能如下:
1)感知獲取層。通過黃委已建覆蓋天、空、地采集體系從衛(wèi)星,無人機(jī),傳感監(jiān)測設(shè)備,攝像設(shè)備等監(jiān)測設(shè)施獲取實(shí)時監(jiān)測成果;通過移動端采集 App 等工具獲取業(yè)務(wù)監(jiān)管人員上報的各業(yè)務(wù)監(jiān)管等信息;通過數(shù)據(jù)交換方式從協(xié)議單位獲取與治黃信息化相關(guān)的專業(yè)信息;通過數(shù)據(jù)爬取方式從互聯(lián)網(wǎng)獲得治黃業(yè)務(wù)相關(guān)的輿情、社交或評論類信息。
2)數(shù)據(jù)治理層。結(jié)合黃委一個庫建設(shè)工作同步展開,通過數(shù)據(jù)匯聚庫匯聚了通過感知獲取層獲取的采集信息,經(jīng)過過濾、篩選、清洗和分類等數(shù)據(jù)預(yù)處理操作后,形成了覆蓋水利、其它行業(yè)及互聯(lián)網(wǎng)的數(shù)據(jù)匯集庫?;A(chǔ)信息庫按照水利部頒布的《水利對象基礎(chǔ)數(shù)據(jù)庫表結(jié)構(gòu)與標(biāo)識符標(biāo)準(zhǔn)》,將黃委治黃業(yè)務(wù)中涉及的水利對象按照名錄、基礎(chǔ)屬性、對象間關(guān)系 3 個維度進(jìn)行匯總整理。治黃業(yè)務(wù)庫包括洪水、干旱、水資源開發(fā)利用、節(jié)約用水、城鄉(xiāng)供水、河流湖泊、水利工程運(yùn)行管理、水利工程建設(shè)、水土流失和水利監(jiān)管共十大類業(yè)務(wù)專題數(shù)據(jù)。決策支撐庫負(fù)責(zé)存儲對治黃管理業(yè)務(wù)起到?jīng)Q策支撐作用的數(shù)據(jù),主要包括:整編、統(tǒng)計成果和數(shù)據(jù)挖掘成果類等數(shù)據(jù)。在進(jìn)行各類數(shù)據(jù)預(yù)處理時,數(shù)據(jù)治理層分別針對結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)支撐組件完成對各類型數(shù)據(jù)的過濾,篩選,清洗操作,并通過黃委一個庫數(shù)據(jù)管理系統(tǒng)對各類數(shù)據(jù)進(jìn)行統(tǒng)一的管理和維護(hù)。
3)服務(wù)支撐層。由基礎(chǔ)、專業(yè)和智慧 3 類支撐服務(wù)構(gòu)成?;A(chǔ)支撐服務(wù)是支撐黃河一張圖和應(yīng)用正常運(yùn)轉(zhuǎn)的基礎(chǔ)性服務(wù),由地理信息服務(wù)支撐平臺、報表組件、消息中間件移動支撐組件、用戶權(quán)限和數(shù)據(jù)訪問服務(wù)構(gòu)成,可對外提供基礎(chǔ)的空間地理圖層發(fā)布(包括常見的 wms,wmts,wfs 和 rest 等)、業(yè)務(wù)報表和統(tǒng)計圖類的展現(xiàn)、消息推送與交換、移動端設(shè)備開發(fā)與信息展現(xiàn)、用戶身份認(rèn)證與權(quán)限管理和各類基礎(chǔ)與業(yè)務(wù)數(shù)據(jù)的讀取或編輯服務(wù)。專業(yè)支撐服務(wù)具有較強(qiáng)的空間地理和治黃管理專業(yè)性特點(diǎn),由空間檢索、編輯、分析,以及水利模型組成??苫邳S委統(tǒng)一的一個庫資源,對外提供與空間地理信息相結(jié)合的全文檢索、空間分析(如路徑分析等)、與基礎(chǔ)屬性信息相結(jié)合的空間信息標(biāo)繪編輯和專業(yè)的水利模型服務(wù)。智慧支撐服務(wù)由機(jī)器學(xué)習(xí)、網(wǎng)格管理和空間感應(yīng)服務(wù)構(gòu)成,可對外提供與空間地理信息相結(jié)合的機(jī)器學(xué)習(xí)算法計算、水利網(wǎng)格化劃分定義和針對視頻及音頻等多媒體數(shù)據(jù)的識別與分析處理。
4)業(yè)務(wù)應(yīng)用層。面向用戶,是指各類基于黃河一張圖服務(wù)支撐層中服務(wù)開發(fā)的應(yīng)用系統(tǒng),由典型應(yīng)用體系、Web 門戶、移動門戶和大屏門戶組成:a. 典型應(yīng)用體系包括黃委委內(nèi)和委外應(yīng)用 2 個部分內(nèi)容。委內(nèi)應(yīng)用是指服務(wù)于黃委機(jī)關(guān)及各二級或基層管理單位的應(yīng)用系統(tǒng),按照治黃業(yè)務(wù)類別又可分為與十大類業(yè)務(wù)專題數(shù)據(jù)相對應(yīng)的十大類典型應(yīng)用。委外應(yīng)用指的是非黃委機(jī)關(guān)及相關(guān)單位的應(yīng)用系統(tǒng),按照使用行業(yè)又可分為調(diào)用黃河一張圖服務(wù)的水利部、水利管理機(jī)構(gòu)、其它行業(yè)和社會公眾等應(yīng)用系統(tǒng)。b. Web 門戶提供了服務(wù)資源的查詢檢索、服務(wù)在線申請和專題圖服務(wù)的功能。用戶可查詢檢索服務(wù)資源基本信息,并對感興趣的服務(wù)通過門戶進(jìn)行在線申請。黃委各業(yè)務(wù)管理部門可通過門戶專題圖服務(wù)功能使用與相關(guān)的專題圖進(jìn)行決策分析。c. 移動、服務(wù)大屏門戶與 Web 門戶功能相似,區(qū)別在于移動和大屏門戶僅分別提供了專題圖服務(wù)在移動端和大屏端設(shè)備上進(jìn)行展示的功能。
在黃河一張圖建設(shè)過程中,面臨的核心問題是治黃相關(guān)地理空間、基礎(chǔ)信息和業(yè)務(wù)等數(shù)據(jù)資源的集成匯聚。黃河一張圖涉及的水利對象、管理業(yè)務(wù)和使用人員眾多,不同的治黃業(yè)務(wù)對各類空間地理、基礎(chǔ)屬性和業(yè)務(wù)數(shù)據(jù)的需求也各不相同。為保障各類信息資源的有效匯聚、融合與共享,提出并規(guī)范數(shù)據(jù)融合和服務(wù)建設(shè)方面所依據(jù)的技術(shù)標(biāo)準(zhǔn)。
建設(shè)所依據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)包括數(shù)據(jù)編碼和數(shù)據(jù)庫標(biāo)準(zhǔn) 2 個方面。數(shù)據(jù)編碼標(biāo)準(zhǔn)主要有:SL 213—2012《水利工程代碼編制規(guī)范》,SL 213—98《水利工程基礎(chǔ)信息》,SL 259—2000《中國水庫名稱代碼》,SL 262—2000《中國水閘名稱代碼》,SL 263—2000《中國蓄滯洪區(qū)名稱代碼》,SL 249—2012《中國河流代碼》,SL 261—98《中國湖泊名稱代碼》,SL452—2009《水土保持監(jiān)測點(diǎn)代碼》,SL 502—2010《水文測站代碼編制導(dǎo)則》,SZY 102—2013《信息分類及編碼規(guī)定》等。數(shù)據(jù)庫標(biāo)準(zhǔn)主要有:SL 478—2010《水利信息數(shù)據(jù)庫表結(jié)構(gòu)及標(biāo)識符編制規(guī)范》,SL 323—2011《實(shí)時雨水情數(shù)據(jù)庫表結(jié)構(gòu)》,SL 577—2013《實(shí)時工情數(shù)據(jù)庫表結(jié)構(gòu)及標(biāo)識符》,SL 324—2005《基礎(chǔ)水文數(shù)據(jù)庫》,SL 380—2007《水資源監(jiān)控管理數(shù)據(jù)庫表結(jié)構(gòu)及標(biāo)識符標(biāo)準(zhǔn)》,SL 325—2005《水質(zhì)數(shù)據(jù)庫表結(jié)構(gòu)和標(biāo)識符標(biāo)準(zhǔn)》,SL729—2016《水利空間要素數(shù)據(jù)字典》等。
建設(shè)過程中依據(jù)的服務(wù)規(guī)范主要包括信息發(fā)布、數(shù)據(jù)交換、應(yīng)用接口的標(biāo)準(zhǔn)及應(yīng)用服務(wù)規(guī)范等內(nèi)容。資源服務(wù)目錄采用水利部水信息基礎(chǔ)平臺項(xiàng)目標(biāo)準(zhǔn) 05 001—2016《水利信息資源目錄服務(wù)技術(shù)規(guī)范》,數(shù)據(jù)訪問服務(wù)采用了水利部水信息基礎(chǔ)平臺項(xiàng)目標(biāo)準(zhǔn) 04 001—2016《水利數(shù)據(jù)訪問服務(wù)技術(shù)規(guī)范》,應(yīng)用開發(fā)接口(API)采用 AMD 規(guī)范和 Restful WebService 服務(wù)規(guī)范,專題圖服務(wù)采用了 GB/T 18317—2001《專題地圖信息分類與代碼》。
傳統(tǒng)的 SOA 將應(yīng)用程序的不同功能服務(wù)進(jìn)行拆分,將服務(wù)獨(dú)立出來使得各個業(yè)務(wù)系統(tǒng)之間達(dá)到任務(wù)重用、資源共用[4]。然而 SOA 不太關(guān)注如何對應(yīng)用程序進(jìn)行模塊化構(gòu)建,更多地是關(guān)注如何通過總線控制邏輯組織并對外提供應(yīng)用服務(wù)。
微服務(wù)架構(gòu)在某種程度上是 SOA 繼續(xù)發(fā)展的下一步。微服務(wù)設(shè)計思路是服務(wù)開發(fā)組件化、通信接口標(biāo)準(zhǔn)化、服務(wù)功能單元獨(dú)立化[5]。微服務(wù)架構(gòu)中的各類服務(wù)完全獨(dú)立,服務(wù)間、服務(wù)與應(yīng)用間以網(wǎng)狀結(jié)構(gòu)進(jìn)行連接,常使用輕量級 HTTP,REST 或 Thrift API 等形式進(jìn)行服務(wù)間或服務(wù)與應(yīng)用間的通信和協(xié)作。黃河一張圖服務(wù)平臺的軟件架構(gòu)實(shí)現(xiàn)技術(shù)原理圖如圖 2 所示。
圖 2 SOA 和微服務(wù)雙擎驅(qū)動的軟件架構(gòu)
在黃河一張圖服務(wù)平臺的建設(shè)過程中,對于對消息實(shí)時性和準(zhǔn)確性有高要求,需要總線控制邏輯協(xié)調(diào)功能協(xié)作的服務(wù)功能和黃委原有 SOA 類型服務(wù),如用戶權(quán)限、消息中間件等基礎(chǔ)支撐服務(wù),采用了基于服務(wù)總線的 SOA 架構(gòu)進(jìn)行部署實(shí)施。對于對響應(yīng)速度、流暢性、便攜性和擴(kuò)展性要求較高的服務(wù),如專業(yè)和智慧支撐類服務(wù),采用了微服務(wù)架構(gòu)進(jìn)行部署實(shí)施。
面向服務(wù)的地理信息共享技術(shù)將地理空間數(shù)據(jù)以符合 OGC 標(biāo)準(zhǔn)規(guī)范的接口形式進(jìn)行對外發(fā)布,提供了 WFS,WMS,WMTS,WCS,WPS 等服務(wù)發(fā)布能力。將用做背景的地圖通過 WMTS 服務(wù)發(fā)布出來,既提高了地圖數(shù)據(jù)訪問效率,同時也可支持多種類型 GIS 客戶端使用,具有很大的靈活性。面向服務(wù)的地理信息共享還提供了較強(qiáng)的服務(wù)聚合能力,可以將其他平臺發(fā)布的 OGC 服務(wù)經(jīng)過疊加整合后再次進(jìn)行發(fā)布。黃河一張圖服務(wù)平臺通過使用面向服務(wù)的地理信息共享技術(shù)解決了聚合已有超圖,ArcGIS,MapGIS 等不同 GIS 服務(wù)融合共享的問題。面向服務(wù)的地理信息共享技術(shù)工作原理圖如圖 3 所示。
圖 3 面向服務(wù)的地理信息共享技術(shù)
機(jī)器學(xué)習(xí)技術(shù)為黃河一張圖各典型應(yīng)用提供了數(shù)據(jù)挖掘算法的調(diào)用計算能力。算法主要包括監(jiān)督、無監(jiān)督和半監(jiān)督學(xué)習(xí) 3 種類別[6]。黃河一張圖通過二次開發(fā)并封裝開源的 Weka 算法庫,面向各類典型應(yīng)用可提供基礎(chǔ)的數(shù)據(jù)挖掘分析算法計算能力,目前基于機(jī)器學(xué)習(xí)算法已經(jīng)開發(fā)完成了基于關(guān)聯(lián)規(guī)則分析算法的洪水及氣象預(yù)警動態(tài)監(jiān)控服務(wù)、黃河防汛現(xiàn)地信息等服務(wù)應(yīng)用。
黃河一張圖共整合了水利部防指系統(tǒng)、水利普查、天地圖基礎(chǔ)地理等水利部數(shù)據(jù)資源,涉及黃河流域片專題矢量數(shù)據(jù) 42 個類目、影像數(shù)據(jù) 9 個類目。此外,在整合水利部數(shù)據(jù)資源的基礎(chǔ)上,深度融合了黃委已有的影像、專題矢量、地形、三維、監(jiān)測、視頻等數(shù)據(jù),包括 60 余類黃河基礎(chǔ)地理數(shù)據(jù),100 余類治黃業(yè)務(wù)數(shù)據(jù),氣象、水文、水質(zhì)、凌情、閘控等監(jiān)測采集數(shù)據(jù),1 000 余路視頻及 50 余類遙感影像數(shù)據(jù),其中遙感成果目前已覆蓋從劉家峽至入海口近 2 700 多 km 里的河道。截止到目前,基于黃河一張圖服務(wù)共建設(shè)了典型應(yīng)用 32 個,有效支撐了黃委在洪水、干旱、水資源開發(fā)利用、河流湖泊、水利工程運(yùn)行和監(jiān)管等方面的管理工作。
以洪水專題應(yīng)用為例,目前已經(jīng)開發(fā)了包括凌情監(jiān)測、歷史洪水、動態(tài)監(jiān)控和現(xiàn)地防汛信息服務(wù)等黃河一張圖應(yīng)用。其中,凌情監(jiān)測應(yīng)用可動態(tài)沿著黃河河道標(biāo)繪出黃河在凌汛期每日的封開河情況,同時,可動態(tài)展示黃河重要水文測站的水情水溫、天氣氣溫、水庫調(diào)令、工作部署、防凌值班和歷史上同期的封開河情況等信息。歷史洪水應(yīng)用利用黃河一張圖,將 1843 年 8 月—2017 年8 月間的 10 場重大洪水情況進(jìn)行了洪水發(fā)展變化全過程的動畫效果模擬仿真。動態(tài)監(jiān)控應(yīng)用根據(jù)國家各權(quán)威預(yù)警部門發(fā)布的氣象或水文預(yù)警、黃委自有河道工程險情、中央氣象臺發(fā)布的重要臺風(fēng)等信息,通過關(guān)聯(lián)規(guī)則篩選算法,將預(yù)警和險情信息在黃河一張圖上進(jìn)行標(biāo)注和預(yù)警提醒?,F(xiàn)地防汛信息服務(wù)為黃委各級防汛管理單位的防汛業(yè)務(wù)工作提供了統(tǒng)一的辦公平臺,可根據(jù)用戶所在的單位自動定位到其管轄的地圖行政區(qū)劃范圍,并將該單位感興趣的業(yè)務(wù)信息結(jié)合空間影像數(shù)據(jù)動態(tài)在黃河一張圖上進(jìn)行實(shí)時匯總、統(tǒng)計和分析。
黃河一張圖服務(wù)平臺自 2017 年底正式上線運(yùn)行以來,不斷應(yīng)用完善,取得了以下建設(shè)成效:
1)標(biāo)準(zhǔn)格式統(tǒng)一化,提供了權(quán)威統(tǒng)一的地理空間、基礎(chǔ)和業(yè)務(wù)管理數(shù)據(jù)服務(wù)資源。
2)數(shù)據(jù)資源統(tǒng)籌化,有效地改善了黃委相關(guān)部門間信息獲取的方式。黃河一張圖提供的服務(wù)可被具有合法訪問權(quán)限的各類應(yīng)用重復(fù)調(diào)用,避免了由于重復(fù)開發(fā)多套應(yīng)用而造成的人力投入和開發(fā)成本。
3)應(yīng)用建設(shè)體系化,全面提升了治黃數(shù)據(jù)分析與決策能力。通過深度匯聚、融合和分析挖掘空間地理、治黃基礎(chǔ)和業(yè)務(wù)管理等數(shù)據(jù),形成了體系化的決策專題圖服務(wù),提升了分析、預(yù)測和預(yù)警能力,有效地保證決策的精準(zhǔn)性、科學(xué)性和時效性。
下階段將緊密聚焦十大水業(yè)務(wù),按照集中管理、安全規(guī)范、標(biāo)準(zhǔn)統(tǒng)一、充分共享、全面服務(wù)、更新及時的工作原則,充分利用大數(shù)據(jù)、無人機(jī)、物聯(lián)網(wǎng)等技術(shù),在水利行業(yè)《智慧水利總體方案》的指引下,不斷豐富和完善黃河一張圖建設(shè)成果,提升智能分析水平,擴(kuò)大使用范圍、增強(qiáng)面向公眾的服務(wù)能力,從而為流域綜合治理、宏觀決策、公益服務(wù)等業(yè)務(wù)提供多視角,大場景和智能化的專業(yè)性信息服務(wù)。