黃河水沙變化數(shù)據(jù)倉庫構(gòu)建關(guān)鍵技術(shù)研究

吳 丹，夏潤亮，李 濤，劉啟興

（1.黃河水利委員會(huì) 黃河水利科學(xué)研究院，河南 鄭州 450003；2.河南省智慧水利工程技術(shù)研究中心，河南 鄭州 450003）

1 研究背景

近幾十年來，受氣候變化和人類活動(dòng)的影響［1］，黃河流域特別是中游水資源情勢(shì)發(fā)生重大變化，入黃水沙量減小［2］。 隨著水土保持、改變土地利用類型等治理措施的實(shí)施，黃河中游產(chǎn)匯流機(jī)制發(fā)生了改變［3］。 徑流預(yù)報(bào)是黃河水量調(diào)度的重要依據(jù)，隨著流域水資源管理的不斷深入，現(xiàn)階段對(duì)徑流預(yù)報(bào)的要求更高，如預(yù)報(bào)項(xiàng)目增加、預(yù)見期延長、預(yù)報(bào)精度提高等［4］。 歷史降雨、土地利用等數(shù)據(jù)是研究流域水沙變化及預(yù)測(cè)預(yù)報(bào)的基礎(chǔ)，但傳統(tǒng)的數(shù)據(jù)處理方法難以滿足海量、多源、異構(gòu)的河流系統(tǒng)數(shù)據(jù)的存儲(chǔ)應(yīng)用和河流的高效管理要求［5］，因此構(gòu)建一個(gè)具備研究性、功能性、便捷性的綜合服務(wù)數(shù)據(jù)倉庫，將其作為基礎(chǔ)數(shù)據(jù)的高效載體日趨迫切。 本文利用多源、異構(gòu)數(shù)據(jù)匯集及ETL 處理等技術(shù)將黃河流域降雨、水文泥沙、土地利用等數(shù)據(jù)整理入庫，通過設(shè)計(jì)構(gòu)建黃河水沙變化數(shù)據(jù)倉庫及公共服務(wù)平臺(tái)，為流域未來水沙變化預(yù)測(cè)提供規(guī)范統(tǒng)一的數(shù)據(jù)源，并對(duì)多源、異構(gòu)數(shù)據(jù)進(jìn)行分析建模，以期為探索流域侵蝕性降雨及水沙時(shí)空變化特征提供數(shù)據(jù)支撐。

2 研究區(qū)概況

選取黃河流域主要產(chǎn)沙區(qū)為研究區(qū)，包括黃河中游的河口鎮(zhèn)至龍門區(qū)間（簡(jiǎn)稱河龍區(qū)間）、渭河北道水文站以上（簡(jiǎn)稱渭河上游）、涇河景村水文站以上（簡(jiǎn)稱涇河上中游）、北洛河劉家河水文站以上（簡(jiǎn)稱北洛河上游）、汾河蘭村水文站以上（簡(jiǎn)稱汾河上游），以及黃河上游的祖厲河流域、清水河同心縣以上（簡(jiǎn)稱清水河上中游）、十大孔兌流域、湟水民和縣以上、洮河紅旗村以上，研究區(qū)分布示意見圖1。 研究區(qū)面積約占潼關(guān)以上總土地面積的35%，研究區(qū)天然時(shí)期入黃泥沙量約占潼關(guān)以上支流入黃總泥沙量的95%。 研究區(qū)內(nèi)黃土丘陵溝壑區(qū)主要分布在涇河中游、河龍區(qū)間南部、北洛河中游、祖厲河和清水河，是分析產(chǎn)沙降雨閾值的重點(diǎn)區(qū)域，主要表現(xiàn)為土壤多孔疏松、地勢(shì)起伏大、溝壑縱橫、支離破碎［6］，在水力、風(fēng)力和重力侵蝕下水土流失現(xiàn)象非常明顯。 此外，研究區(qū)內(nèi)還有風(fēng)沙區(qū)（主要分布在無定河上游、窟野河上游和禿尾河上游）和土石山區(qū)（主要分布在河龍區(qū)間東部呂梁山、渭河上游秦嶺和涇河上游六盤山）。

圖1 研究區(qū)分布示意

3 黃河水沙變化數(shù)據(jù)倉庫設(shè)計(jì)

流域內(nèi)各種屬性相互影響共同刻畫了流域水文行為［7］，所有屬性綜合起來形成了對(duì)流域水文模型建立、模型測(cè)試、氣候變化影響等相關(guān)研究至關(guān)重要的基礎(chǔ)數(shù)據(jù)集。 黃河水沙變化數(shù)據(jù)倉庫將各類型水沙數(shù)據(jù)與流域?qū)嶓w逐步融合，實(shí)現(xiàn)對(duì)數(shù)據(jù)的獲取、傳輸、存儲(chǔ)、更新以及分析等。

研究區(qū)數(shù)據(jù)涵蓋降雨、植被、土壤、土地利用和社會(huì)經(jīng)濟(jì)等數(shù)據(jù)，這些數(shù)據(jù)形式多樣，包括音頻視頻、圖形圖像、三維模型等，其存在分散、多源、異構(gòu)、語義不一等問題，無法為決策支持提供有效的數(shù)據(jù)源信息服務(wù)。 基于此，采用數(shù)據(jù)倉庫、面向?qū)ο笏枷?、商業(yè)智能、數(shù)據(jù)挖掘等關(guān)鍵技術(shù)將流域相關(guān)數(shù)據(jù)有機(jī)集成起來，構(gòu)建多源數(shù)據(jù)融合的數(shù)據(jù)倉庫，對(duì)海量數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換、加載、主題域分析以及主題設(shè)計(jì)，借助數(shù)據(jù)倉庫的傳輸功能對(duì)流域?qū)嶓w狀態(tài)及其變化信息進(jìn)行匯集存儲(chǔ)。 同時(shí)利用GIS、水文分析、大數(shù)據(jù)分析、人工智能等技術(shù)構(gòu)建數(shù)據(jù)挖掘分析與可視化工具，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)中隱性數(shù)據(jù)、模糊數(shù)據(jù)的挖掘與分析，構(gòu)建各類數(shù)據(jù)服務(wù)體系，從而提供綜合的智能信息服務(wù)。

3.1 總體框架設(shè)計(jì)

黃河水沙變化數(shù)據(jù)倉庫由數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)與分析層、數(shù)據(jù)共享層和數(shù)據(jù)應(yīng)用層組成，見圖2。

圖2 黃河水沙變化數(shù)據(jù)倉庫總體框架

（1）數(shù)據(jù)采集層。 從各種數(shù)據(jù)源中采集和存儲(chǔ)相關(guān)數(shù)據(jù)到數(shù)據(jù)庫中，通過ETL 實(shí)現(xiàn)對(duì)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等。 數(shù)據(jù)源包括日志、業(yè)務(wù)數(shù)據(jù)庫、Http 資源等，其中：日志存儲(chǔ)在備份服務(wù)器上且所占份額最大；業(yè)務(wù)數(shù)據(jù)庫包括Mysql、Oracle、SQL Server 等傳統(tǒng)數(shù)據(jù)庫；Http／Ftp 數(shù)據(jù)是網(wǎng)絡(luò)上抓取的各類接口數(shù)據(jù)；其他數(shù)據(jù)源包括Excel 等需要手工錄入的數(shù)據(jù)。

（2）數(shù)據(jù)存儲(chǔ)與分析層。 數(shù)據(jù)存儲(chǔ)采用分布式文件系統(tǒng)HDFS，開展離線數(shù)據(jù)分析與實(shí)時(shí)計(jì)算，采用Hive 對(duì)實(shí)時(shí)性要求不高的數(shù)據(jù)進(jìn)行ETL 操作，Spark作為快速通用計(jì)算引擎，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行處理，同時(shí)使用Spark SQL 對(duì)Hive 進(jìn)行操作。

（3）數(shù)據(jù)共享層。 由于Hive、MR、Spark、Spark SQL 分析計(jì)算結(jié)果依然保存在HDFS 上，大多數(shù)業(yè)務(wù)和應(yīng)用不能直接從HDFS 上獲取數(shù)據(jù)，因此在數(shù)據(jù)共享層中通過Redis、HBase 等數(shù)據(jù)庫提供對(duì)外數(shù)據(jù)共享的數(shù)據(jù)接口。

（4）數(shù)據(jù)應(yīng)用層。 用戶通過數(shù)據(jù)應(yīng)用層中的報(bào)表展示、數(shù)據(jù)挖掘、數(shù)據(jù)分析、即席查詢、數(shù)據(jù)可視化獲取數(shù)據(jù)倉庫中的數(shù)據(jù)文件，該層能夠?yàn)橛脩籼峁?shù)據(jù)挖掘服務(wù)以及平臺(tái)服務(wù)。

3.2 數(shù)據(jù)分析模型設(shè)計(jì)

數(shù)據(jù)倉庫作為基礎(chǔ)數(shù)據(jù)的高效載體，是面向主題的、集成的、非易失性的、隨時(shí)間變化的、支持決策的數(shù)據(jù)集合，在數(shù)據(jù)倉庫中建立數(shù)據(jù)分析模型，可為智能分析、數(shù)據(jù)挖掘等提供海量數(shù)據(jù)存儲(chǔ)的容器以及優(yōu)化數(shù)據(jù)集成的關(guān)鍵技術(shù)［8］。

在數(shù)據(jù)分析模型建立階段，依照數(shù)據(jù)結(jié)構(gòu)化程度的差異將其分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。 其中：結(jié)構(gòu)化數(shù)據(jù)包括結(jié)構(gòu)化報(bào)表等；半結(jié)構(gòu)化數(shù)據(jù)包括日志文件等；非結(jié)構(gòu)化數(shù)據(jù)包括Web 頁面、文本數(shù)據(jù)等。 結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫構(gòu)建方案見圖3。

圖3 結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)倉庫構(gòu)建方案

針對(duì)決策信息的快速獲取與綜合集成，通過構(gòu)建面向主題的多維數(shù)據(jù)分析模型來實(shí)現(xiàn)。 該模型在統(tǒng)一水利視圖模型的基礎(chǔ)上，采用商務(wù)智能技術(shù)并根據(jù)應(yīng)用需求確定時(shí)間維度、空間維度等，使基礎(chǔ)、空間、業(yè)務(wù)等數(shù)據(jù)間的多維度復(fù)雜關(guān)系整合成直觀有序的有機(jī)整體。 在流域業(yè)務(wù)決策主題和主題域分析的基礎(chǔ)上，開展與決策主體相對(duì)應(yīng)的決策信息模型或概念模型的研究與設(shè)計(jì)，采用多維分析架構(gòu)（見圖4），逐步推導(dǎo)出主題的數(shù)據(jù)層次、數(shù)據(jù)關(guān)聯(lián)關(guān)系、事實(shí)表等。

圖4 多維分析架構(gòu)

3.3 邏輯模型設(shè)計(jì)

黃河水沙變化數(shù)據(jù)倉庫邏輯設(shè)計(jì)階段主要把概念多維模型轉(zhuǎn)換為邏輯模型，并對(duì)數(shù)據(jù)倉庫ETL 過程中涉及的映射和轉(zhuǎn)換過程進(jìn)行定義設(shè)計(jì)。 邏輯模型主要對(duì)水量、沙量主題域進(jìn)行數(shù)據(jù)分析，確定每個(gè)主題的數(shù)據(jù)倉庫多維概念模型框架，在局部概念模型的基礎(chǔ)上，通過分析水沙調(diào)度方案和數(shù)據(jù)信息的關(guān)聯(lián)關(guān)系，確定水沙調(diào)度方案的數(shù)據(jù)倉庫局部邏輯模型。 通過星型模型進(jìn)行邏輯模型設(shè)計(jì)，即在星型模型中設(shè)計(jì)邏輯模型維表、多維事實(shí)表。

以降雨量為例，建立其星型模型邏輯結(jié)構(gòu)（見圖5），降雨量信息包括：①降雨量要素＝｛降雨量要素值，降雨量要素值值域，降雨量要素維度描述｝；②度量維＝｛匯總，累計(jì)，極值，均值｝；③時(shí)間維＝｛年，月，旬，日，時(shí)，分｝；④空間維＝｛緯度，經(jīng)度，流域，子流域，高程，區(qū)域｝；⑤水文測(cè)站維＝｛站名，測(cè)流方法，站址，基準(zhǔn)基面，高程｝；⑥行政區(qū)劃維＝｛省，市，縣｝；⑦流域維＝｛流域，水系，干流，一級(jí)支流，二級(jí)支流，三級(jí)支流，四級(jí)支流｝。

圖5 降雨量星型模型邏輯結(jié)構(gòu)

3.4 ETL 設(shè)計(jì)

采用ETL 可將多源、異構(gòu)的水沙數(shù)據(jù)有效地抽取、轉(zhuǎn)換、集成到數(shù)據(jù)倉庫中，使系統(tǒng)進(jìn)行數(shù)據(jù)挖掘時(shí)能夠從數(shù)據(jù)倉庫訪問到所需信息并快速支持決策［9］，從而解決分散在不同部門、不同類別的數(shù)據(jù)資源的集成增值問題［10］。 ETL 設(shè)計(jì)主要包括數(shù)據(jù)抽取、轉(zhuǎn)換、清洗、加載、計(jì)算等［11-12］，流程見圖6。 其中：數(shù)據(jù)抽取就是從不同的操作系統(tǒng)、數(shù)據(jù)庫、數(shù)據(jù)格式、應(yīng)用中抽取數(shù)據(jù)；數(shù)據(jù)清洗就是對(duì)數(shù)據(jù)源進(jìn)行精簡(jiǎn)處理，除去重復(fù)記錄，使數(shù)據(jù)呈現(xiàn)準(zhǔn)確性、完整性、一致性、適時(shí)性、有效性，滿足決策主題分析的需求；數(shù)據(jù)轉(zhuǎn)換就是對(duì)數(shù)據(jù)進(jìn)行合并、匯總、過濾、轉(zhuǎn)換等。 從整體角度來看，ETL 為各種基于數(shù)據(jù)倉庫的數(shù)據(jù)挖掘分析和應(yīng)用提供統(tǒng)一的數(shù)據(jù)接口。

圖6 ETL 設(shè)計(jì)流程

以黃河水沙基礎(chǔ)數(shù)據(jù)中的氣象數(shù)據(jù)為例，其需要大量的空間數(shù)據(jù)進(jìn)行輔助決策。 由于傳統(tǒng)數(shù)據(jù)倉庫技術(shù)在處理空間數(shù)據(jù)時(shí)具有較大的局限性，沒有強(qiáng)大的空間分析能力，不能支持圖形等復(fù)雜數(shù)據(jù)的處理，因此在數(shù)據(jù)倉庫的基礎(chǔ)上，引入空間數(shù)據(jù)倉庫管理技術(shù)對(duì)空間數(shù)據(jù)進(jìn)行擴(kuò)展，截取區(qū)域（河段）直至全流域的不同規(guī)模時(shí)空尺度的信息，有效地管理、分析空間數(shù)據(jù)并從中挖掘出有用的知識(shí)與規(guī)律，從而為決策提供重要依據(jù)。 空間數(shù)據(jù)倉庫及ETL 過程見圖7。

圖7 空間數(shù)據(jù)倉庫及ETL 過程

3.5 公共服務(wù)平臺(tái)設(shè)計(jì)

為有效利用黃河水沙變化數(shù)據(jù)倉庫所涵蓋的數(shù)據(jù)資源，設(shè)計(jì)開發(fā)黃河水沙變化數(shù)據(jù)公共服務(wù)平臺(tái)（見圖8），對(duì)黃河水沙決策分析成果進(jìn)行展現(xiàn)。 該服務(wù)平臺(tái)集合多維度數(shù)據(jù)查詢、實(shí)時(shí)計(jì)算、挖掘分析、可視化展示等功能，開放自定義的二次開發(fā)接口，切實(shí)服務(wù)于黃河水沙變化基礎(chǔ)研究工作。 對(duì)其中的數(shù)據(jù)資源進(jìn)行分類，根據(jù)各類數(shù)據(jù)特點(diǎn)，以API 封裝和服務(wù)方式開發(fā)數(shù)據(jù)關(guān)系服務(wù)、地圖服務(wù)和影像服務(wù)等。 利用成熟穩(wěn)定的GIS 網(wǎng)絡(luò)平臺(tái)以及Web 服務(wù)技術(shù)實(shí)現(xiàn)數(shù)據(jù)資源分布式訪問，提供不同權(quán)限的數(shù)據(jù)瀏覽、查詢、可視化、空間分析等功能。 該平臺(tái)采用.NET 框架開發(fā)，結(jié)合MS SQL Server 數(shù)據(jù)管理與Citrix Xen 云資源管理平臺(tái)，組建成包括用戶體驗(yàn)端、數(shù)據(jù)供給端、資源服務(wù)端的完備基礎(chǔ)數(shù)據(jù)應(yīng)用系統(tǒng)，形成PC 端與移動(dòng)端的同步界面適配、多重網(wǎng)絡(luò)環(huán)境下的多資源適配、結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與管理適配的技術(shù)框架，實(shí)現(xiàn)B／S 架構(gòu)體系下黃河水沙變化數(shù)據(jù)分析與應(yīng)用的公共服務(wù)。

圖8 黃河水沙變化數(shù)據(jù)公共服務(wù)平臺(tái)

4 結(jié) 語

黃河流域水環(huán)境復(fù)雜，水沙數(shù)據(jù)多樣，構(gòu)建黃河水沙變化數(shù)據(jù)倉庫能夠收集整理各類水沙基礎(chǔ)數(shù)據(jù)，對(duì)影響黃河水沙變化的降雨、水文泥沙、土地覆被、林草結(jié)構(gòu)、工程等數(shù)據(jù)進(jìn)行深度挖掘，通過分析黃河水沙研究業(yè)務(wù)需求，實(shí)現(xiàn)各類型主題數(shù)據(jù)的高效利用，為預(yù)測(cè)黃河流域未來水沙變化提供規(guī)范統(tǒng)一的數(shù)據(jù)源，進(jìn)一步滿足黃河治理開發(fā)的科技需求。