基于數(shù)據(jù)倉庫模型的水文數(shù)據(jù)挖掘

何可

摘 要

以水文決策和服務(wù)社會需求為導(dǎo)向，運用數(shù)據(jù)倉庫技術(shù)，構(gòu)建面向主題的水文數(shù)據(jù)倉庫結(jié)構(gòu)模型，并對其結(jié)構(gòu)、功能、邏輯模型和數(shù)據(jù)分析等進行設(shè)計，挖掘水文數(shù)據(jù)在經(jīng)濟社會中運用的價值和實現(xiàn)。

【關(guān)鍵詞】數(shù)據(jù)倉庫 水文數(shù)據(jù) 邏輯模型 價值挖掘

水文數(shù)據(jù)在水利行業(yè)數(shù)據(jù)中占有重要位置，它通過水文測驗收集各種水文要素的原始記錄，經(jīng)過統(tǒng)一的標(biāo)準(zhǔn)和規(guī)格，整理成簡明、系統(tǒng)的水文數(shù)據(jù)及數(shù)據(jù)庫。新世紀(jì)以來，水文遙感、水文示蹤、地理信息系統(tǒng)和云計算等新技術(shù)的快速發(fā)展，為深入挖掘水文時間、空間變化規(guī)律提供了技術(shù)可能。借助于神經(jīng)網(wǎng)絡(luò)、決策樹方法、統(tǒng)計分析方法等，再配合前端數(shù)據(jù)可視化技術(shù)，讓我們可以有目的、有組織地去發(fā)現(xiàn)水文數(shù)據(jù)內(nèi)在的規(guī)律和價值，提供面向主題的快速數(shù)據(jù)分析、預(yù)測預(yù)報等功能，實現(xiàn)支持決策和服務(wù)社會的目標(biāo)。

1 需求分析

水文數(shù)據(jù)按決策、服務(wù)對象和適用范圍可分為通用數(shù)據(jù)庫和專用數(shù)據(jù)庫，原始實測數(shù)據(jù)是基礎(chǔ)。通用數(shù)據(jù)庫主要存儲歷年基本水文數(shù)據(jù)，如簡單加工數(shù)據(jù)、資料整編后的數(shù)據(jù)等，為社會各行業(yè)和其他用戶提供基礎(chǔ)服務(wù)。專用數(shù)據(jù)庫主要存儲實時數(shù)據(jù)、二次加工處理和分析計算數(shù)據(jù)，為政府、水利專業(yè)和特定用戶提供服務(wù)，如水文情報預(yù)報專用庫、工程水文計算專用庫等。水文原始實測數(shù)據(jù)本身難以滿足復(fù)雜多樣的水文決策和服務(wù)需求，需要充分利用數(shù)據(jù)挖掘技術(shù)對水文數(shù)據(jù)進行分析和發(fā)現(xiàn)，提取出在水資源管理、防災(zāi)減災(zāi)等經(jīng)濟社會科學(xué)發(fā)展方面有用的信息。

1.1 洪水周期性

洪水由自然和人為因素共同作用形成，洪災(zāi)是我國發(fā)生頻率高、危害范圍廣、對國民經(jīng)濟影響最為嚴(yán)重的自然災(zāi)害，亦是威脅人類生存的十大自然災(zāi)害之一。以貴州省遵義市為例：2015年汛期共出現(xiàn)暴雨過程18次，造成12個縣（市、區(qū)）77個鄉(xiāng)（鎮(zhèn)）遭受不同程度的洪澇災(zāi)害，受災(zāi)人口12.6656萬人，損壞房屋226間，農(nóng)作物受災(zāi)面積8.471萬畝，直接經(jīng)濟損失12888.305萬元。面對洪災(zāi)造成的巨大損失，只有了解洪水、掌握洪水、利用洪水，才能把損失降到最低。通過對洪水周期性的研究，從水文序列數(shù)據(jù)中找出洪水重復(fù)出現(xiàn)的概率和路徑，進而對洪水進行預(yù)測預(yù)報預(yù)防。

1.2 水文相似性

水文相似性是指找出與給定序列最接近的其它水文序列。找出與給定序列相似的所有數(shù)據(jù)序列稱為子序列匹配，找出彼此間相似的序列稱為整體序列匹配。查找水文序列相似性就是要在水文序列中，找出各類相似的子序列?？捎糜诤樗^程預(yù)測、環(huán)境演變分析、水文過程規(guī)律分析等方面，最為直接的支持決策應(yīng)用，如：防汛指揮中“當(dāng)前洪水相當(dāng)于歷史上哪一次洪水？”。

2 水文數(shù)據(jù)倉庫模型設(shè)計

2.1 總體結(jié)構(gòu)

水文數(shù)據(jù)主要表現(xiàn)為水文時間序列，水文數(shù)據(jù)倉庫由水文時間序列元數(shù)據(jù)集合而成，按對象的主題要求形成水文基本數(shù)據(jù)層，隨時間變化轉(zhuǎn)為歷史數(shù)據(jù)，通過對歷史水文數(shù)據(jù)集合進行分析，建立單一或者一組模型，由所建立的模型對新數(shù)據(jù)集合的可能行為做出預(yù)測預(yù)報。水文數(shù)據(jù)倉庫模型設(shè)計采用三層結(jié)構(gòu)體系，由倉庫數(shù)據(jù)庫服務(wù)器、OLAP服務(wù)器和前端客戶層組成，如圖1所示。

2.2 邏輯模型

基于星形模式組織的多維數(shù)據(jù)模型適用于面向預(yù)測預(yù)報的水文數(shù)據(jù)模型，水文數(shù)據(jù)倉庫包含1個事實表（即一個大的中心表）和5個維表（即附屬表）。事實表中包含時間、行政區(qū)劃、流域、河流、地理信息5個維表和降雨量、水位、流量、水溫、含沙量等屬性。其中，每個維表包含1組由底層映射到一般高層的屬性概念，如行政區(qū)劃維表由屬性省、市、縣形成一種層次，即：省-市-縣；地理信息維表由屬性地形、地貌、地質(zhì)形成一種層次，即：地形—地貌—地質(zhì)。水文數(shù)據(jù)倉庫星形邏輯模型如圖2所示。

建立邏輯模型后，其中的水文數(shù)據(jù)是隨著時間變量動態(tài)變化的，降水量、水位、流量、水溫等會有不同的變化，實際操作中，可根據(jù)不同預(yù)測預(yù)報模型的應(yīng)用需求，采取不同的數(shù)據(jù)分析方式。

若對河道來水量進行預(yù)報，就要重點考慮水位、流量等屬性在空間維度上的變化情況，以及河流上游、下游一定距離間的水位、流量相關(guān)關(guān)系，建立對應(yīng)函數(shù)關(guān)系。

若做中長期水文預(yù)報，就要對各水文測站的歷史數(shù)據(jù)在多層次的時間維度上，根據(jù)所建立的回歸分析函數(shù)，選擇合適的預(yù)報因子進行分析。

若對降雨徑流過程進行預(yù)報，就需要對流域的全面屬性，如降雨、徑流量、地理信息等在時間維度和屬性維度上進行多維立體分析，得到模型對應(yīng)函數(shù)關(guān)系，確定計算參數(shù)，進行計算和驗證。

2.3 創(chuàng)建數(shù)據(jù)倉庫

2.3.1 元數(shù)據(jù)庫

在水文數(shù)據(jù)倉庫中，定義倉庫對象的水文監(jiān)測數(shù)據(jù)就是元數(shù)據(jù)。在水文時間、空間信息中用于描述水文數(shù)據(jù)集的內(nèi)容、質(zhì)量、表示方式、空間參考、管理方式以及數(shù)據(jù)集的其他特征。由目錄信息和詳細(xì)信息兩個層組成。

2.3.2 創(chuàng)建水文數(shù)據(jù)倉庫數(shù)據(jù)庫

水文數(shù)據(jù)倉庫數(shù)據(jù)庫可以在關(guān)系數(shù)據(jù)庫中按照通用的建立數(shù)據(jù)庫的方法進行創(chuàng)建。把水文數(shù)據(jù)倉庫數(shù)據(jù)庫中設(shè)計的表創(chuàng)建好，數(shù)據(jù)類型依據(jù)原始數(shù)據(jù)庫中的各個表和字段的數(shù)據(jù)類型設(shè)置。將從業(yè)務(wù)系統(tǒng)或外部系統(tǒng)中獲得的數(shù)據(jù)，轉(zhuǎn)換和清洗成數(shù)據(jù)倉庫需要的格式和形態(tài)，并在規(guī)定的時間內(nèi)裝入數(shù)據(jù)倉庫。

2.4 水文數(shù)據(jù)分析

水文數(shù)據(jù)通過聯(lián)機分析處理可以用不同的格式組織和提供數(shù)據(jù)，以滿足水文數(shù)據(jù)分析的需求?；诙嗑S數(shù)據(jù)模型，通過分析對象主題來對數(shù)據(jù)進行組織，并根據(jù)需求添加不同的數(shù)據(jù)集市的數(shù)據(jù)。其結(jié)果可以作為簡單數(shù)據(jù)挖掘的結(jié)果，也可以作為深度數(shù)據(jù)挖掘需要的預(yù)處理數(shù)據(jù)集合。

3 結(jié)語

由于水文數(shù)據(jù)量大，影響預(yù)測的因素多，相比傳統(tǒng)的水文預(yù)測方法，數(shù)據(jù)挖掘技術(shù)可以智能地從大量的、不完全的、有噪聲的、模糊的數(shù)據(jù)中提取出有用信息，建立起誤差小、精度高的水文預(yù)測模型。利用數(shù)據(jù)倉庫從歷史數(shù)據(jù)中挖掘水文現(xiàn)象所隱含的價值，完全可以滿足水文決策和服務(wù)的需求，但是水文數(shù)據(jù)倉庫模型的應(yīng)用也需要我們在實踐中反復(fù)的試驗和驗證，根據(jù)河流的不同特性，找到符合實際的參數(shù)設(shè)置，最終得到接近真實的預(yù)測預(yù)報結(jié)果。

參考文獻(xiàn)

[1]艾萍，宋海波，馮鵬.一種支持水文信息組織數(shù)據(jù)倉庫的模型[J].信息技術(shù)，2013，27（07），27-30.

[2]尹濤，關(guān)興中，萬定生.數(shù)據(jù)挖掘技術(shù)在水文數(shù)據(jù)分析中的應(yīng)用[J].計算機工程與設(shè)計，2012，33（12），4721-4725.

[3]陳德清，王問宇，楊海坤.數(shù)據(jù)倉庫技術(shù)在水文數(shù)據(jù)綜合分析中的應(yīng)用研究[J].水利信息化，2010，18（02），18-21.

作者單位

遵義市水政監(jiān)察支隊 貴州省遵義市 563002endprint