基于數(shù)據(jù)挖掘技術(shù)構(gòu)建氣象數(shù)據(jù)信息動態(tài)顯示平臺

【摘 要】本文針對氣象預(yù)報當(dāng)前業(yè)務(wù)環(huán)境下，氣象數(shù)據(jù)信息量大的特點(diǎn)，從氣象數(shù)據(jù)資源接收利用現(xiàn)狀及特點(diǎn)出發(fā)，充分分析氣象預(yù)報業(yè)務(wù)需求，根據(jù)數(shù)據(jù)挖掘技術(shù)與數(shù)據(jù)庫技術(shù)各自對信息數(shù)據(jù)處理優(yōu)勢，采取以數(shù)據(jù)挖掘技術(shù)為主，數(shù)據(jù)庫技術(shù)為輔助的方法手段，構(gòu)建基于數(shù)據(jù)挖掘技術(shù)的氣象數(shù)據(jù)信息動態(tài)顯示平臺。在實(shí)現(xiàn)方法上充分考慮了互聯(lián)網(wǎng)技術(shù)，云計算等計算機(jī)技術(shù)背景特點(diǎn)，從平臺的硬、軟件需求分析構(gòu)建單站式氣象數(shù)據(jù)信息動態(tài)顯示平臺的可行性。從系統(tǒng)設(shè)計看，符合目前氣象預(yù)報業(yè)務(wù)需求現(xiàn)狀，并且具有良好的應(yīng)用價值和推廣意義。

【關(guān)鍵詞】數(shù)據(jù)挖掘技術(shù)；數(shù)據(jù)庫技術(shù)；數(shù)值預(yù)報產(chǎn)品；數(shù)據(jù)倉庫；現(xiàn)代天氣預(yù)報技術(shù)

數(shù)據(jù)挖掘是用于開發(fā)信息資源的一種新的數(shù)據(jù)處理技術(shù)，它可以發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，找出數(shù)據(jù)背后隱藏的知識，并根據(jù)現(xiàn)有數(shù)據(jù)預(yù)測未來的發(fā)展趨勢，從而可以解決“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。現(xiàn)代天氣預(yù)報技術(shù)在計算機(jī)技術(shù)、信息技術(shù)高速發(fā)展以后，使得天氣預(yù)報的主要方法由天氣圖傳統(tǒng)作業(yè)方式向以數(shù)值預(yù)報產(chǎn)品為基礎(chǔ)、人機(jī)交互信息加工處理系統(tǒng)為平臺的預(yù)報制作方式過渡。數(shù)值預(yù)報產(chǎn)品是由概率統(tǒng)計預(yù)報、數(shù)值預(yù)報等技術(shù)計算氣象觀測實(shí)況基礎(chǔ)數(shù)據(jù)得出的結(jié)果。概率統(tǒng)計預(yù)報、數(shù)值預(yù)報等預(yù)報技術(shù)在現(xiàn)代天氣預(yù)報中現(xiàn)在已經(jīng)占居了很重要的作用。而這些情況都使得科學(xué)、準(zhǔn)確的原始?xì)庀笥^測數(shù)據(jù)越來越重要，大量長期的客觀、準(zhǔn)確的氣象數(shù)據(jù)的積累對氣象預(yù)報模式的建立和天氣預(yù)報對未來天氣狀況準(zhǔn)確預(yù)報的結(jié)果起到重要作用。因此，從氣象臺站日常觀探測獲得的數(shù)據(jù)出發(fā)，如氣溫、壓強(qiáng)、風(fēng)速、風(fēng)向、濕度、能見度等，在長年累月積累的數(shù)據(jù)基礎(chǔ)上我們基于數(shù)據(jù)挖掘技術(shù)建立臺站氣象數(shù)據(jù)庫，構(gòu)建網(wǎng)絡(luò)化數(shù)據(jù)信息動態(tài)顯示平臺，供科學(xué)研究和服務(wù)于公眾、國防很有必要。

1.氣象信息利用現(xiàn)狀和特點(diǎn)

1.1 現(xiàn)狀

數(shù)據(jù)及信息數(shù)量大，種類繁雜，為了有效及時傳輸氣象信息，國內(nèi)外國家氣象部門都是利用現(xiàn)代計算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、通信技術(shù)，充分利用衛(wèi)星、公共通信網(wǎng)、專網(wǎng)，有線和無線等傳輸方式，組建各級氣象通信網(wǎng)，提供給各級有接收權(quán)限的氣象部門人員使用。同時國家氣候基準(zhǔn)站和軍、民機(jī)場在一定規(guī)定下將觀測到的正點(diǎn)氣象數(shù)據(jù)上傳達(dá)到數(shù)據(jù)共享。而這種方式卻不利于各氣象臺站氣象人員對歷史和當(dāng)前資料的統(tǒng)計分析和查詢調(diào)用。現(xiàn)代生產(chǎn)、生活，農(nóng)業(yè)、工商業(yè)、國防等許多方面都日益依賴氣象預(yù)報，天氣從來沒有象現(xiàn)在這樣影響相關(guān)活動。而對于大量長期積累的氣象數(shù)據(jù)，各氣象臺站都有著共同的特點(diǎn)“數(shù)據(jù)豐富，信息貧乏”，多年積累的氣象數(shù)據(jù)，充分挖掘使用的較少。因此，很有必要建立數(shù)據(jù)庫，充分利用先進(jìn)的數(shù)據(jù)挖掘技術(shù)構(gòu)建氣象數(shù)據(jù)信息動態(tài)顯示平臺，在網(wǎng)絡(luò)平臺支持下，服務(wù)于客戶端用戶。

1.2 特點(diǎn)

氣象信息作為一種資源，充滿著矛盾。和平時期，人們都期望了解更多的公開、可靠、準(zhǔn)確的氣象信息處理好生活工作等方方面面。而在戰(zhàn)爭時期，各國權(quán)力機(jī)構(gòu)、軍隊等又都期盼已方能獲得包括敵人一方的全部氣象信息情報，卻隱藏或封鎖已方相關(guān)內(nèi)容，達(dá)到最后的目的。這就使得氣象數(shù)據(jù)信息動態(tài)顯示平臺具有多樣性、通用性的特點(diǎn)。

氣象數(shù)據(jù)信息動態(tài)顯示平臺根據(jù)終端用戶的不同，可以建立單站式，或部門式、組織式，如應(yīng)用于海洋業(yè)務(wù)的、應(yīng)用于國防軍隊的、應(yīng)用于工農(nóng)業(yè)生產(chǎn)的。至少應(yīng)建立分層多樣化架構(gòu)模式，便于信息最大化被使用。由于天氣預(yù)報本身特點(diǎn)，一般情況下由地面衛(wèi)星接收站或氣象專網(wǎng)接收相關(guān)數(shù)據(jù)信息后供各級氣象部門應(yīng)用。接收的氣象數(shù)據(jù)較為單一，且數(shù)據(jù)網(wǎng)格尺寸也較大且不均勻，其帶來的不足是對于數(shù)值預(yù)報技術(shù)、人工智能技術(shù)、氣象預(yù)報專家系統(tǒng)等現(xiàn)代天氣預(yù)報技術(shù)的預(yù)報結(jié)果訂正，智能維護(hù)等數(shù)據(jù)集成度低，且作為最底層數(shù)據(jù)應(yīng)用鏈部分，構(gòu)建適合自己區(qū)域的數(shù)據(jù)應(yīng)用較為困難。在現(xiàn)有模式方程下對一些局地雷暴、超強(qiáng)風(fēng)暴、強(qiáng)降水等預(yù)報則束手無策，這就要求必須要有長期的數(shù)據(jù)積累，也只有海量的數(shù)據(jù)才能提高上述現(xiàn)代天氣預(yù)報技術(shù)作出的氣象預(yù)報結(jié)果準(zhǔn)確度，特別是針對單站預(yù)報和軍隊作戰(zhàn)目標(biāo)區(qū)、任務(wù)地域的氣象預(yù)報，只有在長期的數(shù)據(jù)資料和不斷續(xù)補(bǔ)數(shù)據(jù)的情況下，不斷加強(qiáng)這些預(yù)報地域氣象預(yù)報模式的修正，才能在戰(zhàn)時或任務(wù)期做出準(zhǔn)確的氣象預(yù)報，為部門或軍隊出動提供強(qiáng)有力的保障和領(lǐng)導(dǎo)決策支持及輔助作用。而構(gòu)建大型數(shù)據(jù)庫系統(tǒng)或數(shù)據(jù)倉庫的特點(diǎn)正是彌補(bǔ)當(dāng)前氣象預(yù)報資料不足的最好方式，將幾十年甚至上百年的氣象原始數(shù)據(jù)整合起來，不間斷實(shí)時添加續(xù)補(bǔ)新的觀探測氣象數(shù)據(jù)建立大型氣象數(shù)據(jù)庫或數(shù)據(jù)倉庫，將是構(gòu)建更加合理的氣象預(yù)報方程、模式的最好選擇之一。

2.數(shù)據(jù)倉庫

1996年Inmon在他的專著《Building the Data Warehouse》中對數(shù)據(jù)倉庫做了如下定義，即“面向主題的、完整的、非易失的、不同時間的、用于支持決策的數(shù)據(jù)集合”。數(shù)據(jù)倉庫不是一件產(chǎn)品，而只是一個環(huán)境，向用戶提供用于決策支持的當(dāng)前和歷史的數(shù)據(jù)集；數(shù)據(jù)倉庫技術(shù)是以把操作型數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以供決策型數(shù)據(jù)訪問為目的的各種技術(shù)和模塊的集合，高效的供用戶更快、更方便查詢所需要的信息，提供決策支持。這和傳統(tǒng)的基于OLTP的操作型數(shù)據(jù)庫有很大的區(qū)別，因?yàn)樗腔谠诰€分析（OLAP）的分析型系統(tǒng)的范疇。數(shù)據(jù)倉庫通過對多個異構(gòu)的數(shù)據(jù)源有效集成，集成后依據(jù)主題進(jìn)行重新組合。

對于數(shù)據(jù)倉庫概念的理解可以分成兩個層次。首先，數(shù)據(jù)倉庫用于決策支持、面向分析型數(shù)據(jù)處理，它不同于傳統(tǒng)意義上企業(yè)所擁有的操作型數(shù)據(jù)庫；其次，數(shù)據(jù)倉庫是對多個異構(gòu)數(shù)據(jù)源的有效集成，集成后按照主題進(jìn)行重組，它包含了歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。

由定義可以推知數(shù)據(jù)倉庫相對傳統(tǒng)操作型數(shù)據(jù)庫具有以下的特征[1]：

（1）面向主題。傳統(tǒng)的數(shù)據(jù)庫只是單純的數(shù)據(jù)的集中，在處理不同事務(wù)時執(zhí)行不同的操作，各個業(yè)務(wù)系統(tǒng)之間各自分離；而數(shù)據(jù)倉庫中的數(shù)據(jù)則是按照一定的主題進(jìn)行組織，主題是特指用戶使用數(shù)據(jù)倉庫進(jìn)行決策時所關(guān)心的重點(diǎn)方面，一個主題通常與多個操作型信息系統(tǒng)相關(guān)。

（2）集成性。由于數(shù)據(jù)的來源是多方面的，并且是異構(gòu)的，必須根據(jù)一定的規(guī)則將所有的數(shù)據(jù)進(jìn)行重新構(gòu)造，消除源數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個單位的一致的全局信息，即為數(shù)據(jù)之集成。

（3）相對穩(wěn)定性。操作型數(shù)據(jù)庫中的數(shù)據(jù)通常是實(shí)時更新的、變化的。數(shù)據(jù)倉庫中的數(shù)據(jù)是積累的歷史數(shù)據(jù)，所涉及的操作多為查詢，通常只需定期的加載、刷新，修改和刪除操作很少。

（4）非易失性。數(shù)據(jù)倉庫屬于物理介質(zhì)的，篩選式的存放數(shù)據(jù)，不會對數(shù)據(jù)本身的性質(zhì)進(jìn)行改變，那么其數(shù)據(jù)結(jié)構(gòu)必定包含有時間效應(yīng)，這樣才更好的體現(xiàn)歷史數(shù)據(jù)的趨勢預(yù)測性。

鑒于以上對比，可考慮建立大型數(shù)據(jù)庫與數(shù)據(jù)倉庫共用于查詢、存儲數(shù)據(jù)。實(shí)時更新、頻繁查詢數(shù)據(jù)先存放于數(shù)據(jù)庫內(nèi)，間隔一定時間后自動存入數(shù)據(jù)倉庫內(nèi)用于長時間保存數(shù)據(jù)。

3.數(shù)據(jù)挖掘技術(shù)用于氣象數(shù)據(jù)信息動態(tài)顯示的思路及實(shí)現(xiàn)方法

從基層單站式氣象數(shù)據(jù)信息動態(tài)顯示平臺的實(shí)現(xiàn)方法出發(fā)提出建設(shè)思路，以中國北京維天信公司生產(chǎn)的XYZ-06型地面自動觀測設(shè)備為例討論氣象數(shù)據(jù)信息動態(tài)顯示平臺構(gòu)造，對于其他幾種類型特點(diǎn)只要充分利用互聯(lián)網(wǎng)技術(shù)，云計算等技術(shù)，相信不難解決氣象數(shù)據(jù)使用及數(shù)據(jù)挖掘問題。

3.1 硬件需求

一是作為一個氣象臺站或機(jī)構(gòu)要有地面衛(wèi)星氣象數(shù)據(jù)接收站或氣象專網(wǎng)接收相關(guān)氣象數(shù)據(jù)以及自己觀測氣象數(shù)據(jù)所需要的設(shè)備設(shè)施，二是包括用于安全存儲數(shù)據(jù)的計算機(jī)物理設(shè)備。

3.2 軟件需求

能夠在與時俱進(jìn)的信息技術(shù)不斷發(fā)展條件下，支持不斷升級換代的數(shù)據(jù)補(bǔ)充支持軟件。確保數(shù)據(jù)在更新操作系統(tǒng)、更新數(shù)據(jù)處理軟件后，老的數(shù)據(jù)能夠移植或轉(zhuǎn)換到新的數(shù)據(jù)倉庫內(nèi)，與新接收數(shù)據(jù)格式一樣能被識別、讀取。具備存活期。數(shù)據(jù)存儲具備良好的備份和災(zāi)難恢復(fù)。

3.3 系統(tǒng)主要構(gòu)成

構(gòu)建氣象數(shù)據(jù)信息動態(tài)顯示平臺，最主要的是對自己的氣象觀測實(shí)況收集作以動態(tài)顯示，其次是將國內(nèi)外基準(zhǔn)氣候站、機(jī)場等所收到的實(shí)況數(shù)據(jù)收集到數(shù)據(jù)倉庫做以顯示和查詢調(diào)用。對于維天信公司生產(chǎn)的XYZ-06型地面自動觀測設(shè)備數(shù)據(jù)來分析，可以看出其存儲數(shù)據(jù)為txt格式純文本。因此，要實(shí)現(xiàn)數(shù)據(jù)存儲可考慮用程序設(shè)計語言工具依照其數(shù)據(jù)存儲格式讀取后存儲入數(shù)據(jù)庫，設(shè)置間隔時間再定期存儲入數(shù)據(jù)倉庫中。為保證在使用氣象數(shù)據(jù)方面調(diào)用安全，可通過網(wǎng)絡(luò)程序設(shè)計語言開發(fā)出服-客模式程序，供終端用戶在其他工作計算機(jī)上隨時通過通用程序如IE等Web瀏覽器查詢調(diào)用，不必另外安裝其他程序。

氣象數(shù)據(jù)信息動態(tài)顯示平臺系統(tǒng)應(yīng)包括以下模塊：

用于機(jī)場等使用的氣象六要素自動刷新顯示模塊、用于直觀顯示的各要素歷史數(shù)據(jù)查詢模塊、用于云圖顯示的模塊、用于提供氣象預(yù)報的不同時刻分析統(tǒng)計模塊，其它氣象數(shù)值產(chǎn)品模塊、用于交互交流用的及時通訊模塊、選擇定時存儲模塊、氣象單位基礎(chǔ)數(shù)據(jù)模塊、安全登錄模塊等九大模塊。留有與無線、有線，局域網(wǎng)互聯(lián)的端口，以及軟件接口，易于擴(kuò)展業(yè)務(wù)。具體設(shè)計實(shí)現(xiàn)略。

4.總結(jié)

現(xiàn)代天氣預(yù)報技術(shù)在信息技術(shù)、計算技術(shù)和通信技術(shù)為基礎(chǔ)的引領(lǐng)帶動下，預(yù)報技術(shù)不斷改進(jìn)，精細(xì)化數(shù)值預(yù)報和集成預(yù)報成為天氣預(yù)報技術(shù)的未來重要發(fā)展方向，天氣預(yù)報將實(shí)現(xiàn)超級集合預(yù)報（多初值、多過程、多模式集合）。向精細(xì)化、無縫隙天氣監(jiān)測和預(yù)報發(fā)展，天氣預(yù)報將在依托以遙感、遙測為主要技術(shù)的新一代探測網(wǎng)發(fā)展，特別是災(zāi)害性天氣在未來將實(shí)現(xiàn)全天候無縫隙實(shí)時監(jiān)測。這種發(fā)展趨勢必將以海量的氣象數(shù)據(jù)存儲、更多的氣象觀測數(shù)據(jù)為基礎(chǔ)作代價，相信以數(shù)據(jù)挖掘技術(shù)為手段的方式為研究將更好的構(gòu)建現(xiàn)代天氣預(yù)報模式，充分最大限度發(fā)揮出幾種新技術(shù)結(jié)合的優(yōu)勢，使氣象數(shù)據(jù)信息動態(tài)顯示平臺更好的服務(wù)于國民經(jīng)濟(jì)建設(shè)和國防建設(shè)中。

參考文獻(xiàn)：

[1]王珊等，數(shù)據(jù)倉庫技術(shù)與聯(lián)機(jī)分析處理[M].科學(xué)出版社，1998.

作者簡介：陳廣軍（1976—），男，裝甲兵工程學(xué)院碩士研究生，主要從事氣象和數(shù)據(jù)挖掘研究工作。