蔣文兵
摘 要:近年來,基于大數(shù)據(jù)和數(shù)據(jù)挖掘融合技術的背景已成為氣象服務的主要特征,可以將氣象決策和天氣預報整合到工作平臺中。并進一步提高數(shù)據(jù)處理和編輯能力,利用這種高速信息和方式快速進入氣象控制中心,將數(shù)據(jù)信息轉換成不同的輸出格式,能夠以直觀和立體的方式向公眾提供氣象內容?;谶@個大數(shù)據(jù)時代,氣象服務功能將逐步豐富,數(shù)據(jù)信息的優(yōu)勢得以發(fā)揮 因此,本文通過結合數(shù)據(jù)挖掘融合技術來分析大數(shù)據(jù)時代背景下水利的洪水預報服務,希望能給相關工作人員提供幫助。
關鍵詞:大數(shù)據(jù);氣象;水利;洪水預報;服務
中圖分類號:TP308 文獻標識碼:A 文章編號:1671-2064(2019)02-0052-02
對于氣象中心,他們每天都面臨著大量的數(shù)據(jù)。但是,根據(jù)大數(shù)據(jù)時代的背景,氣象服務所采用的數(shù)據(jù)越多,數(shù)據(jù)越全面,就越有利于決策服務。如何把握氣象服務工作已成為氣象中心亟待解決的問題。尤其對于水利的洪水預報服務來說,如何能夠準確預測洪水災害,這對于社會以及人們的生命財產(chǎn)安全起著十分重要的作用。
1 大數(shù)據(jù)背景下氣象服務發(fā)展狀況
社會各領域對氣象信息的依賴程度越來越高,包括水電行業(yè),農業(yè)和交通運輸,不同的行業(yè)對氣象服務有不同的需求。氣象服務主要是以數(shù)據(jù)為中心,進而能夠進一步量化氣象信息。目前,中國已建立了強大的數(shù)據(jù)收集系統(tǒng)。高速檢測儀器提供豐富而準確的天氣信息,但在實際數(shù)據(jù)處理中,有些氣象服務不是很有效,例如洪水預報服務。除此之外,我國的長江上游徑流預報對于三峽發(fā)電水庫調度運行具有重要的作用,在洪水預報過程中能夠加強水文氣象的預報以及各方溝通,在開展預報會商,提高洪水預報精度上,能夠取到良好的效果,同時建立了三峽入庫的洪水預報會商軟件系統(tǒng),該系統(tǒng)能夠有效加強水文氣象的結合,延長洪水的預見期,能夠為防汛工作順利開展起到積極作用。其同時利用各單位目前現(xiàn)有的分析和預報系統(tǒng),根據(jù)水文氣象的動態(tài)變化結果預期,分析結果,建立會商演示模板。比如可以根據(jù)長江上游水文預報的工作需要,建立歷史洪水數(shù)據(jù)庫,利用該系統(tǒng)提供的演示模板,在會商過程中能夠分析水文氣象預報,水文預報成果以及防汛調度方案。從水文氣象預報會商系統(tǒng)的網(wǎng)絡運行環(huán)境上來看,運行在與各單位目前所有的調度軟件以及水文氣象分析系統(tǒng)中,能夠利用各單位目前已經(jīng)建立到內部網(wǎng)絡系統(tǒng),基于TCP/IP協(xié)議的網(wǎng)上運行,對于安全地連接數(shù)據(jù)庫,快速將收集到的材料進行處理并保存到指定的數(shù)據(jù)庫中。目前這種數(shù)據(jù)庫采用的是安全性能高,應用廣的Oracle大型數(shù)據(jù)庫平臺,采用微軟net軟件開發(fā)的組件模塊,交互界面以及總體框架開發(fā)繪圖功能,采用的是專業(yè)PE5進行組件繪制,能夠確保軟件具有實用性,滿足洪水預報人員的會商要求。這種軟件系統(tǒng)不斷進行會商準備時,可以通過人工的方式進行啟動,或者通過設置每次啟動計算機自行啟動。系統(tǒng)軟件的總體框架上采取了三層結構,業(yè)務邏輯,數(shù)據(jù)訪問,表示層,各個模塊之間劃分詳細,能夠考慮軟件后期維護和拓展性,對于整體框架的復用接口變化,能夠實現(xiàn)良好的應對。預報交互及結果圖形顯示控件可以采取對PE5控件進行拓展,提供外部數(shù)據(jù)接口,內部實現(xiàn)繪制數(shù)據(jù),數(shù)據(jù)反饋等功能。在水文氣象部門的共同努力下發(fā)揮這種洪水預報會商系統(tǒng)的功能,能夠增加洪水預報精度和預見期,進而減少人員和財產(chǎn)損失。
2 數(shù)據(jù)技術在洪水預報服務中的運用
2.1 數(shù)據(jù)挖掘技術
數(shù)據(jù)挖掘技術可以快速查找大量數(shù)據(jù)中的目標信息,處理一些模糊不完整數(shù)據(jù),并將隱藏數(shù)據(jù)信號和預警信息轉換為顯著標志。在原始數(shù)據(jù)結構中,這種數(shù)據(jù)挖掘技術可以對半結構化信息(如圖形)更敏感。文本,音頻等,由于氣象信息處于不同的變化狀態(tài),半結構化信息的選擇可以有效地突出氣象服務的圖像和差異。從數(shù)據(jù)挖掘技術的應用效果上來看,這種技術能夠在處理信息過程中體現(xiàn)高準確度,新穎的方法等特點,而且能夠注重各個環(huán)節(jié)的關聯(lián)系。首先,可以有效地匯總數(shù)據(jù),將數(shù)據(jù)壓縮成一個整體,并使用一些數(shù)據(jù)處理軟件來提取最需要的數(shù)據(jù)以形成描述性數(shù)據(jù)組。其次,可以構建和分類數(shù)據(jù)模型。最后,可以根據(jù)規(guī)則連接一些相關數(shù)據(jù),形成可控數(shù)據(jù)庫,實現(xiàn)對氣象服務的集中和持久,形成可隨時間變化的數(shù)據(jù)組。
2.2 應用特點
首先是天氣預報。由于天氣預報是共享和研究導向的,氣象中心需要在氣象服務過程中對服務進行有效的決策管理,并能夠在不同時間向觀眾直觀地顯示氣象變化。因此,圖像處理技術可以為服務提供全面而豐富的信息資料,員工應該計算每個氣象的參數(shù)節(jié)點,以準確預測天氣變化趨勢。 其次為決策服務。氣象決策服務對氣象數(shù)據(jù)有較高的要求。因此,當決策節(jié)點達到一定限度時,氣象服務模型將難以發(fā)生巨大變化。為了滿足氣象服務要求,在數(shù)據(jù)處理過程中,開發(fā)了一個多模型處理系統(tǒng),可以實時觀察氣象信息變化的趨勢。并且可以進一步優(yōu)化模型數(shù)據(jù)分析功能,同時有效地定價決策服務的結果。具體的步驟是: 首先,從天氣信息數(shù)據(jù)庫中提取目標和相關數(shù)據(jù),并且可以按類型將數(shù)據(jù)分配給不同的模型以進行重組。其次,該模型可以指定具體的氣象服務目標,并根據(jù)目標編輯程序模型。最后,氣象信息的輸出可以完成氣象決策服務。
2.3 云端氣象
我國的洪澇再好不論是從影響程度,頻率以及對社會造成了損失來看,都是世界比較嚴重的國家統(tǒng)計。在過去的2000多年,我國發(fā)生的重大洪水災害已經(jīng)達到1600多次,自上世紀50年代以來,長江流域歷次大洪水都給國家造成了嚴重的經(jīng)濟損失。新中國成立之后,經(jīng)過多年的洪水治理,全國的江河流域在防洪形式上也有了一定程度的改變。近年來,隨著社會人口和經(jīng)濟的增長,我國的洪澇災害也呈現(xiàn)了逐年增大的趨勢,如何能夠對洪水進行準確預報是人們長期需要解決的問題。洪水預報需要長期預測,并且可以獲得高精度預報,這需要根據(jù)降雨估算精度進行。通過結合流域降雨徑流模型預測和洪水計算模型可以實現(xiàn)。20世紀90年代以后,隨著計算機GPS和云計算等現(xiàn)代大數(shù)據(jù)技術在水文預報中的普及,并擴展了水文理論方法,雷達定量降水估算和數(shù)值模型,基于水文氣象耦合的洪水預報等。它已成為當前雨水洪水預報技術的研究方向。
3 流域暴雨的定量降水估算預報
洪水災害的主要原因是一定程度的降水。我們基于雷達和其他遙感技術的定量降水估計進行定量降水預測的定量研究。首先,利用衛(wèi)星雷達等遙感技術估算定量降水量。獲得資料簡便的特別,但這種空間分辨率低,且較低的空間分辨率,僅有5000米范圍內能夠采集,從靜止的衛(wèi)星受到信息的時間節(jié)點為一小時,利用衛(wèi)星遙感資料能夠反映云的情況,其與具體的某一點,社區(qū)降水與缺乏理論依據(jù)之間沒有直接聯(lián)系。隨著地球靜止衛(wèi)星空間和時間分辨率的提高,雷達和其他遙感降水估計具有高時空分辨率的特點,可以直接客觀地反映降水的相對大小。目前,在氣象雷達降雨估算和融合技術方面,從20世紀70年代開始,英國的氣象雷達網(wǎng)絡迅速建成。監(jiān)測網(wǎng)絡主要由英國氣象局管理的13個氣象雷達組成,全年運行,可以每五分鐘獲得一次實時降水率數(shù)據(jù)。每半小時提供一次基于雷達觀測數(shù)據(jù)外推的每小時累積降水預報。自20世紀60年代以來,中國一直致力于氣象雷達的部署。目前,已經(jīng)組成了新一代的多普勒天氣雷達觀測網(wǎng),能夠實現(xiàn)每六分鐘進行數(shù)據(jù)實時傳輸和聯(lián)網(wǎng)拼圖,能夠加強對于一些突發(fā)性災害的監(jiān)測預警服務,對于上世紀80年代開始進行衛(wèi)星和雷達測距的研究也取得了一定的成績。目前,國內外研究人員提出了一種基于準同步雨群樣本,雷達和雨量計概念的實時同步降雨估算新技術。
4 大數(shù)據(jù)技術在洪澇模型的運用
隨著大數(shù)據(jù)技術的發(fā)展,以及Web GIS技術在水利行業(yè)上的成熟,為水利信息化開辟道路,水利數(shù)據(jù)解決方案會給水利信息化發(fā)展帶來一定的轉變。Hadoop是近年來開發(fā)的分布式系統(tǒng)基礎架構框架。它也是應用最廣泛的數(shù)據(jù)處理平臺,其核心設計者是HDFS和MapReduce,前者是大數(shù)據(jù)平臺的分布式文件系統(tǒng)。是一種分布式存儲機制,這個大數(shù)據(jù)平臺分布式文件系統(tǒng)將數(shù)據(jù)存儲在平臺的計算機集群中,數(shù)據(jù)能夠實現(xiàn)一次寫入,多次讀取,能夠為龐大的數(shù)據(jù)提供存儲空間。其次,這種大數(shù)據(jù)平臺文件系統(tǒng)提供了較高的容錯性,而MapReducec為大量數(shù)據(jù)提供計算模型,當用戶進行任務提交時需要對數(shù)據(jù)文件進行劃分,根據(jù)功能部分的處理,在功能概要的簡化之后,用戶不需要了解大數(shù)據(jù)分發(fā)操作的具體細節(jié),并且可以開發(fā)使用分布式計算的程序。方便用戶利用大數(shù)據(jù)平臺集群進行數(shù)據(jù)的分析和存儲。在整個洪水預報過程中,能夠擔負數(shù)據(jù)的存儲和處理任務,一部分數(shù)據(jù)是由Web GIS技術進行處理的,所有數(shù)據(jù)包括降雨積水數(shù)據(jù),城市高程數(shù)據(jù),排水管網(wǎng)信息以及地面特征信息,都是由該大數(shù)據(jù)平臺中的編程模型來實現(xiàn)洪水預報分析模型,并進行分布式處理。同時該模型還包括了地形分析的面雨量計算,回歸方程的分析模型,使用Web GIS能夠對模型地理空間信息數(shù)據(jù)的預處理以及平臺處理效果的可視化,對于城市地面特征,排水網(wǎng)絡高程數(shù)據(jù)的數(shù)字化,數(shù)據(jù)處理網(wǎng)格塊處理是通過大數(shù)據(jù)技術實現(xiàn)的。從一定程度上提升了數(shù)據(jù)處理效率,突破數(shù)據(jù)處理的數(shù)據(jù)量和速度的限制,將大數(shù)據(jù)分布式并行計算的優(yōu)勢運用于模型中,將洪水雨量預報信息代入模型來實現(xiàn)對歷史數(shù)據(jù),回歸方程中的關系模型中,得出洪水的分析結果,結果通過GIS技術可視化,并返回洪水分析和預警平臺,實現(xiàn)城市洪水分析和預警。
5 結語
總而言之,通過在大數(shù)據(jù)時代應用氣象服務,我們發(fā)現(xiàn),數(shù)據(jù)處理技術和氣象云的引入都能反映氣象服務的技術發(fā)展。將來,可以將氣象數(shù)據(jù)分析到不同行業(yè)的數(shù)據(jù)中。通過氣象變化改變服務形式,創(chuàng)建一個結合不同數(shù)據(jù)的綜合氣象服務系統(tǒng)。此外,由于洪水災害一直是危害人類生存的嚴重災害之一,當前隨著新一代的雷達網(wǎng)衛(wèi)星估算降水技術的發(fā)展,除了提高定量降水預報的準確性外,相關水文模型的建立為我國水汛預報提供了堅實的基礎。但應注意的是,利用雷達探測技術和中等暴雨預報,有必要加強洪水預報和氣象預報的綜合耦合技術研究。它可以準確地描述水文數(shù)據(jù)的時空變化,逐步縮小氣象和水文尺度在時間和空間上的差異。其次,要加強對分布式水文模擬技術的研究。
參考文獻
[1] 邱超,駱鐘林,黃清烜.數(shù)據(jù)化模型模塊技術在洪水預報建模中的應用[J].水電能源科學,2014(4):64-67.
[2] 趙錫鋼,王玉成.實時校正技術在洪水預報中的應用[J].東北水利水電,2008, 26(6):34-34.
[3] 朱育紅,朱金才,王正科.淮河流域洪澇災害及遙感技術的應用[C].中國氣象學會年會s18氣象衛(wèi)星遙感新資料——新方法,2015.