基于大數(shù)據(jù)平臺(tái)的天氣預(yù)報(bào)系統(tǒng)綜述

潘寧康 黃澤斌 潘銀輝 陳煥基 吳澤浩 呂春婉

關(guān)鍵詞：預(yù)處理;預(yù)測模型;LBS;推薦系統(tǒng)

中圖分類號：TP309;TP311.13 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A 文章編號：2096-4706（2019）06-0029-03

Abstract：In this paper，the large data platform is studied，and some prediction models are selected to analyze and summarize the prediction process for different meteorological data after collection. At the same time，the intelligent meteorological information push is studied，and the application of LBS technology，recommendation system，data visualization technology and intelligent terminal in meteorological field is analyzed.

Keywords：preprocessing;prediction model;LBS;recommendation system

0 ?引 ?言

自動(dòng)氣象站的普及和觀測因素的增多，使氣象數(shù)據(jù)量不斷上升，累積達(dá)到PB級[1]，一般的技術(shù)和平臺(tái)已無法對其進(jìn)行存儲(chǔ)和處理，而大數(shù)據(jù)平臺(tái)為這一問題提供了一個(gè)切實(shí)可行的解決方案，減少了信息的繁雜度。隨著用戶需求的提高，智能決策、推送系統(tǒng)等被應(yīng)用到天氣預(yù)報(bào)系統(tǒng)，促使進(jìn)一步向人性化方向發(fā)展。本文從大數(shù)據(jù)平臺(tái)的角度出發(fā)，對氣象信息預(yù)測和智能推送等相關(guān)技術(shù)進(jìn)行分析。

1 ?天氣預(yù)報(bào)系統(tǒng)分析

基于對大量天氣預(yù)報(bào)系統(tǒng)的分析，氣象信息預(yù)測和智能推送的框架的劃分如圖1所示。

氣象數(shù)據(jù)預(yù)測是一個(gè)信息處理層，用云計(jì)算和各種數(shù)據(jù)挖掘技術(shù)來處理大量的氣象數(shù)據(jù)，以動(dòng)態(tài)變化特征建立預(yù)測模型。智能信息推送主要通過基于深度學(xué)習(xí)的推薦系統(tǒng)與LBS相結(jié)合，挖掘與用戶興趣相符合的氣象信息，并通過數(shù)據(jù)可視化技術(shù)為智能終端的用戶提供個(gè)性化的信息。

2 ?氣象數(shù)據(jù)預(yù)測分析

自然界各類物理信號經(jīng)過多種傳感器采集后轉(zhuǎn)化為電信號，再經(jīng)過模數(shù)轉(zhuǎn)換原理轉(zhuǎn)化成時(shí)間序列排列的離散的數(shù)據(jù)列，要顯現(xiàn)不同氣象要素的變化趨勢仍需對所得離散數(shù)據(jù)列作進(jìn)一步處理。

2.1 ?數(shù)據(jù)預(yù)處理

傳感器對物理信息的采集具有時(shí)間差，故模數(shù)轉(zhuǎn)換后的數(shù)據(jù)將會(huì)是按時(shí)間序列排列的，那么平穩(wěn)性檢驗(yàn)和白噪聲檢驗(yàn)顯然是必要的。而在傳感器進(jìn)行信息采集的時(shí)候，周圍環(huán)境的部分?jǐn)_動(dòng)同樣會(huì)被采集，故如何消除其他要素的干擾，還原真實(shí)數(shù)據(jù)則是預(yù)處理需要解決的問題。由于各類數(shù)據(jù)被干擾程度存在差異，故預(yù)處理的方式亦甚多，以下列舉部分?jǐn)?shù)據(jù)預(yù)處理方法。

Kalman濾波處理法[2]：通過對數(shù)據(jù)噪點(diǎn)的某些統(tǒng)計(jì)特質(zhì)進(jìn)行假設(shè)，對數(shù)據(jù)本身進(jìn)行系統(tǒng)的、無偏的、線性的最優(yōu)解估計(jì)，從而獲得最接近真實(shí)信號的估計(jì)值。

EEMD分解法：通過對數(shù)據(jù)施加均勻的高斯白噪聲，同時(shí)將信號按照不同頻率的區(qū)段逐次分解成相互聯(lián)系小、頻率相異的IMF分量和一個(gè)剩余量，減弱了EMD分解法中IMF分量模態(tài)混疊的情況[3，4]。

2.2 ?不同氣象要素的預(yù)測模型

不同的氣象要素?cái)?shù)據(jù)存在著不同的特點(diǎn)，因而其預(yù)測模型也存在差異。

2.2.1 ?氣溫預(yù)測模型

BP神經(jīng)網(wǎng)絡(luò)模型[5]：其基本思想為通過局部搜索達(dá)到輸入信號與期望信號均方差最小的信息處理系統(tǒng)[5]。工作期間，信號通常呈正向傳遞，經(jīng)隱含層非線性處理后由傳遞函數(shù)輸送到輸出層。若輸出信號與預(yù)期輸出信號相差較大，則轉(zhuǎn)入誤差反向傳遞的過程，在此過程中將誤差均等分配到各個(gè)權(quán)值和閥值進(jìn)行調(diào)整，直到實(shí)際輸出與預(yù)期輸出信號誤差小于誤差設(shè)定值或超出迭代次數(shù)?；跉鉁厥苤T多因素的影響，應(yīng)用非線性處理能力較強(qiáng)的BP神經(jīng)網(wǎng)絡(luò)作為氣溫在部分季節(jié)或時(shí)間段的預(yù)測模型能取得較為準(zhǔn)確的預(yù)測結(jié)果。在選擇輸入變量后，運(yùn)用歸一化處理解決不同參變量之間單位及數(shù)量級相差較大的問題，隨后確定隱含層和輸出層的傳遞函數(shù)便可，隱含層節(jié)點(diǎn)數(shù)目可由多次訓(xùn)練實(shí)驗(yàn)獲得。

2.2.2 ?濕度預(yù)測模型

GM（1，1）預(yù)測模型[6]：該模型旨在展現(xiàn)數(shù)據(jù)的動(dòng)態(tài)輸入變化，基本思想為側(cè)重凸顯近期輸入數(shù)據(jù)的特征，故在時(shí)間序列中能較好地凸顯所測變量的動(dòng)態(tài)變化結(jié)果，是理想的短期預(yù)測模型。設(shè)定起始時(shí)間序列點(diǎn)后對自變量建立自化微分方程，再用最小二乘法確定各參數(shù)的值即可推導(dǎo)出預(yù)測模型。

2.2.3 ?能見度預(yù)測模型

遺傳神經(jīng)網(wǎng)絡(luò)模型[7]：遺傳神經(jīng)網(wǎng)絡(luò)是提高了隨機(jī)搜索能力的BP神經(jīng)網(wǎng)絡(luò)，其基本思想是對問題情境的不同切入點(diǎn)隨機(jī)生成一組起始解，隨后通過建立適應(yīng)度函數(shù)評定不同個(gè)體的適應(yīng)度，適應(yīng)度越高，被選取的概率越大，繼而被選取的個(gè)體將會(huì)發(fā)生交叉和變異，從而誘變產(chǎn)生更高適應(yīng)度的個(gè)體，起始解生成到問題適應(yīng)解生成的過程稱為一次迭代。在充分迭代之后，收斂區(qū)域?qū)⒂嘞乱粋€(gè)個(gè)體，最后拆解選中個(gè)體即可得最適解。遺傳神經(jīng)網(wǎng)絡(luò)可看作糅合“適者生存”的自然選擇思想的人工神經(jīng)網(wǎng)絡(luò)，降低了整個(gè)機(jī)制忽視全局性或陷入平坦區(qū)域的機(jī)率，更多地使擬合傾向于隨機(jī)搜索，提高擬合精度。針對問題情景設(shè)定輸入、輸出向量和網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，經(jīng)過訓(xùn)練集、實(shí)驗(yàn)集和檢驗(yàn)集處理后同樣可得到問題情景的預(yù)測結(jié)果。

2.2.4 ?風(fēng)速預(yù)測模型

離散Hopfield模式識(shí)別以及GRNN非線性組合預(yù)測法[8]：離散Hopfield網(wǎng)絡(luò)是一種模擬生物記憶聯(lián)想功能的神經(jīng)網(wǎng)絡(luò)，通過確定權(quán)值矩陣記憶期望的穩(wěn)定平衡點(diǎn)達(dá)到記憶的目的;通過自身的動(dòng)力學(xué)演化達(dá)到穩(wěn)定平衡點(diǎn)來領(lǐng)悟新的模式而達(dá)到聯(lián)想的目的。GRNN以非線性回歸分析為理論基礎(chǔ)，在逼近、學(xué)習(xí)、分類這些領(lǐng)域具有較強(qiáng)能力，同時(shí)兼具較強(qiáng)的非線性映射能力以及高度容錯(cuò)性。

2.2.5 ?降水量預(yù)測模型

EEMD-GRNN模型[3]：EEMD-GRNN模型由兩部分組成，一部分是EEMD分解法，另一部分是GRNN非線性組合預(yù)測法。非線性、非平穩(wěn)是大多自然數(shù)據(jù)所具有的特點(diǎn)，EEMD可通過自適應(yīng)的時(shí)頻分解能力提高數(shù)據(jù)的辨析度，提高后續(xù)GRNN的預(yù)測精度。較于傳統(tǒng)的降水量預(yù)測模型，EEMD-GRNN模型通過提高數(shù)據(jù)辨析度，使得預(yù)測模型更多地基于樣本數(shù)據(jù)，更能反應(yīng)自然降水量的變化。模型整體預(yù)測思路為通過EEMD將數(shù)據(jù)分解成相互聯(lián)系小的IMF分量和一個(gè)剩余的分量，繼而讓GRNN從屬網(wǎng)絡(luò)結(jié)果對所分解的分量進(jìn)行預(yù)測，后經(jīng)GRNN對各從屬系統(tǒng)預(yù)測值進(jìn)行線性化處理后得到最終預(yù)測結(jié)果。

3 ?智能信息推送分析

智能信息推送層的作用是為用戶推送所在地區(qū)的個(gè)性化氣象信息。該層由LBS技術(shù)、氣象信息推薦系統(tǒng)、數(shù)據(jù)可視化技術(shù)和智能終端所構(gòu)成，LBS技術(shù)能準(zhǔn)確獲取移動(dòng)端用戶的地理位置;推薦系統(tǒng)通過深度學(xué)習(xí)技術(shù)，生成與用戶興趣度相匹配的氣象信息推薦表;數(shù)據(jù)可視化技術(shù)，對推送的內(nèi)容進(jìn)行可視化，幫助用戶更好地理解氣象信息;智能終端用于與用戶交互，收集用戶的反饋信息，返回給系統(tǒng)，提升系統(tǒng)推薦的精確度。下面將逐步介紹這四個(gè)方面的內(nèi)容。

3.1 ?LBS技術(shù)

LBS技術(shù)的功能有獲取位置和推送信息。通過GPS或移動(dòng)通訊網(wǎng)絡(luò)（如CDMA網(wǎng)）來獲取移動(dòng)端用戶的位置信息，并借助GIS平臺(tái)，為用戶提供所在地區(qū)的信息服務(wù)[9]。LSB技術(shù)的組成分為移動(dòng)通信網(wǎng)絡(luò)、信息服務(wù)中心、定位網(wǎng)絡(luò)、移動(dòng)終端。其中，定位技術(shù)是LBS的關(guān)鍵技術(shù)，可以分為室內(nèi)定位技術(shù)和室外定位技術(shù)。

WiFi定位、RFID定位、藍(lán)牙定位等定位技術(shù)被廣泛用于室內(nèi)定位。室外定位技術(shù)主要有衛(wèi)星定位和基站定位。衛(wèi)星定位依靠經(jīng)緯度信息進(jìn)行定位，主要的衛(wèi)星定位系統(tǒng)有：中國北斗衛(wèi)星導(dǎo)航系統(tǒng)、美圖全球定位系統(tǒng)（GPS）等，其中GPS定位技術(shù)的應(yīng)用最為廣泛?；径ㄎ煌ㄟ^無線網(wǎng)絡(luò)（如CDMA網(wǎng)）來獲取移動(dòng)端用戶的位置信息[10]。如今，國內(nèi)外與LBS相關(guān)的技術(shù)已經(jīng)發(fā)展成熟，但在信息推送的模塊上，無法滿足用戶個(gè)性化的需求，而智能信息推送系統(tǒng)，致力于為用戶提供個(gè)性化的服務(wù)，所以LBS技術(shù)與智能信息推送系統(tǒng)相結(jié)合必然會(huì)成為一大熱點(diǎn)[11]。

3.2 ?氣象信息推薦系統(tǒng)

氣象智能信息推送層中，推薦系統(tǒng)是核心部分。推薦系統(tǒng)是根據(jù)用戶的信息需求和興趣點(diǎn)，利用推薦算法在海量信息中，挖掘用戶感興趣的信息，然后推薦給用戶的個(gè)性化信息推薦系統(tǒng)，是解決當(dāng)今“信息過載”問題的有效方法[12]。將推薦系統(tǒng)引入氣象領(lǐng)域，能為用戶提供個(gè)性化的氣象服務(wù)。利用用戶上網(wǎng)、消費(fèi)、位置信息等記錄，為用戶推送個(gè)性化的氣象信息[13]?；趦?nèi)容、協(xié)同、知識(shí)等方法被傳統(tǒng)推薦系統(tǒng)所采用，但隨著多源異構(gòu)數(shù)據(jù)的增多，傳統(tǒng)的推薦算法面臨著難以挖掘用戶興趣點(diǎn)及個(gè)性化需求信息的問題。近年來，深度學(xué)習(xí)技術(shù)在處理語音、視頻等稀疏數(shù)據(jù)取得巨大的進(jìn)展，很多專家也開始將該技術(shù)融入到推薦系統(tǒng)中。

本文采用文獻(xiàn)[14]中，將融合深度學(xué)習(xí)技術(shù)的推薦系統(tǒng)，并通過LBS技術(shù)來為用戶推送個(gè)性化的氣象信息。深度學(xué)習(xí)能夠挖掘出項(xiàng)目與用戶興趣點(diǎn)相符合的信息。通過深度學(xué)習(xí)模型學(xué)習(xí)氣象數(shù)據(jù)的本質(zhì)特征，挖掘用戶與氣象信息之間的隱表示，基于該表示為用戶生成信息推薦表，實(shí)現(xiàn)用戶氣象信息的個(gè)性化推送。

3.3 ?氣象數(shù)據(jù)可視化技術(shù)

將氣象數(shù)據(jù)進(jìn)行可視化，能幫助用戶快速理解氣象信息，提升傳播效果。原理是利用計(jì)算機(jī)圖形學(xué)算法、超強(qiáng)計(jì)算處理以及可視化算法，將數(shù)據(jù)轉(zhuǎn)化成易理解的靜態(tài)、動(dòng)態(tài)圖像。數(shù)據(jù)可視化可采用動(dòng)畫、視頻或者簡單的圖像如柱狀圖、餅圖來展示，對于比較復(fù)雜的圖形制作，可以借助在線可視化平臺(tái)（如Google Chart）或編程語言（Matlab、R語言）來實(shí)現(xiàn)[15]。目前，國內(nèi)外有很多對氣象數(shù)據(jù)可視化技術(shù)的研究，如：利用Openlayers開發(fā)的氣象可視化系統(tǒng)、Power Map在氣象數(shù)據(jù)三維可視化的應(yīng)用等。其中，應(yīng)用最為廣泛的是融合GIS的氣象數(shù)據(jù)可視化技術(shù)，它能實(shí)現(xiàn)準(zhǔn)確、清晰的氣象產(chǎn)品，通過GIS平臺(tái)處理氣象數(shù)據(jù)，能更直觀地為用戶呈現(xiàn)不同的氣象信息[16]。

3.4 ?智能終端

本文的智能終端是指以智能手機(jī)、電腦為載體的氣象信息發(fā)布系統(tǒng)，結(jié)合上述三種技術(shù)（LBS技術(shù)、推薦系統(tǒng)、數(shù)據(jù)可視化技術(shù)），并通過第三方應(yīng)用程序（APP）為用戶提供個(gè)性化的氣象信息。系統(tǒng)主要分為3層：氣象數(shù)據(jù)層、Web氣象服務(wù)層以及用戶交互層。氣象數(shù)據(jù)層又包含數(shù)據(jù)采集層和數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)采集層負(fù)責(zé)采集系統(tǒng)運(yùn)行所需的原始?xì)庀髷?shù)據(jù)，然后經(jīng)過解析、轉(zhuǎn)換，形成格式化的TXT和Word文件等，存放于數(shù)據(jù)存儲(chǔ)層中的文件或數(shù)據(jù)庫;Web氣象服務(wù)層負(fù)責(zé)完成系統(tǒng)的各種業(yè)務(wù)，包括氣象個(gè)性化產(chǎn)品制作、信息實(shí)時(shí)推送功能以及連接數(shù)據(jù)庫等;用戶交互層如應(yīng)用程序，和智能手機(jī)的其他應(yīng)用軟件一樣，能實(shí)現(xiàn)版本在線升級、個(gè)性化氣象信息的推送及收集用戶反饋數(shù)據(jù)等功能[17]。

4 ?結(jié) ?論

本文將天氣預(yù)報(bào)系統(tǒng)進(jìn)行劃分，介紹了部分氣象要素預(yù)測模型的原理及氣象產(chǎn)品推送的相關(guān)技術(shù)。未來天氣系統(tǒng)的發(fā)展方向會(huì)是：（1）各氣象要素預(yù)測模型能更好地減少數(shù)據(jù)噪聲對模型的干擾、還原自然氣象數(shù)據(jù)的特點(diǎn)，并將進(jìn)一步凸顯不同氣象要素的數(shù)據(jù)動(dòng)態(tài)變化過程;（2）氣象信息智能推薦系統(tǒng)的發(fā)展，未來富有個(gè)性化的氣象服務(wù)將是氣象行業(yè)提升傳播效果的有效途徑，實(shí)現(xiàn)氣象信息精確、個(gè)性化的發(fā)布。

參考文獻(xiàn)：

[1] 華麗，陳澄.云計(jì)算環(huán)境下氣象大數(shù)據(jù)服務(wù)應(yīng)用 [J].農(nóng)業(yè)與技術(shù)，2017，37（20）：231+234.

[2] 屈世甲，武福生.礦井風(fēng)速數(shù)據(jù)預(yù)處理中Kalman濾波方法 [J].煤礦安全，2016，47（1）：116-118+122.

[3] 胡虎，楊侃，朱大偉，等.基于EEMD-GRNN的降水量預(yù)測分析 [J].水電能源科學(xué)，2017，35（4）：10-14.

[4] 黃春艷，韓志偉，暢建霞，等.基于EEMD和GRNN的降水量序列預(yù)測研究 [J].人民黃河，2017，39（5）：26-28.

[5] 邢彩盈，張京紅，黃海靜.基于BP神經(jīng)網(wǎng)絡(luò)的海口住宅室內(nèi)氣溫預(yù)測 [J].貴州氣象，2016，40（5）：38-42.

[6] 張曉偉，關(guān)東海，莫淑紅.和田綠洲氣溫與相對濕度的GM（1，1）預(yù)測模型 [J].中國農(nóng)業(yè)氣象，2006（1）：31-33.

[7] 馬楚焱，祖建，付清盼，等.基于遺傳神經(jīng)網(wǎng)絡(luò)模型的空氣能見度預(yù)測 [J].環(huán)境工程學(xué)報(bào)，2015，9（4）：1905-1910.

[8] 陳燁，高亞靜，張建成.基于離散Hopfield模式識(shí)別樣本的GRNN非線性組合短期風(fēng)速預(yù)測模型 [J].電力自動(dòng)化設(shè)備，2015，35（8）：131-136.

[9] 張鑫宇，宋瑾鈺.LBS系統(tǒng)研究現(xiàn)狀綜述 [J].工業(yè)控制計(jì)算機(jī)，2016，29（4）：101-102+112.

[10] 錢海鋼.Beacon技術(shù)構(gòu)建圖書館LBS服務(wù)的分析 [J].農(nóng)業(yè)圖書情報(bào)學(xué)刊，2018，30（5）：45-49.

[11] 肖鋒，侯岳，王留召，等.基于LBS的智能信息推送技術(shù)研究 [J].測繪與空間地理信息，2015，38（6）：125-127.

[12] 劉輝，郭夢夢，潘偉強(qiáng).個(gè)性化推薦系統(tǒng)綜述 [J].常州大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，29（3）：51-59.

[13] 李社宏.大數(shù)據(jù)時(shí)代氣象數(shù)據(jù)分析應(yīng)用的新趨勢 [J].陜西氣象，2014（2）：41-44.

[14] 黃立威，江碧濤，呂守業(yè)，等.基于深度學(xué)習(xí)的推薦系統(tǒng)研究綜述 [J].計(jì)算機(jī)學(xué)報(bào)，2018，41（7）：1619-1647.

[15] 郭瑋.大數(shù)據(jù)背景下統(tǒng)計(jì)數(shù)據(jù)可視化研究 [J].內(nèi)蒙古統(tǒng)計(jì)，2017（6）：23-27.

[16] 甘泉.基于GIS的氣象信息集成與可視化系統(tǒng) [J].科技傳播，2018，10（5）：83-84.

[17] 傅仁壯，吳坤悌，符傳博，等.基于Android的決策氣象服務(wù)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)技術(shù)與發(fā)展，2016，26（8）：125-128.

作者簡介：潘寧康（1997.05-），男，漢族，廣東順德人，本科在讀，研究方向：數(shù)學(xué)教育研究與應(yīng)用數(shù)學(xué);通訊作者：呂春婉（1988-），女，漢族，廣東汕頭人，講師，博士，研究方向：偏微分方程數(shù)值解、計(jì)算流體力學(xué)、系統(tǒng)理論。