基于Hadoop技術(shù)的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)設(shè)計(jì)

陶 淘，彭 穎，張晨亮

(1.新疆維吾爾自治區(qū)氣象信息中心，烏魯木齊 830002；2.西南民族大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，成都 610041；3.新疆維吾爾自治區(qū)氣象技術(shù)裝備保障中心，烏魯木齊 830002)

0 引言

氣象數(shù)據(jù)是通過(guò)對(duì)大氣、海洋等自然環(huán)境的觀測(cè)、分析和處理，得到的描述氣象現(xiàn)象和氣象變化的數(shù)字化信息[1-2]。氣象數(shù)據(jù)包括天氣資料與氣候資料，是反映天氣情況的數(shù)據(jù)參量。氣象儀設(shè)備所采集到的氣象數(shù)據(jù)可以用來(lái)描述氣象問(wèn)題的表現(xiàn)情況，然而，在氣象數(shù)據(jù)的傳輸過(guò)程中，可能會(huì)出現(xiàn)數(shù)據(jù)丟失、重復(fù)、錯(cuò)誤等問(wèn)題，因此，需要對(duì)傳輸?shù)臍庀髷?shù)據(jù)進(jìn)行監(jiān)控，及時(shí)發(fā)現(xiàn)和處理問(wèn)題，保證氣象數(shù)據(jù)的準(zhǔn)確性和完整性。在監(jiān)控風(fēng)、雨、雪、雷等氣象問(wèn)題時(shí)，保證數(shù)據(jù)樣本的真實(shí)性，才是保證監(jiān)控效果的必要條件。

文獻(xiàn)[3]設(shè)計(jì)了基于Hybrid模式精細(xì)化移動(dòng)氣象服務(wù)系統(tǒng)，在Hybrid開發(fā)模式的基礎(chǔ)上，開發(fā)MVC應(yīng)用插件，再聯(lián)合HTML5融合技術(shù)，實(shí)現(xiàn)了氣象信息在移動(dòng)終端的交互性展示，由于Hybrid模式的功能復(fù)用性相對(duì)較高，所以在氣象數(shù)據(jù)迭代傳輸?shù)倪^(guò)程中，主機(jī)元件可以對(duì)信息參量所表現(xiàn)出的氣象問(wèn)題進(jìn)行實(shí)時(shí)監(jiān)控。文獻(xiàn)[4]設(shè)計(jì)了面向局部定點(diǎn)區(qū)域的微型氣象監(jiān)測(cè)系統(tǒng)，基于Raspberry Pi 4B平臺(tái)，開發(fā)微型氣象數(shù)據(jù)采集裝置，可以實(shí)現(xiàn)對(duì)多種氣象參數(shù)的同時(shí)采集，也能夠利用Qt程序開發(fā)服務(wù)端軟件，實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)監(jiān)控結(jié)果的圖形化顯示。然而在面對(duì)風(fēng)、雨、雪、雷等現(xiàn)象同時(shí)存在的復(fù)雜氣象問(wèn)題時(shí)，上述兩種系統(tǒng)不能準(zhǔn)確分析氣象問(wèn)題的表現(xiàn)情況。

Hadoop是一種分布式應(yīng)用架構(gòu)，具有較強(qiáng)的自主運(yùn)行能力，底層用戶對(duì)象可以在不了解節(jié)點(diǎn)連接細(xì)節(jié)的情況下，自由開發(fā)分布式程序，在實(shí)際應(yīng)用過(guò)程中，該類型框架結(jié)構(gòu)能夠展現(xiàn)出分布式集群的高速運(yùn)算與存儲(chǔ)能力[5]。HDFS作為Hadoop架構(gòu)體系的核心應(yīng)用組件，具有高容錯(cuò)性的連接特點(diǎn)，由于該類型部件直接部署于主機(jī)單元等硬件結(jié)構(gòu)上，且能夠?yàn)榻尤霐?shù)據(jù)提供較高的訪問(wèn)吞吐量，所以只要HDFS部件保持相對(duì)穩(wěn)定的連接狀態(tài)，Hadoop架構(gòu)體系就可以對(duì)傳輸數(shù)據(jù)進(jìn)行快速轉(zhuǎn)存與處理。相較于其他類型的架構(gòu)體系，Hadoop分布式平臺(tái)的可靠性等級(jí)更高，即使是在單一數(shù)據(jù)樣本存儲(chǔ)失敗的情況下，只要保證其他訪問(wèn)節(jié)點(diǎn)保持連接狀態(tài)，就可以依靠分布式集群的連帶作用，實(shí)現(xiàn)對(duì)數(shù)據(jù)信息參量的按需處理[6]?；谏鲜龇治?，在Hadoop技術(shù)的基礎(chǔ)上，設(shè)計(jì)一種新型的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)。

1 氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)硬件設(shè)計(jì)

氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)的硬件部分包括JTAG電路、數(shù)據(jù)采集器、風(fēng)速風(fēng)向監(jiān)控設(shè)備、雨、雪監(jiān)控設(shè)備等多個(gè)應(yīng)用結(jié)構(gòu)，本章節(jié)將針對(duì)其具體設(shè)計(jì)方法展開研究。

1.1 JTAG電路調(diào)試

JTAG電路調(diào)試是按照氣象數(shù)據(jù)的實(shí)時(shí)傳輸需求，規(guī)范基礎(chǔ)電路結(jié)構(gòu)的連接形式，在為氣象儀設(shè)備提供足量電力信號(hào)的同時(shí)，確保監(jiān)控所得氣象數(shù)據(jù)能夠傳輸至目標(biāo)顯示區(qū)域中，從而使得實(shí)時(shí)性要求得到最大化滿足。JTAG主板在反相器設(shè)備的驅(qū)動(dòng)下，持續(xù)向外輸出電量信號(hào)，整個(gè)過(guò)程中，TCK元件、DGND元件、TDI元件保持連續(xù)閉合狀態(tài)。TCK元件負(fù)責(zé)感知電量信號(hào)的實(shí)時(shí)傳輸狀態(tài)，對(duì)于氣象儀設(shè)備而言，其對(duì)于氣象數(shù)據(jù)的采集行為必須受到電量信號(hào)的完全驅(qū)動(dòng)作用，所以只有在電信號(hào)輸出總量足夠大的情況下，氣象儀設(shè)備才能實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)的準(zhǔn)確監(jiān)控。DGND元件接受JTAG主板的直接驅(qū)動(dòng)，在恒壓、恒流情況下，該元件整合TCK元件輸出的所有電信號(hào)參量，并對(duì)其進(jìn)行初步的過(guò)濾處理，以確保氣象儀設(shè)備能獲得穩(wěn)定的電量供應(yīng)。TDI元件負(fù)載于JTAG主板與AT24C512設(shè)備之間，當(dāng)TDFN設(shè)備中的電信號(hào)聚合總量達(dá)到實(shí)際需求標(biāo)準(zhǔn)后，AT24C512設(shè)備進(jìn)入持續(xù)連接狀態(tài)，當(dāng)前情況下，TDI元件將所接收到的交流電聯(lián)信號(hào)轉(zhuǎn)換為直流狀態(tài)，以供氣象儀設(shè)備在采集氣象數(shù)據(jù)的過(guò)程中可以直接調(diào)取與利用。JTAG電路連接形式如圖1所示。

圖1 JTAG電路結(jié)構(gòu)圖

在氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)中，JTAG電路所輸出的電量信號(hào)可供氣象儀設(shè)備直接應(yīng)用，所以為使氣象儀設(shè)備能夠準(zhǔn)確監(jiān)控氣象數(shù)據(jù)，調(diào)試電路結(jié)構(gòu)時(shí)，應(yīng)嚴(yán)格要求TCK元件、DGND元件、TDI元件的實(shí)時(shí)連接關(guān)系。

1.2 數(shù)據(jù)采集器設(shè)計(jì)

數(shù)據(jù)采集器是氣象儀設(shè)備的核心組成結(jié)構(gòu)，對(duì)于氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)而言，該部件的應(yīng)用能力決定了氣象儀設(shè)備能否對(duì)氣象數(shù)據(jù)進(jìn)行實(shí)時(shí)采集。Hadoop架構(gòu)體系為數(shù)據(jù)采集器提供了分布式連接環(huán)境，這就表示管理模塊組織之間的連接關(guān)系需滿足分布式執(zhí)行需求。整個(gè)數(shù)據(jù)采集器由氣象數(shù)據(jù)采集終端、串口單元兩部分組成。氣象數(shù)據(jù)采集終端在8位微控制器元件的作用下，同時(shí)協(xié)調(diào)AVR mega 1 280、RISC、AVR三類應(yīng)用部件。其中，AVR mega 1 280部件直接響應(yīng)JTAG電路輸出的電量信號(hào)，為氣象儀設(shè)備提供采集氣象數(shù)據(jù)所需的驅(qū)動(dòng)作用，隨著待測(cè)數(shù)據(jù)樣本總量的增大，該部件所負(fù)載的電信號(hào)總量也會(huì)不斷增大[7]。RISC部件接收8位微控制器元件輸出的實(shí)時(shí)監(jiān)控指令，可以感知?dú)庀髢x設(shè)備對(duì)于氣象數(shù)據(jù)的采集需求，從而在準(zhǔn)確分析氣象問(wèn)題表現(xiàn)情況的同時(shí)，對(duì)采集到的氣象數(shù)據(jù)參量進(jìn)行分類處理。AVR部件管理下級(jí)串口單元，能夠聯(lián)合AVR mega 1 280與RISC結(jié)構(gòu)，感知系統(tǒng)主機(jī)對(duì)氣象數(shù)據(jù)的實(shí)時(shí)監(jiān)控需求，從而避免電量信號(hào)出現(xiàn)過(guò)度傳輸?shù)那闆r，使得氣象儀設(shè)備能夠?qū)庀髷?shù)據(jù)進(jìn)行按需采集。數(shù)據(jù)采集器結(jié)構(gòu)如圖2所示。

圖2 數(shù)據(jù)采集器結(jié)構(gòu)模型

RS-45串口、RS-232串口、RS-257串口存在于氣象數(shù)據(jù)采集器與數(shù)據(jù)采集終端之間，具有雙向傳輸數(shù)據(jù)信息參量的能力，一方面可以將JTAG電路輸出的電量信號(hào)傳輸至氣象數(shù)據(jù)采集器中，以供其對(duì)氣象問(wèn)題進(jìn)行實(shí)時(shí)監(jiān)控，另一方面也可以將氣象數(shù)據(jù)采集器采集到的氣象數(shù)據(jù)傳輸至數(shù)據(jù)采集終端中[8]。因此，數(shù)據(jù)采集器的設(shè)計(jì)，必須保證RS-45串口、RS-232串口、RS-257串口之間的實(shí)時(shí)連接關(guān)系。

1.3 四要素監(jiān)控模塊設(shè)計(jì)

1.3.1 風(fēng)速風(fēng)向監(jiān)控設(shè)備設(shè)計(jì)

風(fēng)速風(fēng)向監(jiān)控設(shè)備應(yīng)用于系統(tǒng)主機(jī)監(jiān)控風(fēng)類氣象數(shù)據(jù)的過(guò)程中，由供電箱、風(fēng)速測(cè)量?jī)x、風(fēng)向測(cè)量?jī)x、預(yù)警裝置共同組成，其監(jiān)控所得氣象數(shù)據(jù)樣本會(huì)在Hadoop分布式協(xié)調(diào)服務(wù)請(qǐng)求的作用下，直接回傳至系統(tǒng)監(jiān)控主機(jī)中。預(yù)警裝置存在于風(fēng)速風(fēng)向監(jiān)控設(shè)備的最左端，當(dāng)風(fēng)力等級(jí)高于設(shè)備元件的可測(cè)量范圍時(shí)，預(yù)警裝置發(fā)出警告。供電箱存在于預(yù)警裝置右側(cè)，借助傳輸導(dǎo)線與JTAG電路相連，在數(shù)據(jù)采集器采集氣象數(shù)據(jù)的過(guò)程中，供電箱保持連續(xù)運(yùn)行狀態(tài)。風(fēng)速測(cè)量?jī)x、風(fēng)向測(cè)量?jī)x借助外接導(dǎo)線與供電箱相連，前者存在于風(fēng)速風(fēng)向監(jiān)控設(shè)備的最右端，非監(jiān)控狀態(tài)下，該裝置保持橫向水平狀態(tài)，表示當(dāng)前情況下，風(fēng)速水平為零，在監(jiān)控氣象數(shù)據(jù)實(shí)時(shí)傳輸行為的過(guò)程中，該裝置不斷發(fā)生偏轉(zhuǎn)，其最終所處位置與初始位置之間的差值可以用來(lái)表示當(dāng)前情況下的風(fēng)速水平[9-10]。風(fēng)向測(cè)量?jī)x存在于風(fēng)速測(cè)量?jī)x左端，二者運(yùn)行原理基本相同，非監(jiān)控狀態(tài)下，該裝置也保持橫向水平狀態(tài)，而在監(jiān)控氣象數(shù)據(jù)實(shí)時(shí)傳輸行為的過(guò)程中，該裝置不停旋轉(zhuǎn)，其最終所處位置就表示當(dāng)前情況下的實(shí)時(shí)風(fēng)向。風(fēng)速風(fēng)向監(jiān)控設(shè)備如圖3所示。

如果氣象數(shù)據(jù)傳輸過(guò)程中，風(fēng)速風(fēng)向監(jiān)控?cái)?shù)據(jù)繼續(xù)發(fā)生變化，那么監(jiān)控設(shè)備所得測(cè)量結(jié)果也會(huì)不斷發(fā)生改變，當(dāng)前情況下，為保證監(jiān)控結(jié)果的實(shí)時(shí)性，可以斷開數(shù)據(jù)采集器與風(fēng)速風(fēng)向監(jiān)控設(shè)備之間的連接關(guān)系。故而，風(fēng)速風(fēng)向監(jiān)控設(shè)備的設(shè)計(jì)，應(yīng)在風(fēng)速測(cè)量?jī)x、風(fēng)向測(cè)量?jī)x處于橫向水平狀態(tài)后，開始監(jiān)控。

1.3.2 雨、雪監(jiān)控設(shè)備設(shè)計(jì)

雨、雪監(jiān)控設(shè)備由降雨量監(jiān)控、降雪量監(jiān)控兩部分組成，應(yīng)用于系統(tǒng)主機(jī)監(jiān)控雨雪類氣象數(shù)據(jù)的過(guò)程中，接受JTAG電路的直接控制，能夠在DATA-9201監(jiān)測(cè)終端的配合下，將降雨量、降雪量測(cè)量結(jié)果轉(zhuǎn)化成氣象數(shù)據(jù)樣本，從而使得數(shù)據(jù)采集器元件能夠?qū)ζ溥M(jìn)行按需提取。雨量筒負(fù)責(zé)收集監(jiān)控區(qū)域內(nèi)的實(shí)時(shí)降雨，所得數(shù)據(jù)樣本經(jīng)過(guò)超聲波質(zhì)量測(cè)量計(jì)元件的處理后，傳輸至DATA-9201監(jiān)測(cè)終端中。雪量筒負(fù)責(zé)收集監(jiān)控區(qū)域內(nèi)的實(shí)時(shí)降雪，所得數(shù)據(jù)樣本在經(jīng)過(guò)超聲波液位計(jì)元件的處理后，也傳輸至DATA-9201監(jiān)測(cè)終端中[11-12]。由于“雨”、“雪”是兩類完全不同的氣象問(wèn)題，所以氣象儀設(shè)備針對(duì)這兩種天氣行為所采集到的氣象數(shù)據(jù)也不相同，故而為使系統(tǒng)主機(jī)能夠?qū)庀髷?shù)據(jù)實(shí)時(shí)傳輸行為進(jìn)行準(zhǔn)確監(jiān)控，雨、雪監(jiān)控設(shè)備必須具備兩套完全獨(dú)立的數(shù)據(jù)傳輸模式，且二者之間不得存在相互影響關(guān)系。對(duì)于雨、雪監(jiān)控設(shè)備的作用原則如圖4所示。

圖4 雨、雪監(jiān)控設(shè)備作用原則

DATA-9201監(jiān)測(cè)終端是多樣性監(jiān)控設(shè)備，同時(shí)接收超聲波質(zhì)量測(cè)量計(jì)、超聲波液位計(jì)輸出的氣象數(shù)據(jù)，在氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)中，該終端結(jié)構(gòu)的響應(yīng)能力受到JTAG電路內(nèi)電信號(hào)實(shí)時(shí)輸出水平的影響。此外，在雨、雪氣象問(wèn)題同時(shí)存在的情況下(如雨夾雪)，雨量筒，雪量筒都會(huì)測(cè)得一定的數(shù)據(jù)對(duì)象，當(dāng)前情況下，超聲波質(zhì)量測(cè)量?jī)x、超聲波液位計(jì)也同時(shí)向DATA-9201監(jiān)測(cè)終端反饋氣象數(shù)據(jù)樣本，設(shè)計(jì)雨、雪監(jiān)控設(shè)備，也必須保障DATA-9201監(jiān)測(cè)終端對(duì)雨量氣象數(shù)據(jù)、雪量氣象數(shù)據(jù)的實(shí)時(shí)處理能力。

1.3.3 雷電監(jiān)控設(shè)備設(shè)計(jì)

雷電監(jiān)控設(shè)備負(fù)責(zé)檢測(cè)雷電類氣象問(wèn)題，記錄儀元件所記錄的雷電氣象數(shù)據(jù)在CDMA網(wǎng)絡(luò)終端內(nèi)大量匯集，此時(shí)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)的雷電數(shù)據(jù)處理器快速運(yùn)行，直至實(shí)時(shí)監(jiān)控平臺(tái)中能夠顯示出清晰的雷電圖像。出于精準(zhǔn)性考慮，雷電監(jiān)控設(shè)備外部同時(shí)負(fù)載多臺(tái)雷電信號(hào)記錄儀元件。在實(shí)際測(cè)量過(guò)程中，若不存在雷電問(wèn)題，JTAG電路也就不會(huì)向雷電監(jiān)控設(shè)備傳輸電量信號(hào)，雷電信號(hào)記錄儀元件也就處于完全靜止?fàn)顟B(tài)[13]。為保證氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控結(jié)果的有效性，即便是在極其輕微的雷電情況下，所有雷電信號(hào)記錄儀也會(huì)同時(shí)進(jìn)入運(yùn)行狀態(tài)，一方面能夠避免非精準(zhǔn)監(jiān)測(cè)情況的出現(xiàn)，另一方面也可使CDMA網(wǎng)絡(luò)終端對(duì)所得氣象數(shù)據(jù)進(jìn)行多樣化整合處理。雷電信號(hào)記錄儀與CDMA網(wǎng)絡(luò)終端之間存在氣象數(shù)據(jù)傳輸關(guān)系，為滿足Hadoop協(xié)調(diào)服務(wù)請(qǐng)求的分布式傳輸需求，數(shù)據(jù)樣本傳輸行為只能保持單向性特征[14]。CDMA網(wǎng)絡(luò)終端與雷電數(shù)據(jù)處理器之間的數(shù)據(jù)傳輸關(guān)系則具有雙向性特征，當(dāng)雷電氣象問(wèn)題相對(duì)較為嚴(yán)重時(shí)，氣象數(shù)據(jù)由CDMA網(wǎng)絡(luò)終端傳輸至雷電數(shù)據(jù)處理器，否則氣象數(shù)據(jù)則保持反向傳輸狀態(tài)，這也是非雷達(dá)氣象問(wèn)題情況下，雷電監(jiān)控設(shè)備也接受氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)按需調(diào)度的主要原因。雷電監(jiān)控設(shè)備設(shè)計(jì)結(jié)構(gòu)如圖5所示。

圖5 雷電監(jiān)控設(shè)備結(jié)構(gòu)簡(jiǎn)圖

雷電監(jiān)控設(shè)備的設(shè)計(jì)，要求實(shí)時(shí)監(jiān)控平臺(tái)作為氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)與處理器元件之間的數(shù)據(jù)傳輸通路，應(yīng)將所接收到的雷電類氣象數(shù)據(jù)反饋回監(jiān)控系統(tǒng)的核心運(yùn)行主機(jī)，以供主機(jī)元件能夠制定統(tǒng)一的監(jiān)控指令執(zhí)行方案。

1.3.4 溫、濕度監(jiān)控設(shè)備設(shè)計(jì)

溫、濕度監(jiān)控設(shè)備以溫濕度傳感器作為核心應(yīng)用元件，在氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)中，傳感器前端的一體式探頭感知外界氣象問(wèn)題，并將所得氣象數(shù)據(jù)以溫度信號(hào)、濕度信號(hào)的形式，傳輸至數(shù)據(jù)采集器終端中，再經(jīng)過(guò)非線性校正、運(yùn)算放大等多次處理后，經(jīng)由端口組織被系統(tǒng)核心監(jiān)控主機(jī)獲取，從而生成完整的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控信號(hào)。溫度、濕度是實(shí)時(shí)傳輸監(jiān)控系統(tǒng)最主要的氣象測(cè)量數(shù)據(jù)，自然環(huán)境中，任何細(xì)微的氣象變化都會(huì)導(dǎo)致溫度、濕度水平隨之改變，因此在設(shè)計(jì)溫、濕度監(jiān)控設(shè)備時(shí)，要求數(shù)據(jù)樣本的實(shí)時(shí)傳輸接口必須與數(shù)據(jù)采集器部件保持緊密的信息互傳關(guān)系[15]。

溫、濕度監(jiān)控設(shè)備對(duì)于氣象數(shù)據(jù)的監(jiān)控是一種感知性行為，在滿足實(shí)時(shí)傳輸需求的情況下，sensor終端同時(shí)采集大量的氣象數(shù)據(jù)，但受到終端元件運(yùn)行特性的影響，所得信息參量的排列順序符合時(shí)間性原則，即采集時(shí)間越靠前的氣象數(shù)據(jù)的輸出順序越靠前。對(duì)于氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)而言，其在單位運(yùn)行周期內(nèi)可能需要大量的溫、濕度采集數(shù)據(jù)作為依據(jù)，才能生成準(zhǔn)確的監(jiān)控指令，所以sensor終端對(duì)于氣象數(shù)據(jù)的采集還具有持續(xù)性的特征[16]。隨著氣象數(shù)據(jù)實(shí)時(shí)累積量的增大，溫、濕度監(jiān)控設(shè)備的運(yùn)行速率可能會(huì)出現(xiàn)一定程度的下降，但由于該設(shè)備接受JTAG電路的統(tǒng)一調(diào)度與調(diào)試，所以持續(xù)連接的信道組織會(huì)在氣象數(shù)據(jù)傳輸速率降低至額定數(shù)值標(biāo)準(zhǔn)之下時(shí)，就將信息參量反饋回監(jiān)控系統(tǒng)的核心處理終端中，這也是溫、濕度監(jiān)控設(shè)備實(shí)時(shí)運(yùn)行速率不會(huì)出現(xiàn)明顯下降狀態(tài)的主要原因。

2 Hadoop下的實(shí)時(shí)氣象數(shù)據(jù)處理

氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)硬件的運(yùn)行，接受Hadoop架構(gòu)體系的統(tǒng)一調(diào)度，因此，為實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)的實(shí)時(shí)監(jiān)控，在Hadoop技術(shù)支持下，完成對(duì)監(jiān)控?cái)?shù)據(jù)樣本的預(yù)處理。

2.1 Hadoop架構(gòu)體系搭建

Hadoop架構(gòu)體系由業(yè)務(wù)模型層、任務(wù)調(diào)度層、數(shù)據(jù)處理層、數(shù)據(jù)存儲(chǔ)層、資源管理層5個(gè)層級(jí)組織共同組成，在Hadoop分布式協(xié)調(diào)服務(wù)請(qǐng)求的配合下，所有層級(jí)組織保持同步運(yùn)行狀態(tài)，在氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)中，負(fù)責(zé)對(duì)氣象儀設(shè)備采集到的氣象數(shù)據(jù)進(jìn)行分布式傳輸。Hadoop分布式協(xié)調(diào)服務(wù)請(qǐng)求同時(shí)面對(duì)5個(gè)不同的層級(jí)組織，在監(jiān)控氣象數(shù)據(jù)的過(guò)程中，保持服務(wù)請(qǐng)求的完整性，才能使Hadoop架構(gòu)的分布式運(yùn)行能力得到充分發(fā)揮。業(yè)務(wù)模型層負(fù)載氣象數(shù)據(jù)實(shí)時(shí)傳輸請(qǐng)求與業(yè)務(wù)邏輯處理請(qǐng)求，聯(lián)合任務(wù)調(diào)度層制定與氣象數(shù)據(jù)實(shí)時(shí)監(jiān)控相關(guān)的任務(wù)調(diào)度指令。數(shù)據(jù)處理層同時(shí)執(zhí)行Map Reduce計(jì)算、Spark Core計(jì)算與Storm計(jì)算指令，在Hadoop技術(shù)支持下，該層級(jí)組織同時(shí)協(xié)調(diào)所有系統(tǒng)應(yīng)用部件[17-18]。數(shù)據(jù)存儲(chǔ)層配合資源管理層實(shí)時(shí)對(duì)氣象數(shù)據(jù)的實(shí)時(shí)監(jiān)控，在Hadoop架構(gòu)體系作用下，氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)的運(yùn)行能力受到四要素監(jiān)控模塊中氣象數(shù)據(jù)檢索結(jié)果的直接影響。Hadoop架構(gòu)體系的邏輯連接結(jié)構(gòu)如圖6所示。

圖6 Hadoop架構(gòu)體系的邏輯連接結(jié)構(gòu)

Hadoop架構(gòu)體系作為氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)的軟件運(yùn)行環(huán)境，擔(dān)負(fù)任務(wù)調(diào)度、數(shù)據(jù)存儲(chǔ)等多項(xiàng)執(zhí)行指令，所以在各級(jí)應(yīng)用部件監(jiān)控氣象數(shù)據(jù)的過(guò)程中，Hadoop架構(gòu)體系的邏輯連接形式必須完成穩(wěn)定狀態(tài)。

2.2 數(shù)據(jù)預(yù)處理

實(shí)時(shí)傳輸監(jiān)控系統(tǒng)的數(shù)據(jù)預(yù)處理，是按照Hadoop架構(gòu)體系的搭建需求，將主機(jī)元件所采集到的氣象數(shù)據(jù)整合成既定傳輸形式。Hadoop技術(shù)處理氣象數(shù)據(jù)時(shí)，要求四要素監(jiān)控模塊必須同時(shí)與數(shù)據(jù)采集器保持實(shí)時(shí)連接關(guān)系，一方面維持?jǐn)?shù)據(jù)樣本的穩(wěn)定傳輸狀態(tài)，另一方面也可以保證分布式協(xié)調(diào)服務(wù)對(duì)數(shù)據(jù)信息參量的處理能力[19-20]。

(1)

利用公式(1)，推導(dǎo)數(shù)據(jù)預(yù)處理表達(dá)式為：

(2)

Hadoop技術(shù)下，實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)的處理，要求數(shù)據(jù)預(yù)處理?xiàng)l件不等于零的取值條件恒成立，特別是在四要素監(jiān)控模塊所采集氣象數(shù)據(jù)樣本總量不平均的情況下，數(shù)據(jù)預(yù)處理表達(dá)式不等于零是保證傳輸監(jiān)控系統(tǒng)能夠?qū)庀髷?shù)據(jù)進(jìn)行實(shí)時(shí)處理的必要條件。

3 業(yè)務(wù)信息表配置

實(shí)現(xiàn)系統(tǒng)主機(jī)對(duì)氣象數(shù)據(jù)的實(shí)時(shí)傳輸監(jiān)控功能，在Hadoop技術(shù)的支持下，連接數(shù)據(jù)庫(kù)體系，并以此為基礎(chǔ)，完成對(duì)業(yè)務(wù)信息表單的配置。

3.1 數(shù)據(jù)庫(kù)連接

實(shí)時(shí)傳輸監(jiān)控系統(tǒng)數(shù)據(jù)庫(kù)存儲(chǔ)主機(jī)元件采集到的所有氣象數(shù)據(jù)樣本，但由于四要素監(jiān)控模塊所提供數(shù)據(jù)樣本具有差異性，所以連接數(shù)據(jù)庫(kù)體系時(shí)，必須對(duì)風(fēng)速風(fēng)向監(jiān)控設(shè)備、雨、雪監(jiān)控設(shè)備、雷電監(jiān)控設(shè)備、溫、濕度監(jiān)控設(shè)備所輸出信息對(duì)象進(jìn)行明確區(qū)分。

風(fēng)速風(fēng)向類氣象數(shù)據(jù)定義式：

(3)

式中，χ1表示數(shù)據(jù)庫(kù)體系對(duì)風(fēng)速風(fēng)向類氣象數(shù)據(jù)的存儲(chǔ)參數(shù)，E′表示四要素監(jiān)控模塊所提供氣象數(shù)據(jù)樣本總量，γ1表示風(fēng)速風(fēng)向類氣象數(shù)據(jù)實(shí)時(shí)響應(yīng)參數(shù)，w1表示風(fēng)速風(fēng)向類氣象數(shù)據(jù)檢索特征。

雨、雪類氣象數(shù)據(jù)定義式：

I2=χ2|E′|-γ2w2

(4)

式中，χ2、γ2分別表示雨、雪類氣象數(shù)據(jù)存儲(chǔ)參數(shù)與實(shí)時(shí)響應(yīng)參數(shù)，w2表示該類數(shù)據(jù)樣本的檢索特征。

雷電類氣象數(shù)據(jù)定義式：

(5)

式中，χ3、γ3、w3分別表示雷電類氣象數(shù)據(jù)的存儲(chǔ)參數(shù)、實(shí)時(shí)響應(yīng)參數(shù)與檢索特征。

溫、濕度類氣象數(shù)據(jù)定義式：

(6)

式中，χ4表示數(shù)據(jù)庫(kù)體系對(duì)溫、濕度類氣象數(shù)據(jù)的存儲(chǔ)參數(shù)，γ4、χ4分別表示該類數(shù)據(jù)樣本的實(shí)時(shí)響應(yīng)參數(shù)與檢索特征。

聯(lián)立公式(2)、公式(3)、公式(4)、公式(5)、公式(6)，求解實(shí)時(shí)傳輸監(jiān)控系統(tǒng)數(shù)據(jù)庫(kù)連接式。

(7)

其中：φ1、φ2、φ3、φ4分別表示與I1、I2、I3、I4匹配的氣象數(shù)據(jù)樣本實(shí)時(shí)連接參數(shù)。為實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)樣本的無(wú)差別存儲(chǔ)，連接數(shù)據(jù)庫(kù)體系時(shí)，要求φ1≠0、φ2≠0、φ3≠0、φ4≠0的不等式取值條件同時(shí)成立[21-22]。

3.2 信息表配置

業(yè)務(wù)信息表定義了氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)運(yùn)行所需的連接條件，配合Hadoop技術(shù)完成數(shù)據(jù)庫(kù)連接后，主機(jī)元件必須按照業(yè)務(wù)信息表配置標(biāo)準(zhǔn)，才能根據(jù)氣象儀設(shè)備采集到的氣象數(shù)據(jù)，分析氣象問(wèn)題的表現(xiàn)情況。由于數(shù)據(jù)庫(kù)體系中同時(shí)包含4種氣象數(shù)據(jù)樣本，所以配置業(yè)務(wù)信息表，必須保證主機(jī)元件對(duì)已存儲(chǔ)氣象數(shù)據(jù)的無(wú)差別監(jiān)控能力[23]。

無(wú)差別監(jiān)控參數(shù)為：

(8)

式中，s1表示風(fēng)速風(fēng)向類氣象數(shù)據(jù)識(shí)別參數(shù)，s2表示雨、雪類氣象數(shù)據(jù)識(shí)別參數(shù)，s3表示雷電類氣象數(shù)據(jù)識(shí)別參數(shù)，s4表示溫、濕度類氣象數(shù)據(jù)識(shí)別參數(shù)，ε表示無(wú)差別判別參量。

如果氣象儀設(shè)備沒(méi)有采集到某一類氣象數(shù)據(jù)，那么與該類數(shù)據(jù)樣本匹配的識(shí)別參數(shù)取值為零[24]。

聯(lián)立公式(7)、公式(8)，推導(dǎo)業(yè)務(wù)信息表配置表達(dá)式：

(9)

其中：ι表示氣象數(shù)據(jù)采集系數(shù)，f表示氣象數(shù)據(jù)樣本的業(yè)務(wù)信息參量，g表示配置條件核準(zhǔn)參數(shù)。

系統(tǒng)主機(jī)的最基本應(yīng)用是實(shí)現(xiàn)對(duì)氣象數(shù)據(jù)的實(shí)時(shí)傳輸監(jiān)控，因此，在配置業(yè)務(wù)信息表時(shí)，各級(jí)系統(tǒng)應(yīng)用部件應(yīng)保持穩(wěn)定運(yùn)行狀態(tài)。

4 實(shí)驗(yàn)分析

為了驗(yàn)證設(shè)計(jì)的基于Hadoop技術(shù)的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)的有效性，進(jìn)行實(shí)驗(yàn)分析。氣象儀設(shè)備采集到的氣象數(shù)據(jù)，可以用來(lái)分析氣象問(wèn)題表現(xiàn)情況，對(duì)于系統(tǒng)主機(jī)而言，這些氣象數(shù)據(jù)能夠作為監(jiān)控風(fēng)、雨、雪、雷4種氣象問(wèn)題的主要依據(jù)。分別選擇本文設(shè)計(jì)的基于Hadoop技術(shù)的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)(實(shí)驗(yàn)組)、文獻(xiàn)[3]設(shè)計(jì)的基于Hybrid模式精細(xì)化移動(dòng)氣象服務(wù)系統(tǒng)(對(duì)照1組)、文獻(xiàn)[4]設(shè)計(jì)的面向局部定點(diǎn)區(qū)域的微型氣象監(jiān)測(cè)系統(tǒng)(對(duì)照2組)作為實(shí)驗(yàn)對(duì)象，將上述3種系統(tǒng)的執(zhí)行程序分別輸入PRA軟件中，顯示指令框后，開始錄入氣象數(shù)據(jù)，氣象數(shù)據(jù)輸入如圖7所示。

圖7 氣象數(shù)據(jù)輸入

PRA軟件對(duì)于氣象數(shù)據(jù)的監(jiān)控準(zhǔn)確性較高，但其運(yùn)行需要一定的響應(yīng)時(shí)間，在PRA軟件未達(dá)到穩(wěn)定運(yùn)行狀態(tài)之前，所得監(jiān)控?cái)?shù)據(jù)不符合本次實(shí)驗(yàn)的需求。規(guī)定：PRA軟件對(duì)氣象數(shù)據(jù)的監(jiān)控準(zhǔn)確度達(dá)到90%時(shí)，所得監(jiān)控結(jié)果才具有參考價(jià)值，且考慮其穩(wěn)定性，還要求該準(zhǔn)確度條件必須具有長(zhǎng)期持續(xù)的特征。

PRA軟件監(jiān)控氣象數(shù)據(jù)時(shí)的運(yùn)行特性如圖8所示。

圖8 PRA軟件運(yùn)行特性

根據(jù)圖8可知，PRA軟件開始運(yùn)行30 min后，其對(duì)于氣象數(shù)據(jù)的監(jiān)控準(zhǔn)確性才能達(dá)到90%，因此在完成氣象數(shù)據(jù)輸入后，等待30 min，才開始記錄PRA軟件對(duì)于氣象問(wèn)題的分析結(jié)果。

選取A、B、C三個(gè)場(chǎng)景，作為監(jiān)控目標(biāo)，分別對(duì)這3個(gè)場(chǎng)景中的氣象數(shù)據(jù)進(jìn)行取樣，如表1所示。

表1 實(shí)驗(yàn)場(chǎng)景的氣象數(shù)據(jù)取樣

其中：“*”表示該場(chǎng)景無(wú)法取得該類氣象數(shù)據(jù)，即該場(chǎng)景不存在該類氣象問(wèn)題。

PRA軟件處于穩(wěn)定運(yùn)行狀態(tài)后，將A、B、C三個(gè)場(chǎng)景采集到的氣象數(shù)據(jù)輸入軟件，再分別應(yīng)用實(shí)驗(yàn)組、對(duì)照1組、對(duì)照2組軟件的執(zhí)行程序，調(diào)節(jié)PRA軟件對(duì)于所輸入氣象數(shù)據(jù)的實(shí)時(shí)傳輸監(jiān)控能力，從而確定所選系統(tǒng)對(duì)風(fēng)、雨、雪、雷4種氣象問(wèn)題的監(jiān)控能力。

將氣象數(shù)據(jù)監(jiān)控結(jié)果和監(jiān)控系統(tǒng)響應(yīng)時(shí)間作為系統(tǒng)設(shè)計(jì)的技術(shù)參數(shù)，其中，氣象數(shù)據(jù)監(jiān)控結(jié)果越接近表1中氣象數(shù)據(jù)取樣結(jié)果，說(shuō)明系統(tǒng)的實(shí)用性越強(qiáng)；監(jiān)控系統(tǒng)響應(yīng)時(shí)間越小，說(shuō)明系統(tǒng)的實(shí)時(shí)性越好。

實(shí)驗(yàn)組、對(duì)照1組、對(duì)照2組系統(tǒng)作用下，PRA軟件對(duì)于所輸入氣象數(shù)據(jù)的監(jiān)控結(jié)果如圖9所示。

圖9 不同系統(tǒng)的氣象數(shù)據(jù)監(jiān)控結(jié)果

分析圖9可知，實(shí)驗(yàn)組執(zhí)行程序作用下，A、B、C三個(gè)場(chǎng)景的風(fēng)力、降雨、降雪、雷電等級(jí)監(jiān)控結(jié)果均與表1所示取樣結(jié)果保持一致。對(duì)照1組執(zhí)行程序作用下，A、B、C三個(gè)場(chǎng)景的風(fēng)力等級(jí)監(jiān)控結(jié)果均與實(shí)際取樣結(jié)果不同，但降雨、降雪、雷電等級(jí)監(jiān)控結(jié)果與表1保持一致。對(duì)照2組執(zhí)行程序作用下，A、B、C三個(gè)場(chǎng)景的風(fēng)力等級(jí)監(jiān)控結(jié)果與表1保持一致，而降雨、降雪、雷電等級(jí)的監(jiān)控結(jié)果與實(shí)際取樣結(jié)果不同。此外，若某場(chǎng)景中無(wú)法取得某一項(xiàng)氣象數(shù)據(jù)，那么實(shí)驗(yàn)組、對(duì)照1組、對(duì)照2組系統(tǒng)對(duì)這一類氣象問(wèn)題的監(jiān)測(cè)結(jié)果都不會(huì)出現(xiàn)差錯(cuò)。

實(shí)驗(yàn)組、對(duì)照1組、對(duì)照2組系統(tǒng)作用下，不同系統(tǒng)的響應(yīng)時(shí)間對(duì)比結(jié)果如表2所示。

表2 不同系統(tǒng)的響應(yīng)時(shí)間對(duì)比結(jié)果

根據(jù)表2中的數(shù)據(jù)可知，針對(duì)風(fēng)、雨、雪、雷4種氣象數(shù)據(jù)，對(duì)照1組和對(duì)照2組的平均響應(yīng)時(shí)間分別為70 ms和76.5 ms，而實(shí)驗(yàn)組的平均響應(yīng)時(shí)間僅為61.3 ms。由此可知，實(shí)驗(yàn)組的監(jiān)控系統(tǒng)響應(yīng)時(shí)間較小，說(shuō)明實(shí)驗(yàn)組監(jiān)控系統(tǒng)的實(shí)時(shí)性較好。

綜合上述分析可知，基于Hadoop技術(shù)的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)能夠根據(jù)氣象儀設(shè)備采集到的氣象數(shù)據(jù)，準(zhǔn)確分析氣象問(wèn)題的表現(xiàn)情況，在實(shí)時(shí)監(jiān)控風(fēng)、雨、雪、雷4種氣象問(wèn)題方面，確實(shí)具有較強(qiáng)的實(shí)用性價(jià)值和較好的實(shí)時(shí)性。由于氣象問(wèn)題具有偶發(fā)性，所以本次實(shí)驗(yàn)結(jié)果不可以用來(lái)描述實(shí)驗(yàn)區(qū)域的氣象特點(diǎn)。

5 結(jié)束語(yǔ)

為了準(zhǔn)確分析氣象問(wèn)題的表現(xiàn)情況，設(shè)計(jì)了基于Hadoop技術(shù)的氣象數(shù)據(jù)實(shí)時(shí)傳輸監(jiān)控系統(tǒng)。聯(lián)合JTAG電路，調(diào)節(jié)數(shù)據(jù)采集器與四要素監(jiān)控模塊的連接狀態(tài)，通過(guò)配置信息表單的方式，確定數(shù)據(jù)庫(kù)體系對(duì)于氣象數(shù)據(jù)樣本的存儲(chǔ)能力。通過(guò)實(shí)驗(yàn)驗(yàn)證了基于Hadoop技術(shù)的監(jiān)控系統(tǒng)可以根據(jù)已輸入的氣象數(shù)據(jù)樣本，分析該區(qū)域內(nèi)氣象問(wèn)題的表現(xiàn)情況，能夠準(zhǔn)確獲取在面對(duì)風(fēng)、雨、雪、雷4種氣象問(wèn)題同時(shí)存在的復(fù)雜天氣環(huán)境時(shí)的監(jiān)控結(jié)果，且具有較好的實(shí)時(shí)性，確保符合實(shí)際應(yīng)用需求。