基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺設(shè)計

李 嵐

(湖北職業(yè)技術(shù)學院，湖北 孝感 432000)

我國是一個災(zāi)害發(fā)生較為頻繁的國家[1]，各種因地質(zhì)災(zāi)害、氣候災(zāi)害、水文災(zāi)害等引發(fā)的山體滑坡、泥石流、洪水、嚴重干旱等給人民的日常生活帶來了極大的隱患，嚴重威脅著人民的生命與財產(chǎn)安全[2]。以往對災(zāi)害進行預(yù)警大多以廣播、報紙、天氣預(yù)報等方式，因傳播范圍小、強度低而收效甚微。

隨著科技的進步，國內(nèi)外相關(guān)研究人員開始研究不同的災(zāi)害預(yù)警方法，但都存在著一定的缺陷。例如CHEN等[3]設(shè)計了一種基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺，其通過ZigBee無線傳感器網(wǎng)絡(luò)實時采集環(huán)境數(shù)據(jù)，數(shù)據(jù)由GPRS網(wǎng)關(guān)節(jié)點傳輸?shù)竭h程監(jiān)控中心，并進行數(shù)據(jù)分析與預(yù)警。但該平臺未對數(shù)據(jù)進行匯聚處理，無法解決數(shù)據(jù)間的規(guī)約問題，預(yù)警效率差；陳蓓青等[4]設(shè)計了基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺，運用地理信息技術(shù)、虛擬仿真技術(shù)和基于多用戶并發(fā)的WEB異步服務(wù)技術(shù)，構(gòu)建融合三維地理信息功能與地質(zhì)災(zāi)害預(yù)警預(yù)報業(yè)務(wù)功能的網(wǎng)絡(luò)決策支持系統(tǒng)。但構(gòu)建系統(tǒng)的過程較為復(fù)雜，實用性能較差；高姍姍等[5]針對樂山市山洪監(jiān)測預(yù)警系統(tǒng)實施設(shè)計與建設(shè)，只對山洪災(zāi)害進行檢測與預(yù)警，并且系統(tǒng)構(gòu)建時所需數(shù)據(jù)量較大，構(gòu)建時間較長，誤差較大；陳香等[6]依據(jù)自然災(zāi)害風險管理理論，結(jié)合致災(zāi)因子危險性和承災(zāi)體易損性，構(gòu)建簡易的福建省滑坡災(zāi)害風險評估模型，建模過程中資源占用率較高。

為解決傳統(tǒng)方法中存在的預(yù)警效率和準確率低、穩(wěn)定性差、資源占用率高的問題，本文設(shè)計了基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺。通過各地的檢測站實時獲取監(jiān)測數(shù)據(jù)，將數(shù)據(jù)傳輸至云計算平臺進行處理，再通過手機、網(wǎng)站等現(xiàn)代通訊方式進行災(zāi)害預(yù)警，為人民生命財產(chǎn)安全提供可靠的保障。

1 基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺設(shè)計

平臺整體架構(gòu)設(shè)計包括：感知層、網(wǎng)絡(luò)層和應(yīng)用層，整體結(jié)構(gòu)圖如圖1所示。

(1)感知層。感知層中主要通過在不同地區(qū)建立地質(zhì)、水文、氣象等各種災(zāi)害監(jiān)控站[7]，實現(xiàn)對不同自然環(huán)境情況的實時獲?。焕脭?shù)據(jù)傳輸單元將采集到的串口數(shù)據(jù)或IP數(shù)據(jù)進行相互轉(zhuǎn)換后經(jīng)由無線通信網(wǎng)絡(luò)的通用分組無線服務(wù)功能發(fā)送到云計算平臺內(nèi)，距離較遠、條件較差的環(huán)境信息監(jiān)測站實施數(shù)據(jù)傳輸時可采用遠程終端單元。

(2)網(wǎng)絡(luò)層。云計算平臺利用GPRS DTU(General Packet Radio Service Data Transfer unit)無線數(shù)據(jù)終端接收由感知層發(fā)送的數(shù)據(jù)，并將之導(dǎo)入云服務(wù)器，通過服務(wù)器內(nèi)的各模塊對獲取的環(huán)境信息實施數(shù)據(jù)管理、分析，參照標準數(shù)據(jù)對環(huán)境實時數(shù)據(jù)實施災(zāi)害預(yù)警分析，對分析結(jié)果實施可視化顯示并生成Web Service，在分析結(jié)果達到預(yù)警臨界點的情況下，自主進行預(yù)警提示。

(3)應(yīng)用層。應(yīng)用層通過手機、網(wǎng)站等將災(zāi)害預(yù)警情況生成的Web Service顯示出來。普通公民可以通過短信、網(wǎng)站、電視廣播等方式獲取災(zāi)害預(yù)警情況的基礎(chǔ)信息，進行災(zāi)害躲避；內(nèi)部預(yù)警人員可以通過網(wǎng)絡(luò)、智能手機調(diào)用Web Service隨時隨地的了解災(zāi)害的最新情況，以便于進行災(zāi)害預(yù)防和災(zāi)后處理。

圖1 基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺整體結(jié)構(gòu)圖

1.1 數(shù)據(jù)匯集調(diào)度模塊設(shè)計

數(shù)據(jù)匯集調(diào)度模塊結(jié)構(gòu)如圖2所示，其具體功能是匯集云計算平臺獲取的實時環(huán)境信息數(shù)據(jù)，解決不同數(shù)據(jù)間的規(guī)約情況[8]。此模塊應(yīng)用了模板化設(shè)計方法，能夠?qū)崿F(xiàn)新數(shù)據(jù)同元數(shù)據(jù)間的配置，進行不同環(huán)境數(shù)據(jù)的統(tǒng)一獲取及規(guī)約處理。同時此模塊中能夠并存不同的源數(shù)據(jù)格式，例如：環(huán)境情況采集數(shù)據(jù)、環(huán)境情況分析處理數(shù)據(jù)、以往標準數(shù)據(jù)等。數(shù)據(jù)匯集調(diào)度中心模塊中還包含各種數(shù)據(jù)同步方法[9]，例如：數(shù)據(jù)庫實時同步、文件傳輸協(xié)議同步等。

圖2 數(shù)據(jù)匯集調(diào)度模塊結(jié)構(gòu)圖

1.2 災(zāi)害事件觸發(fā)模塊設(shè)計

災(zāi)害事件觸發(fā)模塊中根據(jù)各環(huán)境信息監(jiān)測站獲取的實施環(huán)境信息對比標準信息得到的災(zāi)害情況，對災(zāi)害預(yù)警進行分級(表1)。災(zāi)害事件觸發(fā)模塊將災(zāi)害預(yù)警等級劃分為五級：一、二級為提醒級，表示災(zāi)害發(fā)生概率?。蝗墳樽⒁饧?，表示災(zāi)害發(fā)生概率較大；四級為預(yù)警級，表示災(zāi)害發(fā)生的概率大；五級為警報級，表示災(zāi)害發(fā)生的概率極大。災(zāi)害等級信息在應(yīng)用層的網(wǎng)站、手機等工具上實時顯示，方便查詢。

表1 災(zāi)害預(yù)警等級的劃分

1.3 軟件設(shè)計

1.3.1 平臺整體工作流程

基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺采用無線傳感器技術(shù)[10]、數(shù)據(jù)挖掘技術(shù)和云計算技術(shù)，顯示災(zāi)害隱患點人員分布、設(shè)施分布情況，實現(xiàn)對災(zāi)害隱患點附近環(huán)境的不同參數(shù)(溫度、適度、風速、雨量、震級、震源等)的實時獲取，并對參數(shù)信息進行分析，預(yù)警災(zāi)害隱患點數(shù)據(jù)異常情況。確定災(zāi)害發(fā)生點的精確位置、形成原因和災(zāi)害來臨時災(zāi)害發(fā)生點人員、設(shè)施等信息，為抗險救災(zāi)工作提供有價值的參考[11]?；跀?shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺工作流程如圖3所示。

1.3.2 災(zāi)害事件觸發(fā)檢驗流程設(shè)計

災(zāi)害預(yù)警平臺的主要功能就是通過環(huán)境信息分析災(zāi)害情況[12]，在最短的時間內(nèi)獲取精確的災(zāi)害信息，這兩點關(guān)系到災(zāi)害預(yù)警的時間。災(zāi)害突發(fā)情況預(yù)測的功能是為了在實時數(shù)據(jù)流中通過運算得到環(huán)境信息監(jiān)測站數(shù)據(jù)，如溫度、濕度、風速、雨量、震級、震源等，其時效性對災(zāi)害預(yù)警整體性的影響較大[13]。為了減少環(huán)境信息監(jiān)測站數(shù)據(jù)的運算時間，在災(zāi)害突發(fā)情況預(yù)測流程設(shè)計中采用了Java多線程、擴散式云計算方法[14]。此流程設(shè)計分為管理線程和判斷計算線程，它們的功能分別是：管理線程負責對關(guān)聯(lián)數(shù)據(jù)的初始化、連續(xù)詢問環(huán)境信息監(jiān)測站數(shù)據(jù)和對運算線程的設(shè)計運行；計算線程是對環(huán)境信息監(jiān)測站獲取的數(shù)據(jù)進行擴散式云計算研究[15]，并將研究結(jié)果進行回報和預(yù)警。具體災(zāi)害事件觸發(fā)檢驗流程設(shè)計如圖4所示。

1.3.3 數(shù)據(jù)挖掘算法并行化技術(shù)

根據(jù)云計算平臺的基礎(chǔ)能力，本文采用數(shù)據(jù)挖掘算法并行化技術(shù)，通過K-mears聚類算法并行化和Map Reduce并行計算框架縮短數(shù)據(jù)挖掘時間，提升災(zāi)害預(yù)警時效性。

將聚類性能指標最小化是K-means聚類算法的基礎(chǔ)。算法的具體過程為：①任意選取個目標，一個目標表示一個簇的初始均值及中心；②對于未被選取的目標，按照其同不同簇間的均值距離分配至最雷同的簇；③對各簇的新均值實施運算；④重復(fù)①至③至準則函數(shù)收斂。準則函數(shù)多數(shù)情況下采用平方誤差準則：

(1)

式中:E、p、mi分別表示數(shù)據(jù)集內(nèi)全部目標的平方誤差和、給定的目標和簇Ci的均值。

K-means算法是根據(jù)聚類中心實現(xiàn)聚類的劃分，因此，通過并行更新聚類中心能夠縮短聚類時間。對任意k個聚類中心實施初始化后，每執(zhí)行一次新的任務(wù)都會使這k個聚類中心的值變化。在映射過程中，對各樣本Os同最近的聚類中心Oi(0≤i≤K-1)進行運算，得到鍵值對。在化簡過程中，相同鍵的值聚集在Map Reduce框架內(nèi)，即離聚類中心Oi(0≤i≤K-1)最近的樣本會聚集在Map Reduce框架內(nèi)。因此，在educer內(nèi)根據(jù)聚集的樣本能夠再次獲取k個聚類中心，即：

(2)

通過式(1)和式(2)能夠得到新的聚類中心。將新的聚類中心同上一輪聚類中心進行差異度比較，可知算法是否收斂。

2 模型實驗分析

為了驗證本文設(shè)計的基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺的實用性能，設(shè)計實驗?zāi)M災(zāi)害發(fā)生環(huán)境并使用本文平臺進行災(zāi)害預(yù)警分析。

(1)有效性檢驗

實驗?zāi)M某省地震發(fā)生環(huán)境，分別采用本文平臺和經(jīng)驗公式對地震位移數(shù)據(jù)進行獲取并進行對比，結(jié)果如圖5所示。對圖5進行分析可知，使用本文平臺獲取的地震位移數(shù)據(jù)和通過經(jīng)驗獲取的地震位移數(shù)據(jù)誤差較小，控制在2 mm以下，說明本文平臺能夠有效進行災(zāi)害預(yù)警。

圖3 災(zāi)害預(yù)警平臺整體工作流程圖

圖4 災(zāi)害事件觸發(fā)檢測管理線程流程圖

圖5 本文平臺和經(jīng)驗公式獲取的地震位移數(shù)據(jù)對比結(jié)果

(2)災(zāi)害預(yù)警效率檢驗

實驗為測試本文平臺的災(zāi)害預(yù)警效率，在實驗環(huán)境一致的條件下，使用本文平臺、基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺和基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺分別從平均傳輸速度以及傳輸時延兩方面進行測試，并比較不同平臺的平均傳輸速率和傳輸時延，結(jié)果如表2和表3所示。對表2進行分析能夠得到，使用本文平臺進行災(zāi)害預(yù)警監(jiān)測的傳輸速度在7.06～8.31 byte/s之間波動，平均傳輸速度為7.97 byte/s；使用基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺進行災(zāi)害預(yù)警監(jiān)測的平均傳輸速度在3.14 ～5.09 byte/s之間波動，平均傳輸速度為3.96 byte/s；使用基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺進行災(zāi)害預(yù)警監(jiān)測的平均傳輸速度在4.24 ～6.21 byte/s之間波動，平均傳輸速度為5.10 byte/s。對表3進行分析能夠得到，使用本文平臺進行災(zāi)害預(yù)警監(jiān)測的傳輸時延在10.02～16.85 ms之間波動，平均傳輸時延為13.13 ms；使用基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺進行災(zāi)害預(yù)警監(jiān)測的傳輸時延在18.97～54.28 ms之間波動，平均傳輸時延為31.25 ms；使用基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺進行災(zāi)害預(yù)警監(jiān)測的傳輸時延在16.57～40.10 ms之間波動，平均傳輸時延為28.06 ms。綜合分析表2及表3的數(shù)據(jù)可知，與其他兩個災(zāi)害預(yù)警平臺相比較，本文平臺的傳輸速度變化較平穩(wěn)，平均傳輸速度較高；傳輸時延波動幅度較小，平均傳輸時延較低，說明使用本文平臺進行災(zāi)害預(yù)警時具有較高的效率。

(3)穩(wěn)定性檢驗

實驗對本文平臺的穩(wěn)定性實施測試。針對不同信息量，使用本文平臺、基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺和基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺分別進行處理，并對比不同災(zāi)害預(yù)警平臺的處理結(jié)果，具體情況如表4所示。對表4進行分析可知，使用本文平臺進行災(zāi)害預(yù)警的準確率、召回率和Y值隨著信息量的不斷提升呈線性平緩提升，最高值分別為97.93%、97.88%和98.02%，同時，使用本文平臺獲取的結(jié)果均高于兩外兩個災(zāi)害預(yù)警平臺。而基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺和基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺獲取的準確率、召回率和Y值隨著信息量的增加出現(xiàn)了明顯的波動狀態(tài)。實驗結(jié)果說明使用本文平臺進行災(zāi)害預(yù)警具有較好的穩(wěn)定性。

表2 不同災(zāi)害預(yù)警平臺的平均傳輸速度對比

表3 不同災(zāi)害預(yù)警平臺的傳輸時延

(4)資源占用率檢驗

實驗為測試本文平臺的資源占用率，分別從環(huán)境信息采集，數(shù)據(jù)挖掘、云計算等不同方面對本文平臺、基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺和基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺的CUP占用率以及內(nèi)存占用率進行對比，結(jié)果如表5所示。通過對表5的分析能夠得到，使用本文平臺進行災(zāi)害預(yù)警時的CPU占用率和內(nèi)存占用率分別在28%～34%、9%～19%之間波動；使用基于三維網(wǎng)絡(luò)地理信息系統(tǒng)的地質(zhì)災(zāi)害監(jiān)測預(yù)警平臺進行災(zāi)害預(yù)警時的CPU占用率和內(nèi)存占用率分別在60%～70%、29%～43%之間波動；使用基基于無線傳感器網(wǎng)絡(luò)的災(zāi)害預(yù)警平臺進行災(zāi)害預(yù)警時的CPU占用率和內(nèi)存占用率分別在49%～63%、25%～39%之間波動。實驗結(jié)果表明使用本文平臺進行災(zāi)害預(yù)警時的資源占用率較低。

表4 不同災(zāi)害預(yù)警平臺穩(wěn)定性測試

注：Y值為不同災(zāi)害預(yù)警平臺對災(zāi)害預(yù)警水平的預(yù)測值

表5 不同災(zāi)情預(yù)警平臺的資源占用率對比結(jié)果

3 結(jié) 論

本文設(shè)計基于數(shù)據(jù)挖掘的災(zāi)害預(yù)警云計算平臺，其整體架構(gòu)包括獲取環(huán)境信息的感知層、以云計算平臺為主的網(wǎng)絡(luò)層和用于顯示、查詢的應(yīng)用層。針對傳統(tǒng)平臺因沒有匯聚數(shù)據(jù)進行統(tǒng)一傳輸處理、構(gòu)建系統(tǒng)的過程較為復(fù)雜等原因，導(dǎo)致的預(yù)警效率較差、資源占用率高等問題，本文平臺采用數(shù)據(jù)匯集調(diào)度模塊，對實時環(huán)境信息數(shù)據(jù)進行匯聚，解決不同數(shù)據(jù)間的規(guī)約情況，通過災(zāi)害事件觸發(fā)模塊，根據(jù)災(zāi)害發(fā)生概率的大小將災(zāi)害劃分為五級。平臺的軟件通過數(shù)據(jù)挖掘算法并行化技術(shù)短數(shù)據(jù)挖掘時間，提升災(zāi)害預(yù)警時效性。經(jīng)實驗證明，所設(shè)計平臺能夠有效進行災(zāi)害預(yù)警，平均傳輸速度為7.97 byte/s，平均傳輸時延為13.13 ms；準確率保持在97%左右，召回率在93%到98%之間波動，災(zāi)害預(yù)警水平預(yù)測值最高可達98.02%；CPU占用率為28%～34%，內(nèi)存占用率為9%～19%。實驗數(shù)據(jù)表明，本文設(shè)計的災(zāi)害預(yù)警云計算平臺的傳輸效率較高，準確性與穩(wěn)定性較好，資源占用率較低，整體更具優(yōu)勢。