大數(shù)據(jù)提升災(zāi)難信息管理水平

大數(shù)據(jù)提升災(zāi)難信息管理水平

Big Data Meets the Needs of Disaster Information Management

李濤，男，南京郵電大學(xué)計算機(jī)學(xué)院、軟件學(xué)院院長，南京郵電大學(xué)大數(shù)據(jù)研究院院長。2004年7月獲美國羅徹斯特大學(xué)（University of Rochester）計算機(jī)科學(xué)博士學(xué)位，2004-2014年先后任美國佛羅里達(dá)國際大學(xué)（Florida International University）計算機(jī)學(xué)院助理教授、副教授（終身教授）、教授（full professor）、研究生主管（graduate program director）。由于在數(shù)據(jù)挖掘及應(yīng)用領(lǐng)域成效顯著的研究工作，曾多次獲得各種榮譽(yù)和獎勵，其中包括2006年美國國家自然科學(xué)基金委員會頒發(fā)的杰出青年教授獎，2010年IBM大規(guī)模數(shù)據(jù)分析創(chuàng)新獎，并于2009年獲得佛羅里達(dá)國際大學(xué)最高學(xué)術(shù)研究獎。

周綺鳳，女，博士，廈門大學(xué)自動化系副教授。2002年起從事數(shù)據(jù)挖掘及智能系統(tǒng)方面的研究工作，2014-2015年在美國佛羅里達(dá)國際大學(xué)訪學(xué)，主要研究興趣包括機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘及其在可持續(xù)發(fā)展等領(lǐng)域的應(yīng)用。

鄭理，男，2014年在美國佛羅里達(dá)國際大學(xué)獲得計算機(jī)科學(xué)博士學(xué)位，目前是南京郵電大學(xué)計算機(jī)學(xué)院項(xiàng)目研究員。主要研究興趣包括信息檢索、推薦系統(tǒng)及災(zāi)難信息管理，發(fā)表多篇頂級數(shù)據(jù)挖掘國際期刊和會議論文，參與多本數(shù)據(jù)挖掘相關(guān)應(yīng)用領(lǐng)域書籍編寫。

黃越，男，南京郵電大學(xué)科技處助理研究員，主要研究方向?yàn)榇髷?shù)據(jù)、數(shù)據(jù)挖掘。

1 災(zāi)難信息管理

災(zāi)難管理旨在有效地應(yīng)對和避免自然災(zāi)害（如颶風(fēng)、地震、海嘯、火災(zāi)）及人為災(zāi)害（如戰(zhàn)爭、恐怖襲擊）等緊急事件給社會和民眾帶來的財產(chǎn)損失和生命威脅[1]。近年來，隨著自然災(zāi)害的不斷發(fā)生、人為破壞和恐怖主義的蔓延，災(zāi)難管理和災(zāi)難恢復(fù)受到了越來越多的關(guān)注。如何能夠快速準(zhǔn)確地預(yù)測災(zāi)難發(fā)生的方式和類型，評估災(zāi)難的破壞程度和影響以及制定災(zāi)后恢復(fù)的方針和措施，對保護(hù)國家和公民的財產(chǎn)和生命安全、減少災(zāi)難影響和損失、提高災(zāi)后重建的資源利用和整合效率，都起到了至關(guān)重要的作用。

災(zāi)難管理作為一個龐大的管理體系與整個國民經(jīng)濟(jì)息息相關(guān)。政府間各個部門、非政府組織、民間團(tuán)體甚至個人需要緊密合作，建立順暢的信息溝通渠道和合理的資源共享平臺。近年來，信息的爆炸式增長使得原來單純依靠收集、存儲和查詢數(shù)據(jù)的簡單管理方式在大數(shù)據(jù)環(huán)境下（數(shù)據(jù)量大、形式復(fù)雜、實(shí)時性強(qiáng)）變得不再實(shí)用。因此，迫切需要有效的數(shù)據(jù)處理和分析手段將有價值的信息從不斷增長的海量數(shù)據(jù)中提取出來。大數(shù)據(jù)挖掘技術(shù)建立了從數(shù)據(jù)到信息再到知識的轉(zhuǎn)化流程，提供了高效處理復(fù)雜數(shù)據(jù)的工具和方法，因而具備很強(qiáng)的應(yīng)用潛力，能夠?qū)?zāi)難信息管理水平提升到一個新的臺階。比如，谷歌公司（Google）通過從全球的博客（Blog）中挖掘出和流感相關(guān)的信息，從而建立了一個預(yù)警機(jī)制1http://www. google.org/ flutrends?？梢灶A(yù)見，越來越多的先進(jìn)數(shù)據(jù)分析技術(shù)將被運(yùn)用到該領(lǐng)域中，從而推動災(zāi)難管理水平的提升。

2 大數(shù)據(jù)提升災(zāi)難信息管理

基于大數(shù)據(jù)的災(zāi)難管理已成為新一代災(zāi)難管理和應(yīng)急處理領(lǐng)域的核心前沿研究課題[2]。一方面，基于大數(shù)據(jù)的災(zāi)難信息系統(tǒng)研究，在國際社會尤其是歐美發(fā)達(dá)國家得到了極大的重視和推動，如2014年，美國政府和日本政府聯(lián)合發(fā)布了利用大數(shù)據(jù)技術(shù)來幫助災(zāi)難研究的專項(xiàng)研究（USJapan Big Data and Disaster Research (BDD)2http://www.nsf. gov/pubs/2014/ nsf14575/ nsf14575.htm）計劃。另一方面，災(zāi)難管理領(lǐng)域中信息的獨(dú)特性使該領(lǐng)域中的信息管理、處理和分析面臨很大的挑戰(zhàn)。通過已有的研究，將災(zāi)難管理領(lǐng)域中數(shù)據(jù)處理的難點(diǎn)總結(jié)為以下6個方面[1]：數(shù)據(jù)爆炸但知識匱乏、信息冗余、信息不一致、時間和地理位置敏感、用戶角色復(fù)雜和領(lǐng)域知識的使用。一套成功的災(zāi)難信息管理系統(tǒng)應(yīng)該能夠有針對性地應(yīng)對和解決以上信息傳遞中的數(shù)據(jù)特點(diǎn)和難點(diǎn)，最大程度地保證災(zāi)難信息管理和共享平臺的及時性、有效性和可靠性，從而達(dá)到災(zāi)難管理的最終目標(biāo)，即在正確的時間給正確的人傳遞正確的信息。

3 一個基于大數(shù)據(jù)技術(shù)的災(zāi)難信息管理成功項(xiàng)目案例

筆者領(lǐng)導(dǎo)的佛羅里達(dá)國際大學(xué)的科研團(tuán)隊(duì)與南佛羅里達(dá)地區(qū)的災(zāi)難應(yīng)急管理中心通過建立長期合作關(guān)系，共同研究在災(zāi)難信息管理領(lǐng)域內(nèi)的數(shù)據(jù)收集、整理、存儲和分析技術(shù)的應(yīng)用[3～10]。該項(xiàng)目中參與的機(jī)構(gòu)包括：邁阿密戴德縣（Miami-Dade County）災(zāi)難應(yīng)急管理中心（Emergency Operation Center，EOC）、Wal-mart、Home Depot、Verizon、Ryder等。目前，通過與美國聯(lián)邦緊急事務(wù)管理署（Federal Emergency Management Agency, FEMA）等多方合作，基于Web的系統(tǒng)原型——商業(yè)連續(xù)與災(zāi)難恢復(fù)信息管理系統(tǒng)，已經(jīng)上線（www.bizrecovery.org）并在邁阿密和塔拉哈西建立鏡像。

這個系統(tǒng)主要用于災(zāi)難恢復(fù)階段的社區(qū)管理、信息分類、信息共享以及災(zāi)難數(shù)據(jù)的收集。圖1是原型系統(tǒng)的截圖。圖1上半部分是信息板，主要用于展示最近發(fā)生的重要事件和用戶訂閱的特定類型的事件信息，如機(jī)場、學(xué)校和交通的當(dāng)前狀態(tài)。每行代表一個在地理位置上相對獨(dú)立的行政區(qū)域，每列代表一個事件的實(shí)體類別，比如第一列的第二個圓形深色標(biāo)記提示最新發(fā)生的棕櫚灘機(jī)場關(guān)閉信息。提示板功能的實(shí)現(xiàn)是通過提取文本消息中的地理位置信息、時間信息、事件實(shí)體并關(guān)聯(lián)相應(yīng)的狀態(tài)信息，最終轉(zhuǎn)換成為結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行存儲和展示。左下部分提供當(dāng)前災(zāi)難事件的全面展示，如圖片、視頻、文檔等；右下部分展示了系統(tǒng)收集和用戶提交的相關(guān)消息，支持時間、地點(diǎn)等多種方式的信息過濾。

圖1 Web系統(tǒng)界面

在用戶使用的終端設(shè)備方面，傳統(tǒng)的固定終端（如臺式個人電腦）在獲取信息和上傳數(shù)據(jù)的實(shí)時性方面受到限制，尤其是在災(zāi)難發(fā)生時。因此，研究小組設(shè)計開發(fā)了一款基于iOS移動平臺的災(zāi)難信息管理應(yīng)用——ADSB（all-hazard disaster situation browser，全息災(zāi)害災(zāi)情瀏覽器），系統(tǒng)架構(gòu)如圖2所示[11]。它可以運(yùn)行在手持移動設(shè)備上，支持災(zāi)難事件消息的閱讀、上傳、推薦、文摘和個性化社區(qū)管理等多種功能，如圖3所示。

這些系統(tǒng)平臺和應(yīng)用利用了非常廣泛的數(shù)據(jù)資源，涵蓋了靜態(tài)數(shù)據(jù)和動態(tài)數(shù)據(jù)兩大類。靜態(tài)數(shù)據(jù)資源包括：當(dāng)?shù)貧v史災(zāi)難管理數(shù)據(jù)；在災(zāi)難準(zhǔn)備、災(zāi)難應(yīng)急和災(zāi)難恢復(fù)階段的應(yīng)急指南和行動手冊；企業(yè)和重要設(shè)施的地理位置；公共的地理信息數(shù)據(jù)以及交通網(wǎng)絡(luò)。動態(tài)數(shù)據(jù)資源包括：合作機(jī)構(gòu)在災(zāi)難事件期間的報告（包括當(dāng)前的災(zāi)難威脅狀況、災(zāi)難準(zhǔn)備進(jìn)展和總體的應(yīng)對災(zāi)難的目標(biāo)和策略）；損失分析評估報告和圖片；關(guān)鍵交通樞紐 (公路、高速路、橋梁、港口等）的狀態(tài)；重要基礎(chǔ)設(shè)施（能源、電力、運(yùn)輸?shù)龋┑臓顟B(tài)；應(yīng)急服務(wù)（消防、治安、醫(yī)療等）的狀態(tài)和重要公共設(shè)施（學(xué)校等）的狀態(tài)；不同媒體的新聞報道；電子郵件、郵件列表、發(fā)布會或會議內(nèi)容等；災(zāi)難呼叫中心關(guān)于損失狀態(tài)報告的接入撥打日志；社交網(wǎng)站、Blog、Twitter的數(shù)據(jù)信息。除以上數(shù)據(jù)來源之外，還篩選出一組與災(zāi)難信息高度相關(guān)的網(wǎng)站鏈接作為可靠信息源，借助網(wǎng)絡(luò)爬蟲來獲取互聯(lián)網(wǎng)數(shù)據(jù)。

在災(zāi)難管理領(lǐng)域的研究和實(shí)踐中，總結(jié)出了如下5個應(yīng)用大數(shù)據(jù)挖掘技術(shù)來保證災(zāi)難管理系統(tǒng)平臺成功發(fā)揮功效的關(guān)鍵要素：迅速獲得相關(guān)資源；準(zhǔn)確提取相關(guān)信息；合理組織相關(guān)信息；有效管理用戶角色和資料；及時發(fā)現(xiàn)和組織社區(qū)。通過針對性地把控和解決上述關(guān)鍵要素，最終實(shí)現(xiàn)了災(zāi)難管理系統(tǒng)的“有效獲取災(zāi)難事件的相關(guān)信息，提高在復(fù)雜信息環(huán)境下的覺察力”、“自動獲取用戶關(guān)注點(diǎn)并有效地傳遞相關(guān)信息”以及“更好地利用社區(qū)信息進(jìn)行災(zāi)難恢復(fù)”這三大目標(biāo)任務(wù)，從而有效地支持公共機(jī)構(gòu)和私有部門之間更好地進(jìn)行信息交互和共享。

圖2 ADSB系統(tǒng)架構(gòu)

圖3 ADSB系統(tǒng)界面

大數(shù)據(jù)時代的災(zāi)難信息管理已經(jīng)成為一個理論研究和實(shí)際應(yīng)用緊密結(jié)合、社會政府及個人都迫切需求的重要研究內(nèi)容。其中，筆者帶領(lǐng)的研究團(tuán)隊(duì)關(guān)于大數(shù)據(jù)挖掘在災(zāi)難信息管理方面的研究受到國內(nèi)外學(xué)術(shù)界的廣泛關(guān)注以及政府部門的高度重視。開發(fā)的系統(tǒng)是一個利用大數(shù)據(jù)技術(shù)，包括信息抽取、信息檢索、信息過濾和決策支持等，有效提升災(zāi)難信息獲取、災(zāi)難應(yīng)急管理等方面能力的成功案例，也是第一個基于Web的政府與企業(yè)進(jìn)行溝通、交流，實(shí)現(xiàn)信息共享、事物協(xié)作等的工具。目前已有American Airlines、Aon Corporation、AT&T、Bank of America、IBM等60多家企業(yè)和部門加入了這個信息網(wǎng)絡(luò)。由于該項(xiàng)目的獨(dú)創(chuàng)性及成功應(yīng)用，開發(fā)的系統(tǒng)被美國聯(lián)邦緊急事務(wù)管理署列為政府與企業(yè)成功合作的一個典范3http://users.cis. fiu.edu/～chens/ docs/miami_ dwindow.onresize =myChart1. resize;ade_ partnership.pdf。

4 結(jié)束語

與國外相比，國內(nèi)目前在災(zāi)難信息管理及相關(guān)領(lǐng)域的研究相對較少，尚缺乏全面、綜合、有效的災(zāi)難信息處理系統(tǒng)和典型示范應(yīng)用。因此，如何將基于大數(shù)據(jù)的災(zāi)難信息管理在國內(nèi)進(jìn)行推廣，積極開展基于大數(shù)據(jù)的智能化災(zāi)害管理與應(yīng)急處理關(guān)鍵技術(shù)及系統(tǒng)研制，具有重要的研究意義和重大的社會價值。值得注意的是，該項(xiàng)推廣不是上述案例的簡單復(fù)制和擴(kuò)展，而是需要結(jié)合國內(nèi)災(zāi)難信息管理的特點(diǎn)以及不同地區(qū)災(zāi)難管理的任務(wù)目標(biāo)、信息需求，開展有特色的、個性化的大數(shù)據(jù)災(zāi)難信息管理開發(fā)和應(yīng)用。

[1] 李濤. 數(shù)據(jù)挖掘的應(yīng)用與實(shí)踐. 廈門: 廈門大學(xué)出版社, 2013 Li T. Data Mining Where Theory Meets Practice. Xiamen: Xiamen University Press, 2013

[2] Hristidis V, Chen S C, Li T,et al. Survey of data management and analysis in disaster situations. Journal of Systems and Software, 2010, 83(10):1701～1714

[3] Zheng L, Shen C, Tang L,et al. Data mining meets the needs of disaster information management. IEEE Transactions on Human-Machine Systems, 2013, 43(5): 451～464

[4] Li L, Li T. An empirical study of ontologybased multi-document summarization in disaster management. IEEE Transactions SMC: Systems, 2014, 44(2): 162～171

[5] Hristidis V, Chen S C, Li T,et al. Survey of data management and analysis in disaster situations. Journal of Systems and Software, 2010, 83(10): 1701～1714

[6] Zhou W B,Shen C,Li T,et al. Generating textual storyline to improve situation awareness in disaster management. Proceedings of the 15th IEEE International Conference on Information Reuse and Integration (IRI), Redwood City, CA, USA, 2014: 585～592

[7] Zhou W B, Shen C, Li T,et al. A bipartite-graph based approach for disaster susceptibility comparisons among cities. Proceedings of the 15th IEEE International Conference on Information Reuse and Integration (IRI), Redwood City, CA, USA, 2014: 593～599

[8] Zheng L, Shen C, Tang L,et al. Disaster sitrep-a vertical search engine and information analysis tool in disaster management domain. Proceedings of the 13th IEEE International Conference onInformation Integration and Reuse (IRI), Las Vegas, USA, 2012: 457～465

[9] Zheng L, Shen C, Tang L,et al. Using data mining techniques to address critical information exchange needs in disaster affected public-private networks. Proceedings of the 16th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, Washington DC, USA, 2010: 125～134

[10] Li L, Wang D D, Shen C,et al. Ontologyenriched multi-document summarization in sisaster management. Proceedings of the 33rd International ACM SIGIR conference on Research and Development in Information Retrieval, New York, USA, 2010: 819～820

[11] Zheng L, Shen C, Tang L,et al. Applying data mining techniques to address disaster information management challenges on mobile devices. Proceedings of the 17th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, California, USA, 2011: 283～291 □

10.11959/j.issn.2096-0271.2015035