大數(shù)據(jù)時(shí)代下災(zāi)害檔案數(shù)據(jù)管理探討

鄧 嵐

（民政部國(guó)家減災(zāi)中心，北京 100124）

進(jìn)入21世紀(jì)，人類在信息存儲(chǔ)和處理能力方面不斷涌現(xiàn)技術(shù)性的突破，大數(shù)據(jù)（Big Data）一詞越來(lái)越多地被提及，人們用它來(lái)描述和定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù)。大數(shù)據(jù)是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。大數(shù)據(jù)時(shí)代的到來(lái)，各行各業(yè)都面臨著對(duì)龐大而復(fù)雜的數(shù)據(jù)進(jìn)行有效管理的巨大挑戰(zhàn)，人們?cè)絹?lái)越認(rèn)識(shí)到對(duì)自身產(chǎn)生和擁有的大數(shù)據(jù)進(jìn)行有效管理的重要性和迫切性，災(zāi)害檔案數(shù)據(jù)管理也不例外。隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)通訊技術(shù)的飛速發(fā)展，災(zāi)害管理信息化程度不斷提高，災(zāi)害檔案數(shù)字化、網(wǎng)絡(luò)化管理已成為網(wǎng)絡(luò)信息時(shí)代檔案管理工作的必然選擇。面對(duì)洶涌而來(lái)的大數(shù)據(jù)，災(zāi)害檔案數(shù)據(jù)管理工作如何應(yīng)對(duì)，是擺在我們面前一個(gè)亟需研究的課題。

一、大數(shù)據(jù)的概念

關(guān)于大數(shù)據(jù)的定義，最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的全球知名咨詢公司麥肯錫稱：大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行采集、存儲(chǔ)、管理和分析的數(shù)據(jù)集合。維基百科的定義：大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營(yíng)決策目的的資訊。還有學(xué)者認(rèn)為大數(shù)據(jù)指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)[1]?？梢钥闯?，大數(shù)據(jù)由海量交易數(shù)據(jù)、海量交互數(shù)據(jù)和海量數(shù)據(jù)處理三大主要的技術(shù)趨勢(shì)匯聚而成[2]。

從本質(zhì)上看，大數(shù)據(jù)主要解決的是海量數(shù)據(jù)存儲(chǔ)、計(jì)算、挖掘和利用的問(wèn)題。其特點(diǎn)可概括為“4V”，一是規(guī)模性（Volume），數(shù)據(jù)容量巨大，大型數(shù)據(jù)集合一般在幾十TB至PB級(jí)的數(shù)據(jù)量；二是多樣性（Variety），數(shù)據(jù)類別繁多，數(shù)據(jù)來(lái)自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富；三是高速性（Velocity），數(shù)據(jù)處理速度快，在數(shù)據(jù)量龐大的情況下，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理；四是價(jià)值性（Value），數(shù)據(jù)真實(shí)性高，愈發(fā)需要有效的信息資源確保其真實(shí)性與安全性[3]?？梢哉f(shuō)，大數(shù)據(jù)時(shí)代是一個(gè)數(shù)據(jù)資源更加豐富的時(shí)代，是一個(gè)信息技術(shù)更加先進(jìn)的時(shí)代。

災(zāi)害檔案數(shù)據(jù)資源主要來(lái)自災(zāi)害管理和科研活動(dòng)產(chǎn)生的電子文件，按照來(lái)源和形成方式不同，可以分為數(shù)據(jù)庫(kù)文件、電子數(shù)據(jù)表、字處理文檔、電子郵件、掃描圖像、地理空間數(shù)字記錄、數(shù)字照片、網(wǎng)站及其相關(guān)文檔。災(zāi)害檔案數(shù)據(jù)具有分布性、多源性、異構(gòu)性等特點(diǎn)。從災(zāi)害檔案管理部門來(lái)看，災(zāi)害檔案資源主要集中在民政、水利、氣象、地震、國(guó)土、環(huán)保、測(cè)繪、軍隊(duì)、海洋等部門，檔案數(shù)據(jù)源分散在不同部門、不同地點(diǎn)，并由不同行業(yè)、不同單位和組織機(jī)構(gòu)所擁有。從災(zāi)害檔案內(nèi)容來(lái)看，包括災(zāi)情、氣象、遙感影像、基礎(chǔ)地理、專題地圖、涉災(zāi)行業(yè)、經(jīng)濟(jì)統(tǒng)計(jì)、現(xiàn)場(chǎng)多媒體等多種數(shù)據(jù)。近年來(lái)，災(zāi)害檔案數(shù)據(jù)管理有了較大提高，但由于缺乏強(qiáng)有力的技術(shù)支持，檔案信息服務(wù)水平還比較落后，普遍存在管理意識(shí)薄弱、數(shù)字化建設(shè)不足、服務(wù)方式被動(dòng)、開(kāi)發(fā)利用欠缺等一系列的不足，利用信息技術(shù)進(jìn)行檔案數(shù)據(jù)分析、開(kāi)發(fā)、利用、交換、共享的水平還很低，沒(méi)有充分發(fā)揮檔案信息的憑證、參考和情報(bào)作用，無(wú)法滿足管理部門對(duì)災(zāi)害檔案信息的需求。

二、大數(shù)據(jù)技術(shù)在災(zāi)害檔案數(shù)據(jù)管理中的應(yīng)用優(yōu)勢(shì)

目前大數(shù)據(jù)研究成果最多的是大數(shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。大數(shù)據(jù)技術(shù)的特色在于它依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘，在金融、醫(yī)療、教育、軍事、電子商務(wù)甚至政府決策等幾乎所有的領(lǐng)域都有非常廣闊的應(yīng)用空間。隨著大數(shù)據(jù)時(shí)代的到來(lái)，應(yīng)用大數(shù)據(jù)技術(shù)讓災(zāi)害檔案數(shù)據(jù)獲取、儲(chǔ)存、搜索、共享、分析，乃至可視化地呈現(xiàn)，成為了可能，為災(zāi)害檔案數(shù)據(jù)管理提供新思路和新方法。

1.大數(shù)據(jù)技術(shù)對(duì)實(shí)現(xiàn)災(zāi)害檔案智能管理提供強(qiáng)大保障。大數(shù)據(jù)技術(shù)具有的可靠安全的數(shù)據(jù)存儲(chǔ)、方便快捷的云服務(wù)、超強(qiáng)的計(jì)算能力、諸多技術(shù)的集合體、良好的經(jīng)濟(jì)效益以及以用戶為中心的個(gè)性化服務(wù)等優(yōu)勢(shì)，對(duì)實(shí)現(xiàn)災(zāi)害檔案“存儲(chǔ)數(shù)字化、管理自動(dòng)化、利用網(wǎng)絡(luò)化”智能管理提供保障。應(yīng)用大數(shù)據(jù)技術(shù)對(duì)分散于不同部門、不同地理位置的檔案數(shù)據(jù)資源進(jìn)行管理、傳輸、檢索和提供利用，滿足用戶對(duì)檔案信息的遠(yuǎn)程訪問(wèn)操作，包括信息查詢、檢索、統(tǒng)計(jì)、提取等，實(shí)現(xiàn)檔案數(shù)據(jù)資源的互聯(lián)互通和共享利用，將檔案“藏”和“用”的功能都提高到一個(gè)新的水平，對(duì)于充分發(fā)揮檔案數(shù)據(jù)資源的價(jià)值具有前所未有的推動(dòng)作用。

2.大數(shù)據(jù)技術(shù)對(duì)實(shí)現(xiàn)災(zāi)害檔案數(shù)據(jù)挖掘提供有力支持。數(shù)據(jù)越來(lái)越多。傳統(tǒng)的檔案管理以文檔管理為主，檔案基本處于被動(dòng)利用，沉淀的檔案沒(méi)有人去分析利用，也沒(méi)有技術(shù)工具去支撐挖掘和分析。大數(shù)據(jù)最核心的價(jià)值就在于對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和分析，只有通過(guò)分析，才能獲取更多智能的、深入的、有價(jià)值的信息。在大數(shù)據(jù)時(shí)代，檔案系統(tǒng)中除了大量的文檔之外，還有海量結(jié)構(gòu)化數(shù)據(jù)，并且數(shù)據(jù)利用的效果要大于文檔利用效果。檔案部門在收集大數(shù)據(jù)之后，通過(guò)主動(dòng)調(diào)查利用者的需求，建立各種數(shù)據(jù)模型，對(duì)海量數(shù)據(jù)進(jìn)行聚類、分類、相關(guān)性分析，找到數(shù)據(jù)之間的關(guān)系，提高檔案價(jià)值，將原來(lái)的“死檔案”變成“活信息”，為災(zāi)害管理決策提供參考。

3.大數(shù)據(jù)技術(shù)對(duì)實(shí)現(xiàn)災(zāi)害檔案知識(shí)服務(wù)提供解決途徑，解決災(zāi)害檔案如何實(shí)現(xiàn)知識(shí)服務(wù)，如何從浩如煙海的檔案數(shù)據(jù)中快速識(shí)別、選擇和有效利用檔案信息，為災(zāi)害管理部門提供知識(shí)服務(wù)和智力支持，發(fā)揮檔案的參考憑證、決策咨詢、評(píng)估依據(jù)作用。應(yīng)用大數(shù)據(jù)智能識(shí)別、傳感與適配等技術(shù)，構(gòu)建基于基礎(chǔ)框架體系、大數(shù)據(jù)處理體系、過(guò)程管理體系、大數(shù)據(jù)分析與決策體系、交互體系的大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)[4]將成為有效的解決辦法和途徑。災(zāi)害檔案大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)搭建的是一個(gè)大數(shù)據(jù)獲取、存儲(chǔ)、組織、分析和決策服務(wù)資源和服務(wù)能力共享、交易和協(xié)作的智慧平臺(tái)，依據(jù)災(zāi)害管理不同行業(yè)、不同領(lǐng)域、不同需求的大數(shù)據(jù)處理需求，在平臺(tái)上實(shí)現(xiàn)數(shù)據(jù)、知識(shí)、資源、能力、服務(wù)、過(guò)程和任務(wù)等資源和能力的共享和協(xié)作。

三、大數(shù)據(jù)時(shí)代下災(zāi)害檔案數(shù)據(jù)管理的應(yīng)對(duì)策略

當(dāng)前，我國(guó)經(jīng)濟(jì)發(fā)展已進(jìn)入新常態(tài)，認(rèn)識(shí)新常態(tài)、適應(yīng)新常態(tài)、引領(lǐng)新常態(tài)，是當(dāng)前和今后一個(gè)時(shí)期中國(guó)經(jīng)濟(jì)發(fā)展的大邏輯，也是發(fā)展檔案事業(yè)的基本遵循。災(zāi)害檔案工作主動(dòng)適應(yīng)新常態(tài)，需要分析發(fā)展新變化，順應(yīng)發(fā)展新趨勢(shì)，這既是經(jīng)濟(jì)社會(huì)發(fā)展對(duì)災(zāi)害檔案管理提出的更高要求，也是檔案事業(yè)深化改革和持續(xù)發(fā)展的內(nèi)在需要。在大數(shù)據(jù)時(shí)代背景下，災(zāi)害檔案的產(chǎn)生主體、利用群體、生態(tài)環(huán)境都發(fā)生著新變化，災(zāi)害檔案數(shù)據(jù)管理應(yīng)用大數(shù)據(jù)技術(shù)分析、挖掘出龐大的檔案數(shù)據(jù)獨(dú)有的價(jià)值，從“被動(dòng)服務(wù)”向“主動(dòng)服務(wù)”轉(zhuǎn)變，還面臨著諸多挑戰(zhàn)，需要從以下方面加以完善和提高。

1.建立高效有序的運(yùn)行機(jī)制。大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動(dòng)態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，必須建立良好的運(yùn)行機(jī)制，以促進(jìn)建設(shè)過(guò)程中各個(gè)環(huán)節(jié)的正規(guī)有序，實(shí)現(xiàn)統(tǒng)籌協(xié)調(diào)，搞好頂層設(shè)計(jì)。應(yīng)當(dāng)增強(qiáng)災(zāi)害檔案數(shù)據(jù)管理意識(shí)，做好災(zāi)害檔案數(shù)據(jù)發(fā)展規(guī)劃，并將其納入國(guó)家綜合防災(zāi)減災(zāi)規(guī)劃中，建立災(zāi)害檔案數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范，構(gòu)建檔案數(shù)據(jù)管理系統(tǒng)，實(shí)現(xiàn)災(zāi)害檔案數(shù)據(jù)有效組織、集中存儲(chǔ)、共享與服務(wù)。

2.制定科學(xué)規(guī)范的建設(shè)標(biāo)準(zhǔn)。災(zāi)害管理涉及部門多、領(lǐng)域多、專業(yè)復(fù)雜，各部門都是按照各自定義的內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行信息系統(tǒng)建設(shè)，因此存在災(zāi)害檔案數(shù)據(jù)資源結(jié)構(gòu)不統(tǒng)一、標(biāo)準(zhǔn)不配套等問(wèn)題。沒(méi)有標(biāo)準(zhǔn)就沒(méi)有系統(tǒng)，應(yīng)建立面向不同主題、覆蓋各個(gè)領(lǐng)域、不斷動(dòng)態(tài)更新的大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn)，為實(shí)現(xiàn)各級(jí)各類信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、資源共享奠定基礎(chǔ)。

3.搭建共享利用的服務(wù)平臺(tái)。我國(guó)的災(zāi)害管理涉及多個(gè)部門，通過(guò)幾十年的努力，已經(jīng)積累了海量與防災(zāi)減災(zāi)相關(guān)的專題數(shù)據(jù)，并建立了一些信息網(wǎng)絡(luò)系統(tǒng)，部分開(kāi)展了信息共享，但絕大多數(shù)災(zāi)害管理相關(guān)數(shù)據(jù)還沒(méi)有實(shí)現(xiàn)有效共享和利用。數(shù)據(jù)只有不斷流動(dòng)和充分共享，才有生命力，所以應(yīng)在各專用數(shù)據(jù)庫(kù)建設(shè)的基礎(chǔ)上，通過(guò)數(shù)據(jù)集成，實(shí)現(xiàn)各級(jí)各類信息系統(tǒng)的數(shù)據(jù)交換和數(shù)據(jù)共享。

4.培養(yǎng)高素質(zhì)的專業(yè)隊(duì)伍。災(zāi)害檔案大數(shù)據(jù)建設(shè)的每個(gè)環(huán)節(jié)都需要依靠專業(yè)人員完成。一方面，需要培養(yǎng)和造就一支懂指揮、懂技術(shù)、懂管理的大數(shù)據(jù)建設(shè)專業(yè)隊(duì)伍；另一方面，需要加強(qiáng)檔案管理人員對(duì)信息技術(shù)的掌握，加強(qiáng)檔案管理人員大數(shù)據(jù)相關(guān)知識(shí)的培訓(xùn)和輔導(dǎo)，做好大數(shù)據(jù)背景下檔案管理的人才儲(chǔ)備。

結(jié)語(yǔ)

檔案大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些有較高價(jià)值的飽含歷史意義的數(shù)據(jù)進(jìn)行專業(yè)化處理[5]。大數(shù)據(jù)時(shí)代下災(zāi)害檔案數(shù)據(jù)的巨大價(jià)值如何從“沉睡”中醒來(lái)并在災(zāi)害管理實(shí)踐中發(fā)揮作用，無(wú)論是在檔案數(shù)據(jù)資源建設(shè)、科學(xué)技術(shù)支撐，或是在管理機(jī)制運(yùn)行、人才隊(duì)伍培養(yǎng)等方面都還存在巨大的發(fā)展空間，大數(shù)據(jù)技術(shù)應(yīng)用也還有大量基礎(chǔ)性工作亟待開(kāi)展。一場(chǎng)不同于以往的技術(shù)革新已經(jīng)到來(lái)，大數(shù)據(jù)時(shí)代的發(fā)展對(duì)災(zāi)害檔案數(shù)據(jù)管理既是挑戰(zhàn)，更是機(jī)遇?？梢灶A(yù)料，在不遠(yuǎn)的未來(lái)，隨著大數(shù)據(jù)技術(shù)的日臻完善和成熟應(yīng)用，對(duì)災(zāi)害檔案數(shù)據(jù)管理必將產(chǎn)生深刻影響。目前我們需要關(guān)注的是清晰了解、充分掌握大數(shù)據(jù)服務(wù)的技術(shù)實(shí)質(zhì)、特征、基本屬性與應(yīng)用價(jià)值，然后有所選擇地引入災(zāi)害檔案數(shù)據(jù)管理領(lǐng)域，從而進(jìn)一步提升災(zāi)害檔案的服務(wù)能力，將檔案管理事業(yè)推向一個(gè)全新的發(fā)展高度。

[1]楊旭，湯海京，丁剛毅．?dāng)?shù)據(jù)科學(xué)導(dǎo)論[M].北京：北京理工大學(xué)出版社，2014.

[2] 陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013，（8）：142-146.

[3]于曉萍.大數(shù)據(jù)時(shí)代下檔案管理的應(yīng)對(duì)策略研究[J].蘭臺(tái)世界，2014，（10）：12-14.

[4]李晨暉，崔建明，陳超泉.大數(shù)據(jù)知識(shí)服務(wù)平臺(tái)構(gòu)建關(guān)鍵技術(shù)研究[J].情報(bào)資料工作，2013，（2）：29-34.

[5]鄒華英.試論大數(shù)據(jù)時(shí)代的檔案工作[J].檔案與建設(shè)，2013，（12）：4-5.