基于云計算的電子政務(wù)大數(shù)據(jù)管理研究

●迪莉婭（燕山大學(xué) 文法學(xué)院，河北 秦皇島 066004）

數(shù)據(jù)顯示，政務(wù)部門集成的數(shù)據(jù)占社會總量的90%以上。尤其是在大數(shù)據(jù)時代，政務(wù)部門數(shù)據(jù)的類型已多樣化，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。如何采集、保存、維護、管理、分析、共享正在呈指數(shù)級增長的電子政務(wù)大數(shù)據(jù)是目前政府和社會面臨的挑戰(zhàn)。

1 云計算與大數(shù)據(jù)內(nèi)涵的界定及其關(guān)系的描述

（1）云計算的內(nèi)涵。云計算的產(chǎn)生是借用了量子物理中的“電子云”，強調(diào)說明計算的彌漫性、無所不在的分布性和社會性特征。云計算是并行計算、分布式計算和網(wǎng)格計算的綜合發(fā)展，或者說是計算機科學(xué)概念的商業(yè)實現(xiàn)，同時又提升了虛擬化、效用計算、IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）、SaaS（軟件即服務(wù)）等功能。云計算的發(fā)展經(jīng)歷了網(wǎng)格計算、共用計算、軟件即服務(wù)和云計算四個階段。

云計算的基本類型分為IaaS（基礎(chǔ)設(shè)施即服務(wù)）、PaaS（平臺即服務(wù)）、SaaS（軟件即服務(wù)）。

（2）大數(shù)據(jù)的內(nèi)涵。目前國內(nèi)外關(guān)于大數(shù)據(jù)并沒有統(tǒng)一的概念，但基本上從以下三個角度定義大數(shù)據(jù)。① 大數(shù)據(jù)本身的角度。該種定義認為大數(shù)據(jù)是“海量數(shù)據(jù)”+“復(fù)雜類型”的數(shù)據(jù)。② 大數(shù)據(jù)特點的角度。大數(shù)據(jù)是具有“4V”特點的數(shù)據(jù)，即種類多（Variety）、流量大 （Velocity）、容量大 （Volume）、價值高（Value）的數(shù)據(jù)。③ 大數(shù)據(jù)要素的角度。大數(shù)據(jù)是具有大分析、高帶寬和大內(nèi)容要素的數(shù)據(jù)。

（3）大數(shù)據(jù)與云計算的關(guān)系。大數(shù)據(jù)著眼于“數(shù)據(jù)”，關(guān)注實際業(yè)務(wù)，提供數(shù)據(jù)采集分析挖掘，看重的是信息積淀，即數(shù)據(jù)存儲能力。云計算著眼于“計算”，關(guān)注 IT解決方案，提供 IT基礎(chǔ)架構(gòu)，看重的是計算能力，即數(shù)據(jù)處理能力。大數(shù)據(jù)植根于云計算技術(shù)，利用云計算強大的數(shù)據(jù)處理能力，可以為挖掘大數(shù)據(jù)豐富的信息數(shù)據(jù)提供強有力的工具。當然，大數(shù)據(jù)和云計算之間還存在一定的區(qū)別（見表1）。

表1 云計算和大數(shù)據(jù)的區(qū)別

2 電子政務(wù)大數(shù)據(jù)管理的意義

電子政務(wù)大數(shù)據(jù)是指各種公務(wù)機構(gòu)通過廣泛應(yīng)用現(xiàn)代信息技術(shù)，推動政務(wù)活動方式的變革，提高行政效率，發(fā)展民主決策進程，向社會提供優(yōu)質(zhì)、規(guī)范、透明的管理與服務(wù)過程中所產(chǎn)生的海量的、類型復(fù)雜的數(shù)據(jù)。其管理具有以下重要的意義。

（1）大數(shù)據(jù)的包容性將有助于打破政府各部門間、政府與公民間的固有邊界，信息孤島現(xiàn)象將有可能大幅度削減，數(shù)據(jù)共享有望成為現(xiàn)實。大數(shù)據(jù)可以提供政府管理所需要的基本信息支持，提高政府各機構(gòu)協(xié)同辦公的效率和為民辦事的效率及政府的治理能力和公共服務(wù)能力。（2）有助于增強政府危機管理的預(yù)警能力和應(yīng)急能力。加強電子政務(wù)大數(shù)據(jù)的管理不僅能動態(tài)監(jiān)測而且還能深度分析和挖掘網(wǎng)絡(luò)輿情和危機事件的動態(tài)，提高政府危機預(yù)警能力和應(yīng)對能力。（3）有助于改變政府傳統(tǒng)的決策模式和效率。在大數(shù)據(jù)的環(huán)境下，政府將從基于“經(jīng)驗”的決策模式走向基于“實證”的決策模式，為政府科學(xué)和精準的決策提供支持。（4）有助于促進政府管理更加開放和透明。數(shù)據(jù)高度開放和大規(guī)模強力流動，意味著知識在政府管理中得到深度挖掘和更加廣泛的利用，這將促使政府的管理和服務(wù)更加開放和透明。

3 基于云計算的電子政務(wù)大數(shù)據(jù)管理模式構(gòu)建

傳統(tǒng)的電子政務(wù)數(shù)據(jù)管理以收集和存儲為主，在云環(huán)境下，電子政務(wù)大數(shù)據(jù)的管理將創(chuàng)新數(shù)據(jù)的管理模式，偏重政府數(shù)據(jù)的分析與挖掘，為政府的管理與決策服務(wù)（見圖1）。

除臭規(guī)模總風量Q為13 000 m3/h，共計2套處理系統(tǒng)，其中，一期設(shè)計風量9 000 m3/h，二期設(shè)計風量4 000 m3/h，除臭工藝采用生物土壤濾池除臭技術(shù)。首先將O池中的惡臭氣體密封加蓋，防止惡臭氣體外溢，采用不銹鋼收集風管進行收集，通過引風機將惡臭氣體引至生物土壤濾池進行處理，處理后的氣體無組織達標排放。

圖1 基于云計算的電子政務(wù)大數(shù)據(jù)管理模式圖

3.1 電子政務(wù)大數(shù)據(jù)的采集

電子政務(wù)大數(shù)據(jù)的采集通常分為集中式采集和分布式采集，二者各具優(yōu)缺點。集中式采集易于控制全局數(shù)據(jù)，分布式采集靈活性的特點較突出（見表2）。

表2 電子政務(wù)大數(shù)據(jù)采集方法表

大數(shù)據(jù)的采集涉及政府機構(gòu)內(nèi)部的采集和機構(gòu)之間的采集，充分利用云計算分布式并行計算的特點，采用混合式的大數(shù)據(jù)采集模式將會更有效率。即在整個大數(shù)據(jù)采集過程中，政府機構(gòu)內(nèi)部采用集中式的采集模式，而在機構(gòu)之間采用分布式采集模式。這種數(shù)據(jù)的采集中，每個政府機構(gòu)內(nèi)部設(shè)置一個或者多個中心服務(wù)器，該中心服務(wù)器作為虛擬組織內(nèi)的集中式的數(shù)據(jù)注冊機構(gòu)，負責存儲共享的數(shù)據(jù)信息。機構(gòu)之間所有的中心服務(wù)器之間則采用分布式數(shù)據(jù)采集模式進行組織（見圖2）。［1］這種數(shù)據(jù)采集模式克服了集中式與分布式數(shù)據(jù)調(diào)度模式的不足。

圖2 基于云計算的電子政務(wù)大數(shù)據(jù)采集模式圖

因為電子政務(wù)大數(shù)據(jù)既包括結(jié)構(gòu)化數(shù)據(jù)又包括半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，在進行云計算的分布式采集時，應(yīng)按照數(shù)據(jù)的不同類型，分類存儲。同時也因為云計算具有很強的擴展性和容錯能力，可將數(shù)據(jù)池相同或者相似的數(shù)據(jù)同構(gòu)化，同時應(yīng)用集群技術(shù)、虛擬化技術(shù)實現(xiàn)機構(gòu)之間的無縫對接和超級共享。

3.2 電子政務(wù)大數(shù)據(jù)的存儲

電子政務(wù)數(shù)據(jù)倉庫是面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持政府管理中的決策服務(wù)。電子政務(wù)數(shù)據(jù)倉庫與過去的電子政務(wù)數(shù)據(jù)庫存儲最大的區(qū)別在于，前者以數(shù)據(jù)分析、決策支持為目的來組織存儲數(shù)據(jù)，后者主要目的則是運營型系統(tǒng)保存、查詢數(shù)據(jù)。

同時由于大數(shù)據(jù)本身的特點，傳統(tǒng)的電子政務(wù)數(shù)據(jù)倉庫也已經(jīng)無法適應(yīng)大數(shù)據(jù)的存儲需求。首先，大數(shù)據(jù)的急驟增長，使得傳統(tǒng)數(shù)據(jù)倉庫技術(shù)面臨巨大的挑戰(zhàn)，單結(jié)點的數(shù)據(jù)倉庫系統(tǒng)往往難以存儲和分析海量的數(shù)據(jù)。其次，傳統(tǒng)的行式數(shù)據(jù)倉庫，是根據(jù)元組按行存儲的，維護大量的索引和物化視圖無論是在時間（處理） 還是空間（存儲） 方面成本都很高。［2］

而基于云計算的電子政務(wù)數(shù)據(jù)倉庫采用列式存儲克服了行式存儲的弱點。列式數(shù)據(jù)倉庫的數(shù)據(jù)是根據(jù)屬性按照列存儲，每一屬性列單獨存放。投影數(shù)據(jù)時只訪問查詢涉及的屬性列，大大降低了系統(tǒng)輸入和輸出損耗。又由于列式存儲的數(shù)據(jù)具有相同的數(shù)據(jù)類型，相鄰存儲的數(shù)據(jù)之間相似性比較高，具有更好的壓縮率，而壓縮的數(shù)據(jù)更能夠減少輸入與輸出的開銷。例如，傳統(tǒng)的數(shù)據(jù)倉庫存儲采用的行式存儲有一個1萬行的表，取其中3個字段，行存儲需要每行都讀取出來才能取出3個字段。而列存儲只需要讀3次就可以完成任務(wù)。尤其在大數(shù)據(jù)環(huán)境下，將大幅度提高電子政務(wù)數(shù)據(jù)倉庫管理的性能。

3.3 電子政務(wù)大數(shù)據(jù)的聯(lián)機分析

聯(lián)機分析處理是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。在聯(lián)機分析當中，云計算的分布式并行計算從數(shù)據(jù)倉庫中的綜合數(shù)據(jù)出發(fā)，提供面向分析的多維模型，并使用多維分析的方法從多個角度、多個層次對多維數(shù)據(jù)進行分析，使決策者能夠更全面地分析數(shù)據(jù)。聯(lián)機分析處理的一個主要特點是多維數(shù)據(jù)分析，這與數(shù)據(jù)倉庫的多維數(shù)據(jù)組織正好形成相互結(jié)合、相互補充的關(guān)系。因此，利用聯(lián)機分析處理技術(shù)與數(shù)據(jù)倉庫的結(jié)合可以較好地解決電子政務(wù)決策支持系統(tǒng)既需要處理海量數(shù)據(jù)又需要進行大量數(shù)值計算的問題（見圖3）。

圖3 電子政務(wù)大數(shù)據(jù)聯(lián)機分析圖

3.4 電子政務(wù)大數(shù)據(jù)的挖掘

利用電子政務(wù)聯(lián)機分析方法一般只能獲得數(shù)據(jù)的表層信息，難于揭示數(shù)據(jù)屬性的內(nèi)在關(guān)系和隱含信息。電子政務(wù)大數(shù)據(jù)挖掘是指從海量數(shù)據(jù)的大型數(shù)據(jù)倉庫中提取人們感興趣的隱性的知識，這些知識是事先未知且是潛在的。提取出來的知識通?？梢员硎緸楦拍睢⒁?guī)則、規(guī)律或模式等形式。

基于云計算的電子政務(wù)大數(shù)據(jù)挖掘采用分布式并行挖掘技術(shù)。分布式并行數(shù)據(jù)挖掘技術(shù)不同于其他并行算法的地方在于它適用于處理大規(guī)模的數(shù)據(jù)處理。過去所使用的串行數(shù)據(jù)挖掘算法只能適用于規(guī)模很小的數(shù)據(jù)，并且其運行需要花費大量的時間也成為其缺點。分布式并行數(shù)據(jù)挖掘是指在分布式系統(tǒng)中，機器集群看作硬件數(shù)據(jù)池，將并行的任務(wù)拆分，然后交由每一個空閑機器去處理數(shù)據(jù)，能夠極大地提高計算效率，同時這種數(shù)據(jù)無關(guān)性，對于計算集群的擴展無疑提供了最好的設(shè)計保證。任務(wù)分解處理以后，將處理以后的結(jié)果再匯總起來。MapReduce是云計算環(huán)境中處理大規(guī)模數(shù)據(jù)集的挖掘模型，程序員在Map（映射）函數(shù)中指定對各分塊數(shù)據(jù)的處理過程，在Reduce（規(guī)約）函數(shù)中指定如何對分塊數(shù)據(jù)處理的中間結(jié)果進行歸約（見圖4）。在電子政務(wù)大數(shù)據(jù)中的應(yīng)用，不僅可以提高數(shù)據(jù)挖掘的效率，而且這種機器數(shù)據(jù)的無關(guān)性對于計算集群的擴展也提供了最好的設(shè)計保證。［3］

圖4 MapReduce-電子政務(wù)大數(shù)據(jù)挖掘模型圖

3.5 電子政務(wù)大數(shù)據(jù)的可視化

（1） 反映同類事物共同性質(zhì)的廣義型知識。（2）反映事物各方面特征的特征型知識。（3）反映不同事物之間屬性差別的差異型知識。（4）反映一事物和其他事物之間依賴或關(guān)聯(lián)的關(guān)聯(lián)型知識。（5）根據(jù)歷史和當前數(shù)據(jù)推測未來數(shù)據(jù)的預(yù)測型知識。（6）揭示事物偏離常規(guī)出現(xiàn)異?，F(xiàn)象的偏離型知識。但如何能更好的揭示這些蘊藏在政府領(lǐng)域中的海量知識之間的關(guān)系和發(fā)展趨勢，則需要在數(shù)據(jù)挖掘的過程中應(yīng)用可視化技術(shù)為政府決策和管理服務(wù)。數(shù)據(jù)可視化是對大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中的數(shù)據(jù)的可視化，它是可視化技術(shù)在非空間數(shù)據(jù)領(lǐng)域的應(yīng)用，使人們不再局限于通過關(guān)系數(shù)據(jù)表來觀察和分析數(shù)據(jù)信息，還能以更直觀的方式看到數(shù)據(jù)及其結(jié)構(gòu)關(guān)系。具體而言是將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形、圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程。［4］

數(shù)據(jù)可視化是電子政務(wù)大數(shù)據(jù)管理過程中重要的技術(shù)。在云環(huán)境中，電子政務(wù)大數(shù)據(jù)可視化不僅用圖像來顯示多維的非空間數(shù)據(jù),使用戶加深對數(shù)據(jù)含義的理解,而且用形象直觀的圖像來指引檢索過程,加快了檢索速度，因此得到很多國家的重視，例如美國能源部將投資2500萬美元建立可擴展數(shù)據(jù)管理與可視化研究所，幫助科學(xué)家對數(shù)據(jù)進行有效管理，促進其生物和環(huán)境研究計劃、核數(shù)據(jù)計劃等的研究。［5］

4 基于云計算的電子政務(wù)大數(shù)據(jù)管理策略分析

（1）建立電子政務(wù)大數(shù)據(jù)管理的框架。頂層設(shè)計是很多國家電子政務(wù)和大數(shù)據(jù)管理成功的經(jīng)驗。目前，為了更好的促進電子政務(wù)大數(shù)據(jù)的管理，面對大數(shù)據(jù)的挑戰(zhàn)，很多國家和政府將政府大數(shù)據(jù)的管理提升到國家戰(zhàn)略層面，從國家政策或者制度層面規(guī)劃大數(shù)據(jù)的發(fā)展，挖掘大數(shù)據(jù)的潛力。例如，2012年3月，美國奧巴馬政府推出“大數(shù)據(jù)研究與開發(fā)計劃”，提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息，從中獲得知識和洞見，提升能力，加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐，強化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”。而英國、法國、日本等國政府也已經(jīng)關(guān)注大數(shù)據(jù)和大數(shù)據(jù)技術(shù)，積極開展和推動政府和企業(yè)大數(shù)據(jù)的管理和大數(shù)據(jù)技術(shù)的應(yīng)用。我國電子政務(wù)大數(shù)據(jù)的管理還處于發(fā)展階段，更需要從國家戰(zhàn)略層面規(guī)劃我國電子政務(wù)大數(shù)據(jù)的發(fā)展策略，提升政府的數(shù)據(jù)管理和應(yīng)用能力。

（2）制定相關(guān)的法律，保護大數(shù)據(jù)時代下的信息安全。在大數(shù)據(jù)環(huán)境中，電子政務(wù)所依托的非關(guān)系型數(shù)據(jù)庫中，在訪問控制中并沒有設(shè)置嚴格的訪問控制和隱私管理工具，同時由于電子政務(wù)大數(shù)據(jù)來源的廣泛性和復(fù)雜性，讓政府部門定位私密信息的界限變得復(fù)雜起來。由于云管理中將數(shù)據(jù)儲存在同一個地方，雖便于數(shù)據(jù)保護但同時也容易成為黑客的攻擊目標。因此這就需要政府部門加強立法，保護個人隱私安全。面對技術(shù)進步以及信息呈幾何級數(shù)增長，立法部門一方面需要使相關(guān)法律更加具體和細化，其反應(yīng)機制也應(yīng)該越來越快，為監(jiān)管部門提供及時有效的監(jiān)管依據(jù)；另一方面，需要借鑒他國立法經(jīng)驗，以及各國政府之間的合作，共同保護云環(huán)境中大數(shù)據(jù)的安全。

（3）建立云計算和電子政務(wù)大數(shù)據(jù)的標準?？梢哉f云計算和電子政務(wù)大數(shù)據(jù)管理和技術(shù)標準是政府大數(shù)據(jù)有效管理的前提和基礎(chǔ)。例如云的外部特性與接口，包括互操作、業(yè)務(wù)遷移、安全以及電子政務(wù)大數(shù)據(jù)的采集標準、質(zhì)量標準、數(shù)據(jù)生命周期管理標準、數(shù)據(jù)安全標準等的研究和應(yīng)用問題都期待解決。全球范圍內(nèi)的云計算標準化工作已經(jīng)啟動，全世界已經(jīng)有30多個標準組織宣布加入云計算和大數(shù)據(jù)相關(guān)標準的制定行列，并且這個數(shù)字還在不斷增加。因此，面對大數(shù)據(jù)的挑戰(zhàn)，我國政府也需要積極參與云計算標準和大數(shù)據(jù)標準的制定，為各級各類信息系統(tǒng)的網(wǎng)絡(luò)互連、信息互通、數(shù)據(jù)共享和安全奠定基礎(chǔ)。

（4）積極培養(yǎng)數(shù)據(jù)分析人才。大數(shù)據(jù)最關(guān)鍵的部分是挖掘和分析數(shù)據(jù)。大數(shù)據(jù)分析主要基于預(yù)言建?；蛭磥碲厔莘治?。但是傳統(tǒng)數(shù)據(jù)分析師并不具備開發(fā)預(yù)言分析應(yīng)用程序模型的技能。而且大數(shù)據(jù)源很多來自非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)源的廣泛性和類型的復(fù)雜性等因素也制約了對數(shù)據(jù)的分析和挖掘。

大數(shù)據(jù)需要三類人才：第一類是云計算方面的人才；第二類是掌握計算框架和基礎(chǔ)算法，并能很快部署到云計算和需要掌握機器學(xué)習(xí)和知識圖譜的人才；第三類是具備數(shù)學(xué)、統(tǒng)計學(xué)、數(shù)據(jù)分析、商業(yè)分析和自然語言處理的應(yīng)用型人才。人才短缺是制約大數(shù)據(jù)領(lǐng)域發(fā)展的重要因素。而政府、大學(xué)、企業(yè)合作，是培養(yǎng)大數(shù)據(jù)人才的重要途徑。在大數(shù)據(jù)理論和技術(shù)研究領(lǐng)域，大學(xué)具有一定的優(yōu)勢，但是大學(xué)不生產(chǎn)大數(shù)據(jù)，政府和企業(yè)的大數(shù)據(jù)為人才培養(yǎng)提供了重要的實踐場所。為了適應(yīng)大數(shù)據(jù)的發(fā)展，這種大數(shù)據(jù)人才培養(yǎng)模式在我國已經(jīng)開始，例如北京航空航天大學(xué)計算機學(xué)院、軟件學(xué)院和百度、淘寶、騰訊等企業(yè)合作，聯(lián)合開辦國內(nèi)第一個大數(shù)據(jù)專業(yè)工程碩士，為大數(shù)據(jù)人才的培養(yǎng)提供重要的平臺。

［1］韓振．政務(wù)數(shù)據(jù)中心體系結(jié)構(gòu)及其訪問控制機制的研究與設(shè)計［D］.杭州：杭州大學(xué)碩士論文，2009：34－35.

［2］楊卓犖．數(shù)據(jù)倉庫分布式列存儲技術(shù)研究與實現(xiàn)［D］.昆明：昆明理工大學(xué)碩士學(xué)位論文，2012.

［3］張春艷．云計算下的SRINT并行算法研究［J］．軟件，2010（11）：57－61．

［4］劉勘，等．數(shù)據(jù)可視化的研究與發(fā)展［J］．計算機工程，2002（8）：9－10，71.

［5］馮海超．透視美國大數(shù)據(jù)爆發(fā)全景［J］．互聯(lián)網(wǎng)周刊，2013（1）：38－41.