大數(shù)據(jù)技術(shù)在電子政務(wù)領(lǐng)域的應(yīng)用

朱典

摘要： 論文闡述了當(dāng)今大數(shù)據(jù)技術(shù)在我國電子政務(wù)發(fā)展的必要性，通過對大數(shù)據(jù)技術(shù)的特征以及相關(guān)技術(shù)的介紹，詳細(xì)分析了幾種在電子政務(wù)領(lǐng)域中運(yùn)用大數(shù)據(jù)技術(shù)的應(yīng)用場景。大數(shù)據(jù)技術(shù)在今后電子政務(wù)各領(lǐng)域廣泛應(yīng)用，使得電子政務(wù)高效、方便，服務(wù)功能更加完善，為真正的打造服務(wù)型政府奠定基礎(chǔ)。

關(guān)鍵詞：云計(jì)算；大數(shù)據(jù)；電子政務(wù)；

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）14-0267-02

隨著我國互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)絡(luò)等信息技術(shù)的快速發(fā)展，電子政務(wù)建設(shè)由于大數(shù)據(jù)時代的到來，大量復(fù)雜多樣數(shù)據(jù)的采集、存取、分析、處理及其應(yīng)用變得更加高效、便捷。大數(shù)據(jù)技術(shù)是繼互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)之后信息化技術(shù)重大變革，未來政府的決策行為將逐漸基于數(shù)據(jù)和分析而做出，而非像以前依靠直覺和經(jīng)驗(yàn)。大數(shù)據(jù)技術(shù)的應(yīng)用，將很大程度上改變了目前政府管理模式。推進(jìn)大數(shù)據(jù)技術(shù)在電子政務(wù)領(lǐng)域的應(yīng)用及發(fā)展，可以改善政府各部門、政府與民眾之間的“信息孤島”，實(shí)現(xiàn)數(shù)據(jù)共享，構(gòu)建跨系統(tǒng)、跨平臺、跨數(shù)據(jù)結(jié)構(gòu)的政府綜合信息處理平臺；實(shí)現(xiàn)政府內(nèi)部縱向以及橫向的業(yè)務(wù)協(xié)同，從而提高政府各機(jī)構(gòu)的協(xié)同辦公和為民辦事效率，不但可節(jié)約財(cái)政投資，而且可以提高政府決策能力，提升政府工作效率、社會治理能力和公共服務(wù)能力，并使得政府信息的經(jīng)濟(jì)價值得到最大化。

1大數(shù)據(jù)技術(shù)的特征

大數(shù)據(jù)具有四個基本的特征。

一是處理的數(shù)據(jù)量巨大。目前大數(shù)據(jù)時代到來，每天的數(shù)據(jù)成指數(shù)增長，無法按照以前的數(shù)據(jù)處理方式進(jìn)行處理，利用大數(shù)據(jù)技術(shù)可以解決處理數(shù)據(jù)量巨大的情況。

二是數(shù)據(jù)的類型繁多。大數(shù)據(jù)可以處理的數(shù)據(jù)有各色各樣的類型，比如有文本、聲音、圖像等形式。

三是處理的速度快。大數(shù)據(jù)技術(shù)對各種數(shù)據(jù)處理必須是高速及時的完成處理。

四是密度低、價值大。對于大量的零散的各樣的數(shù)據(jù)，不能短時間里分析出來，通過大數(shù)據(jù)分析技術(shù)可以挖掘出暗藏里面著巨大的價值。

2大數(shù)據(jù)的技術(shù)

大數(shù)據(jù)是指在一定時間內(nèi)無法用常規(guī)軟件及數(shù)據(jù)分析工具對其內(nèi)容進(jìn)行采集、分析、處理、和管理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)是指從各色各樣的規(guī)模巨大的數(shù)據(jù)中，迅速獲得有價值信息的能力。大數(shù)據(jù)的技術(shù)，主要包括大規(guī)模并行處理數(shù)據(jù)庫，數(shù)據(jù)挖掘技術(shù)，分布式數(shù)據(jù)庫，分布式文件系統(tǒng)，云計(jì)算基礎(chǔ)構(gòu)架平臺，互聯(lián)網(wǎng)和可擴(kuò)展的分布式存儲系統(tǒng)等。大數(shù)據(jù)技術(shù)分為整體技術(shù)和關(guān)鍵技術(shù)兩個方面。

2.1 大數(shù)據(jù)整體技術(shù)

大數(shù)據(jù)整體技術(shù)里主要包括如下幾點(diǎn)。

1）數(shù)據(jù)采集，通過數(shù)據(jù)采集工具負(fù)責(zé)將異構(gòu)、分布的數(shù)據(jù)源中的數(shù)據(jù)抽取采集到臨時中間層后進(jìn)行數(shù)據(jù)清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉庫中，為數(shù)據(jù)分析、數(shù)據(jù)挖掘的做基礎(chǔ)。

2）數(shù)據(jù)存取，對關(guān)系數(shù)據(jù)庫、非結(jié)構(gòu)性數(shù)據(jù)庫的數(shù)據(jù)存取，包括SQL、NOSQL、關(guān)系數(shù)據(jù)庫等。

3）基礎(chǔ)構(gòu)架，通過云技術(shù)構(gòu)架搭載云存儲、分布式文件存儲等。

4）數(shù)據(jù)處理，對數(shù)據(jù)進(jìn)行分析和加工的技術(shù)處理過程，包括對各種初始數(shù)據(jù)的整理、計(jì)算、分析、編輯等加工和處理過程。

5）統(tǒng)計(jì)分析，通過相關(guān)分析、聚類分析、卡方分析、偏相關(guān)分析、距離分析、回歸分析、因子分析、差異分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應(yīng)分析、多元對應(yīng)分析等統(tǒng)計(jì)方法技術(shù)對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析。

6）數(shù)據(jù)挖掘技術(shù)，對現(xiàn)有數(shù)據(jù)比如圖文、視頻、音頻等結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)通過數(shù)據(jù)挖掘技術(shù)進(jìn)行基于各種算法的計(jì)算，從而起到預(yù)測的未來效果，可實(shí)現(xiàn)高級別數(shù)據(jù)分析的需求。數(shù)據(jù)挖掘技術(shù)主要有分類、估計(jì)、預(yù)測、相關(guān)性分組或關(guān)聯(lián)規(guī)則、聚類、描述等，主要應(yīng)用的工具有開源的Hadoop的Mahout等。統(tǒng)計(jì)分析和挖掘數(shù)據(jù)在大數(shù)據(jù)技術(shù)領(lǐng)域最重要的，因?yàn)閿?shù)據(jù)只有分析，才能產(chǎn)生價值。

7）模型預(yù)測，通過機(jī)器學(xué)習(xí)、建模仿真、預(yù)測模型等技術(shù)對數(shù)據(jù)進(jìn)行建數(shù)據(jù)模型，為呈現(xiàn)結(jié)果做好準(zhǔn)備。

8）結(jié)果呈現(xiàn)，最后通過標(biāo)簽云、云計(jì)算、關(guān)系圖把分析、處理、挖掘、統(tǒng)計(jì)的數(shù)據(jù)進(jìn)行結(jié)果展現(xiàn)。

2.2大數(shù)據(jù)關(guān)鍵技術(shù)

下面介紹幾種主要的大數(shù)據(jù)關(guān)鍵技術(shù)。

1）大規(guī)模并行處理數(shù)據(jù)庫：大規(guī)模并行處理數(shù)據(jù)庫支持海量數(shù)據(jù)處理能力，支持大規(guī)模的集群管理，分布式的應(yīng)用可更加便捷地部署、管理和應(yīng)用。具有快速的響應(yīng)速度低延遲讀寫速度，因?yàn)橛性破脚_做為支撐，建設(shè)運(yùn)營成本相對比較低廉，可提供多個副本的故障檢測與轉(zhuǎn)移機(jī)制和容錯機(jī)制，具有高可用性、高可靠性，并支持高擴(kuò)展性。

2）分布式數(shù)據(jù)庫：分布式數(shù)據(jù)庫將物理上分散的多個數(shù)據(jù)存儲單元通過高速計(jì)算機(jī)網(wǎng)絡(luò)連接起來，組成一個邏輯上統(tǒng)一的數(shù)據(jù)庫。分布式數(shù)據(jù)庫基本思想是將原來集中式數(shù)據(jù)庫中的數(shù)據(jù)分散存儲到多個通過網(wǎng)絡(luò)連接的數(shù)據(jù)存儲單元上，以獲取更高的并發(fā)訪問量和更大的存儲容量。目前主流的分布式數(shù)據(jù)庫有NoSQL 類型數(shù)據(jù)庫。

3）分布式存儲：分布式存儲為了滿足目前大規(guī)模數(shù)據(jù)存儲應(yīng)用的需要，分布式存儲具有縱向、橫向可擴(kuò)展性的特點(diǎn)，可以將大量的數(shù)據(jù)分散存儲在多臺的存儲設(shè)備或者服務(wù)器上分擔(dān)存儲負(fù)載，提高了系統(tǒng)的可用性、可靠性和i/o存取效率。

4）云計(jì)算技術(shù)：為保障大數(shù)據(jù)收集、分析、處理等功能，依托云計(jì)算技術(shù)建設(shè)云平臺大數(shù)據(jù)平臺為大數(shù)據(jù)做好信息化設(shè)施基礎(chǔ)。傳統(tǒng)的計(jì)算存儲方式不能適應(yīng)大數(shù)據(jù)的收集和存儲數(shù)據(jù)發(fā)展要求，采用云計(jì)算的技術(shù)，要把存儲器、服務(wù)器存儲到有保障的云存儲中心。

3 大數(shù)據(jù)在電子政務(wù)領(lǐng)域的應(yīng)用

大數(shù)據(jù)技術(shù)在電子政務(wù)領(lǐng)域的應(yīng)用主要有如下幾個部分：基于大數(shù)據(jù)技術(shù)的政府網(wǎng)站大數(shù)據(jù)分析、基于大數(shù)據(jù)技術(shù)的社會誠信系統(tǒng)、基于大數(shù)據(jù)技術(shù)的交換共享平臺、大數(shù)據(jù)電子政務(wù)決策系統(tǒng)等。

3.1基于大數(shù)據(jù)技術(shù)的政府網(wǎng)站大數(shù)據(jù)分析

通過大數(shù)據(jù)技術(shù)對各級政府網(wǎng)站日志里抽取用戶經(jīng)常訪問的頁面和路徑、頁面上的停留時間、瀏覽時間等用戶網(wǎng)上行為等與用戶交互有關(guān)信息，分析并判別獲取訪問用戶的需求。根據(jù)用戶對政府網(wǎng)站的需求可以優(yōu)化各個政府網(wǎng)站頁面、欄目、功能等方面的服務(wù)缺陷，在提高網(wǎng)站服務(wù)響應(yīng)能力的同時，及時的把政府網(wǎng)站信息以及各項(xiàng)服務(wù)精準(zhǔn)推送給政府網(wǎng)站訪問用戶，并通過對政府網(wǎng)站日志數(shù)據(jù)的整合集成，為政府相關(guān)領(lǐng)導(dǎo)提供可視化的科學(xué)決策數(shù)據(jù)支持服務(wù)。

3.2基于大數(shù)據(jù)技術(shù)的信用平臺

利用大數(shù)據(jù)技術(shù)整合來自于各級政府職能部門以及法人、個人的信用信息資源，推動和規(guī)范誠信機(jī)構(gòu)建設(shè)，建立個人信用信息平臺以及探索個人信用體系建設(shè)模式，為社會提供完整、準(zhǔn)確、及時的企業(yè)和個人誠信信息，促進(jìn)個人信用信息的開發(fā)利用，為建設(shè)誠信社會奠定堅(jiān)實(shí)基礎(chǔ)。

3.3電子政務(wù)大數(shù)據(jù)交換共享平臺

依托大數(shù)據(jù)技術(shù)建設(shè)電子政務(wù)大數(shù)據(jù)交換共享平臺，通過將各級政府部門以及社會收集到的數(shù)據(jù)進(jìn)行分類、清洗、比對分析后，建設(shè)自然人、法人、空間地理等基礎(chǔ)數(shù)據(jù)庫，強(qiáng)化對各類信息資源的整合形成政務(wù)信息資源。大數(shù)據(jù)交換共享平臺的可以實(shí)現(xiàn)各個政務(wù)部門的橫向和縱向的信息共享，促進(jìn)跨地域、跨政府部門的信息資源共享和業(yè)務(wù)協(xié)同。依托大數(shù)據(jù)交換共享平臺建設(shè)政務(wù)信息資源目錄體系，制定政務(wù)信息資源共享目錄和數(shù)據(jù)標(biāo)準(zhǔn)，統(tǒng)一對社會開放政務(wù)數(shù)據(jù)，提高整個社會對信息資源的開發(fā)利用。不但可以為各級政府部門深化電子政務(wù)應(yīng)用提供跨層級、跨部門的數(shù)據(jù)支持，還可以為公共服務(wù)、社會管理和宏觀調(diào)控提供數(shù)據(jù)支撐。

3.4大數(shù)據(jù)電子政務(wù)決策系統(tǒng)

通過利用大數(shù)據(jù)技術(shù)強(qiáng)大的數(shù)據(jù)存儲和數(shù)據(jù)挖掘能力以及數(shù)據(jù)分析處理能力，從政府各部門收集的海量數(shù)據(jù)中提出有用信息進(jìn)行專業(yè)化分析處理，可以提高政府決策效率、精準(zhǔn)性和科學(xué)性，提高政府預(yù)測預(yù)警能力以及應(yīng)急響應(yīng)能力，節(jié)約決策的成本。同時為城市管理、智能交通管理、環(huán)境監(jiān)測等提供了更加真實(shí)準(zhǔn)確的決策分析數(shù)據(jù)依據(jù)。

4 結(jié)束語

目前，我國電子政務(wù)基于大數(shù)據(jù)技術(shù)已經(jīng)做出一定的成效，但是從電子政務(wù)應(yīng)用的寬度和深度還是有一定的差距，大部分的信息資源還是局限在部分縱向政府業(yè)務(wù)，還不能滿足未來社會的發(fā)展趨勢。為此，我們應(yīng)積極利用大數(shù)據(jù)技術(shù)開拓思想，順應(yīng)時代發(fā)展的需求，推進(jìn)我國電子政務(wù)應(yīng)用領(lǐng)域建設(shè)，將我國政府打造成智慧信息化服務(wù)型政府。

參考文獻(xiàn)：

[1] CIO時代網(wǎng). “大數(shù)據(jù)對于電子政務(wù)效率的提高體現(xiàn)在哪里？”[EB/OL].http：//www.ciotimes.com/egov/shyy/79159.html. 2013-05-08.

[2] 蘇新寧，吳鵬，朱曉峰，等. 電子政務(wù)技術(shù)[M]. 北京：國防工業(yè)出版社，2003.1.

[3] 張銳昕. 加強(qiáng)電子政務(wù)研究與實(shí)踐，推進(jìn)服務(wù)型政府建設(shè)與發(fā)展.電子政務(wù)，2012.10

[4] 王大玲. 支持個性化推薦的Web挖掘關(guān)鍵技術(shù)的研究[D].沈陽：東北大學(xué)信息科學(xué)與工程學(xué)院，2003.

[5] 西部網(wǎng). “專家稱云計(jì)算與大數(shù)據(jù)將帶來電子政務(wù)服務(wù)轉(zhuǎn)型”[EB/OL]. http：//www.gxsti.net.cn/dtxx/gnkj/682485.shtml. 2013-12-09.