云模式下智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)

黃煉

摘要：針對智慧城鎮(zhèn)建設(shè)中出現(xiàn)的大數(shù)據(jù)平臺搭建問題，設(shè)計(jì)了一種智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)。采用Hadoop的云模式計(jì)算手段，搭建了涵蓋政務(wù)信息、地理信息、人員信息以及交通信息的大數(shù)據(jù)平臺，通過C#語言實(shí)現(xiàn)智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)功能，其能夠?yàn)楣芾碚咛峁┲匾臎Q策依據(jù)。

關(guān)鍵詞：智慧城鎮(zhèn)；大數(shù)據(jù)；云模式；Hadoop

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）28-0001-02

Abstract： Aiming at the problem that construct big data platform of smart city， a big data system of smart city is designed. Using cloud mode computing for Hadoop， builting big data platform that cover government information， geographic information， personnel information and traffic information， achieving functions of smart city big data system by C# language， which can provide important decision-making basis for managers.

Key words： Smart city； Big data； Cloud model； Hadoop

IBM公司于2008年初次提出建設(shè)智慧地球的概念[1]。研究人員受智慧地球的啟發(fā)，著手進(jìn)行城鎮(zhèn)智慧化建設(shè)的探索，并已經(jīng)率先取得一系列成果。2009年，韓國政府制定智慧城鎮(zhèn)發(fā)展計(jì)劃，并將首爾作為試點(diǎn)城市，主要措施是通過搭建涵蓋整個(gè)城鎮(zhèn)的物聯(lián)網(wǎng)，使市民享受使用或辦理社會(huì)服務(wù)的便利，運(yùn)用智慧化商務(wù)服務(wù)以及云計(jì)算推動(dòng)首爾經(jīng)濟(jì)發(fā)展。新加坡在智慧城鎮(zhèn)的交通系統(tǒng)建設(shè)取得豐碩成果，通過實(shí)時(shí)整合道路、交通數(shù)據(jù)信息，居民可以根據(jù)交通路線、交通流量，對出行時(shí)間做出選擇。

雖然國內(nèi)智慧城鎮(zhèn)建設(shè)發(fā)展較晚，但部分城鎮(zhèn)也在嘗試智慧化建設(shè)，其成果具有一定的代表性。在智慧城鎮(zhèn)交通領(lǐng)域，寧波市建立智慧交通研發(fā)中心，依托現(xiàn)有交通管理系統(tǒng)資源，構(gòu)建了包含政府公有云、公共安全私有云以及地區(qū)中心云的智慧交通云系統(tǒng)，各部門私有云可以通過專用接口，實(shí)現(xiàn)與主系統(tǒng)的鏈接，用于拓展業(yè)務(wù)范圍[2]。在智慧城鎮(zhèn)農(nóng)業(yè)領(lǐng)域，濟(jì)南市推廣云模式下的信息化管理系統(tǒng)，實(shí)現(xiàn)農(nóng)產(chǎn)品信息的無縫導(dǎo)入，并將農(nóng)業(yè)應(yīng)用于電子商務(wù)，改善傳統(tǒng)農(nóng)產(chǎn)品銷售環(huán)節(jié)出現(xiàn)的盲目從眾現(xiàn)象，科學(xué)指導(dǎo)農(nóng)產(chǎn)品種植、采收以及銷售等過程。在城鎮(zhèn)智慧水務(wù)領(lǐng)域，臺州市實(shí)施智慧水務(wù)試點(diǎn)項(xiàng)目，通過傳感器技術(shù)采集水況等實(shí)時(shí)信息，經(jīng)無線通信系統(tǒng)傳輸數(shù)據(jù)，最終通過服務(wù)器分析處理水務(wù)數(shù)據(jù)，保障水務(wù)的智能化檢測[3]。

綜上所述，本文利用云模式下存儲(chǔ)的大數(shù)據(jù)，提出一種智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)方案。其綜合考慮居民、企業(yè)以及政府的訴求，以構(gòu)建云模式下大數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)城鎮(zhèn)資源的最優(yōu)化利用，最終達(dá)到推動(dòng)經(jīng)濟(jì)、社會(huì)發(fā)展目的。

1 智慧城鎮(zhèn)建設(shè)方針

城鎮(zhèn)智慧化建設(shè)首先進(jìn)行頂層化設(shè)計(jì)，其目的是充分考慮系統(tǒng)的開放性和擴(kuò)展性。智慧城鎮(zhèn)建設(shè)往往涉及領(lǐng)域交叉，若不進(jìn)行綜合考慮，一旦系統(tǒng)完成，再重新添加其他領(lǐng)域接口，將會(huì)在時(shí)間上造成的不必要負(fù)擔(dān)。除此之外，考慮到人的思維存在局限性，需要預(yù)留其他領(lǐng)域大數(shù)據(jù)接口，保障更新的及時(shí)性。由于智慧城鎮(zhèn)涵蓋領(lǐng)域眾多，需要制定一套標(biāo)準(zhǔn)化的支撐體系，否則效率可想而知。其支撐體系依靠云計(jì)算平臺及大數(shù)據(jù)中心加以實(shí)現(xiàn)。充分利用現(xiàn)有的大數(shù)據(jù)技術(shù)手段對資源進(jìn)行分門別類的整理，降低建設(shè)運(yùn)營成本，最終實(shí)現(xiàn)達(dá)成集約、開放、高效和可擴(kuò)展的目的。

智慧城鎮(zhèn)建設(shè)著重于服務(wù)，因此不能僅考慮基礎(chǔ)數(shù)據(jù)平臺建設(shè)，應(yīng)秉承經(jīng)濟(jì)、實(shí)用的原則。做好基礎(chǔ)數(shù)據(jù)平臺開發(fā)的同時(shí)，并開展相應(yīng)地實(shí)際應(yīng)用。

2 城鎮(zhèn)大數(shù)據(jù)

智慧城鎮(zhèn)是基于云概念的城鎮(zhèn)發(fā)展新方向。針對經(jīng)濟(jì)發(fā)展、政府管理所面臨的訴求，通過計(jì)算機(jī)、通信領(lǐng)域技術(shù)革新，收集、存儲(chǔ)、處理城鎮(zhèn)運(yùn)作產(chǎn)生的各類重要信息，最終實(shí)現(xiàn)城鎮(zhèn)的智能化運(yùn)行。

企業(yè)的運(yùn)轉(zhuǎn)、政府的管理以及個(gè)人的活動(dòng)會(huì)產(chǎn)生諸多的數(shù)據(jù)，并且由于計(jì)算機(jī)、通信技術(shù)的發(fā)展，數(shù)據(jù)的形式與規(guī)模趕超任何時(shí)期，往往呈現(xiàn)出指數(shù)級別的增長。大數(shù)據(jù)具有以下特征：

1） 數(shù)據(jù)規(guī)模龐大。智慧城鎮(zhèn)中能夠產(chǎn)生數(shù)據(jù)的領(lǐng)域眾多，并且存在領(lǐng)域交叉。例如，應(yīng)對緊急情況的城鎮(zhèn)應(yīng)急指揮系統(tǒng)，需要綜合采集交通、氣候、地理等領(lǐng)域的數(shù)據(jù)，繼而制定合理的應(yīng)急方案。各領(lǐng)域數(shù)據(jù)匯總于大數(shù)據(jù)服務(wù)器，服務(wù)器的數(shù)據(jù)承載量極其巨大。例如，中等城鎮(zhèn)交通違章監(jiān)測系統(tǒng)每天拍攝的視頻、圖像數(shù)據(jù)需占用TB級別的存儲(chǔ)空間。

2） 數(shù)據(jù)類型復(fù)雜。智慧城鎮(zhèn)的諸多領(lǐng)域會(huì)產(chǎn)生不同數(shù)據(jù)類型，其存儲(chǔ)方式無統(tǒng)一標(biāo)準(zhǔn)。例如，交通違章監(jiān)測系統(tǒng)拍攝的圖像、視頻，多為非結(jié)構(gòu)化數(shù)據(jù)類型；氣候、醫(yī)療系統(tǒng)采集的數(shù)據(jù)多為半結(jié)構(gòu)化類型；銀行、學(xué)校采集的數(shù)據(jù)多為結(jié)構(gòu)化類型。

3） 數(shù)據(jù)價(jià)值巨大。數(shù)據(jù)信息能夠轉(zhuǎn)換為經(jīng)濟(jì)效益。美國醫(yī)療服務(wù)業(yè)根據(jù)醫(yī)療數(shù)據(jù)制定對應(yīng)措施，使醫(yī)療服務(wù)業(yè)收益達(dá)到3000億美元。美國零售業(yè)通過分析銷售數(shù)據(jù)，完善銷售鏈，凈利潤增長達(dá)到60%。數(shù)據(jù)信息能夠轉(zhuǎn)換為社會(huì)價(jià)值。政府職能部門通過大數(shù)據(jù)應(yīng)用，可提高自身工作效率，進(jìn)而提高政府部門的決策、服務(wù)以及管理能力；數(shù)據(jù)信息能夠提高安全保障能力。針對解決情報(bào)、監(jiān)視和偵察系統(tǒng)等不足，國防、反恐、安全等領(lǐng)域通過大數(shù)據(jù)應(yīng)用，對搜集的各類數(shù)據(jù)進(jìn)行整合、處理，提高安全保障能力。

3 智慧城鎮(zhèn)信息系統(tǒng)模型endprint

智慧城鎮(zhèn)建設(shè)涉經(jīng)濟(jì)、人口、環(huán)境、交通、醫(yī)療、教育諸多領(lǐng)域。為綜合處理、運(yùn)用大數(shù)據(jù)信息，需要構(gòu)建完善的智慧城鎮(zhèn)信息系統(tǒng)模型，其有助于掌握系統(tǒng)間的邏輯關(guān)系。智慧城鎮(zhèn)系統(tǒng)模型分為6個(gè)層次[4]：

1） 感知層。它相當(dāng)于智慧城鎮(zhèn)的眼睛，用于直觀感知數(shù)據(jù)，常用的感知工具，例如智能終端、無線傳感器等。通過以上工具，采集智慧城鎮(zhèn)運(yùn)轉(zhuǎn)過程中產(chǎn)生的數(shù)據(jù)信息，作為上層應(yīng)用的數(shù)據(jù)基礎(chǔ)。

2） 傳感層類似人體血管，通過搭建好的無線移動(dòng)網(wǎng)絡(luò)、有線網(wǎng)絡(luò)以及物聯(lián)網(wǎng)將感知層采集的數(shù)據(jù)及時(shí)、完整地輸送至大數(shù)據(jù)服務(wù)器平臺。

3） 基礎(chǔ)層是原始數(shù)據(jù)的存儲(chǔ)載體，泛指能夠存儲(chǔ)著感知層所采集的原始數(shù)據(jù)的物理設(shè)備。

4） 數(shù)據(jù)層負(fù)責(zé)數(shù)據(jù)管理，統(tǒng)一管理標(biāo)準(zhǔn)，并能夠?qū)ν鈱?shí)現(xiàn)數(shù)據(jù)訪問以及數(shù)據(jù)交換，具備高級別的擴(kuò)展能力。

5） 計(jì)算層是分析數(shù)據(jù)的核心，類似于人體的大腦。計(jì)算層實(shí)現(xiàn)數(shù)據(jù)的在線處理以及離線處理功能，承擔(dān)智慧城鎮(zhèn)運(yùn)轉(zhuǎn)所需要的所有計(jì)算。

6） 應(yīng)用層實(shí)現(xiàn)智慧城鎮(zhèn)的全部實(shí)際應(yīng)用。選擇應(yīng)用領(lǐng)域，需要酌情考慮該城鎮(zhèn)發(fā)展過程中遇到的阻力，具有針對性地開展應(yīng)用。如圖1所示。

4 基于云的智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)設(shè)計(jì)

4.1 云計(jì)算公共平臺

智慧城市集成大量的數(shù)據(jù)，并且無法預(yù)計(jì)數(shù)據(jù)的增長，只有借助云模式下的線性擴(kuò)展能力，才能滿足智慧城鎮(zhèn)建設(shè)的需要。目前，云模式主要采用基于Hadoop的分布式處理框架[5]。

Hadoop由Apache基金會(huì)開發(fā)，其能夠?qū)崿F(xiàn)在多硬件集群上分布運(yùn)行程序，其特點(diǎn)為性能優(yōu)越、可靠性高、擴(kuò)展性強(qiáng)以及成本低廉。Hadoop三大核心技術(shù)為：分布式文件系統(tǒng)，用于存儲(chǔ)集群硬件中的文件；編程模型MapReduce，用來處理多種數(shù)據(jù)集合；分布式數(shù)據(jù)庫HBase。利用Hadoop的分布式技術(shù)，構(gòu)建智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)，實(shí)現(xiàn)對各種類型數(shù)據(jù)進(jìn)的存儲(chǔ)、分析和高效處理，提高智慧城鎮(zhèn)校園建設(shè)水平。

4.2 智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)框架

基于Hadoop技術(shù)的智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)的總體技框架可分為3層，其中大數(shù)據(jù)采集與存儲(chǔ)層應(yīng)用分布式文件系統(tǒng)，智慧城鎮(zhèn)數(shù)據(jù)分析層應(yīng)用MapReduce計(jì)算模型，數(shù)據(jù)源層、大數(shù)據(jù)采集與存儲(chǔ)層的數(shù)據(jù)抽取，對接需要開發(fā)適合的底層適配接口模塊，用來采集智慧城鎮(zhèn)大數(shù)據(jù)環(huán)境中的多類數(shù)據(jù)[6]。如圖2所示。

基于云模式的智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)分為大數(shù)據(jù)源層、大數(shù)據(jù)采集與存儲(chǔ)層以及大數(shù)據(jù)分析層。大數(shù)據(jù)源層負(fù)責(zé)采集數(shù)據(jù)，其主要的數(shù)據(jù)包括政務(wù)數(shù)據(jù)、地理數(shù)據(jù)、人員數(shù)據(jù)以及交通數(shù)據(jù)。大數(shù)據(jù)采集與存儲(chǔ)層通過數(shù)據(jù)共享接口獲取數(shù)據(jù)源層提供的各類數(shù)據(jù)。大數(shù)據(jù)采集與存儲(chǔ)層對收集到的數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和存儲(chǔ)。大數(shù)據(jù)分析層在 Hadoop的MapReduce編程模型上，構(gòu)建各類數(shù)據(jù)分析包，對智慧城鎮(zhèn)大數(shù)據(jù)進(jìn)行分析，為政府職能部門提供可靠的供決策依據(jù)。

4.3 功能設(shè)計(jì)

云模式下的智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)，使用C##語言編寫代碼，分層設(shè)計(jì)預(yù)留多個(gè)擴(kuò)展接口，方便后期添加新的城鎮(zhèn)大數(shù)據(jù)功能。前臺使用B/S模式采用ASP.NET語言開發(fā)，對分析結(jié)果進(jìn)行展示，如圖3所示。

云模式下的智慧城鎮(zhèn)大數(shù)據(jù)系統(tǒng)功能為以下3個(gè)部分：分析結(jié)果發(fā)布層、大數(shù)據(jù)分析層、管理功能層。分別提供公告和查詢等數(shù)據(jù)分析結(jié)果的，大數(shù)據(jù)的歷史分析結(jié)果和實(shí)時(shí)分析功能，多用戶數(shù)據(jù)管理的管理模式。

5 結(jié)束語

智慧城鎮(zhèn)符合現(xiàn)代化建設(shè)的方針，是城市發(fā)展階段一次質(zhì)的飛躍。城鎮(zhèn)智慧化建設(shè)離不開大數(shù)據(jù)技術(shù)，需要始終依托現(xiàn)行的云計(jì)算、大數(shù)據(jù)技術(shù)，堅(jiān)持以技術(shù)創(chuàng)新、模式創(chuàng)新為理念，堅(jiān)持“頂層化、前置化、市場化”的建設(shè)理念，只有這樣才能發(fā)揮大數(shù)據(jù)的巨大潛能，實(shí)現(xiàn)智慧城市的設(shè)計(jì)目標(biāo)，推動(dòng)我國新型城鎮(zhèn)化的建設(shè)。

參考文獻(xiàn)：

[1] 曹陽，張勝雷，甄峰.智慧城市規(guī)劃仿真模型組織架構(gòu)與標(biāo)準(zhǔn)體系研究[J].建設(shè)科技，2017，（13）：21-25+29.

[2 ]郭理橋.新型城鎮(zhèn)化與基于“一張圖”的“多規(guī)融合”信息平臺[J].城市發(fā)展研究，2014，21（3）：1-3，13.

[3] 常廣炎.新型城鎮(zhèn)化背景下的大數(shù)據(jù)與智慧城市[J].遼寧行政學(xué)院學(xué)報(bào)，2016（3）：64-67.

[4] 張銘.“智慧城市”中大數(shù)據(jù)技術(shù)的應(yīng)用[J].通訊世界，2014（3）：5-7.

[5] 崔杰，李陶深，蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺設(shè)計(jì)與開發(fā)[J].計(jì)算機(jī)研究與發(fā)展，2012 （S1）：12-18.

[6] 趙亮.基于Hadoop的高校校園大數(shù)據(jù)系統(tǒng)設(shè)計(jì)[J].中國管理信息化，2017（10）：222-223.endprint