智慧城市中的大數(shù)據(jù)分析

常廣炎

摘要：以物聯(lián)網(wǎng)、云計(jì)算等新一代大數(shù)據(jù)技術(shù)為核心的智慧城市建設(shè)理念，是未來城市發(fā)展的全新模式。智慧城市一個(gè)重要職能就是采集、存儲(chǔ)、分析、挖掘城市運(yùn)行中所承載的大數(shù)據(jù)，具備全面感知和全面分析的能力，同時(shí)能夠展示和擴(kuò)展。智慧城市的建設(shè)，有利于解決城市發(fā)展問題，有利于提升城市信息管理水平。在智慧城市發(fā)展過程中必然產(chǎn)生大數(shù)據(jù)，因此需要通過處理大數(shù)據(jù)來體現(xiàn)智慧，其核心是智慧城市信息系統(tǒng)的大數(shù)據(jù)處理平臺(tái)，其關(guān)鍵技術(shù)對(duì)于智慧城市的建設(shè)和運(yùn)轉(zhuǎn)起決定性作用，對(duì)提升城市服務(wù)、提高管理水平和城市的可持續(xù)發(fā)展具有重大的應(yīng)用價(jià)值。

關(guān)鍵詞：智慧城市；云計(jì)算；物聯(lián)網(wǎng)；大數(shù)據(jù)；Hadoop

1.智慧城市簡(jiǎn)介

智慧城市就是運(yùn)用互聯(lián)網(wǎng)+、物聯(lián)網(wǎng)、計(jì)算機(jī)網(wǎng)絡(luò)、云計(jì)算等新一代信息技術(shù)手段，對(duì)城市運(yùn)行系統(tǒng)海量數(shù)據(jù)的關(guān)鍵信息進(jìn)行的采集、存儲(chǔ)、智能處理和分析，對(duì)社會(huì)管理、政府管理及社會(huì)公共服務(wù)的各種需求做出智能化響應(yīng)和智能化決策支持，從而實(shí)現(xiàn)城市的智慧式管理和運(yùn)行。智慧城市將改變?nèi)藗儌鹘y(tǒng)的生產(chǎn)、生活方式和思想觀念，將原有的粗放式模式改變?yōu)榭茖W(xué)可持續(xù)發(fā)展的創(chuàng)新驅(qū)動(dòng)和市場(chǎng)發(fā)展模式，以滿足城市的可持續(xù)發(fā)展，從而構(gòu)建城市發(fā)展的全新城市形態(tài)。智慧城的關(guān)鍵特征有以下幾點(diǎn)。

1.1全面感知

智慧城市中分布大量的感知終端，通過傳感器網(wǎng)絡(luò)，捕捉到人們的生活、生產(chǎn)及城市環(huán)境的多種數(shù)據(jù)。信息感知網(wǎng)絡(luò)應(yīng)覆蓋城市的個(gè)個(gè)角落，能夠大量采集不同形態(tài)、不同屬性的各種數(shù)據(jù)。隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用，將為智慧城市提供更多的信息資源。

1.2深度互聯(lián)

智慧城市的信息感知是以多種信息網(wǎng)絡(luò)為基礎(chǔ)的，城市中擁有快捷的互聯(lián)通道，數(shù)據(jù)通過互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和有線電視網(wǎng)等網(wǎng)絡(luò)實(shí)現(xiàn)陜速互聯(lián)，各個(gè)部門專用網(wǎng)絡(luò)的加入，實(shí)現(xiàn)信息資源的一體化。智慧城市將大大增加信息的交互程度，將多個(gè)分散獨(dú)立的小網(wǎng)連接成互聯(lián)互通的大網(wǎng)絡(luò)，使網(wǎng)絡(luò)的價(jià)值大大提升，形成更強(qiáng)的驅(qū)動(dòng)力。

1.3智能處理

智慧城市擁有海量級(jí)PB單位的信息數(shù)據(jù)，這些大數(shù)據(jù)是智慧城市得以正常運(yùn)轉(zhuǎn)、決策、控制、展示的基礎(chǔ)，智慧城市要具有對(duì)所擁有的海量信息進(jìn)行智能處理的能力，這要求通過大數(shù)據(jù)處理平臺(tái)將收集到的數(shù)據(jù)進(jìn)行效的集中存儲(chǔ)和處理，并對(duì)數(shù)據(jù)進(jìn)行分析，產(chǎn)生具有價(jià)值的信息，為自主進(jìn)行判斷和預(yù)測(cè)提供支持，從而實(shí)現(xiàn)智能決策。這一過程中還需要體現(xiàn)出自我學(xué)習(xí)的能力，主要是通過數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)，從歷史信息中提煉相關(guān)的知識(shí)，指導(dǎo)未來的分析和處理。在技術(shù)上，以云計(jì)算為代表的分布式處理框架和線性擴(kuò)展能力，為智慧城市的智能處理提供了有力支撐。

1.4開放應(yīng)用

開放性是智慧城市的信息應(yīng)用特征，信息的應(yīng)用不能局限在政府或城市管理部門對(duì)信息的掌控和分配。智慧城市應(yīng)具有信息開放式應(yīng)用的能力，最終目標(biāo)是要能夠?qū)⑻幚砗蟮母黝愋畔⑺徒o信息的需求者，從而完成信息的完整增值利用，其中搭建開放式的信息應(yīng)用平臺(tái)是關(guān)鍵，通過該平臺(tái)使個(gè)體間進(jìn)行信息交互，充分利用系統(tǒng)現(xiàn)有能力，大大提升智慧城市的信息資源并產(chǎn)生新應(yīng)用。

2.智慧城市中的大數(shù)據(jù)特征

在智慧城市中，城市的管理與服務(wù)涉及各個(gè)領(lǐng)域，智慧城市中產(chǎn)生的大數(shù)據(jù)由于體量巨大，處理要求高，傳統(tǒng)的信息技術(shù)和IT架構(gòu)已不能解決問題。這些大數(shù)據(jù)具有的特征如下。

2.1數(shù)據(jù)量巨大

智慧城市中諸多領(lǐng)域都產(chǎn)生大量的數(shù)據(jù)，通常是在PB級(jí)以上，如中國(guó)1個(gè)1 000萬人口的城市50年積累的醫(yī)療數(shù)據(jù)量就達(dá)到了50 PB。智慧城市的智慧化管理需要多方協(xié)同管理，共享數(shù)據(jù)，這就需要把多領(lǐng)域的數(shù)據(jù)進(jìn)行綜合的分析和匯集，如流行病的預(yù)防，需要綜合分析人口數(shù)據(jù)、社保數(shù)據(jù)、醫(yī)保數(shù)據(jù)、醫(yī)院數(shù)據(jù)等，進(jìn)行這樣的綜合分析需要將這些數(shù)據(jù)集中存儲(chǔ)于大數(shù)據(jù)平臺(tái)上，這是傳統(tǒng)的數(shù)據(jù)庫(kù)平臺(tái)不能完成的。

2.2種類繁多，增長(zhǎng)迅速

智慧城市中的大數(shù)據(jù)匯集眾多領(lǐng)域、眾多行業(yè)的數(shù)據(jù)，數(shù)據(jù)類型多樣化且結(jié)構(gòu)復(fù)雜，有結(jié)構(gòu)化的，半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)點(diǎn)大多數(shù)?？總鹘y(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)己不解決其存儲(chǔ)問題，更談不上進(jìn)行分析。例如，銀行、學(xué)校更多是結(jié)構(gòu)化的數(shù)據(jù)；交通管理包含大量的視頻和圖像是非結(jié)構(gòu)化數(shù)據(jù)；氣向、醫(yī)療數(shù)據(jù)是半結(jié)構(gòu)化的。隨著社會(huì)經(jīng)濟(jì)的發(fā)展伴隨數(shù)據(jù)量的高速增長(zhǎng)，如一個(gè)1 000萬人口的中等城市，每天采集交通卡口過車數(shù)量數(shù)據(jù)約占幾個(gè)TB。

2.3價(jià)值巨大

維克多·邁爾·舍伯恩認(rèn)為“大數(shù)據(jù)的重要價(jià)值在于建立數(shù)據(jù)驅(qū)動(dòng)的關(guān)于大數(shù)據(jù)相關(guān)分析，而建立在相關(guān)分析基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心！大數(shù)據(jù)讓人們知道‘是什么”。從價(jià)值層面上看，智慧城市中的大數(shù)據(jù)經(jīng)過加工分析后，蘊(yùn)含了無窮無盡的價(jià)值，對(duì)城市的運(yùn)行和管理起到了極大的輔助作用。一是實(shí)現(xiàn)巨大經(jīng)濟(jì)效益，如大數(shù)據(jù)使美國(guó)零售業(yè)凈利潤(rùn)增長(zhǎng)達(dá)到60%，使制造生產(chǎn)成本下降50%；二是能夠增強(qiáng)社會(huì)管理水平，在政府和公共服務(wù)領(lǐng)域的大數(shù)據(jù)應(yīng)用，能夠提高政府部門的決策水平，增加服務(wù)效率和提升社會(huì)管理水平，有效推動(dòng)政務(wù)工作的開展，將會(huì)產(chǎn)生巨大社會(huì)價(jià)值；三是能夠提高安全保障能力，通過對(duì)大數(shù)據(jù)整理、分析，可以有效地預(yù)測(cè)金融、國(guó)防、安全等領(lǐng)域的風(fēng)險(xiǎn)，提高國(guó)家安全保障能力。

3.大數(shù)據(jù)處理平臺(tái)構(gòu)成

智慧城市建設(shè)的關(guān)鍵構(gòu)建大數(shù)據(jù)處理平臺(tái)，該平臺(tái)的主要功能是為智慧城市提供支撐環(huán)境，來實(shí)現(xiàn)智慧應(yīng)用管理、數(shù)據(jù)關(guān)聯(lián)分析和數(shù)據(jù)深度挖掘、展示和擴(kuò)展等功能。大數(shù)據(jù)平臺(tái)的組成如下：

3.1云計(jì)算公共平臺(tái)

智慧城市集成海量級(jí)的數(shù)據(jù)，數(shù)據(jù)多數(shù)是非結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)無法進(jìn)行處理，只有借助云計(jì)算的分布式處理框架和線性擴(kuò)展能力，才能滿足智慧城市基礎(chǔ)平臺(tái)的需要，目前應(yīng)用比較廣泛的是基于Hadoop的分布式處理框架云平臺(tái)。在海量數(shù)據(jù)存儲(chǔ)方面，Hadoop中的HDFS是一個(gè)典型的海量存儲(chǔ)系統(tǒng)，它采用主從結(jié)構(gòu)體系，存儲(chǔ)服務(wù)器集群由一個(gè)主節(jié)點(diǎn)和眾多數(shù)據(jù)結(jié)點(diǎn)構(gòu)成，從而實(shí)現(xiàn)分布式數(shù)據(jù)存儲(chǔ)和集群冗余機(jī)制，能夠把PB級(jí)的數(shù)據(jù)存放到分布式服務(wù)器上，并提供數(shù)據(jù)安全可靠性。在對(duì)海量數(shù)據(jù)進(jìn)行綜合分析和挖掘處理，其計(jì)算量非常大，分為在線計(jì)處和離線計(jì)算。對(duì)于實(shí)時(shí)性不高的信息處理，采用離線計(jì)算平臺(tái)，Hadoop的云計(jì)算框架MapReduce是離線計(jì)算的典范，具有較高的穩(wěn)定性和擴(kuò)展性。阿里巴巴的數(shù)據(jù)平臺(tái)就是依托Hadoop來實(shí)現(xiàn)的。在線計(jì)算方面，目前比較成熟的是基于Hbase的準(zhǔn)實(shí)時(shí)數(shù)據(jù)庫(kù)及MysQL Cluster基于流式處理實(shí)時(shí)響應(yīng)平臺(tái)，這兩種技術(shù)能夠?qū)Ａ繑?shù)據(jù)進(jìn)行綜合分析，響應(yīng)時(shí)間短，實(shí)時(shí)性強(qiáng)，有利于實(shí)現(xiàn)數(shù)據(jù)交互，解決了離線平臺(tái)處理耗時(shí)長(zhǎng)，反應(yīng)慢的問題。為應(yīng)急指揮、現(xiàn)場(chǎng)響應(yīng)及動(dòng)態(tài)控制等各種應(yīng)用場(chǎng)景提供技術(shù)支持。

3.2統(tǒng)一的數(shù)據(jù)存儲(chǔ)平臺(tái)

智慧城市采集數(shù)據(jù)類型復(fù)雜眾多、數(shù)據(jù)量海量，統(tǒng)一的數(shù)據(jù)平臺(tái)進(jìn)行存儲(chǔ)管理是必須的，同時(shí)還要提供大規(guī)模分布式存儲(chǔ)與數(shù)據(jù)備份的支持。Hadoop～HDFS是一個(gè)典型的分布式海量存儲(chǔ)系統(tǒng)，能夠把PB級(jí)的海量數(shù)據(jù)存儲(chǔ)在大規(guī)模的分布式集群服務(wù)器上，同時(shí)能夠保證數(shù)據(jù)的讀寫效率和安全。HDFS的設(shè)計(jì)目標(biāo)是為存儲(chǔ)超大數(shù)據(jù)文件，它具有“一次寫入，多次讀取”的功能，具有降低并發(fā)控制、簡(jiǎn)化數(shù)據(jù)聚合、支持高吞吐量的訪問的特點(diǎn)，在安全性方面，具有硬件錯(cuò)誤檢測(cè)并自動(dòng)恢復(fù)功能，使某些結(jié)點(diǎn)發(fā)生故障時(shí)，整個(gè)集群的工作不受影響。

3.3數(shù)據(jù)共享交換平臺(tái)

為了滿足各種數(shù)據(jù)交換需求，必須提供并制定數(shù)據(jù)標(biāo)準(zhǔn)，該平臺(tái)將提供智慧路由、實(shí)時(shí)服務(wù)、異步服務(wù)、安全控制等功能。是集數(shù)據(jù)交換開發(fā)、部署、管理、監(jiān)控為一體的數(shù)據(jù)交換全生命周期管理的數(shù)據(jù)交換平臺(tái)。

3.4智能數(shù)據(jù)統(tǒng)計(jì)分析平臺(tái)

智慧城市平臺(tái)的核心是智能數(shù)據(jù)綜合統(tǒng)計(jì)分析功能，該平臺(tái)支持大數(shù)據(jù)的檢索查詢、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘、預(yù)測(cè)和展示功能，通過對(duì)數(shù)據(jù)的分析挖掘，提供相應(yīng)的輔助決策功能。

4.大數(shù)據(jù)在智慧城市中的應(yīng)用

4.1城市公共信息管理

對(duì)城市的公共信息如人口、交通、經(jīng)濟(jì)、醫(yī)療、社保等信息進(jìn)行管理，建立統(tǒng)一的公共信息管理平臺(tái)，實(shí)現(xiàn)海量、多尺度、多時(shí)態(tài)的信息管理。

4.2智慧醫(yī)療

醫(yī)院里有大量的病例數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理技術(shù)對(duì)其進(jìn)行數(shù)據(jù)的挖掘非常困難，在大數(shù)據(jù)云平臺(tái)的環(huán)境下能夠得以實(shí)現(xiàn)，這在疾病治療和亞健康管理上將發(fā)揮巨大的作用，進(jìn)一步促進(jìn)醫(yī)療水平的提高。

4.3智能交通

運(yùn)用大數(shù)據(jù)于整個(gè)交通運(yùn)輸管理體系，建立交通智慧信息發(fā)布平臺(tái)，來實(shí)現(xiàn)車輛識(shí)別、跟蹤、交通流量分析控制等應(yīng)用，來解決城市交通堵塞和環(huán)境污染，保證交通安全，提高運(yùn)輸效率。

4.4智慧教育

現(xiàn)代教育信息化服務(wù)體系系統(tǒng)構(gòu)成智慧教育的核心。該系統(tǒng)由數(shù)字教學(xué)資源庫(kù)、公共服務(wù)平臺(tái)和云端設(shè)備組成。任何時(shí)間和地點(diǎn)學(xué)習(xí)者都可借助云端設(shè)備進(jìn)行高質(zhì)量個(gè)性化的學(xué)習(xí)。

4.5智慧社區(qū)

智慧社區(qū)是通過社區(qū)服務(wù)平臺(tái)來實(shí)現(xiàn)的，采用的是O2O模式，將實(shí)體經(jīng)營(yíng)和網(wǎng)上經(jīng)營(yíng)相結(jié)合，拓展了服務(wù)方式，為市民日常家居生活提供便捷服務(wù)。居民可以通過社區(qū)服務(wù)平臺(tái)選擇并定制自己的所需服務(wù)。

5.結(jié)語

大數(shù)據(jù)的出現(xiàn)，預(yù)示著數(shù)據(jù)在信息系統(tǒng)中的性質(zhì)和作用發(fā)生了根本的改變。智慧城市既受制于大數(shù)據(jù)又得益于大數(shù)據(jù)，智慧城市與大數(shù)據(jù)的共生關(guān)系促進(jìn)了信息系統(tǒng)的革新。智慧城市建設(shè)要依托新興的云計(jì)算技術(shù)，始終以技術(shù)創(chuàng)新和模式創(chuàng)新為理念，將原有的粗放式發(fā)展模式改變?yōu)閯?chuàng)新驅(qū)動(dòng)和市場(chǎng)主導(dǎo)的發(fā)展模式，發(fā)揮大數(shù)據(jù)的巨大潛力，實(shí)現(xiàn)智慧城市的設(shè)計(jì)目標(biāo)。