智慧城市中大數(shù)據(jù)存儲(chǔ)與分析技術(shù)探索

楊正理+陳海霞

摘 要：隨著城市化進(jìn)程的推進(jìn)，智慧城市的建設(shè)與應(yīng)用成為當(dāng)前研究的熱點(diǎn)。大數(shù)據(jù)是支撐智慧城市建設(shè)的基礎(chǔ)，影響著一個(gè)城市是否能夠健康發(fā)展、正確進(jìn)行管理決策，以及能否可持續(xù)發(fā)展的關(guān)鍵因素。通過(guò)對(duì)智慧城市中大數(shù)據(jù)在存儲(chǔ)與分析技術(shù)方面的探索，為進(jìn)一步研究大數(shù)據(jù)在智慧城市中的應(yīng)用、搭建智慧城市數(shù)據(jù)化平臺(tái)提供了參考。

關(guān)鍵詞：大數(shù)據(jù)；智慧城市；大數(shù)據(jù)存儲(chǔ)

DOI：10.16640/j.cnki.37-1222/t.2017.21.115

0 引言

智慧城市通過(guò)各種傳感器以及無(wú)處不在的物聯(lián)網(wǎng)技術(shù)將現(xiàn)代城市與數(shù)據(jù)技術(shù)聯(lián)系在一起，各式各樣的數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng)，進(jìn)入大數(shù)據(jù)時(shí)代[1]。大數(shù)據(jù)已經(jīng)在城市智能交通系統(tǒng)、智慧政務(wù)、智慧醫(yī)療、智慧社區(qū)、智慧體育、智慧旅游等方面得到廣泛應(yīng)用，成為智慧城市建設(shè)與應(yīng)用的根本推動(dòng)力。

大數(shù)據(jù)又稱為巨量數(shù)據(jù)，是指所涉及的數(shù)據(jù)規(guī)模巨大，無(wú)法采用常規(guī)手段在合理時(shí)間內(nèi)對(duì)其進(jìn)行截取、管理和分析，成為人類所能解讀的信息[2]。這些數(shù)據(jù)來(lái)源口徑不同，模態(tài)千差萬(wàn)別，比如由不同廠家生產(chǎn)的各類傳感器、智能設(shè)備產(chǎn)生的數(shù)據(jù)、數(shù)字照片、視頻、購(gòu)物交易記錄、手機(jī)信號(hào)等。

面對(duì)智慧城市所產(chǎn)生的海量多源異構(gòu)大數(shù)據(jù)，若能透徹的進(jìn)行分析，以云計(jì)算技術(shù)進(jìn)行整合，便能快速地將其轉(zhuǎn)化為有價(jià)值信息，從中尋找和挖掘到城市的發(fā)展規(guī)律，人們生活和行為、以及社會(huì)潮流、思維的趨向，就能盡早的推斷市場(chǎng)對(duì)產(chǎn)品、服務(wù)甚至政策等方面的需求和反應(yīng)。從而更好、更智能的發(fā)揮大數(shù)據(jù)的作用，為智慧城市的健康發(fā)展提供有力支持。

1 城市大數(shù)據(jù)服務(wù)支撐架構(gòu)

城市大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，尤其是空間、視頻等非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越成為大數(shù)據(jù)的主體，傳統(tǒng)的數(shù)據(jù)管理、存儲(chǔ)手段已無(wú)法滿足要求。而云計(jì)算技術(shù)，特別是Hadoop技術(shù)為大數(shù)據(jù)管理和高效支撐提供了基礎(chǔ)平臺(tái)，可以實(shí)現(xiàn)對(duì)大數(shù)據(jù)進(jìn)行有效管理與并行處理[3]。充分發(fā)揮云計(jì)算技術(shù)優(yōu)勢(shì)，快速檢索和處理城市大數(shù)據(jù)，挖掘其中有價(jià)值的信息和知識(shí)，為智慧城市的發(fā)展服務(wù)。在云計(jì)算和數(shù)據(jù)挖掘等技術(shù)支撐下，可將城市中的任何人、在任何時(shí)間、任何地點(diǎn)獲取任何服務(wù)（Anyone，Anytime，Anywhere，Any Information，4A）的智能服務(wù)轉(zhuǎn)變?yōu)樵谡_的時(shí)間、正確的地點(diǎn)將正確的信息提供給需要的人的靈性服務(wù)（Right Time，Right Place，Right Information，Right Person，4R），從而使數(shù)字城市真正成為智慧模式[4]。

基于云計(jì)算技術(shù)的城市大數(shù)據(jù)服務(wù)支撐架構(gòu)如圖1所示，架構(gòu)由城市數(shù)據(jù)中心、城市基礎(chǔ)庫(kù)和城市云服務(wù)三部構(gòu)成。

（1）城市數(shù)據(jù)中心是智慧城市大數(shù)據(jù)的基礎(chǔ)，主要由一些物理資源構(gòu)成，如：計(jì)算機(jī)、智能設(shè)備、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)管理軟件等。這些物理資源基于云計(jì)算和虛擬化技術(shù)，將多源異構(gòu)數(shù)據(jù)資源轉(zhuǎn)化成同構(gòu)或接近同構(gòu)的數(shù)據(jù)池。虛擬化技術(shù)能夠屏蔽了數(shù)據(jù)口徑和數(shù)據(jù)源之間不同的特性，使數(shù)據(jù)池中的數(shù)據(jù)能夠被動(dòng)態(tài)分配、動(dòng)態(tài)遷移和數(shù)據(jù)整合，能夠被集群用戶所采用。

（2）城市基礎(chǔ)庫(kù)是智慧城市大數(shù)據(jù)的基礎(chǔ)信息資源，也是智慧城市大數(shù)據(jù)服務(wù)支撐架構(gòu)中其他用戶的基礎(chǔ)數(shù)據(jù)資源。架構(gòu)中只有被授權(quán)了的用戶才能訪問(wèn)和共享這些基礎(chǔ)庫(kù)。

（3）城市云服務(wù)是為智慧城市的各級(jí)用戶提供各自所需要的云服務(wù)。按照云計(jì)算技術(shù)中“服務(wù)即應(yīng)用”的理念，城市云服務(wù)就是以服務(wù)的形式為用戶提供應(yīng)用軟件、技術(shù)服務(wù)以及各種計(jì)算資源，用戶從此可以不再關(guān)注應(yīng)用軟件以及計(jì)算應(yīng)用等的購(gòu)買、安裝和升級(jí)等復(fù)雜的流程，而只需要根據(jù)自己的實(shí)際情況租用相應(yīng)的服務(wù)即可。

2 城市大數(shù)據(jù)服務(wù)支撐的關(guān)鍵技術(shù)

城市大數(shù)據(jù)服務(wù)支撐的數(shù)據(jù)資源包括基礎(chǔ)數(shù)據(jù)資源、應(yīng)用領(lǐng)域數(shù)據(jù)資源、共享數(shù)據(jù)資源、互聯(lián)網(wǎng)數(shù)據(jù)中心（Internet Data Center，IDC）資源、公共安全數(shù)據(jù)資源、以及各行業(yè)部門根據(jù)自身的需要所建立起來(lái)的具有行業(yè)特點(diǎn)的數(shù)據(jù)資源等。基于各種數(shù)據(jù)資源的數(shù)據(jù)融合和信息共享是支撐城市更加“智慧”的關(guān)鍵因素，而面向服務(wù)架構(gòu)（Service-Oriented Architecture，SOA）技術(shù)是保障數(shù)據(jù)融合和信息共享的技術(shù)支撐[5]。

從數(shù)據(jù)分析層面看，大數(shù)據(jù)服務(wù)支撐技術(shù)包括：

（1）數(shù)據(jù)收集技術(shù)。智慧城市大數(shù)據(jù)服務(wù)支撐架構(gòu)可通過(guò)數(shù)據(jù)請(qǐng)求、數(shù)據(jù)遷移、軟件調(diào)用、中間件技術(shù)等方式從城市基礎(chǔ)庫(kù)或行業(yè)專用數(shù)據(jù)庫(kù)中獲取數(shù)據(jù)。由于各數(shù)據(jù)庫(kù)中數(shù)據(jù)的多源異構(gòu)特性，采集過(guò)程一般通過(guò)開放數(shù)據(jù)庫(kù)接口來(lái)實(shí)現(xiàn)，比如RestAPI和Web Service等。

（2）數(shù)據(jù)存儲(chǔ)。城市要實(shí)現(xiàn)“智慧”化，首先就需要對(duì)分布的、海量數(shù)據(jù)進(jìn)行高效存儲(chǔ)，以實(shí)現(xiàn)低成本、低功耗、高可靠性和云計(jì)算技術(shù)的數(shù)據(jù)分布，并能按照一定的分類規(guī)則對(duì)數(shù)據(jù)進(jìn)行過(guò)濾、去重和清洗操作，同時(shí)還需要給數(shù)據(jù)添加標(biāo)簽，以方便檢索。城市大數(shù)據(jù)的高效存儲(chǔ)是城市能夠變得智慧的基本要求。

（3）數(shù)據(jù)處理。城市大數(shù)據(jù)涉及參數(shù)龐大，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身的結(jié)構(gòu)、種類和內(nèi)容上，更體現(xiàn)在數(shù)據(jù)具有多源異構(gòu)、多實(shí)體、多空間之間的交互的動(dòng)態(tài)性。這些數(shù)據(jù)特征難以采用傳統(tǒng)的數(shù)據(jù)處理方法進(jìn)行描述和度量，必須采用新的數(shù)據(jù)處理方法，如Sqoop、Datanucleus等。對(duì)一些高維數(shù)據(jù)，如圖像多媒體數(shù)據(jù)，還需要作降維處理，并利用上下文關(guān)系等模糊化手段進(jìn)行語(yǔ)義分析，才能從動(dòng)態(tài)的、且價(jià)值密度相對(duì)較低的信息中獲取可理解的內(nèi)容。

（4）結(jié)果的可視化。結(jié)果只有采用直觀、形象的方式進(jìn)行呈現(xiàn)，才能方便的為城市管理者、各行業(yè)、城市參于者提供有效的服務(wù)?？刹捎梦募?、標(biāo)簽云、柱狀圖、儀表板、歷史流、GIS地圖等方式為城市管理者、企業(yè)、市民提供服務(wù)，并為Web門戶、移動(dòng)客戶端、信息發(fā)布屏等提供方便連接和共享的數(shù)據(jù)接口。endprint

SOA是為了解決在Internet環(huán)境下業(yè)務(wù)集成的需要而開發(fā)的軟件系統(tǒng)。傳統(tǒng)的Web（HTTP/HTML）技術(shù)解決了人與系統(tǒng)之間的信息交互，促進(jìn)了B2C模式的發(fā)展。Web（XML/WSDL/SOAP）服務(wù)技術(shù)則是解決了系統(tǒng)與系統(tǒng)之間的信息交流與共享，從而促進(jìn)了B2B/CB2B/EAI的進(jìn)步。而SOA技術(shù)則是以面向服務(wù)的商業(yè)建模方式，并結(jié)合Web服務(wù)實(shí)現(xiàn)了系統(tǒng)之間的松耦合，實(shí)現(xiàn)了系統(tǒng)和系統(tǒng)之間資源和服務(wù)的整合與協(xié)同，其本質(zhì)就在于使獨(dú)立的信息系統(tǒng)個(gè)體能夠在統(tǒng)一的指令下一起協(xié)同工作。

對(duì)于應(yīng)用越來(lái)越廣泛的分布式計(jì)算框架來(lái)說(shuō)，SOA就是一場(chǎng)技術(shù)革命。系統(tǒng)集成人員或者應(yīng)用開發(fā)者不需要關(guān)注服務(wù)的具體實(shí)現(xiàn)過(guò)程，就能通過(guò)組合一個(gè)或多個(gè)服務(wù)來(lái)構(gòu)建應(yīng)用。比如說(shuō)，一個(gè)采用NET或J2EE來(lái)實(shí)現(xiàn)的服務(wù)，被服務(wù)者的應(yīng)用程序可以在不同的平臺(tái)上運(yùn)行，且應(yīng)用程序可以采用不同的語(yǔ)言來(lái)進(jìn)行實(shí)現(xiàn)。

3 結(jié)語(yǔ)

網(wǎng)絡(luò)通信技術(shù)和傳感器技術(shù)的發(fā)展無(wú)疑使城市大數(shù)據(jù)時(shí)代來(lái)到人們面前。當(dāng)人們的日常生活不得不受到大數(shù)據(jù)的影響時(shí)，所生活的城市也必將在大數(shù)據(jù)的支撐下走向“智慧化”。智慧城市促進(jìn)了大數(shù)據(jù)的產(chǎn)生，而大數(shù)據(jù)反過(guò)來(lái)又促進(jìn)了智慧城市的發(fā)展。智慧城市與大數(shù)據(jù)技術(shù)只有完美結(jié)合，才會(huì)創(chuàng)造出璀璨的明天。

參考文獻(xiàn)：

[1]李德仁，姚遠(yuǎn)，邵振峰.智慧城市中的大數(shù)據(jù)[J].武漢大學(xué)學(xué)報(bào)，2014（06）：3-4.

[2]LANEY D.3D Data Management：Controlling Data volume，Velocity，and Variety[J].Application Delivery strategies，2001（06）：70-72.

[3]何延潤(rùn).以數(shù)據(jù)為中心的智慧城市信息體系架構(gòu)研究[J].移動(dòng)通信，2013（Z1）：13-17.

[4]CHOURABI H，HAM T，WALKER S，et al.Understanding smart cities：an integrative framework[A].2012 45th Hawaii InternationalConference on System Science[C].2012：2289-2297.

[5]王晗.國(guó)內(nèi)外智慧城市建設(shè)關(guān)鍵要素及其耦合研究[J].河南科學(xué)，2013，31（10）：1764-1765.endprint