王 超
(上海電科智能系統(tǒng)股份有限公司)
面向智慧城市的公共數(shù)據(jù)平臺(tái)構(gòu)架探索
王超
(上海電科智能系統(tǒng)股份有限公司)
近年來(lái),智慧城市愈加受到了各方關(guān)注。政府、企業(yè)及研究機(jī)構(gòu)從各個(gè)角度進(jìn)行探索實(shí)踐,論文從公共數(shù)據(jù)平臺(tái)的角度進(jìn)行分析,首先對(duì)智慧城市背景及近況進(jìn)行簡(jiǎn)述,其次梳理了傳統(tǒng)數(shù)據(jù)中心的發(fā)展脈絡(luò),解析了公共數(shù)據(jù)平臺(tái)的關(guān)鍵技術(shù),最后提出了面向智慧城市的公共數(shù)據(jù)平臺(tái)的建設(shè)路徑和邏輯框架。希望能對(duì)業(yè)界同行提供一定借鑒。
智慧城市;數(shù)據(jù)平臺(tái);信息系統(tǒng);構(gòu)架探索
一般認(rèn)為,“智慧城市”由IBM公司“智慧地球”延伸而來(lái)[1~2]。國(guó)內(nèi)自2012年前后起開(kāi)始自主建設(shè)智慧城市,迄今為止仍處于探索中。
公共數(shù)據(jù)平臺(tái)能把抽象的智慧城市具體化,是智慧政務(wù)、智能交通、智慧醫(yī)療等的樞紐所在,是除了行業(yè)建設(shè)之外又一個(gè)潛在的引擎。為此,研究面向智慧城市的公共數(shù)據(jù)平臺(tái)很有必要。
2.1歷史背景
國(guó)內(nèi)自20世紀(jì)90年代初起,啟動(dòng)了以“金字工程”為代表的大規(guī)模信息化建設(shè)[3]。其主要節(jié)點(diǎn)概要如圖1所示。
梳理信息化脈絡(luò),可以劃分1993—1997年為第一階段。以信息化聯(lián)席會(huì)議和金字工程啟動(dòng)為標(biāo)志,信息化正式起步。第二階段1998—2000年,首次信息化會(huì)議召開(kāi)及建設(shè)思路確定,從應(yīng)急式建設(shè)轉(zhuǎn)入有組織有計(jì)劃建設(shè),期間信息產(chǎn)業(yè)部成立。第三階段2001—2007年,“兩網(wǎng)一站四庫(kù)十二金”大規(guī)模建設(shè),期間制訂了第一個(gè)信息規(guī)劃和中長(zhǎng)期信息化戰(zhàn)略。第四階段2008至今,金字工程逐漸結(jié)尾,工信部成立,提出兩化融合戰(zhàn)略,同時(shí)“智慧城市”、“互聯(lián)網(wǎng)+”等新理念出現(xiàn)。
在智慧城市方面,地方政府陸續(xù)發(fā)布了建設(shè)規(guī)劃,住建部等也單獨(dú)出臺(tái)了建設(shè)意見(jiàn)[4,5]。2014年8月,發(fā)改委聯(lián)合多部委發(fā)布《關(guān)于促進(jìn)智慧城市健康發(fā)展的指導(dǎo)意見(jiàn)》。截止目前,金字工程與智慧工程的銜接問(wèn)題在政策面初步取得突破,信息化1.0向2.0的跨越有了政策和理念的初步支撐。
圖1 國(guó)內(nèi)信息化建設(shè)里程碑
2.2國(guó)外思路
新加坡提出了建設(shè)“智慧國(guó)”,并選在裕廊地區(qū)示范。紐約提出建設(shè)城市數(shù)據(jù)中心,開(kāi)始數(shù)據(jù)開(kāi)放、市長(zhǎng)儀表盤、市長(zhǎng)智能辦公桌等探索。歐洲,如西班牙桑坦德、瑞典斯德哥爾摩、德國(guó)等地建設(shè)思路特別,即比較注重市民感受[6,7]。
3.1數(shù)據(jù)中心的代際特點(diǎn)
經(jīng)過(guò)40多年的發(fā)展,數(shù)據(jù)中心的形態(tài)和內(nèi)涵也在不斷的演進(jìn),如表1所示。
3.2數(shù)據(jù)中心的等級(jí)劃分
數(shù)據(jù)中心等級(jí)存在明確的標(biāo)準(zhǔn),包括工信部的標(biāo)準(zhǔn)、住建部的標(biāo)準(zhǔn)。
工信部標(biāo)準(zhǔn)側(cè)重機(jī)架規(guī)模,分為超大型、大型、中小型,其中超大型是指標(biāo)準(zhǔn)機(jī)架數(shù)量大于等于10 000個(gè)。住建部標(biāo)準(zhǔn)則側(cè)重公共影響,分為ABC 3個(gè)等級(jí),其中A級(jí)指系統(tǒng)運(yùn)行中斷會(huì)造成重大的經(jīng)濟(jì)損失或造成公共場(chǎng)所秩序嚴(yán)重混亂。
3.3數(shù)據(jù)中心業(yè)務(wù)構(gòu)成
數(shù)據(jù)中心建設(shè),可抽象成基礎(chǔ)設(shè)施、系統(tǒng)集成和業(yè)務(wù)應(yīng)用3層,如表2所示。
表2 數(shù)據(jù)中心建設(shè)層次
1)基礎(chǔ)設(shè)施層中,電氣系統(tǒng)是重點(diǎn)之一。電氣系統(tǒng)包括配電系統(tǒng)、照明系統(tǒng)、接地系統(tǒng)、防雷系統(tǒng)等。
2)系統(tǒng)集成層中,網(wǎng)絡(luò)通信及安全、服務(wù)器及存儲(chǔ)為關(guān)鍵項(xiàng)之一。網(wǎng)絡(luò)通信及安全包括綜合布線、語(yǔ)音通信、圖像通信、網(wǎng)絡(luò)安全等。服務(wù)器建設(shè)分為基礎(chǔ)服務(wù)系統(tǒng)服務(wù)器和應(yīng)用服務(wù)系統(tǒng)服務(wù)器。前者有DNS服務(wù)器、網(wǎng)絡(luò)管理服務(wù)器、防火墻服務(wù)器、安全服務(wù)器、系統(tǒng)性能監(jiān)控服務(wù)器等;后者包括數(shù)據(jù)庫(kù)服務(wù)器和業(yè)務(wù)應(yīng)用服務(wù)器等。數(shù)據(jù)存儲(chǔ)包括磁盤、光盤和磁帶等,對(duì)應(yīng)磁盤陣列、光盤庫(kù)和磁帶庫(kù)。
3)業(yè)務(wù)應(yīng)用層則變化不一,從邏輯上包括數(shù)據(jù)采集、存儲(chǔ)、處理、應(yīng)用等。
圖2 數(shù)據(jù)中心結(jié)構(gòu)變化示意
3.4數(shù)據(jù)中心的趨勢(shì)
當(dāng)前,數(shù)據(jù)中心發(fā)生著顯著變化,即向?yàn)镮AAS、PAAS、SAAS方向發(fā)展。變化的背后動(dòng)因包括資源的共用、數(shù)據(jù)的激增和應(yīng)用的牽引等。此趨勢(shì)下,原獨(dú)立建設(shè)運(yùn)營(yíng)的數(shù)據(jù)中心各業(yè)務(wù)層向公共數(shù)據(jù)平臺(tái)的IAAS、PAAS及SAAS演變,如圖2所示。
建設(shè)智慧城市公共數(shù)據(jù)平臺(tái),涉及技術(shù)廣泛,包括云計(jì)算、大數(shù)據(jù)、新型網(wǎng)絡(luò)結(jié)構(gòu)等。
4.1云計(jì)算
云計(jì)算的源頭來(lái)自亞馬遜和谷歌公司。2006年亞馬遜公司為應(yīng)對(duì)后臺(tái)系統(tǒng)峰值壓力,配置了大量硬件設(shè)施。峰值過(guò)后這些設(shè)施變成了富余資源,因此,亞馬遜決定向社會(huì)出售以IT基礎(chǔ)設(shè)施為載體的信息存儲(chǔ)、計(jì)算資源。同年,谷歌正式提出“云計(jì)算”概念。
美國(guó)國(guó)家技術(shù)與標(biāo)準(zhǔn)局提出的云計(jì)算架構(gòu)如圖3所示[8]。其公有云、私有云及混合云的部署模式,基礎(chǔ)設(shè)施、平臺(tái)及軟件云服務(wù)模式,按需服務(wù)、彈性、資源池及虛擬化等理念已在行業(yè)內(nèi)廣為流行。
1)基礎(chǔ)設(shè)施即服務(wù)。通過(guò)虛擬化技術(shù)把服務(wù)器、網(wǎng)絡(luò)、防火墻、負(fù)載均衡設(shè)備等硬件資源進(jìn)行虛擬,構(gòu)筑在遠(yuǎn)端的“云”中,供用戶遠(yuǎn)程調(diào)用。如此,把信息的存儲(chǔ)、計(jì)算及管理等當(dāng)作資源進(jìn)行出售。此時(shí),用戶省去了建設(shè)運(yùn)營(yíng)管理任務(wù),而是改建為租。
虛擬化技術(shù)起源于對(duì)大型機(jī)的硬件分區(qū),它將CPU、內(nèi)存、硬盤等物理資源進(jìn)行邏輯抽象和統(tǒng)一表示,使用戶可以根據(jù)需要靈活地遠(yuǎn)程部署管理等。包括服務(wù)器虛擬化、存儲(chǔ)虛擬化、應(yīng)用虛擬化、平臺(tái)虛擬化、桌面虛擬化等。
2)平臺(tái)即服務(wù)。在屏蔽硬件資源的基礎(chǔ)上,對(duì)用戶提供運(yùn)行環(huán)境、數(shù)據(jù)庫(kù)、消息、虛擬操作系統(tǒng)等,以形成軟件集成環(huán)境。如此,解脫了開(kāi)發(fā)者的繁瑣負(fù)擔(dān),也方便了用戶使用。目前,Google App Engine、Windows Azure是其典型代表。
3)軟件即服務(wù)。這種應(yīng)用模式中用戶可以通過(guò)各種終端對(duì)各類應(yīng)用開(kāi)展使用、運(yùn)營(yíng)業(yè)務(wù),而無(wú)需關(guān)注軟硬件資源。多租戶和可配置是軟件云服務(wù)模式最大特點(diǎn)。強(qiáng)差異性的多租戶改變了傳統(tǒng)軟件架構(gòu)的單一性和開(kāi)發(fā)流程。
概念上分為3層,現(xiàn)實(shí)中IAAS、PAAS和SAAS往往融于一體。實(shí)際工程中進(jìn)行云化改造或全新建設(shè)時(shí),需要根據(jù)基礎(chǔ)設(shè)施、平臺(tái)及軟件的市場(chǎng)成熟程度從底層逐層分步推進(jìn)。
圖3 美國(guó)國(guó)家技術(shù)與標(biāo)準(zhǔn)局提出的云計(jì)算架構(gòu)
4.2大數(shù)據(jù)
智慧城市將面臨海量異構(gòu)數(shù)據(jù)的挑戰(zhàn)。在解決海量異構(gòu)數(shù)據(jù)的“大數(shù)據(jù)”技術(shù)體系中,Hadoop最有代表性。Hadoop是一種針對(duì)密集數(shù)據(jù)的分布式處理平臺(tái)[9~10]?;A(chǔ)是分布式文件系統(tǒng)HDFS和分布式處理系統(tǒng)MapReduce。而MapReduce是一種并行計(jì)算模式,適合處理各種類型的數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。分Map、Reduce兩階段,Map分解任務(wù)并行計(jì)算,以key和value形式提取數(shù)據(jù)特征,Reduce階段進(jìn)行結(jié)果歸并。
大數(shù)據(jù)還處在快速發(fā)展中,目前并不成熟。大數(shù)據(jù)的各個(gè)技術(shù)模塊都有各自擅長(zhǎng)解決的問(wèn)題,但構(gòu)建一個(gè)大數(shù)據(jù)解決框架,HDFS、MapReduce、Hbase等是基礎(chǔ)模塊,如圖4所示。
圖4 大數(shù)據(jù)解決框架
4.3網(wǎng)絡(luò)結(jié)構(gòu)
目前,數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)主要由接入層、匯聚層和核心層構(gòu)成,整體上呈樹(shù)狀結(jié)構(gòu),此種結(jié)構(gòu)將不適用于面臨海量數(shù)據(jù)、采用云計(jì)算方式的公共數(shù)據(jù)平臺(tái)。
公共數(shù)據(jù)平臺(tái)網(wǎng)絡(luò)拓?fù)浞桨敢驊?yīng)中心數(shù)據(jù)流量的變化,主要包括兩類:以交換機(jī)為核心的拓?fù)浞桨负鸵苑?wù)器為核心的拓?fù)浞桨福?1,12]。
5.1建設(shè)的路徑
猶如信息化1.0中各金字工程,從建網(wǎng)絡(luò)、搭平臺(tái)開(kāi)始,信息化2.0的智慧工程也理應(yīng)從基礎(chǔ)平臺(tái)做起,包括泛在網(wǎng)絡(luò)、公共數(shù)據(jù)平臺(tái)等。
數(shù)據(jù)平臺(tái)雖是公用的,但不應(yīng)大而化之,一城一座。目前,存在兩個(gè)方向:一是按照政府思路,區(qū)縣—地區(qū)—省級(jí),此中涉及的多為政務(wù)及公用事業(yè)類數(shù)據(jù)信息;二是市場(chǎng)思路,由行業(yè)公司或商業(yè)機(jī)構(gòu)推動(dòng)構(gòu)建區(qū)域數(shù)據(jù)中心,此中個(gè)人及商業(yè)數(shù)據(jù)信息居多。具體而言,前者如圖5所示。
5.1.1按政府思路構(gòu)建數(shù)據(jù)平臺(tái)的特點(diǎn)
1) 目前試點(diǎn)主要是在區(qū)縣一級(jí)。此一級(jí)構(gòu)建的是公共云數(shù)據(jù)實(shí)體,各行業(yè)雖有多年信息系統(tǒng)建設(shè)積累,但屬于尾端。在此一級(jí)建設(shè)實(shí)體具備條件。
2) 省一級(jí)暫時(shí)沒(méi)進(jìn)入公共數(shù)據(jù)平臺(tái)的實(shí)質(zhì)階段。在此層級(jí),存在眾多行業(yè)數(shù)據(jù)中心,選擇虛擬公共數(shù)據(jù)平臺(tái),而非實(shí)體可能性更大。但城市類型規(guī)模眾多,也不能一概而論。
3) 在政府思路中,目前信息化建設(shè)主要在行業(yè)“條”中,而非地方“塊”中,因此各行業(yè)實(shí)體,包括交通、醫(yī)療、教育、電力、市政等都匯聚在各行業(yè)專網(wǎng)中,從最底層至部委最高層。
5.1.2按市場(chǎng)思路構(gòu)建數(shù)據(jù)平臺(tái)的特點(diǎn)
面向市場(chǎng)的公共數(shù)據(jù)平臺(tái)構(gòu)建由行業(yè)公司或商業(yè)機(jī)構(gòu)推動(dòng),如圖6所示意。
此種大型區(qū)域公共數(shù)據(jù)平臺(tái)由包括銀行、零售、通信、互聯(lián)網(wǎng)等機(jī)構(gòu)建設(shè)。在每個(gè)區(qū)域數(shù)據(jù)中心周圍聚集了眾多用戶或終端。相對(duì)而言,由于市場(chǎng)具有靈活性,此類云化的數(shù)據(jù)平臺(tái)步伐更快。
在“智慧城市”的涵義下,側(cè)重于第一種路線,畢竟目前的主體空間在此??梢灶A(yù)期后續(xù)建設(shè)路徑大體如圖7所示。但這是理想的情況,實(shí)際應(yīng)是非線性的,各個(gè)階段齊頭并進(jìn)又參差不齊。
圖5 公共數(shù)據(jù)平臺(tái)建設(shè)路徑之一
圖6 公共數(shù)據(jù)平臺(tái)建設(shè)路徑之二
5.2公共數(shù)據(jù)平臺(tái)的框架
初步構(gòu)建的面向智慧城市的公共數(shù)據(jù)平臺(tái)邏輯框架,如圖8所示。
底層基礎(chǔ)架構(gòu)由新型網(wǎng)絡(luò)提供網(wǎng)絡(luò)通信支撐,設(shè)施設(shè)備部分涵蓋部分或全部硬件資源,重點(diǎn)進(jìn)行虛擬化和并行集群建設(shè)。虛擬化實(shí)現(xiàn)基礎(chǔ)資源的云化,并行集群是大數(shù)據(jù)應(yīng)用的基礎(chǔ)。應(yīng)用平臺(tái)層提供開(kāi)發(fā)和應(yīng)用的環(huán)境。SAAS對(duì)應(yīng)的應(yīng)用層“智慧中樞”暫時(shí)留白,因?yàn)轫攲拥臉?gòu)思規(guī)劃牽動(dòng)著商業(yè)模式,也與具體的機(jī)構(gòu)業(yè)務(wù)和數(shù)據(jù)緊密聯(lián)系。
智慧城市建設(shè)目前正處在探索期,公共數(shù)據(jù)平臺(tái)是其潛在的引擎。面向智慧城市的公共數(shù)據(jù)平臺(tái)以現(xiàn)有行業(yè)數(shù)據(jù)中心為基礎(chǔ)構(gòu)建虛擬共用數(shù)據(jù)平臺(tái)可行性更高。公共數(shù)據(jù)平臺(tái)由面向終端用戶的智慧中樞層、應(yīng)用平臺(tái)層及基礎(chǔ)架構(gòu)層共同組成,其中基礎(chǔ)架構(gòu)中資源虛擬化和大數(shù)據(jù)處理是核心。
圖7 智慧城市公共數(shù)據(jù)平臺(tái)建設(shè)路線
圖8 面向智慧城市的公共數(shù)據(jù)平臺(tái)邏輯框架
[1]工業(yè)與信息化部軟件與集成電路促進(jìn)中心.IBM“智慧地球”的解讀與分析[R], 2009.
[2]岳梅櫻. 智慧城市實(shí)踐分享系列談[M].北京:電子工業(yè)出版社,2012.
[3]鄭永年. 技術(shù)賦權(quán):中國(guó)的互聯(lián)網(wǎng)、國(guó)家與社會(huì)[M].臺(tái)北:東方出版社,2014.
[4]上海市推進(jìn)智慧城市建設(shè)2011-2013年行動(dòng)計(jì)劃[OL], 上海政府信息網(wǎng),2011.
[5]國(guó)家智慧城市(區(qū)、鎮(zhèn))試點(diǎn)指標(biāo)體系[OL],中國(guó)智慧城市網(wǎng),2014.
[6]莊慶維.新加坡“智慧國(guó)2015”進(jìn)行時(shí)[J],上海信息化,2013.
[7]智慧城市解決方案及全球案例分享[EB].甲骨文公司,2012.
[8] 羅軍舟,金嘉暉,宋愛(ài)波,東方. 云計(jì)算:體系架構(gòu)與關(guān)鍵技術(shù)[J],通信學(xué)報(bào),2011,32(7).
[9]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J],計(jì)算機(jī)研究與發(fā)展,2013,50(1):146-169.
[10]王珊,王會(huì)舉,覃雄派,周煊.架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J],計(jì)算機(jī)學(xué)報(bào),2011,34(10):1741-1752.
[11]Parthasarathy Ranganathan, JiChuan Chang. Designing Data-Centric Data Centers[J],IEEE Computer Society,2012.
[12]鄧罡,龔正虎,王宏.現(xiàn)代數(shù)據(jù)中心網(wǎng)絡(luò)特征研究[J],計(jì)算機(jī)研究與發(fā)展,2014,51(2):395-407.
Exploration of Public Data Platform Architecture for Smart City
WANG Chao
(Shanghai SEARI Intelligent System Co.,Ltd)
smart city; data platform; information system; architecture exploration
【 Abstract】 In recent years, more and more attention were paid for smart city in all involved. Much exploration and practice were carried out by governments, enterprises and research departments from various angles. The paper analyzes smart city from public data platform,at first describes the background and the latest development shortly, then arranges the development process of traditional data center and analyses the key technologies, at last put forward the construction path and logic frame of public data platform for smart city. It maybe provides some reference for industry peers.