智慧城市基礎(chǔ)數(shù)據(jù)支撐系統(tǒng)設(shè)計(jì)

谷國棟 陳偉

摘要： 智慧城市通過物聯(lián)網(wǎng)、大數(shù)據(jù)計(jì)算等技術(shù)實(shí)現(xiàn)對居民生活、企業(yè)發(fā)展、行政管理等過程的智慧感知、分析與指導(dǎo)，為企業(yè)、居民、政府構(gòu)造了一個(gè)和諧美好的商業(yè)發(fā)展、工作生活、運(yùn)營管理環(huán)境。而作為城市數(shù)據(jù)處理的核心，基礎(chǔ)數(shù)據(jù)支撐系統(tǒng)承擔(dān)整個(gè)智慧城市基礎(chǔ)數(shù)據(jù)的篩選、清洗以及校驗(yàn)等服務(wù)，是城市公共信息服務(wù)平臺能夠發(fā)揮其服務(wù)作用的基礎(chǔ)。

【關(guān)鍵詞】智慧城市 大數(shù)據(jù)計(jì)算 數(shù)據(jù)處理支撐系統(tǒng)

1 智慧城市介紹

1.1 概念與內(nèi)涵

智慧城市是以信息技術(shù)、大數(shù)據(jù)計(jì)算、軟件集成等高新技術(shù)為基礎(chǔ)，以智能感應(yīng)為主要特征，完成對城市發(fā)展道路上的各種感知、分析及整合服務(wù)。實(shí)現(xiàn)對民生、環(huán)保、公共安全、城市服務(wù)、道路交通、工商業(yè)活動在內(nèi)的多種智能化需求響應(yīng)服務(wù)，為人類創(chuàng)造更加美好的生活做貢獻(xiàn)。

1.2 建設(shè)目標(biāo)

智慧城市以“科學(xué)智慧型政務(wù)服務(wù)”為理念，構(gòu)建信息泛在基礎(chǔ)上的新型城市發(fā)展模式，在提高環(huán)境承載力、驅(qū)動經(jīng)濟(jì)有效發(fā)展以及城市生活感知方面具有重大優(yōu)勢。通過梳理整合各政務(wù)部門的信息資源，完成智慧城市基礎(chǔ)數(shù)據(jù)庫的建立，實(shí)現(xiàn)政務(wù)數(shù)據(jù)的集中；通過建設(shè)目錄和共享交換體系，完成政務(wù)信息的采集和處理，實(shí)現(xiàn)政務(wù)系統(tǒng)基礎(chǔ)信息資源共享服務(wù)的建設(shè)；通過建立智能、便捷、直觀的信息資源服務(wù)應(yīng)用，實(shí)現(xiàn)相關(guān)業(yè)務(wù)的處理及輔助決策等功能。

2 系統(tǒng)整體規(guī)劃架構(gòu)分析

智慧城市系統(tǒng)的建設(shè)以城市基礎(chǔ)數(shù)據(jù)庫和公共信息服務(wù)平臺作為數(shù)據(jù)核心和基礎(chǔ)服務(wù)支撐，整體架構(gòu)規(guī)劃自下而上分別為基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、應(yīng)用支撐層、應(yīng)用層、終端用戶層。

基礎(chǔ)設(shè)施層主要包括網(wǎng)絡(luò)、存儲設(shè)備、服務(wù)器群組、數(shù)據(jù)庫系統(tǒng)、以及安全保護(hù)體系，是構(gòu)成平臺安全平穩(wěn)運(yùn)行的基礎(chǔ)保障。數(shù)據(jù)資源層主要為各應(yīng)用、服務(wù)系統(tǒng)提供需要交換和共享的數(shù)據(jù)資源，包括交換庫、目錄庫、共享庫、基礎(chǔ)庫等數(shù)據(jù)庫中存儲的數(shù)據(jù)。應(yīng)用支撐層由應(yīng)用程序技術(shù)框架組成，包括數(shù)據(jù)總線、服務(wù)總線、消息中間件、數(shù)據(jù)支撐等相關(guān)組件，可支持智慧城市系統(tǒng)的SOA體系架構(gòu)設(shè)計(jì)，是數(shù)據(jù)開發(fā)、共享、應(yīng)用的基礎(chǔ)，還可通過擴(kuò)展接口對接各類智慧型城市應(yīng)用服務(wù)。應(yīng)用層主要由政府?dāng)?shù)據(jù)門戶和數(shù)據(jù)開發(fā)門戶組成，前者負(fù)責(zé)相關(guān)政務(wù)決策分析服務(wù)，后者負(fù)責(zé)政務(wù)數(shù)據(jù)的查詢和展示。終端用戶層主要由政務(wù)網(wǎng)平臺、互聯(lián)網(wǎng)平臺以及移動APP平臺組成，服務(wù)對象主要為各政務(wù)部門工作人員及領(lǐng)導(dǎo)、相關(guān)企業(yè)和市民用戶。

3 基礎(chǔ)數(shù)據(jù)支撐系統(tǒng)設(shè)計(jì)分析

數(shù)據(jù)支撐系統(tǒng)作為應(yīng)用支撐層的子功能模塊，由數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)共享交換以及數(shù)據(jù)資源目錄四個(gè)子系統(tǒng)組成。

3.1 數(shù)據(jù)采集系統(tǒng)

數(shù)據(jù)采集系統(tǒng)可改變信息多重采集、采集過程繁瑣的情況，實(shí)現(xiàn)城市常住人口、民政治安、企業(yè)法人、區(qū)域經(jīng)濟(jì)等多方面綜合數(shù)據(jù)的采集服務(wù)。數(shù)據(jù)資源經(jīng)過采集匯聚到數(shù)據(jù)交換平臺，經(jīng)過基本的抽取、校驗(yàn)、清洗、格式轉(zhuǎn)換等處理流程后，打包封裝傳輸?shù)浇粨Q網(wǎng)絡(luò)中供公共信息服務(wù)平臺做更深層次的數(shù)據(jù)處理。

數(shù)據(jù)抽取模塊主要通過全量和增量兩種業(yè)務(wù)抽取方式從每一個(gè)資源數(shù)據(jù)庫中抽取數(shù)據(jù)，數(shù)據(jù)種類包括業(yè)務(wù)數(shù)據(jù)和文件數(shù)據(jù)，可根據(jù)業(yè)務(wù)部門的具體業(yè)務(wù)類型制定相應(yīng)的抽取時(shí)間、抽取頻率等定制參數(shù)。

數(shù)據(jù)校驗(yàn)?zāi)K從數(shù)據(jù)對象粒度和維度出發(fā)，通過文件級和記錄級兩類校驗(yàn)?zāi)Ｊ?，?shí)現(xiàn)數(shù)據(jù)類型、長度、精度、范圍、格式等完整性內(nèi)容的檢查，只有通過檢驗(yàn)的數(shù)據(jù)才能流入下一個(gè)清洗過濾環(huán)節(jié)。對于錯誤數(shù)據(jù)，利用統(tǒng)計(jì)輸出工具形成過濾數(shù)據(jù)文檔提供給前端數(shù)據(jù)采集工作者，以此減少數(shù)據(jù)錯誤率，保障數(shù)據(jù)的采集質(zhì)量。

數(shù)據(jù)清洗模塊利用分布式處理系統(tǒng)，實(shí)現(xiàn)批量數(shù)據(jù)的實(shí)時(shí)清洗、過濾、類型轉(zhuǎn)換、映射編碼、文件拆分與合并、維度轉(zhuǎn)換等任務(wù)。清洗的主要任務(wù)是數(shù)據(jù)類型不一致的轉(zhuǎn)換、數(shù)據(jù)粒度轉(zhuǎn)換以及相關(guān)轉(zhuǎn)換規(guī)則的計(jì)算。不一致轉(zhuǎn)換將不同業(yè)務(wù)系統(tǒng)的相同數(shù)據(jù)統(tǒng)一處理整合，數(shù)據(jù)粒度轉(zhuǎn)換實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一歸整，轉(zhuǎn)換規(guī)則的計(jì)算則按照設(shè)計(jì)好的對應(yīng)計(jì)算標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行重新計(jì)算分類。

數(shù)據(jù)轉(zhuǎn)換模塊按照合并、拆分、排序等方式將清洗后的新數(shù)據(jù)通過多種映射關(guān)系存儲在對應(yīng)數(shù)據(jù)庫中，該步驟可看做是數(shù)據(jù)整合與數(shù)據(jù)清洗過程的結(jié)合。數(shù)據(jù)壓縮模塊可對數(shù)據(jù)進(jìn)行壓縮處理，從而提高大文件數(shù)據(jù)在采集、傳輸過程中的安全性和運(yùn)輸效率。數(shù)據(jù)加密模塊在遠(yuǎn)程傳輸?shù)膱鼍爸锌蛇M(jìn)一步提高數(shù)據(jù)傳輸?shù)陌踩浴?/p>

3.2 數(shù)據(jù)處理系統(tǒng)

數(shù)據(jù)處理系統(tǒng)將各政務(wù)系統(tǒng)、其他相關(guān)渠道采集處理后，傳輸?shù)焦残畔⒎?wù)平臺的數(shù)據(jù)按照設(shè)定的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行二次處理。數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范由相應(yīng)的業(yè)務(wù)人員和技術(shù)人員根據(jù)數(shù)據(jù)特征共同制定，由開發(fā)人員通過計(jì)算機(jī)語言轉(zhuǎn)化為對應(yīng)的比對校驗(yàn)功能模塊，并通過數(shù)據(jù)倉庫技術(shù)（ETL）完成數(shù)據(jù)的抽取任務(wù)，最終將符合校驗(yàn)規(guī)則的標(biāo)準(zhǔn)數(shù)據(jù)存儲于公共信息服務(wù)平臺基礎(chǔ)數(shù)據(jù)庫中供其他業(yè)務(wù)系統(tǒng)調(diào)用。

數(shù)據(jù)比對校驗(yàn)?zāi)K能夠?qū)碜躁P(guān)系型、非關(guān)系型數(shù)據(jù)庫以及運(yùn)維業(yè)務(wù)平臺中的分散、異構(gòu)數(shù)據(jù)抽取到臨時(shí)數(shù)據(jù)處理層，在這里完成數(shù)據(jù)入庫存儲前的數(shù)據(jù)類型校驗(yàn)以及海量數(shù)據(jù)的高性能解析服務(wù)。

數(shù)據(jù)映射模塊將數(shù)據(jù)存儲層和內(nèi)存表現(xiàn)層之間的雙向數(shù)據(jù)形成一對多，多對一，以及多對多的映射訪問關(guān)系。數(shù)據(jù)拆分模塊將邏輯上統(tǒng)一的整體分割成可獨(dú)立管理的物理存儲單元，便于實(shí)現(xiàn)對其部分?jǐn)?shù)據(jù)的重構(gòu)、重組和恢復(fù)服務(wù)。

3.3 數(shù)據(jù)共享交換系統(tǒng)

數(shù)據(jù)共享交換系統(tǒng)是整體數(shù)據(jù)交換體系的核心，可完成各政務(wù)系統(tǒng)的信息交換和共享服務(wù)，主要由交換橋接、前置交換、交換服務(wù)總線、交換傳輸、交換管理五個(gè)模塊組成。

交換橋接模塊用于實(shí)現(xiàn)各政務(wù)部門業(yè)務(wù)信息庫與交換信息庫之間的信息同步、各操作系統(tǒng)和數(shù)據(jù)庫的支持、結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)的支撐以及相關(guān)數(shù)據(jù)自動識別。同時(shí)可提供圖形化的配置管理工具，并支持多個(gè)橋接任務(wù)的同時(shí)運(yùn)行和遠(yuǎn)程部署。前置交換模塊通過前置服務(wù)器、信息庫和適配器等網(wǎng)絡(luò)交換設(shè)備可實(shí)現(xiàn)子系統(tǒng)與各業(yè)務(wù)應(yīng)用之間的隔離，保障部門業(yè)務(wù)信息庫和各業(yè)務(wù)應(yīng)用系統(tǒng)之間的獨(dú)立性。

交換服務(wù)總線作為數(shù)據(jù)共享交換系統(tǒng)的“中樞神經(jīng)”，為各應(yīng)用系統(tǒng)提供統(tǒng)一的入口管理服務(wù)。數(shù)據(jù)交換傳輸模塊通過設(shè)計(jì)好的交換流程，構(gòu)建各前置交換系統(tǒng)間穩(wěn)定可靠的信息交換通道，可將轉(zhuǎn)換、打包、路由、解包處理后的信息數(shù)據(jù)，連續(xù)穩(wěn)定的傳遞于各部門前置交換信息庫之間。數(shù)據(jù)管理模塊實(shí)現(xiàn)整個(gè)信息交換過程中的流程配置與部署執(zhí)行，并可對整體交換系統(tǒng)的運(yùn)行狀況進(jìn)行監(jiān)控與管理。

3.4 數(shù)據(jù)資源目錄系統(tǒng)

數(shù)據(jù)資源目錄系統(tǒng)用于實(shí)現(xiàn)目錄的編目、審核、發(fā)布與資源檢索，由目錄導(dǎo)航、目錄注冊、目錄信息檢索、目錄資源定位等模塊組成。

目錄導(dǎo)航模塊根據(jù)各政務(wù)部門服務(wù)類型的差異，可提供定制化的目錄內(nèi)容及相應(yīng)的主題應(yīng)用管理服務(wù)，為智慧城市基礎(chǔ)數(shù)據(jù)庫在信息組織環(huán)節(jié)提供技術(shù)支撐服務(wù)。目錄注冊模塊通過提取數(shù)據(jù)的主題特征來完成對目錄體系中的核心元數(shù)據(jù)標(biāo)準(zhǔn)、分類標(biāo)準(zhǔn)以及資源標(biāo)識編碼標(biāo)準(zhǔn)的編目工作，并可實(shí)現(xiàn)目錄內(nèi)容的審核、管理、報(bào)送等服務(wù)，為城市基礎(chǔ)數(shù)據(jù)庫中信息標(biāo)引服務(wù)提供技術(shù)支持。

目錄信息檢索模塊基于網(wǎng)絡(luò)實(shí)現(xiàn)目錄主題內(nèi)容的發(fā)布管理，并可為用戶提供目錄內(nèi)容查詢服務(wù)。用戶可根據(jù)展現(xiàn)在目錄上的數(shù)據(jù)主題選項(xiàng)尋找對應(yīng)資源的鏈接訪問入口，獲取相應(yīng)的信息資源，該模塊為城市基礎(chǔ)數(shù)據(jù)庫內(nèi)容發(fā)布環(huán)節(jié)提供技術(shù)支持。目錄資源定位模塊主要用于搭建部門間信息資源共享服務(wù)環(huán)境，可實(shí)現(xiàn)信息資源的生成、發(fā)布與管理、以及對應(yīng)的資源查詢獲取服務(wù)。部門信息資源共享系統(tǒng)提供了文件數(shù)據(jù)庫資源的采集管理及審核發(fā)布功能，為城市基礎(chǔ)數(shù)據(jù)庫的信息采集與發(fā)布提供技術(shù)支持。

3.5 結(jié)語

基礎(chǔ)數(shù)據(jù)支撐系統(tǒng)作為智慧城市系統(tǒng)整體架構(gòu)中最重要的組成部分，其通過數(shù)據(jù)處理技術(shù)將海量的城市信息資源通過采集、加工、分析等過程處理后，形成相應(yīng)的資源共享、決策輔助等基礎(chǔ)支撐，為智慧城市系統(tǒng)的整體實(shí)現(xiàn)奠定了相應(yīng)的基礎(chǔ)支撐。

參考文獻(xiàn)

[1]曾鵬，劉佳.智慧城市精細(xì)化治理大數(shù)據(jù)可視化分析及信息挖掘[J].軟件導(dǎo)刊，2018，17 （08）：190-193.

[2]李衛(wèi)東，余奕昊，徐曉林，智慧城市數(shù)據(jù)開放機(jī)制研究 以上海市政府?dāng)?shù)據(jù)服務(wù)網(wǎng)為例[J].企業(yè)經(jīng)濟(jì)，2018，37 （06）：163-172.

[3]許蘇蘇，高俊強(qiáng)，孫灝，大數(shù)據(jù)時(shí)代的智慧城市建設(shè)[J].測繪與空間地理信息，2018，41（03）：148-149+153.

[4]李彥龍，于潔，許元斌，黃文思.基于大數(shù)據(jù)技術(shù)的智慧城市體系平臺的構(gòu)建[J]，自動化技術(shù)與應(yīng)用，2018，37 （01）：37-41.

[5]艾麗蓉，劉云峰.基于Hive的智慧城市數(shù)據(jù)處理技術(shù)研究與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28 （02）：9-13.