新型智慧城市運(yùn)行管理大數(shù)據(jù)平臺(tái)關(guān)鍵技術(shù)研究

李飛

摘要：新型智慧城市建設(shè)是貫徹落實(shí)習(xí)近平總書記系列重要講話精神，推動(dòng)國(guó)家治理體系和治理能力現(xiàn)代化建設(shè)的重要舉措。新型智慧城市運(yùn)行管理大數(shù)據(jù)平臺(tái)是由物聯(lián)港、大數(shù)據(jù)分析處理引擎、新型智慧城市模型所構(gòu)成的新型智慧城市信息整體框架，形成統(tǒng)一的數(shù)據(jù)匯集、統(tǒng)一的數(shù)據(jù)分析和統(tǒng)一的運(yùn)行指揮，形成“傳感-傳輸-處理-應(yīng)用”閉環(huán)。該平臺(tái)的建立孤立的算法、技術(shù)和管理模式，系統(tǒng)性的解決新型智慧城市及大數(shù)據(jù)應(yīng)用的創(chuàng)新缺乏全局視野、難以獲得實(shí)際應(yīng)用等問(wèn)題。

關(guān)鍵詞：新型智慧城市；模型；大數(shù)據(jù)

一、概述

新型智慧城市是以為民服務(wù)全程全時(shí)、城市治理高效有序、數(shù)據(jù)開放共融共享、經(jīng)濟(jì)發(fā)展綠色開源、網(wǎng)絡(luò)空間安全清朗為主要目標(biāo)，通過(guò)體系規(guī)劃、信息主導(dǎo)、改革創(chuàng)新，推進(jìn)新一代信息技術(shù)與城市現(xiàn)代化深度融合、迭代演進(jìn)，提高城市發(fā)展的持續(xù)性、宜居性，實(shí)現(xiàn)國(guó)家與城市協(xié)調(diào)發(fā)展的新生態(tài)。

二、研究?jī)?nèi)容

物聯(lián)港是實(shí)現(xiàn)物聯(lián)傳感網(wǎng)中海量設(shè)備接入，管理和控制設(shè)備，并將設(shè)備上傳的異構(gòu)信息轉(zhuǎn)換為便于系統(tǒng)處理的歸一化處理平臺(tái)。新型智慧城市運(yùn)行管理大數(shù)據(jù)平臺(tái)中的物聯(lián)港構(gòu)筑在物聯(lián)網(wǎng)通用體系架構(gòu)之上，對(duì)下提供將包含各類接入設(shè)備在內(nèi)的物體進(jìn)行服務(wù)封裝，對(duì)上提供便捷統(tǒng)一的開發(fā)接口為進(jìn)一步的數(shù)據(jù)分析處理提供便利。得益于通用體系架構(gòu)，異構(gòu)的物聯(lián)網(wǎng)設(shè)備和信息網(wǎng)絡(luò)終端能夠采用統(tǒng)一的方式進(jìn)行描述、接入、標(biāo)識(shí)與尋址、訪問(wèn)調(diào)用和控制。通過(guò)物聯(lián)港的隔離，其上層系統(tǒng)僅需要根據(jù)需求和能力通過(guò)封裝成服務(wù)的接口訪問(wèn)虛擬設(shè)備即可，實(shí)現(xiàn)了新型智慧城市信息系統(tǒng)的快速構(gòu)建，按需擴(kuò)展和高度的互聯(lián)互通與信息共享。

大數(shù)據(jù)處理引擎實(shí)現(xiàn)對(duì)海量、異構(gòu)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)的處理，對(duì)數(shù)據(jù)的封裝、清洗、存儲(chǔ)、索引、檢索及高級(jí)運(yùn)算操作，實(shí)現(xiàn)以合理數(shù)據(jù)結(jié)構(gòu)和存儲(chǔ)方式存檔數(shù)據(jù)，并提供數(shù)據(jù)的查詢展示、統(tǒng)計(jì)分析、趨勢(shì)預(yù)測(cè)等服務(wù)。大數(shù)據(jù)引擎采用基于集合的非關(guān)系數(shù)據(jù)庫(kù)，以分布式文件系統(tǒng)和并行處理框架作為基礎(chǔ)支撐。引擎的主要功能分為內(nèi)部處理和外部處理。內(nèi)部處理通常是非關(guān)系數(shù)據(jù)庫(kù)本身提供或衍生出來(lái)的功能特性，具有實(shí)時(shí)性，能夠保證前端數(shù)據(jù)非阻塞式入庫(kù)而不會(huì)丟失，并確保對(duì)數(shù)據(jù)訪問(wèn)請(qǐng)求的實(shí)時(shí)響應(yīng)。外部處理指獨(dú)立于非關(guān)系數(shù)據(jù)庫(kù)以外，通過(guò)定制化開發(fā)的模型及分析算法進(jìn)行諸如社會(huì)動(dòng)力學(xué)仿真、模糊條件搜索與特征匹配、間接經(jīng)濟(jì)效益核算等研究。不同的外部處理能力通過(guò)獨(dú)立的引擎實(shí)現(xiàn)，通過(guò)通用接口掛載到數(shù)據(jù)庫(kù)上讀取原始數(shù)據(jù)并回寫計(jì)算結(jié)果。

新型智慧城市模型是城市運(yùn)行管理體系的控制核心，與大數(shù)據(jù)引擎緊密配合，負(fù)責(zé)根據(jù)城市的總體狀態(tài)，生成任務(wù)并動(dòng)態(tài)分配各類資源以確保任務(wù)的總體優(yōu)化執(zhí)行，提供應(yīng)用程序接口支撐上層的各類應(yīng)用。當(dāng)通過(guò)大數(shù)據(jù)分析識(shí)別城市狀態(tài)異?；虍a(chǎn)生突發(fā)事件，城市模型將自動(dòng)生成一個(gè)任務(wù)并定義其基本屬性，同時(shí)根據(jù)預(yù)案開啟一個(gè)工作流程并分配一定的資源加以處理。系統(tǒng)將不斷更新任務(wù)屬性并確定其優(yōu)先級(jí)，動(dòng)態(tài)調(diào)整投入資源，指揮并約束每個(gè)基本執(zhí)行單位的行為，并追蹤工作流程的進(jìn)度。任務(wù)和工作流程信息都通過(guò)應(yīng)用程序接口提供給特定應(yīng)用展示給管理人員。當(dāng)任務(wù)完成后，其本身及工作流程中各環(huán)節(jié)信息將提交大數(shù)據(jù)引擎存檔，進(jìn)行過(guò)程重構(gòu)、推演分析與優(yōu)化，以對(duì)預(yù)案進(jìn)行優(yōu)化。任務(wù)和工作流程亦可由人工指令開啟、干預(yù)及結(jié)束。

三、關(guān)鍵技術(shù)研究

（一）新型智慧城市模型

從邏輯數(shù)據(jù)、資源調(diào)配、應(yīng)用接口、安全管理的方面對(duì)城市運(yùn)行管理過(guò)程進(jìn)行建模，并在實(shí)際中驗(yàn)證模型的準(zhǔn)確性和通用性。該模型將指導(dǎo)新型智慧城市運(yùn)行管理大數(shù)據(jù)中心的建設(shè)工作，并為其他智慧城市建設(shè)項(xiàng)目提供理論支持。新型智慧城市模型的主要功能在于從數(shù)據(jù)中分析出異常，并根據(jù)城市運(yùn)行管理的規(guī)律，調(diào)配資源來(lái)處理異常；同時(shí)向上提供應(yīng)用接口，支撐上層應(yīng)用。除此之外，新型智慧城市模型還通過(guò)內(nèi)嵌的安全管理模塊，對(duì)城市管理數(shù)據(jù)和邏輯進(jìn)行保護(hù)。

（二）新型智慧城市大數(shù)據(jù)處理引擎核心與擴(kuò)展算法

新型智慧城市大數(shù)據(jù)處理引擎以非關(guān)系型數(shù)據(jù)庫(kù)及其支撐環(huán)境和部件為核心，可通過(guò)標(biāo)準(zhǔn)化接口掛載用于功能擴(kuò)展的外部算法和模型。大數(shù)據(jù)處理引擎核心包括非關(guān)系型數(shù)據(jù)庫(kù)、分布式文件系統(tǒng)、分布式處理框架、數(shù)據(jù)基本處理工具及必要的中間件。項(xiàng)目選取合理的數(shù)據(jù)封裝格式，數(shù)據(jù)集合/圖的基本結(jié)構(gòu)及拓?fù)浞绞?，定義數(shù)據(jù)篩選、索引方式及視圖服務(wù)使之滿足新型智慧城市各類上層應(yīng)用的需要并具有進(jìn)一步擴(kuò)展的潛力。大數(shù)據(jù)處理外部算法和模型用于從非關(guān)系型數(shù)據(jù)庫(kù)中提取各類數(shù)據(jù)進(jìn)行深度檢索，并將結(jié)果回寫入數(shù)據(jù)庫(kù)。

（三）新型智慧城市運(yùn)行管理大數(shù)據(jù)平臺(tái)框架

采用由大數(shù)據(jù)分析處理平臺(tái)和新型智慧城市模型組成的新型智慧城市控制與處理聚合（Control&Processing Unity）架構(gòu)來(lái)搭建新型智慧城市運(yùn)行管理大數(shù)據(jù)平臺(tái)。大數(shù)據(jù)分析處理平臺(tái)實(shí)現(xiàn)數(shù)據(jù)處理、輸入、存儲(chǔ)、查詢、統(tǒng)計(jì)、分析、預(yù)測(cè)功能，提供洞察力；新型智慧城市模型負(fù)責(zé)處理城市管理邏輯、調(diào)配城市資源，提供執(zhí)行力。在城市運(yùn)營(yíng)大數(shù)據(jù)平臺(tái)中將兩者分開，有助于實(shí)現(xiàn)分系統(tǒng)任務(wù)的同質(zhì)化，提高系統(tǒng)運(yùn)行效率，并平衡系統(tǒng)靈活性與魯棒性。

四、結(jié)論

該平臺(tái)將提供完整的新型智慧城市數(shù)據(jù)采集、處理、分析和應(yīng)用的系統(tǒng)，提供高性能、易管理、完全自主可控的、具有自主知識(shí)產(chǎn)權(quán)的數(shù)據(jù)分析處理平臺(tái)軟件系統(tǒng)，提供功能豐富、擴(kuò)展性強(qiáng)、用戶友好的大數(shù)據(jù)接口，構(gòu)建活躍的大數(shù)據(jù)生態(tài)系統(tǒng)。具備高移植性，可將城市運(yùn)行管理的大數(shù)據(jù)平臺(tái)，硬件系統(tǒng)和軟件系統(tǒng)中平臺(tái)性軟件部分可直接擴(kuò)展至其他城市，應(yīng)用性軟件部分經(jīng)過(guò)適當(dāng)?shù)男薷模部梢詰?yīng)用到其他城市。endprint