智慧城市數(shù)據(jù)中臺(tái)設(shè)計(jì)與應(yīng)用

許苗峰，薛 慧（.中國(guó)聯(lián)通智能城市研究院，北京 00089；.海聯(lián)金匯（北京）金融科技有限公司，北京 00089）

0 前言

智慧城市經(jīng)過(guò)十多年的信息化建設(shè)，各類信息化系統(tǒng)已全面應(yīng)用于智能樓宇、智能園區(qū)、智能校園、智能社區(qū)等多個(gè)領(lǐng)域，為各項(xiàng)業(yè)務(wù)提供了有力支撐。但也存在很多不足之處：一是各領(lǐng)域各系統(tǒng)形成了以各自為中心的獨(dú)立應(yīng)用，如樓宇能耗與空間管理都是獨(dú)立系統(tǒng)，導(dǎo)致了嚴(yán)重的流程斷點(diǎn)和數(shù)據(jù)壁壘；二是數(shù)據(jù)利用率低，沒有形成有效積累，系統(tǒng)之間數(shù)據(jù)重復(fù)獲?。蝗菙?shù)據(jù)分析指標(biāo)多而散、數(shù)據(jù)價(jià)值并沒有有效體現(xiàn)，導(dǎo)致系統(tǒng)價(jià)值低。

針對(duì)智慧城市發(fā)展的不足，需要將各系統(tǒng)數(shù)據(jù)統(tǒng)一管理，形成數(shù)據(jù)生態(tài)，挖掘數(shù)據(jù)價(jià)值。構(gòu)建數(shù)據(jù)中臺(tái)，正是建設(shè)智慧城市中不可缺少的一環(huán)。數(shù)據(jù)中臺(tái)可通過(guò)數(shù)據(jù)建模來(lái)實(shí)現(xiàn)跨業(yè)務(wù)的數(shù)據(jù)整合；通過(guò)數(shù)據(jù)服務(wù)對(duì)各個(gè)系統(tǒng)數(shù)據(jù)封裝和共享；通過(guò)數(shù)據(jù)分析，實(shí)現(xiàn)數(shù)據(jù)應(yīng)用的服務(wù)化，挖掘數(shù)據(jù)價(jià)值。

1 數(shù)據(jù)中臺(tái)設(shè)計(jì)

數(shù)據(jù)中臺(tái)的目的在于為各個(gè)系統(tǒng)提供數(shù)據(jù)共享和數(shù)據(jù)分析。以數(shù)據(jù)資產(chǎn)管理為基礎(chǔ)，沉淀數(shù)據(jù)通用能力，通過(guò)對(duì)數(shù)據(jù)進(jìn)行采集、加工、存儲(chǔ)、共享以滿足不同專業(yè)間、不同領(lǐng)域之間的數(shù)據(jù)共享、數(shù)據(jù)挖掘、數(shù)據(jù)分析的需求。數(shù)據(jù)中臺(tái)架構(gòu)如圖1所示。

圖1 數(shù)據(jù)中臺(tái)技術(shù)架構(gòu)

2 構(gòu)建數(shù)據(jù)中臺(tái)的關(guān)鍵模塊

2.1 數(shù)據(jù)抽取

數(shù)據(jù)抽取模塊是數(shù)據(jù)中臺(tái)的第一步，主要為API數(shù)據(jù)接入、數(shù)據(jù)庫(kù)數(shù)據(jù)接入、文件（圖片、視頻、文檔）等。其抽取模式主要分為全量抽取和增量抽取，全量抽取是每次都將所有數(shù)據(jù)全部接入到數(shù)據(jù)中臺(tái)中，而增量抽取只接入數(shù)據(jù)中臺(tái)中沒有的部分?jǐn)?shù)據(jù)，增量抽取數(shù)據(jù)量更小，性能更好。

增量數(shù)據(jù)抽取模式主要有基于觸發(fā)器的增量數(shù)據(jù)抽取、基于日志文件的增量數(shù)據(jù)抽取、基于時(shí)間戳的增量數(shù)據(jù)抽取和基于全文比對(duì)的增量數(shù)據(jù)抽取，其優(yōu)缺點(diǎn)如表1所示。

2.2 數(shù)據(jù)加工

2.2.1 數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)管理是數(shù)據(jù)加工的基礎(chǔ)，規(guī)定了數(shù)據(jù)中臺(tái)中所有數(shù)據(jù)的統(tǒng)一格式、統(tǒng)一標(biāo)準(zhǔn)和唯一ID等數(shù)據(jù)規(guī)范，主要包括數(shù)據(jù)模型管理、主數(shù)據(jù)管理、元數(shù)據(jù)管理、數(shù)據(jù)的質(zhì)量、價(jià)值、安全管理。

傳統(tǒng)智慧城市系統(tǒng)的單個(gè)業(yè)務(wù)領(lǐng)域都獨(dú)立進(jìn)行并自行管理數(shù)據(jù)，對(duì)于同一份原始數(shù)據(jù)每一個(gè)業(yè)務(wù)都有不同的定義，命名、標(biāo)識(shí)都不盡相同，標(biāo)準(zhǔn)混亂給統(tǒng)一管理業(yè)務(wù)帶來(lái)了極大的困難。主數(shù)據(jù)管理和元數(shù)據(jù)管理致力于構(gòu)建數(shù)據(jù)源標(biāo)準(zhǔn)化數(shù)據(jù)，對(duì)每一個(gè)元數(shù)據(jù)進(jìn)行定義，使數(shù)據(jù)中臺(tái)抽取到的數(shù)據(jù)有統(tǒng)一的規(guī)范標(biāo)準(zhǔn)。

以智慧城市為例，數(shù)據(jù)主要來(lái)自于樓控系統(tǒng)、樓宇能源系統(tǒng)、園區(qū)環(huán)境監(jiān)測(cè)系統(tǒng)，數(shù)據(jù)又分為用戶數(shù)據(jù)、經(jīng)濟(jì)數(shù)據(jù)、環(huán)境數(shù)據(jù)、能耗數(shù)據(jù)等。不同業(yè)務(wù)系統(tǒng)之間關(guān)注的數(shù)據(jù)整體關(guān)聯(lián)但又相互獨(dú)立。因此需要借助數(shù)據(jù)模型管理對(duì)數(shù)據(jù)分層分類，建立統(tǒng)一的數(shù)據(jù)管理規(guī)則從中挖掘更多的數(shù)據(jù)價(jià)值。

2.2.2 數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換模塊作用是將抽取來(lái)的數(shù)據(jù)進(jìn)行加工，使之符合數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)定。主要使用計(jì)算列、合并列、行轉(zhuǎn)列、列轉(zhuǎn)行、SQL篩選等一種或者多種操作，進(jìn)行數(shù)據(jù)轉(zhuǎn)換加工。同時(shí)，也可以使用算法模型進(jìn)行數(shù)據(jù)的復(fù)雜分析，從而得到期望的數(shù)據(jù)。

2.3 數(shù)據(jù)共享

將中臺(tái)內(nèi)部整理完成的數(shù)據(jù)，通過(guò)通用服務(wù)能力進(jìn)行共享與交換。為各應(yīng)用系統(tǒng)訪問(wèn)業(yè)務(wù)數(shù)據(jù)提供統(tǒng)一接口支持和策略支持。負(fù)責(zé)接收應(yīng)用系統(tǒng)的數(shù)據(jù)請(qǐng)求，按照請(qǐng)求內(nèi)容讀取數(shù)據(jù)，然后發(fā)送給請(qǐng)求數(shù)據(jù)的應(yīng)用系統(tǒng)。

3 數(shù)據(jù)中臺(tái)實(shí)施

智慧城市的建設(shè)涉及到眾多系統(tǒng)整合，亟需數(shù)據(jù)中臺(tái)將零散的信息化系統(tǒng)規(guī)范和統(tǒng)一起來(lái)。以智能樓宇為例，其涉及系統(tǒng)有智慧停車、會(huì)議室管理、空間管理、能源管理、門禁系統(tǒng)、煙感系統(tǒng)、安防管理等眾多系統(tǒng)。數(shù)據(jù)中臺(tái)正是這些系統(tǒng)之間的數(shù)據(jù)橋梁，承擔(dān)數(shù)據(jù)規(guī)范并深入挖掘數(shù)據(jù)之間的關(guān)系，構(gòu)建多場(chǎng)景聯(lián)動(dòng)應(yīng)用，對(duì)內(nèi)加強(qiáng)精益化管理，對(duì)外實(shí)現(xiàn)可視化服務(wù)，全面提升樓宇智能化水平。智慧樓宇數(shù)據(jù)總體架構(gòu)如圖2所示。

表1 不同增量數(shù)據(jù)抽取的對(duì)比

圖2 智慧樓宇數(shù)據(jù)總體架構(gòu)

傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)使用ETL將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)直接采集加工至數(shù)倉(cāng)中，其目的在于數(shù)據(jù)整合。隨著業(yè)務(wù)的增加，重復(fù)ETL會(huì)造成數(shù)據(jù)混亂，無(wú)法滿足數(shù)據(jù)標(biāo)準(zhǔn)化。依照數(shù)據(jù)中臺(tái)原則，數(shù)據(jù)應(yīng)分層設(shè)計(jì)，分為源數(shù)據(jù)層、中間層、應(yīng)用層。三層自下而上，各層次之間數(shù)據(jù)低耦合高內(nèi)聚，避免了因業(yè)務(wù)系統(tǒng)過(guò)多造成的數(shù)據(jù)混亂。

源數(shù)據(jù)層是將來(lái)源于各個(gè)終端業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，結(jié)構(gòu)化地存儲(chǔ)到數(shù)據(jù)中臺(tái)中。數(shù)據(jù)抽取主要采取同步任務(wù)的形式，對(duì)于使用關(guān)系型數(shù)據(jù)庫(kù)的業(yè)務(wù)系統(tǒng)采取全量或者增量方式直接通過(guò)數(shù)據(jù)庫(kù)同步到中臺(tái)，對(duì)于使用非關(guān)系型數(shù)據(jù)庫(kù)或者提供數(shù)據(jù)接口的業(yè)務(wù)系統(tǒng)，首先進(jìn)行結(jié)構(gòu)化處理，再存儲(chǔ)到數(shù)據(jù)中臺(tái)中。

中間層是數(shù)據(jù)中臺(tái)最為核心的部分，是數(shù)據(jù)建模和數(shù)據(jù)標(biāo)準(zhǔn)化的體現(xiàn)點(diǎn)。在這一層需要以維度模型為基礎(chǔ)，把源數(shù)據(jù)層整理完畢的數(shù)據(jù)轉(zhuǎn)換加工后放入應(yīng)用層中。維度建模首先需要做好需求調(diào)研，梳理業(yè)務(wù)系統(tǒng)抽象出數(shù)據(jù)作用域，如智慧樓宇中常用的人員空間管理模型、安防預(yù)警研判模型、設(shè)備故障研判模型、能耗預(yù)估模型等。同時(shí)，對(duì)于一些相對(duì)簡(jiǎn)單而孤立的數(shù)據(jù)，可采用通用數(shù)據(jù)標(biāo)準(zhǔn)模型進(jìn)行處理。

應(yīng)用層主要放置用于數(shù)據(jù)共享的統(tǒng)計(jì)指標(biāo)和模型結(jié)果。這一層數(shù)據(jù)來(lái)源于中間層的加工，同時(shí)又與業(yè)務(wù)層的數(shù)據(jù)需求一一對(duì)應(yīng)。比如：樓宇可視化平臺(tái)、樓宇BI平臺(tái)及一些數(shù)據(jù)分析場(chǎng)景。

4 結(jié)束語(yǔ)

數(shù)據(jù)中臺(tái)建設(shè)是智慧城市必不可缺的一環(huán)，是各業(yè)務(wù)系統(tǒng)數(shù)據(jù)共享與交換的橋梁。隨著智慧城市不斷發(fā)展，業(yè)務(wù)系統(tǒng)和業(yè)務(wù)數(shù)據(jù)都在快速增加。因此，打造數(shù)據(jù)中臺(tái)對(duì)內(nèi)可貫通多個(gè)業(yè)務(wù)系統(tǒng)，對(duì)外可快速支撐新業(yè)務(wù)拓展。

本文以智能樓宇為例，借鑒互聯(lián)網(wǎng)較為成熟的中臺(tái)戰(zhàn)略，設(shè)計(jì)了符合需求的數(shù)據(jù)中臺(tái)架構(gòu)，并對(duì)其核心模塊的關(guān)鍵技術(shù)進(jìn)行了闡述，對(duì)于智慧城市數(shù)據(jù)中臺(tái)建設(shè)具有一定的借鑒意義。