多源異構(gòu)數(shù)據(jù)時(shí)空融合關(guān)鍵技術(shù)研究與應(yīng)用

李仕峰

（1.重慶市地理信息和遙感應(yīng)用中心，重慶 401121）

信息技術(shù)與經(jīng)濟(jì)社會(huì)的交匯融合引發(fā)了數(shù)據(jù)迅猛增長(zhǎng)，數(shù)據(jù)已成為國(guó)家基礎(chǔ)性戰(zhàn)略資源，大數(shù)據(jù)正日益對(duì)全球生產(chǎn)、流通、分配、消費(fèi)活動(dòng)以及經(jīng)濟(jì)運(yùn)行機(jī)制、社會(huì)生活方式和國(guó)家治理能力產(chǎn)生重要的影響。隨著社交網(wǎng)絡(luò)、在線購物、外賣配送、工業(yè)互聯(lián)網(wǎng)、網(wǎng)絡(luò)游戲等數(shù)字空間形態(tài)快速迭代[1-2]，以及政務(wù)信息化建設(shè)和數(shù)據(jù)開發(fā)工作的不斷推進(jìn)[3]，為各行各業(yè)積累了海量的多源異構(gòu)數(shù)據(jù)。在形式上包括數(shù)據(jù)庫、文本、圖像、語音和視頻[4-5]等，在內(nèi)容上覆蓋經(jīng)濟(jì)社會(huì)發(fā)展的方方面面。如何將這些數(shù)據(jù)進(jìn)行有效整合，發(fā)揮數(shù)據(jù)的倍增效益是業(yè)界關(guān)注的重點(diǎn)。國(guó)家及各級(jí)地方政府也對(duì)相關(guān)技術(shù)提出了明確的技術(shù)需求，特別是對(duì)異構(gòu)數(shù)據(jù)融合、大數(shù)據(jù)提取整合、大數(shù)據(jù)開放服務(wù)等。

基于上述背景，本文針對(duì)時(shí)空大數(shù)據(jù)多來源、多粒度、多模態(tài)、海量和時(shí)空關(guān)聯(lián)復(fù)雜等特點(diǎn)，通過對(duì)多源異構(gòu)數(shù)據(jù)匯聚技術(shù)、時(shí)空數(shù)據(jù)融合技術(shù)的研究，構(gòu)建一整套多源異構(gòu)數(shù)據(jù)從匯聚-融合-應(yīng)用流程，以推動(dòng)多源異構(gòu)數(shù)據(jù)在政府決策、行業(yè)管理和社會(huì)公眾等領(lǐng)域的應(yīng)用，提升政府?dāng)?shù)據(jù)分析和治理能力、提高行業(yè)管理的經(jīng)濟(jì)和社會(huì)效益、增加多源異構(gòu)數(shù)據(jù)的社會(huì)應(yīng)用價(jià)值。

1 研究技術(shù)路線

本研究設(shè)計(jì)了一套涵蓋“源數(shù)據(jù)獲取-數(shù)據(jù)質(zhì)量評(píng)估-數(shù)據(jù)清洗-數(shù)據(jù)轉(zhuǎn)換”全過程的多源異構(gòu)數(shù)據(jù)時(shí)空融合的技術(shù)路線，如圖1所示。

圖1 技術(shù)路線圖

1）源數(shù)據(jù)獲取是開展多源異構(gòu)數(shù)據(jù)應(yīng)用的基礎(chǔ)，需要在了解源數(shù)據(jù)基本情況的基礎(chǔ)上，建立支撐多源異構(gòu)數(shù)據(jù)匯聚與采集的技術(shù)和工具，保障數(shù)據(jù) 來源。

2）數(shù)據(jù)質(zhì)量評(píng)估是在獲取數(shù)據(jù)資源的基礎(chǔ)上，參照相關(guān)行業(yè)標(biāo)準(zhǔn)和實(shí)際應(yīng)用需求，建立數(shù)據(jù)質(zhì)量評(píng)估的依據(jù)，基于此對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估，形成評(píng)估結(jié)果，指導(dǎo)后續(xù)的數(shù)據(jù)融合與清洗。

3）數(shù)據(jù)清洗是在質(zhì)量評(píng)估的基礎(chǔ)上，針對(duì)不同數(shù)據(jù)的應(yīng)用需求，建立數(shù)據(jù)清洗規(guī)則和模型，對(duì)數(shù)據(jù)進(jìn)行清洗，以得到正確的數(shù)據(jù)。

4）數(shù)據(jù)轉(zhuǎn)換是針對(duì)非空間數(shù)據(jù)進(jìn)行空間化處理，形成時(shí)空數(shù)據(jù)。

基于上述技術(shù)路線，將源數(shù)據(jù)獲取轉(zhuǎn)化為多源異構(gòu)數(shù)據(jù)匯聚技術(shù)的研究，數(shù)據(jù)質(zhì)量評(píng)估、數(shù)據(jù)清洗和數(shù)據(jù)轉(zhuǎn)換轉(zhuǎn)化為時(shí)空數(shù)據(jù)融合技術(shù)的研究。

2 多源異構(gòu)數(shù)據(jù)匯聚技術(shù)研究

建立一種多源異構(gòu)數(shù)據(jù)共享交換引擎，提供文件、數(shù)據(jù)庫、服務(wù)接口等多源異構(gòu)數(shù)據(jù)的共享匯聚能力[3-4]，實(shí)現(xiàn)數(shù)據(jù)在線匯聚、自動(dòng)解析入庫、數(shù)據(jù)標(biāo)準(zhǔn)化處理、在線編輯審核、資源化發(fā)布等。數(shù)據(jù)需求方直接從數(shù)據(jù)提供方實(shí)時(shí)獲取所需的數(shù)據(jù)，不再從傳統(tǒng)的數(shù)據(jù)集中獲取，以API數(shù)據(jù)接口為載體，實(shí)現(xiàn)數(shù)據(jù)按需響應(yīng)、按需服務(wù)、按需獲取，如圖2所示。

圖2 數(shù)據(jù)交換引擎

共享交換引擎支持?jǐn)?shù)據(jù)庫、數(shù)據(jù)服務(wù)、數(shù)據(jù)文件等多種共享方式，建立起支持多源異構(gòu)數(shù)據(jù)共享交換的高速通道，具備無障礙的數(shù)據(jù)接入能力，適配各類政務(wù)數(shù)據(jù)資源類型。支持Oracle、MySQL、SQLServer、PostgreSQL等主流數(shù)據(jù)庫；支持Webservice、Http、Rest等多種類型服務(wù)接口；支持OGC、ArcGIS等多種類型空間數(shù)據(jù)服務(wù)；需支持各類表格、文檔、圖片等文件格式。

1）數(shù)據(jù)庫交換通道?；跀?shù)據(jù)提供方開放的數(shù)據(jù)庫地址、端口、用戶、密碼等連接信息，利用JDBC技術(shù)，建立數(shù)據(jù)共享交換通道，數(shù)據(jù)需求方直接從數(shù)據(jù)通道內(nèi)連接獲取所需的數(shù)據(jù)，不再從傳統(tǒng)的數(shù)據(jù)集中獲取存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)按需響應(yīng)、按需服務(wù)，支撐業(yè)務(wù)協(xié)同，支持Oracle、MySQL、SQLServer、PostgreSQL等主流數(shù)據(jù)庫。

2）數(shù)據(jù)接口交換通道。利用WebService接口技術(shù)，基于數(shù)據(jù)提供方開放的數(shù)據(jù)接口地址、調(diào)用參數(shù)、返回接口等服務(wù)調(diào)用信息。通過XML、Json數(shù)據(jù)獲取與解析，建立數(shù)據(jù)共享交換通道，數(shù)據(jù)需求方直接從數(shù)據(jù)通道內(nèi)接口調(diào)用所需的數(shù)據(jù)，不再從傳統(tǒng)的數(shù)據(jù)集中獲取存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)按需響應(yīng)、按需服務(wù)，支撐業(yè)務(wù)協(xié)同。支持WebService、Http等多種類型服務(wù)接口，同時(shí)支持OGC、ArcGIS Services等多種類型空間數(shù)據(jù)服務(wù)，支撐地理信息數(shù)據(jù)共享 交換。

3）數(shù)據(jù)文件交換通道。對(duì)應(yīng)采用文件離線共享方式的數(shù)據(jù)，通過文件上傳、文件FTP、文件HTTP等方式，基于數(shù)據(jù)提供方準(zhǔn)備上傳文件、FTP服務(wù)地址、HTTP文件URL等信息，建立數(shù)據(jù)共享交換通道，數(shù)據(jù)需求方直接從數(shù)據(jù)通道內(nèi)獲取所需的數(shù)據(jù)，不再從傳統(tǒng)的數(shù)據(jù)集中獲取存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)按需響應(yīng)、按需服務(wù)，支撐業(yè)務(wù)協(xié)同。需支持各類表格、文檔、圖片等文件格式；支持文件上傳、FTP文件共享、HTTP文件服務(wù)等多種方式。

3 時(shí)空數(shù)據(jù)融合技術(shù)研究

數(shù)據(jù)可能于某一時(shí)間、空間、人物、事件或者對(duì)象是相互關(guān)聯(lián)的，現(xiàn)有的數(shù)據(jù)組織和處理并未充分體現(xiàn)這些關(guān)聯(lián)性，而這些關(guān)聯(lián)性往往對(duì)解決城市的管理與服務(wù)問題具有重要價(jià)值[6-7]。為此，本文提出了一套時(shí)空數(shù)據(jù)融合技術(shù)架構(gòu)，由數(shù)據(jù)集成引擎、數(shù)據(jù)集成組件庫、數(shù)據(jù)集成建模工具、數(shù)據(jù)集成模型治理、元數(shù)據(jù)倉庫等組成，如圖3所示。

圖3 數(shù)據(jù)融合系統(tǒng)架構(gòu)

1）數(shù)據(jù)集成引擎：是數(shù)據(jù)融合的核心，負(fù)責(zé)解析數(shù)據(jù)集成模型定義、處理請(qǐng)求、處理引擎自身的模型調(diào)度等。數(shù)據(jù)集成引擎基于數(shù)據(jù)流的數(shù)據(jù)結(jié)構(gòu)處理，可以滿足大規(guī)模數(shù)據(jù)的并發(fā)處理。

2）數(shù)據(jù)集成組件庫：包括一組與數(shù)據(jù)集成相關(guān)的服務(wù)構(gòu)建，通過豐富的組件，開發(fā)人員可以在集成開發(fā)環(huán)境下基于可視化的組件圖元快速開發(fā)出高效的數(shù)據(jù)處理模型。具體包含數(shù)據(jù)抽取組件集、數(shù)據(jù)裝載組件集、數(shù)據(jù)轉(zhuǎn)換組件集、數(shù)據(jù)質(zhì)量檢查組件等。

3）數(shù)據(jù)集成建模工具：基于SWT技術(shù)開發(fā)的可視化流程設(shè)計(jì)器，提供可視化數(shù)據(jù)模型定義與調(diào)試、可視化的模型性能監(jiān)控、元數(shù)據(jù)管理以及數(shù)據(jù)處理模型部署等功能。

4）數(shù)據(jù)集成模型治理：是系統(tǒng)管理監(jiān)控與任務(wù)調(diào)度工具，可以通過它對(duì)數(shù)據(jù)處理模型以及數(shù)據(jù)處理引擎進(jìn)行配置和管理，對(duì)開發(fā)過程實(shí)現(xiàn)規(guī)范化、調(diào)度管理統(tǒng)一化、監(jiān)控可視化等。同時(shí)也可以與第三方處理引擎實(shí)現(xiàn)互補(bǔ)，增強(qiáng)其統(tǒng)一調(diào)度、全局監(jiān)控等 功能。

5）元數(shù)據(jù)倉庫：用于保存通過數(shù)據(jù)集成建模工具構(gòu)建的數(shù)據(jù)處理模型，支持Oracle、DB2、Syabase、MySQL、MS SQL Server等多種關(guān)系數(shù)據(jù)庫，同時(shí)可以基于文件形式進(jìn)行模型存儲(chǔ)。

3.1 基于增量的數(shù)據(jù)抽取技術(shù)

1）基于觸發(fā)器的增量數(shù)據(jù)抽取。需要在業(yè)務(wù)數(shù)據(jù)庫中針對(duì)增、刪、改三種操作建立觸發(fā)器，并由觸發(fā)器將變化的數(shù)據(jù)寫入臨時(shí)表中，最后從臨時(shí)表中讀取數(shù)據(jù)，實(shí)現(xiàn)增量數(shù)據(jù)抽取。

2）基于日志文件的增量數(shù)據(jù)抽取。使用數(shù)據(jù)庫本身的日志系統(tǒng)，讀取并解析數(shù)據(jù)庫的日志文件，然后在目標(biāo)數(shù)據(jù)庫中進(jìn)行相應(yīng)操作。

3）基于時(shí)間戳的增量數(shù)據(jù)抽取。在源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫都必須有時(shí)間戳字段的前提下，先讀取目標(biāo)數(shù)據(jù)庫中的最大時(shí)間，然后以這個(gè)時(shí)間作為參數(shù)從源數(shù)據(jù)庫中讀取大于這個(gè)時(shí)間的所有數(shù)據(jù)。

3.2 基于業(yè)務(wù)模型的作業(yè)調(diào)度技術(shù)

基于業(yè)務(wù)模型的作業(yè)調(diào)度技術(shù)邏輯架構(gòu)圖如圖4所示。

圖4 作業(yè)調(diào)度邏輯架構(gòu)

1）監(jiān)控和管理控制臺(tái)。管理控制臺(tái)是用戶設(shè)計(jì)調(diào)度作業(yè)、進(jìn)行調(diào)度監(jiān)控和資源監(jiān)控的控制界面，有兩種用戶角色：管理員和操作員，管理員具備平臺(tái)所有的操作權(quán)限，操作員只能監(jiān)視系統(tǒng)運(yùn)行狀態(tài)，以及作業(yè)異常時(shí)允許有限的管理功能。

2）調(diào)度引擎。調(diào)度引擎接收作業(yè)觸發(fā)監(jiān)控接口的作業(yè)輸入，然后檢查作業(yè)的依賴關(guān)系，通過資源管理器的資源分配將作業(yè)分發(fā)到調(diào)度代理執(zhí)行作業(yè)。

3）作業(yè)觸發(fā)監(jiān)控接口。是調(diào)度引擎的輸入組件，它以控制文件的方式對(duì)外提供服務(wù)，接收器定時(shí)掃描接收目錄中的控制文件，并且掃描間隔可以定制。

4）作業(yè)流執(zhí)行策略。作業(yè)流定義了一組具有相互依賴關(guān)系的作業(yè)。作業(yè)流執(zhí)行策略定義了作業(yè)失敗后的執(zhí)行策略，包括作業(yè)失敗后的重試策略（失敗后從斷點(diǎn)執(zhí)行還是從頭執(zhí)行，失敗重試間隔，失敗重試次數(shù)）和是否檢查上次狀態(tài)（如果檢查，失敗后不能自動(dòng)運(yùn)行，需要干預(yù)后重置狀態(tài)）。

3.3 數(shù)據(jù)質(zhì)量評(píng)估技術(shù)

針對(duì)數(shù)據(jù)質(zhì)量的重復(fù)性、關(guān)聯(lián)性、正確性、完整性、一致性、規(guī)范性6個(gè)維度，從數(shù)據(jù)本身的特性及業(yè)務(wù)角度，對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)符合性檢查，并輸出質(zhì)量評(píng)估報(bào)告，如圖5所示。

圖5 數(shù)據(jù)質(zhì)量評(píng)估體系

3.4 數(shù)據(jù)轉(zhuǎn)換技術(shù)

采用地址匹配、數(shù)據(jù)關(guān)聯(lián)、實(shí)體融合、位置轉(zhuǎn)換 4種方式，開發(fā)數(shù)據(jù)處理、清洗、轉(zhuǎn)換等多類組件，構(gòu)建起了多模式組件化時(shí)空數(shù)據(jù)自動(dòng)轉(zhuǎn)換技術(shù)，如圖6所示。

圖6 數(shù)據(jù)轉(zhuǎn)換技術(shù)流程

4 成果應(yīng)用

本研究依托于重慶市時(shí)空大數(shù)據(jù)服務(wù)平臺(tái)，開展了面向全市智慧城市建設(shè)的諸多應(yīng)用，累計(jì)為全市60多個(gè)市級(jí)部門提供時(shí)空大數(shù)據(jù)服務(wù)，取得了良好的經(jīng)濟(jì)和社會(huì)效益，有力推動(dòng)了重慶市新型智慧城市建設(shè)。

1）服務(wù)于第七次人口普查工作。在全國(guó)第七次人口普查工作中，利用時(shí)空大數(shù)據(jù)服務(wù)，為在短短一個(gè)月時(shí)間內(nèi)完成全市人口普查小區(qū)劃分與標(biāo)繪工作，并支撐了10萬普查人員基于地圖開展普查工作。

2）服務(wù)于全市“放管服”改革。在全國(guó)上下開展“放管服”改革工作中，重慶市結(jié)合實(shí)際需要，為企業(yè)提供自貿(mào)區(qū)范圍識(shí)別，支撐企業(yè)開辦和運(yùn)行中精準(zhǔn)掌握優(yōu)惠政策，提升全市營(yíng)商環(huán)境。

3）服務(wù)于新冠疫情防控。在新冠疫情防控工作中，平臺(tái)利用強(qiáng)大的時(shí)空數(shù)據(jù)融合和轉(zhuǎn)換能力，快速將多源異構(gòu)的病例文本信息進(jìn)行空間化處理和表達(dá)，為全市主管部門和市民疫情防控工作提供科學(xué)的數(shù)據(jù)支撐。

5 結(jié) 論

本文針對(duì)智慧城市中多源異構(gòu)數(shù)據(jù)融合與應(yīng)用的關(guān)鍵難題，從實(shí)際需求出發(fā)，建立了一套涵蓋“源數(shù)據(jù)獲取-數(shù)據(jù)質(zhì)量評(píng)估-數(shù)據(jù)清洗-數(shù)據(jù)轉(zhuǎn)換”的技術(shù)流程。基于此，進(jìn)一步研究了多源異構(gòu)數(shù)據(jù)匯聚、多源異構(gòu)數(shù)據(jù)時(shí)空融合等技術(shù)，形成了系列關(guān)鍵技術(shù)和工具成果，并結(jié)合重慶市新型智慧城市建設(shè)的實(shí)踐，在智慧行業(yè)應(yīng)用中得到應(yīng)用實(shí)踐，取得良好的經(jīng)濟(jì)效益和社會(huì) 效益。