應(yīng)用于市域社會(huì)治理的多源數(shù)據(jù)清洗及可視化技術(shù)與實(shí)踐

朱文怡

(南通創(chuàng)越時(shí)空數(shù)據(jù)科技有限公司,江蘇 南通 226000)

0 引 言

隨著大數(shù)據(jù)時(shí)代的到來,市域社會(huì)治理越來越向信息化、智能化方向發(fā)展。在此基礎(chǔ)上,“智慧政府”逐步發(fā)展,政府各部門對于“以數(shù)據(jù)為驅(qū)動(dòng),重塑政務(wù)信息化”的需求、對信息共享及業(yè)務(wù)協(xié)同的需求日趨旺盛[1]。黨的十九屆四中全會(huì)通過的《中共中央關(guān)于堅(jiān)持和完善中國特色社會(huì)主義制度、推進(jìn)國家治理體系和治理能力現(xiàn)代化若干重大問題的決定》提出了“加快推進(jìn)市域社會(huì)治理現(xiàn)代化”的戰(zhàn)略目標(biāo),指出要以完善“科技支撐”的社會(huì)治理體系為戰(zhàn)略目標(biāo)[2]。

科技的基礎(chǔ)在于數(shù)據(jù),數(shù)據(jù)來自于政府各個(gè)機(jī)構(gòu)。將數(shù)據(jù)資源進(jìn)行有效整合,按社會(huì)治理需求進(jìn)行清洗,完成可視化,使政務(wù)數(shù)據(jù)從分散走向集中、從部分走向整體、從碎片走向整合[3],進(jìn)而實(shí)現(xiàn)多部門數(shù)據(jù)共享應(yīng)用。因此,作為社會(huì)治理服務(wù)的基礎(chǔ),社會(huì)治理數(shù)據(jù)的清洗及可視化就成為一項(xiàng)基礎(chǔ)卻極具意義的工作。

1 社會(huì)治理數(shù)據(jù)的來源及特征

1.1 數(shù)據(jù)來源

社會(huì)治理數(shù)據(jù)由城管、文廣旅、教育、應(yīng)急管理、自然資源、市政園林等政府機(jī)構(gòu)進(jìn)行提供,數(shù)據(jù)來源廣泛。

1.2 數(shù)據(jù)特征

由于數(shù)據(jù)來源不一,原先的應(yīng)用各不相同,社會(huì)治理數(shù)據(jù)存在數(shù)據(jù)覆蓋面廣、數(shù)據(jù)格式多樣化、空間數(shù)據(jù)坐標(biāo)系不一致等諸多特征。

(1)數(shù)據(jù)覆蓋面廣

市域社會(huì)治理的數(shù)據(jù)不僅有來自交通、市政園林、城管、文廣、資規(guī)、應(yīng)急等多個(gè)機(jī)構(gòu)的數(shù)據(jù),還有能為所有部門服務(wù)的基礎(chǔ)地理信息數(shù)據(jù)(如河流、道路等)。

(2)數(shù)據(jù)格式多樣

社會(huì)治理數(shù)據(jù)的原始數(shù)據(jù)格式包含文檔、表格、圖片、矢量數(shù)據(jù)等。多樣化的存儲方式,需將數(shù)據(jù)格式轉(zhuǎn)變?yōu)榻y(tǒng)一的空間數(shù)據(jù),才能更好的服務(wù)于社會(huì)治理。

(3)空間數(shù)據(jù)坐標(biāo)系不一致

空間數(shù)據(jù)坐標(biāo)系包括2000國家大地坐標(biāo)系、1980西安坐標(biāo)系、地方坐標(biāo)系等。空間數(shù)據(jù)坐標(biāo)系不一致給市域社會(huì)治理帶來困擾,需統(tǒng)一坐標(biāo)系才可在同一視圖下進(jìn)行顯示。

2 數(shù)據(jù)清洗及可視化處理

2.1 數(shù)據(jù)清洗及可視化處理技術(shù)路線

將數(shù)據(jù)進(jìn)行分類、清洗后進(jìn)行可視化處理,實(shí)現(xiàn)由非空間化數(shù)據(jù)到空間化、再到可視化的過程,使數(shù)據(jù)從“看不見”到“看得見”,再到“用起來”(圖1)。

圖1 數(shù)據(jù)清洗流程

2.2 數(shù)據(jù)分類

按存儲格式分類,包括文檔數(shù)據(jù)(如word文檔或pdf文檔)、表格數(shù)據(jù)(如Excel表格或空間表格數(shù)據(jù))、圖片數(shù)據(jù)(如JPG、PNG等)、矢量數(shù)據(jù)(主要為mdb、gdb、shp等格式存儲的空間數(shù)據(jù))、影像數(shù)據(jù)(如TIF、IMG等)等。

按來源部門或應(yīng)用版塊分類,包括交通(如機(jī)場、道路、公交線路等)、水系(如江海、河流等)、文旅(如學(xué)校、圖書館等)、應(yīng)急(如化工區(qū)、?；菲髽I(yè)等)、自然資源(如濕地資源、生態(tài)紅線等)等。

按空間信息分類,分為矢量數(shù)據(jù)、含地理坐標(biāo)的文檔(表格)數(shù)據(jù)和不含地理坐標(biāo)的文檔(表格)數(shù)據(jù)。

按成果要素幾何類型分類,分為點(diǎn)狀數(shù)據(jù)、線狀數(shù)據(jù)和面狀數(shù)據(jù)。

以?；菲髽I(yè)數(shù)據(jù)為例,原數(shù)據(jù)來自多個(gè)部門,如安全生產(chǎn)監(jiān)管、應(yīng)急處置、生態(tài)環(huán)境監(jiān)管等;其格式有矢量數(shù)據(jù)、具有空間信息的文檔數(shù)據(jù)、含有企業(yè)名稱的文檔數(shù)據(jù)。不同格式的數(shù)據(jù)需要采用不同的方式完成數(shù)據(jù)清洗,最終進(jìn)行整合發(fā)布,才能滿足社會(huì)治理的需求。

2.3 數(shù)據(jù)清洗

數(shù)據(jù)的可視化需要經(jīng)過抽取、清洗、轉(zhuǎn)化、挖掘等一系列過程才能展示潛在價(jià)值信息[4]。因而,數(shù)據(jù)清洗是數(shù)據(jù)可視化的前提。

數(shù)據(jù)清洗是對數(shù)據(jù)進(jìn)行審查和校驗(yàn)的過程,目的在于刪除重復(fù)信息,糾正存在的錯(cuò)誤,并提供數(shù)據(jù)一致性[5]。審核校驗(yàn)即對數(shù)據(jù)進(jìn)行分析,包含數(shù)據(jù)質(zhì)量、數(shù)據(jù)格式、可用性等。通過數(shù)據(jù)分析,篩選待處理的數(shù)據(jù),并進(jìn)行清洗,使之符合成果需求。數(shù)據(jù)清洗過程中分析與清洗交互進(jìn)行,迭代循環(huán),實(shí)現(xiàn)數(shù)據(jù)有效、準(zhǔn)確、現(xiàn)勢性高,并保證格式一致性。數(shù)據(jù)格式一致性包括數(shù)據(jù)成果格式一致性和坐標(biāo)系統(tǒng)一致性。社會(huì)治理一般選用2000國家大地坐標(biāo)系作為統(tǒng)一坐標(biāo)系。

以危化品企業(yè)為例,因其來源和需求版塊不同,采用的數(shù)據(jù)清洗方式也各不相同(圖2)。

圖2 ?；窋?shù)據(jù)清洗流程

(1)將數(shù)據(jù)按矢量數(shù)據(jù)、含地理坐標(biāo)的文檔數(shù)據(jù)、不含地理坐標(biāo)的文檔數(shù)據(jù)進(jìn)行分類。

(2)對矢量數(shù)據(jù)的進(jìn)行坐標(biāo)轉(zhuǎn)換,統(tǒng)一坐標(biāo)系至2000國家大地坐標(biāo)系。

(3)對含地理坐標(biāo)的文檔數(shù)據(jù),通過坐標(biāo)展點(diǎn),轉(zhuǎn)換為矢量數(shù)據(jù),并進(jìn)行坐標(biāo)轉(zhuǎn)換,統(tǒng)一至2000國家大地坐標(biāo)系。

(4)不含地理坐標(biāo)的文檔數(shù)據(jù),首先根據(jù)企業(yè)名稱與經(jīng)驗(yàn)證的POI數(shù)據(jù)進(jìn)行關(guān)聯(lián),關(guān)聯(lián)成功的企業(yè)實(shí)現(xiàn)自動(dòng)空間化;關(guān)聯(lián)失敗的企業(yè),借助地址分詞匹配、互聯(lián)網(wǎng)地圖以及企業(yè)信息查詢軟件等工具進(jìn)行空間化處理。

(5)將采用不同空間化處理方法得到的數(shù)據(jù)進(jìn)行整合,通過企業(yè)名稱完成數(shù)據(jù)去重,從而得到?；菲髽I(yè)數(shù)據(jù)成果。

2.4 數(shù)據(jù)可視化

利用地理信息系統(tǒng)平臺,創(chuàng)建時(shí)空地圖,可實(shí)現(xiàn)數(shù)據(jù)可視化[3]。利用ArcGIS軟件,完成數(shù)據(jù)地圖服務(wù)發(fā)布,使之具備唯一服務(wù)地址(URL),互聯(lián)網(wǎng)用戶通過調(diào)用URL可進(jìn)行訪問,實(shí)現(xiàn)數(shù)據(jù)可視化。

地圖服務(wù)包括動(dòng)態(tài)地圖服務(wù)、柵格切片服務(wù)、矢量切片服務(wù)、三維模型等,不同的地圖服務(wù)各具特點(diǎn),在實(shí)現(xiàn)數(shù)據(jù)可視化時(shí),需根據(jù)服務(wù)需求進(jìn)行選擇。

動(dòng)態(tài)地圖服務(wù)是對矢量數(shù)據(jù)進(jìn)行直接發(fā)布,通過調(diào)用URL,用戶可進(jìn)行屬性查詢、空間查詢等操作。柵格切片服務(wù),實(shí)現(xiàn)了同一幅地圖不同比例尺的顯示,請求訪問速度較為快速。矢量切片服務(wù)數(shù)據(jù)信息接近無損,數(shù)據(jù)體積小,樣式可根據(jù)用戶需求進(jìn)行定制,服務(wù)更為靈活。通過三維建模,將二維數(shù)據(jù)轉(zhuǎn)變?yōu)槿S數(shù)據(jù),數(shù)據(jù)更加立體直觀,可為社會(huì)治理輔助規(guī)劃和決策提供更為精準(zhǔn)的服務(wù)。

以?；菲髽I(yè)為例,其數(shù)據(jù)可視化主要借助動(dòng)態(tài)地圖服務(wù)和矢量切片服務(wù)。動(dòng)態(tài)地圖服務(wù)可讓用戶獲取企業(yè)的位置和屬性信息,矢量切片服務(wù)可滿足用戶調(diào)用服務(wù)后對其樣式定制的需求(圖3)。

圖3 危化品企業(yè)數(shù)據(jù)可視化流程

(1)動(dòng)態(tài)地圖服務(wù)發(fā)布

在ArcMap內(nèi)加載?；菲髽I(yè)數(shù)據(jù)圖層,通過共享發(fā)布GIS服務(wù)。社會(huì)治理前端運(yùn)營人員通過調(diào)用發(fā)布的URL,在前端顯示?；菲髽I(yè)(圖4)。

圖4 ?；菲髽I(yè)動(dòng)態(tài)地圖服務(wù)效果圖

(2)矢量切片服務(wù)發(fā)布

在ArcGIS Pro內(nèi)加載?；菲髽I(yè)數(shù)據(jù),創(chuàng)建矢量切片包,并上傳至ArcGIS Online或Protal內(nèi),完成發(fā)布,實(shí)現(xiàn)服務(wù)共享。社會(huì)治理前端運(yùn)營人員通過調(diào)用發(fā)布的URL,在前端顯示?；菲髽I(yè);并且借助相應(yīng)工具,對其進(jìn)行符號定制。

社會(huì)治理前端運(yùn)營人員可根據(jù)需求選擇調(diào)用的服務(wù),滿足數(shù)據(jù)可視化需求,實(shí)現(xiàn)對企業(yè)生產(chǎn)狀態(tài)、周邊生態(tài)環(huán)境等的全面、精細(xì)監(jiān)管。

3 結(jié) 語

隨著市域社會(huì)治理現(xiàn)代化的不斷深入,多源數(shù)據(jù)清洗和可視化的需求也將日趨旺盛,技術(shù)也將日臻完善。本文以?；菲髽I(yè)數(shù)據(jù)為樣例,簡單介紹社會(huì)治理中多源數(shù)據(jù)的清洗和可視化的技術(shù)、方法,但由于樣例數(shù)據(jù)應(yīng)用方式較為單一,未采用三維建模實(shí)現(xiàn)可視化,仍需進(jìn)一步實(shí)踐。另外,隨著三維可視化、云計(jì)算、大數(shù)據(jù)等新技術(shù)的飛速發(fā)展,多源數(shù)據(jù)經(jīng)清洗及可視化處理,必將為社會(huì)治理現(xiàn)代化提供“可用、可靠、可控”[6]的數(shù)據(jù)基礎(chǔ),為政府機(jī)構(gòu)日常管理提供輔助決策支撐,為城市建設(shè)提供科學(xué)準(zhǔn)確的地理信息服務(wù)[7],最終提升城市社會(huì)治理精細(xì)化、智能化、社會(huì)化、專業(yè)化水平[8]。