空間ETL技術(shù)在省級標準地址庫建設(shè)中的應(yīng)用研究

唐 權(quán)， 吳勤書，曹全龍

(1.江蘇省基礎(chǔ)地理信息中心，江蘇南京210013;2.江蘇省測繪研究所，江蘇南京210013)

一、引 言

隨著經(jīng)濟社會對地理空間信息的需求日益增加，以及互聯(lián)網(wǎng)的飛速發(fā)展和普及，GIS應(yīng)用日益豐富，基于地理位置的服務(wù)廣泛用于交通、醫(yī)療、教育、居住、娛樂、公共安全等行業(yè)服務(wù)中。門牌、道路、單位等地名地址數(shù)據(jù)作為最常用的社會公共信息資源之一，不僅與人們的日常生活息息相關(guān)，而且是政府行政管理、經(jīng)濟建設(shè)中不可或缺的基礎(chǔ)信息資源，加快建立涵蓋各行業(yè)各專題數(shù)據(jù)的標準地址庫系統(tǒng)具有廣泛的應(yīng)用前景。在省級標準地址庫層面，加快整合分散在市縣政府各部門和其他單位的地址信息資源，實現(xiàn)跨部門、跨行業(yè)、跨應(yīng)用系統(tǒng)之間的地址空間信息交換、共享與協(xié)同處理已成為當前迫切需求。然而，在實際工作中，各個機構(gòu)或部門的業(yè)務(wù)系統(tǒng)大多是相互孤立的，且不同部門業(yè)務(wù)應(yīng)用系統(tǒng)采用的GIS軟件平臺、數(shù)據(jù)模型、地理表達方式、投影方式等各不相同，導(dǎo)致地址數(shù)據(jù)存在著各種差異，造成數(shù)據(jù)共享和一體化管理較為困難［1-2］。

空間ETL技術(shù)能實現(xiàn)對空間數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載，本文將其引入到省級標準地址庫建設(shè)中，實現(xiàn)對各市縣部門和其他相關(guān)部門地址信息資源的匯集和整合，并以江蘇省警務(wù)標準地址庫建設(shè)為例進行應(yīng)用實踐，成功匯集了全省5市警務(wù)地理信息平臺(PGIS)和其他業(yè)務(wù)系統(tǒng)中的地址數(shù)據(jù)，取得了較好的應(yīng)用效果，證明了基于空間ETL技術(shù)實現(xiàn)省級標準地址庫的匯集方法的有效性。該方法具有一定的實踐借鑒意義，可為其他地區(qū)和行業(yè)開展類似的標準地址庫和空間數(shù)據(jù)匯集提供一定的科學(xué)參考。

二、空間ETL技術(shù)與標準地址庫

ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和裝載(extract，transformation，loading)的英文簡稱，是數(shù)據(jù)倉庫獲取高質(zhì)量數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，是對分散在各業(yè)務(wù)系統(tǒng)中的現(xiàn)有數(shù)據(jù)進行提取、轉(zhuǎn)換、清洗和加載的過程，如圖1所示［3］?？臻g數(shù)據(jù)主要指用來表示空間實體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù)，空間數(shù)據(jù)倉庫則是面向主題的空間數(shù)據(jù)集合［4］?？臻gETL技術(shù)主要實現(xiàn)對空間數(shù)據(jù)的抽取、轉(zhuǎn)換、裝載。標準地址庫可以視為空間數(shù)據(jù)倉庫的一種子集。標準地址庫主要包括門樓牌位置、地標中心點位置、興趣點門面中心點或特征點位置和自然地物中心點等各類地址信息。數(shù)據(jù)屬性項由地址描述、地址編碼、地址空間位置、地址生命周期、管理屬性等屬性數(shù)據(jù)項構(gòu)成。

圖1 ETL實現(xiàn)的主要步驟

空間ETL不僅要處理常規(guī)的屬性數(shù)據(jù)，同時還需要處理海量的、多時態(tài)的、多尺度的空間數(shù)據(jù)。因此，除了對屬性數(shù)據(jù)進行處理之外，還需要與其他GIS工具相結(jié)合，如地理編碼工具、坐標轉(zhuǎn)換工具、尺度轉(zhuǎn)換工具、空間數(shù)據(jù)拼接與分割工具，對空間數(shù)據(jù)進行有效的處理［5］。Safe Software FME(feature manipulation engine)是一款強大的空間ETL商業(yè)產(chǎn)品，可以支持150多種空間格式數(shù)據(jù)之間的轉(zhuǎn)換，如圖2所示。

圖2 空間ETL實現(xiàn)的主要步驟

三、基于空間ETL技術(shù)實現(xiàn)省級標準地址庫匯聚

空間ETL包括數(shù)據(jù)抽取、轉(zhuǎn)換和裝載3個過程，基于空間ETL實現(xiàn)省級標準地址庫匯聚過程具體如圖3所示。

1.準備數(shù)據(jù)源

地址信息是政府行政管理和社會經(jīng)濟建設(shè)的基礎(chǔ)性信息資源，許多相關(guān)業(yè)務(wù)應(yīng)用系統(tǒng)均涉及地址數(shù)據(jù)。這種現(xiàn)象在市縣級政府部門中更為普遍，諸多部門建有與地名地址相關(guān)的業(yè)務(wù)系統(tǒng)。如民政局為實現(xiàn)更好地規(guī)范和完善地名的管理，建有“數(shù)字地名”系統(tǒng);公安局為了通過門牌號實現(xiàn)可視化的網(wǎng)絡(luò)門牌管理，并解決門牌、戶籍、治安管理中的諸多問題，大力推進標準地址庫建設(shè);國土資源局、房屋管理局和規(guī)劃局等其他GIS相關(guān)部門，為方便進行各種管理和應(yīng)用，同樣建有涉及地址信息的業(yè)務(wù)系統(tǒng)。因此，省級標準地址庫的數(shù)據(jù)源可能來自于不同部門的數(shù)據(jù)庫系統(tǒng)或者其他業(yè)務(wù)應(yīng)用系統(tǒng)。

圖3 基于空間ETL技術(shù)實現(xiàn)省級標準地址庫匯聚過程

在開展地址數(shù)據(jù)整合之前，首先需要對各數(shù)據(jù)源進行調(diào)研分析，了解各數(shù)據(jù)源的數(shù)據(jù)格式、內(nèi)容、相關(guān)指標體系、采集手段、時間跨度、數(shù)據(jù)質(zhì)量、空間分辨率、坐標系等多源異構(gòu)性，制訂一套標準化整合方案和規(guī)劃;然后，在嚴格的質(zhì)量控制與保證體系下進行空間ETL數(shù)據(jù)整合改造，確保整合后的地址數(shù)據(jù)成果正確、規(guī)范、有效。

2.空間ETL實現(xiàn)

(1)數(shù)據(jù)抽取

利用空間ETL實現(xiàn)省級標準地址庫匯聚首先是地址數(shù)據(jù)的抽取。從不同部門、不同的業(yè)務(wù)系統(tǒng)、不同數(shù)據(jù)庫及數(shù)據(jù)格式中抽取數(shù)據(jù)，而且數(shù)據(jù)不僅指數(shù)據(jù)庫中的標準空間地址數(shù)據(jù)，可能還涉及非結(jié)構(gòu)化(如文本文件等)的數(shù)據(jù)，這需要設(shè)計多個接口去建立跨平臺、跨數(shù)據(jù)訪問、跨數(shù)據(jù)格式的數(shù)據(jù)讀取接口，實現(xiàn)數(shù)據(jù)的訪問與讀?。?］。按照抽取時間的不同，數(shù)據(jù)ETL過程可以被分為兩種類型：全量ETL過程和增量ETL過程。全量ETL過程一般用于數(shù)據(jù)倉庫的初始化，而增量ETL過程則用于地址庫的后期增量維護［3］。數(shù)據(jù)抽取是省級標準地址庫匯聚的關(guān)鍵，抽取的數(shù)據(jù)集一般先保存到數(shù)據(jù)準備區(qū)內(nèi)，在此進行數(shù)據(jù)清理、轉(zhuǎn)換和集成，然后再裝載到數(shù)據(jù)倉庫中。

(2)數(shù)據(jù)轉(zhuǎn)換

空間數(shù)據(jù)轉(zhuǎn)換，也就是建立數(shù)據(jù)映射以后進行數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)的映射指的是從源數(shù)據(jù)到目標數(shù)據(jù)的映射，空間數(shù)據(jù)的映射轉(zhuǎn)換就是要建立源數(shù)據(jù)到目標數(shù)據(jù)的關(guān)系，可以將源數(shù)據(jù)模型映射到目標數(shù)據(jù)模型的模式數(shù)據(jù)作為映射規(guī)則保存到映射規(guī)則文件中［5］。

空間數(shù)據(jù)轉(zhuǎn)換步驟包括：

1)實現(xiàn)投影轉(zhuǎn)換，將已抽取的數(shù)據(jù)源空間投影轉(zhuǎn)換為與標準地址庫相一致的投影;

2)實現(xiàn)數(shù)據(jù)格式化，將來自不同地址數(shù)據(jù)源的同類數(shù)據(jù)轉(zhuǎn)換為相同格式;

3)實現(xiàn)數(shù)據(jù)類型轉(zhuǎn)換，包括將某種數(shù)據(jù)類型或格式轉(zhuǎn)換為另一種數(shù)據(jù)類型或格式的較低層次轉(zhuǎn)換;

4)實現(xiàn)數(shù)據(jù)選擇操作，根據(jù)選擇條件對數(shù)據(jù)源中的數(shù)據(jù)進行選擇;

5)實現(xiàn)字段抽取，從一個或多個數(shù)據(jù)源中抽取有用的字段;

6)實現(xiàn)字段合并，包括地址字符串操作、日期和時間算術(shù)運算、其他條件語句，以及基本計算等功能。

可以將各轉(zhuǎn)換方法或轉(zhuǎn)換步驟進行模塊化設(shè)計，便于后續(xù)快速構(gòu)建和重復(fù)利用轉(zhuǎn)換模型，以提高轉(zhuǎn)換效率，轉(zhuǎn)換方法包括投影轉(zhuǎn)換、格式轉(zhuǎn)換、列值計算、屬性空間化、空間屬性化、聯(lián)合處理和自定義SQL等。

(3)數(shù)據(jù)清洗

在已抽取的數(shù)據(jù)中有許多“臟數(shù)據(jù)”存在，因此，有必要對其進行全面檢查及改正，消除數(shù)據(jù)差錯，這一過程就稱作數(shù)據(jù)清洗。數(shù)據(jù)清洗過程中要刪除數(shù)據(jù)中的錯誤和不一致的數(shù)據(jù)，過濾掉不符合要求的數(shù)據(jù)。這些不符合要求的數(shù)據(jù)主要有不完整的數(shù)據(jù)(定位信息丟失、地址屬性信息無值)，錯誤的數(shù)據(jù)(定位信息錯誤、所填值無效)，重復(fù)的數(shù)據(jù)(不同數(shù)據(jù)源抽取的相似數(shù)據(jù)、同數(shù)據(jù)源過程數(shù)據(jù)或相同數(shù)據(jù))三大類。通過數(shù)據(jù)清洗轉(zhuǎn)換，剔除“臟數(shù)據(jù)”，使得數(shù)據(jù)具有良好的正確性和較高的可用性。

(4)數(shù)據(jù)加載

各種地址數(shù)據(jù)在完成數(shù)據(jù)抽取、轉(zhuǎn)換、清洗后，最后按照統(tǒng)一的數(shù)據(jù)格式進行存儲和加載。利用空間數(shù)據(jù)庫管理系統(tǒng)的批裝載功能和優(yōu)化裝載技術(shù)，將支持整個地址數(shù)據(jù)裝載處理過程。在裝載過程中，數(shù)據(jù)庫裝載服務(wù)支持刪除和重建空間索引、空間數(shù)據(jù)查詢等基本功能，以及提供系統(tǒng)日志、錯誤報告、數(shù)據(jù)備份與恢復(fù)功能。

3.匯集省級標準地址庫

經(jīng)過抽取匯集的省級標準地址庫負責最終地址數(shù)據(jù)的組織和管理。標準地址庫中的數(shù)據(jù)組織是否合理、管理是否規(guī)范，對后續(xù)地址數(shù)據(jù)的應(yīng)用效果起著決定性的作用。經(jīng)過空間ETL過程形成的地址數(shù)據(jù)庫為后續(xù)地址數(shù)據(jù)的分析和應(yīng)用提供了統(tǒng)一的數(shù)據(jù)基礎(chǔ)，從而為各政府部門、企事業(yè)單位和社會公眾提供基礎(chǔ)地理信息服務(wù)。

四、空間ETL技術(shù)在江蘇省警務(wù)標準地址庫建設(shè)中的應(yīng)用實踐

空間標準地址庫是警用地理信息開展應(yīng)用的前提和基礎(chǔ)，如業(yè)務(wù)地理數(shù)據(jù)上圖定位、批量比對、空間分析等，都以空間標準地址庫為基礎(chǔ)。目前，部、省和市三級公安部門已全面建設(shè)警務(wù)地理信息平臺(PGIS)，大量的公安業(yè)務(wù)數(shù)據(jù)通過標準地址庫實現(xiàn)了業(yè)務(wù)數(shù)據(jù)的空間化，警用標準地址庫已經(jīng)成為公安業(yè)務(wù)系統(tǒng)與警用地理信息相互關(guān)聯(lián)的橋梁。在江蘇省范圍內(nèi)，已有南京、常州、蘇州等市公安局在其警務(wù)地理信息平臺中建設(shè)了市級標準地址庫。江蘇省公安廳在這些市級標準地址庫和省廳已有人口住址信息、機構(gòu)信息的基礎(chǔ)上，通過空間ETL技術(shù)，建立各數(shù)據(jù)源的轉(zhuǎn)換通道，對全省地址進行抽取、轉(zhuǎn)換和加載，匯集形成了省級警務(wù)標準地址庫，如圖4所示。截至目前，江蘇省警務(wù)標準地址庫已經(jīng)匯聚了南京、常州、蘇州、南通、鎮(zhèn)江5個市級PGIS平臺中的標準地址庫數(shù)據(jù)和省廳人口住址信息、機構(gòu)信息中的地址數(shù)據(jù)，總記錄數(shù)達200萬余條，省級標準地址庫還在進一步建設(shè)完善之中。

在江蘇公安日常警務(wù)業(yè)務(wù)應(yīng)用中，標準地址庫取得了較好的應(yīng)用效果。公安業(yè)務(wù)信息包括人員住址信息、機構(gòu)信息、接處警信息、案事件信息等警務(wù)基礎(chǔ)數(shù)據(jù)，警務(wù)標準地址庫基本上覆蓋了90%的這些公安業(yè)務(wù)數(shù)據(jù)中的空間地址信息。在人員和機構(gòu)相關(guān)業(yè)務(wù)系統(tǒng)中，可直接引用標準地址庫，如在標準地址庫中可查找到相應(yīng)地址，則直接保存該地址編碼，而無需手動輸入，大大減少了地址信息錄入的工作量，增加了地址數(shù)據(jù)的規(guī)范性與準確性，減少了數(shù)據(jù)冗余。通過與標準地址庫進行地址匹配，分析人員可以通過PGIS系統(tǒng)在地圖上直接展示出110報警的位置、案事件的發(fā)生地，為后續(xù)空間分析應(yīng)用奠定基礎(chǔ)。由于所有地址均引用自唯一的警用標準地址庫，以此作為相互關(guān)聯(lián)的載體和橋梁，實現(xiàn)了各警務(wù)業(yè)務(wù)平臺與地址相關(guān)的業(yè)務(wù)數(shù)據(jù)的互通，可以消除部門業(yè)務(wù)之前形成的數(shù)據(jù)孤島，進一步拓展業(yè)務(wù)數(shù)據(jù)進行地理空間分析的廣度和深度。

圖4 基于空間ETL技術(shù)江蘇省級警務(wù)標準地址庫建設(shè)的應(yīng)用

五、結(jié)論與討論

標準地址庫是數(shù)字城市建設(shè)中的基礎(chǔ)工程之一，構(gòu)建統(tǒng)一的省級標準地址庫，在省域范圍內(nèi)整合各行業(yè)地址信息資源，基于標準地址使各部門分散的信息資源庫建立起有機聯(lián)系，可為全省各政府部門實現(xiàn)信息共享、交換和整合提供基礎(chǔ)信息支撐。由于地址空間數(shù)據(jù)的多源異構(gòu)性，導(dǎo)致了其整合工作的復(fù)雜性，本文提出的基于空間ETL技術(shù)實現(xiàn)省級標準地址庫的匯集，較好地解決了地址數(shù)據(jù)整合過程中由于數(shù)據(jù)多源異構(gòu)性而造成的數(shù)據(jù)難以實現(xiàn)集成的問題，并在江蘇省警務(wù)標準地址庫建設(shè)中進行了應(yīng)用實踐。江蘇省警務(wù)標準地址庫的成功建設(shè)取得了較好的應(yīng)用效果，證明了基于空間ETL技術(shù)實現(xiàn)省級標準地址庫的匯集方法的有效性，具有一定的實踐意義，可為其他地區(qū)和行業(yè)開展類似的標準地址庫和空間數(shù)據(jù)匯集提供一定的科學(xué)參考。

采用基于空間ETL匯集省級標準地址庫的方法能夠解決多源異構(gòu)空間地址數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和裝載，但是由于空間ETL技術(shù)的復(fù)雜性和地址數(shù)據(jù)的多源異構(gòu)性，如何提高空間地址數(shù)據(jù)整合效率和數(shù)據(jù)質(zhì)量等問題，尚待進一步深入研究。

［1］龔健雅.空間信息資源共享與互操作技術(shù)［J］.國土資源信息化，2003(5)：15-21.

［2］王雅琴，陶華學(xué)，高華，等.基于GML的多源異構(gòu)數(shù)據(jù)交換模式研究［J］.測繪科學(xué)，2006，31(2)：88-89.

［3］徐俊剛，裴瑩.數(shù)據(jù)ETL研究綜述［J］.計算機科學(xué)，2011，38(4)：15-20.

［4］田揚戈，邊馥苓.空間數(shù)據(jù)倉庫的ETL研究［J］.武漢大學(xué)學(xué)報：信息科學(xué)版，2007，32(4)：362-365.

［5］陳紅華，王志杰，鄭加柱，等.基于空間ETL實現(xiàn)VCT數(shù)據(jù)交換共享［J］.測繪科學(xué)，2012，37(1)：185-186.

［6］劉龍庚，楊東日，李小平.信息產(chǎn)業(yè)資源共享與分析平臺中ETL技術(shù)研究［J］.四川大學(xué)學(xué)報：自然科學(xué)版，2012，49(1)：85-89.