基于FME的地下市政基礎(chǔ)設(shè)施普查成果轉(zhuǎn)換方法研究

歐念坤,劉 烜,張同全

(1.浙江省測繪科學技術(shù)研究院,浙江 杭州 310000;2.浙江省國土勘測規(guī)劃有限公司杭州分公司,浙江 杭州 310000)

0 引 言

城市地下市政基礎(chǔ)設(shè)施是城市運行的生命線,事關(guān)城市安全運行、開發(fā)規(guī)劃和高質(zhì)量發(fā)展等諸多城市管理工作,2020年12月30日,住房和城鄉(xiāng)建設(shè)部印發(fā)《關(guān)于加強城市地下市政基礎(chǔ)設(shè)施建設(shè)的指導意見》,提出到2023年底前,基本完成城市市政基礎(chǔ)設(shè)施普查,建立和完善城市市政基礎(chǔ)設(shè)施綜合管理信息平臺。2021年6月,浙江省自然資源廳、浙江省住房和城鄉(xiāng)建設(shè)廳聯(lián)合印發(fā)《浙江省地下城市市政基礎(chǔ)設(shè)施建設(shè)實施方案》,并發(fā)布相關(guān)普查技術(shù)規(guī)程及數(shù)據(jù)庫建設(shè)規(guī)范,標志著浙江省城市地下市政基礎(chǔ)設(shè)施普查工作正式啟動。相對于《城市地下管線探測技術(shù)規(guī)程》CJJ61-2017對成果格式的要求,《浙江省城市地下市政基礎(chǔ)設(shè)施數(shù)據(jù)庫規(guī)范》(以下簡稱省標庫)要求采集對象多、調(diào)查內(nèi)容廣,并且明確了最終成果為GDB格式空間數(shù)據(jù)庫。而目前外業(yè)生產(chǎn)大多基于MDB進行非空間數(shù)據(jù)采集并進行CAD成圖的作業(yè)模式。針對這種情況,為了讓外業(yè)作業(yè)人員采用熟悉的方式完成數(shù)據(jù)采集,內(nèi)業(yè)作業(yè)人員根據(jù)采集成果快速建庫,建立起內(nèi)外業(yè)工作之間的橋梁,本文討論了基于FME實現(xiàn)常規(guī)MDB數(shù)據(jù)庫到省標GDB空間數(shù)據(jù)庫快速轉(zhuǎn)換的思路和方法[1-2]。

1 數(shù)據(jù)庫庫體差異和建庫要求

1.1 常規(guī)生產(chǎn)數(shù)據(jù)與省標成果數(shù)據(jù)的差異

(1)生產(chǎn)數(shù)據(jù)格式為Access MDB表單數(shù)據(jù),系非空間數(shù)據(jù),按不同管線類別建立點線表來記錄設(shè)施屬性(如給水管線:點表名稱JS_POINT、線表名稱JS_LINE)。其中,管線點表包含物探點號、X坐標、Y坐標、高程、特征、附屬物、井蓋材質(zhì)及規(guī)格、井脖及井室規(guī)格、權(quán)屬單位、建設(shè)年代、所在位置等內(nèi)容;線表包含起終點號、管徑、材質(zhì)、埋設(shè)方式、電壓、孔數(shù)、根數(shù)、流向、權(quán)屬單位、建設(shè)年代、所在位置等字段[1]。

(2)省標庫中涉及地下管線設(shè)施共5類,分別是管線設(shè)施點GXSSPT、管線設(shè)施線GXSSLN、管線設(shè)施面GXSSPY、窨井點GXYJPT、管線附屬設(shè)施線GXFSLN,其中管線設(shè)施點表包含13項屬性、窨井點表包含28項屬性、管線設(shè)施線表包含64項屬性,涵蓋了空間信息(含坐標、位置等幾何屬性)、技術(shù)信息(包括設(shè)計壓力、輸送介質(zhì)、線纜條數(shù)等)、管理信息(包括運管、建設(shè)、勘察、設(shè)計單位等)3類信息。

(3)省標庫不按管線類別分層建庫,其中,管線設(shè)施點、窨井點對應(yīng)MDB庫的點表。管線及附屬設(shè)施線對應(yīng)MDB庫的線表,管線設(shè)施面GXSSPY、管線附屬設(shè)施線GXFSLN用于表示地下管廊及窨井輪廓等設(shè)施。

1.2 常規(guī)生產(chǎn)數(shù)據(jù)的優(yōu)缺點

MDB作為常規(guī)生產(chǎn)數(shù)據(jù)庫,常用的處理軟件多是基于MDB+CAD二次開發(fā)模式。采用屬性表記錄外業(yè)采集的信息,數(shù)據(jù)錄入方便,無論是采用外業(yè)草圖模式還是移動APP采集模式都能夠快速的錄入或?qū)氲組DB數(shù)據(jù)庫中;再通過桌面處理軟件進行MDB數(shù)據(jù)庫邏輯查錯、編輯修改,能方便有效地實現(xiàn)地下管線數(shù)據(jù)采集工作。處理軟件一般基于CAD二次開發(fā),采用MDB數(shù)據(jù)庫記錄地下管線的屬性信息,通過MDB點表的X、Y坐標信息及特征、附屬物名稱生成對應(yīng)的點符號及位置,線表的起點點號、終點點號畫線。圖屬分離,不便于后期管理及維護。

MDB生產(chǎn)數(shù)據(jù)是非空間數(shù)據(jù),對于管線的表達是通過起終點編號與對應(yīng)點表建立邏輯關(guān)系,成圖過程中通過調(diào)用點表坐標來建立圖形,無法表達面狀要素,不適合地下停車場等空間面狀信息。

省標數(shù)據(jù)庫規(guī)范成果是ESRI GDB數(shù)據(jù),是空間數(shù)據(jù)庫格式,圖屬一體,易于管理和維護,在空間查詢、分析等數(shù)據(jù)應(yīng)用方面優(yōu)勢明顯,能實現(xiàn)數(shù)據(jù)在各種場景中的應(yīng)用。MDB生產(chǎn)數(shù)據(jù)和GDB成果數(shù)據(jù)的特點如表1所示。

表1 數(shù)據(jù)成果特點對照表

2 技術(shù)原理與GIS數(shù)據(jù)轉(zhuǎn)換

2.1 FME介紹

FME(Feature Manipulate Engine)是加拿大Safe Software公司開發(fā)的空間數(shù)據(jù)轉(zhuǎn)換處理系統(tǒng),它是完整的空間ETL解決方案。該方案基于OpenGIS組織提出的新的數(shù)據(jù)轉(zhuǎn)換理念“語義轉(zhuǎn)換”,通過提供在轉(zhuǎn)換過程中重構(gòu)數(shù)據(jù)的功能,實現(xiàn)了超過325+種不同空間數(shù)據(jù)格式(模型)之間的轉(zhuǎn)換,為進行快速、高質(zhì)量、多需求的數(shù)據(jù)轉(zhuǎn)換應(yīng)用提供了高效、可靠的手段[3]。

2.2 技術(shù)流程圖

本文采用FME數(shù)據(jù)處理環(huán)境,對標數(shù)據(jù)庫標準,采用一系列轉(zhuǎn)換工具,實現(xiàn)地下管線表單數(shù)據(jù)的讀取和轉(zhuǎn)換,并利用空間分析方法進行屬性賦值和各類點、線空間對象的生成,實現(xiàn)表單數(shù)據(jù)到標準gdb格式數(shù)據(jù)的批量自動處理?；玖鞒倘鐖D1所示。

圖1 普查成果標準化轉(zhuǎn)換流程圖

2.3 技術(shù)原理

以原始點線表為數(shù)據(jù)源,引入字段映射關(guān)系表,通過FME內(nèi)置轉(zhuǎn)換器的組合調(diào)用,利用VertexCreator轉(zhuǎn)換器通過點屬性表的X坐標、Y坐標字段創(chuàng)建點要素,利用LineBuilder轉(zhuǎn)換器關(guān)聯(lián)起終點并生成線要素,使用PointOnAreaOverlayer轉(zhuǎn)換器進行空間關(guān)聯(lián)獲取管線點所在的普查單元號;采用FeatureJoiner、Counter、AttributeCreator、TestFilter等轉(zhuǎn)換器進行要素連接、屬性生成及數(shù)據(jù)歸層;調(diào)用Reprojector進行重投影等,對輸入數(shù)據(jù)進行分析、處理、轉(zhuǎn)換,最終實現(xiàn)管線MDB數(shù)據(jù)庫到省標GDB數(shù)據(jù)庫無縫轉(zhuǎn)換,完成一鍵式標準成果轉(zhuǎn)換的任務(wù)。

2.4 數(shù)據(jù)轉(zhuǎn)換

點要素處理:① 利用VertexCreator轉(zhuǎn)換器根據(jù)MDB點表X坐標、Y坐標字段生成GDB點要素類;② 以創(chuàng)建的點要素和普查單元面要素為數(shù)據(jù)源,調(diào)用PointOnAreaOverlayer轉(zhuǎn)換器進行疊加分析,完成點要素所在普查單元編號賦值;③ 通過Counter轉(zhuǎn)換器創(chuàng)建基于普查單元編號+管類分組的序列號,再通過StringFormatter轉(zhuǎn)換器格式化Counter轉(zhuǎn)換器生成的序列號(序號前補0至位數(shù)相等);④ 創(chuàng)建《浙江省城市地下市政基礎(chǔ)設(shè)施數(shù)據(jù)庫建設(shè)規(guī)范》要求的標準管線點點號格式(管線點點號采用17位三段組合結(jié)構(gòu)進行編號,前11位為普查單元編號,第12、13位為管線類別代號,第14位至第17位為管線點的流水號)和標準地下市政基礎(chǔ)設(shè)施編碼格式(地下市政基礎(chǔ)設(shè)施編碼采用三層14位層次碼結(jié)構(gòu),分別為縣級行政區(qū)劃代碼+設(shè)施代碼+流水號);⑤ 通過FeatureJoiner轉(zhuǎn)換器關(guān)聯(lián)預(yù)先處理好的MDB要素分類代碼對照表獲取要素分類代碼,最后通過TestFilter轉(zhuǎn)換器進行歸層處理。

線要素處理:MDB線表通過FeatureJoiner轉(zhuǎn)換器鏈接MDB點表,獲取管線段起終點坐標,調(diào)用VertexCreator轉(zhuǎn)換器生成起終點要素,然后通過LineBuilder轉(zhuǎn)換器進行點連線,完成線要素類型數(shù)據(jù)的生成,通過AttributeCreator、AttributeManager、AttributeKeeper等轉(zhuǎn)換器計算起終點管線高程、屬性賦值及分類編碼,通過Reprojector轉(zhuǎn)化器進行地方坐標系到國家2000坐標系的轉(zhuǎn)換并輸出到GDB線層。

3 實例分析

3.1 數(shù)據(jù)準備

(1)MDB生產(chǎn)數(shù)據(jù)庫,包含各管類的點線表數(shù)據(jù)[1],如表2、表3所示。

表2 MDB生產(chǎn)數(shù)據(jù)庫(點表)

表3 MDB生產(chǎn)數(shù)據(jù)庫(線表)

(2)MDB格式要素編碼對照表,用于要素編碼賦值,如表4所示。

表4 要素編碼對照表

3.2 數(shù)據(jù)處理

(1)數(shù)據(jù)轉(zhuǎn)換模型。在FME Workbench環(huán)境下,以生產(chǎn)數(shù)據(jù)庫(MDB)、普查單元空間數(shù)據(jù)(GDB)、要素編碼對照表(XLS)為數(shù)據(jù)源;調(diào)用Attributes、Calculate、Coordinates、Geometries等類別下的多種轉(zhuǎn)換器,并設(shè)置流程及參數(shù),實現(xiàn)處理需求;最后調(diào)用寫模塊添加省標標準GDB模板數(shù)據(jù)庫,建立轉(zhuǎn)換模型模板文件,Workbench轉(zhuǎn)換模型如圖2所示。

圖2 數(shù)據(jù)轉(zhuǎn)換FME模型

(2)普查單元編號賦值。按照規(guī)范要求,地下空間設(shè)施編號規(guī)則根據(jù)設(shè)施類型有所區(qū)別,其中,管線編號第1至11位系所在普查單元的編碼,對于點狀要素來說絕大多數(shù)點都包含在所在單元面內(nèi),極個別點位于單元面邊界;對于線或面狀要素,存在跨單元面的情況,此種關(guān)系類型的編號賦值表現(xiàn)出一定的隨機性,采用PointOnArea、LineOnAreaOverlayer等空間疊置轉(zhuǎn)化器來計算相關(guān)編號值并賦予對應(yīng)編碼中。同一個普查單元內(nèi)各類設(shè)施的流水號則以“@Value(管類)-@Value(PCDYBH)”為計數(shù)條件,采用Count轉(zhuǎn)化器完成。

(3)設(shè)施編碼的賦值。地下市政基礎(chǔ)設(shè)施要素分類代碼在浙江省地方標準《基礎(chǔ)地理信息要素分類與圖形表達代碼》(DB33/T817-2010)基礎(chǔ)上進行擴充編碼,按從屬關(guān)系分別歸類到對應(yīng)基礎(chǔ)地理信息要素分類中的大類、中類、小類和子類,其設(shè)計規(guī)則按照要素幾何屬性及使用特征進行分類,地下空間設(shè)施涉及291項子類編碼,通過建立管線設(shè)施特征及附屬物和子類編碼對應(yīng)關(guān)系,通過AttributeCreater、FeatureJoiner轉(zhuǎn)化器,實現(xiàn)管線點要素設(shè)施編碼FCODE的賦值。

(4)標準數(shù)據(jù)輸出。地下市政基礎(chǔ)設(shè)施要素涉及地下管線要素層分別為,管線設(shè)施(點)、管線設(shè)施(線)、管線設(shè)施(面)、窨井(點)、管線附屬設(shè)施(線)共5個圖層。建立對應(yīng)標準格式模板文件,通過上述各類模板轉(zhuǎn)換器的協(xié)同處理,從輸入數(shù)據(jù)源中的各類管線表提取信息,經(jīng)過一系列重組改造,處理成省標庫要求的對應(yīng)空間要素類成果。

3.3 轉(zhuǎn)換質(zhì)量檢驗

(1)計算效率,利用常規(guī)地下管線MDB數(shù)據(jù)成果,以舟山本島140 km2建成區(qū)范圍內(nèi)8大類18小類36個圖層,共計6 000多公里管線為數(shù)據(jù)源,通過進行浙江省標數(shù)據(jù)庫GDB格式標準化轉(zhuǎn)換,驗證了本文方法在計算結(jié)果上的準確性和計算效率。結(jié)果表明,采用本文方法的處理效率較采用建庫生產(chǎn)軟件時長從14.8 h縮短至23 min 48 s,計算效率有了顯著的提高。

(2)計算質(zhì)量,通過本文所提出的方法實踐驗證,采用人工比對+質(zhì)檢軟件的方法進行數(shù)據(jù)質(zhì)量檢查,隨機抽取轉(zhuǎn)換后的數(shù)據(jù)和轉(zhuǎn)換前的數(shù)據(jù)進行屬性對比,通過質(zhì)檢軟件判斷屬性值正確性、完整性,檢查管線點點號、設(shè)施編碼、普查單元號是否正確以及要素數(shù)量是否丟失等。針對轉(zhuǎn)換成果質(zhì)量檢查[4-7],主要關(guān)注了以下4個方面:

A. 正確性檢查:主要包括空間矢量的正確性、及屬性值的正確性檢查,通過比對,轉(zhuǎn)換生成的點、線要素空間位置準確,屬性值按照標準進行了相應(yīng)處理,編碼正確,域值在標準要求的范圍,管線標高等需要計算賦值的屬性值計算正確,以及其他批量統(tǒng)賦屬性正確,GDB數(shù)據(jù)庫表結(jié)構(gòu)符合規(guī)范要求。

B. 規(guī)范性檢查:采用本文方法處理管線點點號、普查單元編碼賦值,以及設(shè)施編碼,結(jié)構(gòu)及編碼均滿足標準17位三段組合結(jié)構(gòu)、設(shè)施編碼滿足標準三層14位層次碼結(jié)構(gòu),成果符合規(guī)范要求。

C. 一致性檢查:特征、附屬物、要素編碼、各類字段閾值均嚴格按照省標數(shù)據(jù)字典內(nèi)容填寫,符合要求。

D. 完整性檢查:屬性字段的數(shù)據(jù)值及元數(shù)據(jù)描述準確,要素數(shù)量完整,窨井點、管線點、線要素的屬性結(jié)構(gòu)完整,點線空間要素的完整。

通過人工比對及質(zhì)檢軟件檢查,我們認為,通過文中提出的定制轉(zhuǎn)換模型的方法,實現(xiàn)對地下管線中間數(shù)據(jù)到省標成果的無損轉(zhuǎn)換,其數(shù)據(jù)處理過程可操作性強、處理過程中信息未丟失,空間編碼完全正確[8]。

4 結(jié) 語

本文提出的思路方法和實踐,以FME數(shù)據(jù)管理引擎為基礎(chǔ),通過搭建工作模板,建立中間件,使當前地下管線外業(yè)生產(chǎn)采用的常規(guī)MDB數(shù)據(jù)庫與浙江省地下市政基礎(chǔ)設(shè)施普查標準庫之間建立連接能力,打破了生產(chǎn)數(shù)據(jù)和成果數(shù)據(jù)之間存在的障礙,建立了生產(chǎn)與應(yīng)用之間的橋梁。借助FME工具,通過組合轉(zhuǎn)換器,零編程實現(xiàn)了MDB數(shù)據(jù)庫向GDB數(shù)據(jù)庫的快速轉(zhuǎn)換,該工具界面直觀、操作簡單、容錯性高,處理整個區(qū)縣范圍內(nèi)數(shù)千公里管線數(shù)分鐘即可完成。借助本工具,高效快速地完成了臺州、舟山等市縣普查成果建庫工作,提高了工作效率,為城市地下市政基礎(chǔ)設(shè)施普查工作提供了強有力的支撐。