ArcGIS Model Builder在歷史數(shù)據(jù)處理中的應(yīng)用

張衍偉，周新東，初曉煒，杜沖

(1.濰坊市勘察測(cè)繪研究院，山東 濰坊 261000；2.濰坊市自然資源和規(guī)劃局，山東 濰坊 261000；3.山東省國(guó)土測(cè)繪院，山東 濟(jì)南 250000)

0 引言

老牌測(cè)繪院在過去幾十年長(zhǎng)期的工作過程中，積累了豐富的歷史地形圖數(shù)據(jù)資料，該資料擁有當(dāng)年翔實(shí)的地物信息，在大數(shù)據(jù)時(shí)代，這些信息彌足珍貴，可作為空間數(shù)據(jù)分析與挖掘的可靠數(shù)據(jù)資料，利于政府相關(guān)部門挖掘新知識(shí)，同時(shí)為后續(xù)其他工作的開展提供輔助決策。在智慧濰坊時(shí)空大數(shù)據(jù)與云平臺(tái)的建設(shè)中，歷史地理信息為一個(gè)核心指標(biāo)，本次作業(yè)收集到了多個(gè)歷史年份電子版地形圖數(shù)據(jù)，并對(duì)其進(jìn)行加工處理工作以滿足數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)要求，完善了智慧濰坊時(shí)空大數(shù)據(jù)與云平臺(tái)的整體架構(gòu)，形成時(shí)空數(shù)據(jù)庫(kù)[1-2]。在保證數(shù)據(jù)質(zhì)量和工作進(jìn)度的同時(shí)，如何根據(jù)不同的要素類型自動(dòng)化的處理部分?jǐn)?shù)據(jù)，提高對(duì)歷史地形圖數(shù)據(jù)的采集入庫(kù)處理效率和數(shù)據(jù)質(zhì)量，是本文研究的重點(diǎn)內(nèi)容[3]。

1 Model Builder技術(shù)簡(jiǎn)介

ArcGIS軟件為目前世界上最為優(yōu)秀、成熟、穩(wěn)定、可靠的GIS數(shù)據(jù)生產(chǎn)、處理和分析的工具平臺(tái)，該軟件已經(jīng)非常廣泛地應(yīng)用于目前各類測(cè)繪地理信息項(xiàng)目的數(shù)據(jù)處理工作中[4-5]。其中，ModelBuilder模型構(gòu)建器為該軟件的一個(gè)組件，以流程化的形式將數(shù)據(jù)處理中多個(gè)獨(dú)立的數(shù)據(jù)處理任務(wù)進(jìn)行集成，拖拽對(duì)應(yīng)的腳本工具進(jìn)入作業(yè)區(qū)并進(jìn)行連接，將上一步輸出的過程性成果作為下一步工作的輸入，不需要編寫程序即可高效快速地構(gòu)建出一個(gè)工作流[6]，ModelBuilder界面圖如圖1所示。通過對(duì)模型中的數(shù)據(jù)變量進(jìn)行參數(shù)化處理可以滿足多個(gè)作業(yè)組的工作需要，同時(shí)還可將工具箱共享給其他作業(yè)人員進(jìn)行數(shù)據(jù)生產(chǎn)作業(yè)。

圖1 Model Builder界面圖

[7-8]

圖2 ArcGIS Model Builder設(shè)計(jì)流程圖[9]

2 歷史地形圖傳統(tǒng)處理方法簡(jiǎn)介

2.1 需要處理的內(nèi)容及處理方法

目前用于生產(chǎn)大比例尺地形圖數(shù)據(jù)的軟件比較豐富、成熟，一般作業(yè)過程中常結(jié)合EPS和CASS兩款軟件進(jìn)行作業(yè)。生產(chǎn)地形圖的技術(shù)路線也非常成熟，嚴(yán)格依據(jù)圖式進(jìn)行數(shù)據(jù)的采集，完整采集出測(cè)量控制點(diǎn)、水系、居民地和設(shè)施、交通、管線、境界、地貌、地貌和植被8個(gè)大類地物和一個(gè)注記要素[10-11]，按照入庫(kù)的標(biāo)準(zhǔn)對(duì)地形圖進(jìn)行數(shù)字化處理，參照相關(guān)規(guī)范要求對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)分層、編碼賦值、幾何信息規(guī)范化等處理[12]。

2.2 歷史地形圖傳統(tǒng)生產(chǎn)流程

對(duì)歷史地形圖數(shù)據(jù)進(jìn)行整理的傳統(tǒng)技術(shù)路線為(圖3)：將收集到的歷史地形圖數(shù)據(jù)作為工作底圖，人工對(duì)地形圖要素進(jìn)行判讀，在CASS軟件中選擇對(duì)應(yīng)的要素類進(jìn)行繪制，對(duì)于某些簡(jiǎn)單要素比如注記、點(diǎn)、線等要素可以快速換碼處理。

圖3 歷史地形圖處理內(nèi)容及傳統(tǒng)處理流程

2.3 存在的難題

該歷史地形圖數(shù)據(jù)比例尺為1∶1000，AUTOCAD的DWG格式，該數(shù)據(jù)所有幾何和注記要素全部存儲(chǔ)在一個(gè)TX圖層中，該數(shù)據(jù)的作業(yè)標(biāo)準(zhǔn)為GB/T 7929—1995，目前采用的地形圖圖式為GB/T 20257.1-2017，按照該標(biāo)準(zhǔn)用傳統(tǒng)的技術(shù)方法進(jìn)行采集，會(huì)面臨大部分?jǐn)?shù)據(jù)需要重繪的難題，這將嚴(yán)重浪費(fèi)作業(yè)單位的各種資源。按照技術(shù)規(guī)范要求，經(jīng)過實(shí)際項(xiàng)目中的統(tǒng)計(jì)數(shù)據(jù)，得出每人每天大約可以完成0.25km2左右，速度非常緩慢，而且困難主要集中在居民地及設(shè)施里點(diǎn)線面要素的繪制，高程點(diǎn)和控制點(diǎn)等點(diǎn)狀地物的換碼屬性填充，等高線和地類界的數(shù)據(jù)處理。傳統(tǒng)技術(shù)方法在處理這些歷史地形圖數(shù)據(jù)中效率較低[13]，而且容易出現(xiàn)要素遺漏、數(shù)據(jù)錯(cuò)誤等問題，給后續(xù)的數(shù)據(jù)入庫(kù)工作帶來壓力[14-15]。

3 Model Builder在歷史地形圖數(shù)據(jù)處理中的應(yīng)用

針對(duì)傳統(tǒng)處理方法遇到的困難，本文按照數(shù)據(jù)處理要求，根據(jù)數(shù)據(jù)分層情況，對(duì)數(shù)據(jù)的要素類型、屬性信息、塊名、注記、顏色、線型等信息進(jìn)行了細(xì)致的分析匯總，分類研究其處理方案，然后利用Model Builder工具建立對(duì)應(yīng)的數(shù)據(jù)處理模型，并且根據(jù)實(shí)際需求逐步完善，總共進(jìn)行了14次升級(jí)，最終形成了較為完善的數(shù)據(jù)處理工具箱。

3.1 房屋類

通過對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析，了解到該數(shù)據(jù)中只有線、面和注記3種類型要素，且面數(shù)據(jù)嚴(yán)重缺失，所有要素?zé)o任何編碼信息。例如：房屋要素是用4條無(wú)編碼邊線和一個(gè)無(wú)編碼注記(磚，建等)存儲(chǔ)，且邊線和注記相互之間只有空間上的位置關(guān)系，并無(wú)其他聯(lián)系，廁所和牲口棚等要素情況基本雷同。

根據(jù)數(shù)據(jù)處理要求，基于數(shù)據(jù)資料情況設(shè)計(jì)出如下處理方案。一是進(jìn)行面要素到線要素的轉(zhuǎn)換處理。將所有的面要素轉(zhuǎn)換成線要素，并與原始數(shù)據(jù)中存在的線要素同步進(jìn)行多部件到單部件和修復(fù)幾何處理，處理掉存在異常的問題圖形，合并所有的線要素。二是通過長(zhǎng)度篩選可能組成房屋的線要素，剔除掉特別長(zhǎng)或者特別短的線，將篩選出的線要素進(jìn)行修復(fù)幾何操作，用要素轉(zhuǎn)面功能生成面要素，對(duì)這些面要素根據(jù)其面積進(jìn)行篩選，剔除面積過大或者過小的面要素。三是利用空間連接功能，將注記信息賦值給對(duì)應(yīng)的面要素，多次計(jì)算字段后，根據(jù)注記信息對(duì)面要素進(jìn)行篩選，得到建成房屋、建設(shè)中房屋、廁所和牲口棚等要素。四是對(duì)篩選的要素進(jìn)行賦值，根據(jù)數(shù)據(jù)入庫(kù)要求添加字段并計(jì)算字段值，比如GB，房屋結(jié)構(gòu)等屬性項(xiàng)信息。圖4為房屋類ModelBuilder建模核心路線圖，為確保模型穩(wěn)定正確的生產(chǎn)數(shù)據(jù)，建立的Model Builder模型中加入了較多的邏輯判斷、錯(cuò)誤修復(fù)操作、幾何修復(fù)、屬性篩選及字段處理操作，在某些參數(shù)值的選擇和設(shè)置上也是根據(jù)實(shí)際情況做了很多優(yōu)化工作。

經(jīng)過實(shí)踐，此種方法以較高的成功率提取了房屋等面狀要素?cái)?shù)據(jù)，減少人工的工作量，提升了作業(yè)效率，數(shù)據(jù)質(zhì)量較高，可以直接入庫(kù)。

圖4 房屋類ModelBuilder建模核心路線圖

3.2 高程點(diǎn)類

在該類型要素處理過程中，主要涉及點(diǎn)要素和注記要素，通過對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析，了解到高程點(diǎn)的塊名為GC200或者GC170，種類較少，在比較近的距離內(nèi)高程點(diǎn)有對(duì)應(yīng)的高程值注記。

根據(jù)數(shù)據(jù)處理要求，該文設(shè)計(jì)了如下的處理方案(圖5)。一是導(dǎo)入所有注記要素和點(diǎn)要素，篩選REF值為GC200或者GC170的點(diǎn)要素和注記要素。二是進(jìn)行空間連接，將注記信息連接到點(diǎn)要素的屬性表中，對(duì)注記信息進(jìn)行長(zhǎng)度計(jì)算，篩選出符合長(zhǎng)度的注記信息，確定最終的點(diǎn)要素。三是構(gòu)建字段列表，對(duì)字段進(jìn)行賦值以滿足數(shù)據(jù)庫(kù)要求。

經(jīng)過實(shí)踐，準(zhǔn)確率接近100%，數(shù)據(jù)質(zhì)量滿足入庫(kù)標(biāo)準(zhǔn)，只需要簡(jiǎn)單的人工操作即可。

圖5 高程點(diǎn)類Model Builder建模核心路線圖

3.3 控制點(diǎn)類

在該類型要素處理過程中，主要涉及點(diǎn)要素和注記要素，通過對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析，了解到各種類型的控制點(diǎn)擁有不同的塊名，在比較近的距離內(nèi)控制點(diǎn)有對(duì)應(yīng)的控制點(diǎn)名稱和高程值注記。

圖6 控制點(diǎn)類Model Builder建模核心路線圖

根據(jù)數(shù)據(jù)處理要求，本文設(shè)計(jì)了如下的處理方案(圖6)。一是分析原始DWG數(shù)據(jù)，統(tǒng)計(jì)塊名與對(duì)應(yīng)的圖形要素，并根據(jù)1995版地形圖圖式來判定控制點(diǎn)類型，比如圖根點(diǎn)、水準(zhǔn)點(diǎn)、衛(wèi)星等級(jí)控制點(diǎn)等，做好對(duì)照表，便于后續(xù)程序的操作。二是導(dǎo)入所有點(diǎn)要素，根據(jù)REF值進(jìn)行篩選，獲得所有類型的控制點(diǎn)數(shù)據(jù)，根據(jù)數(shù)據(jù)入庫(kù)需要添加字段。三是導(dǎo)入所有注記要素，分別根據(jù)長(zhǎng)度或注記字符等信息篩選出控制點(diǎn)高程值注記和控制點(diǎn)名稱注記。四是分別進(jìn)行控制點(diǎn)要素和控制點(diǎn)高程值要素、控制點(diǎn)要素和控制點(diǎn)名稱要素的空間連接。五是進(jìn)行字段的篩選、計(jì)算等操作，以確保數(shù)據(jù)滿足入庫(kù)標(biāo)準(zhǔn)。在控制點(diǎn)等級(jí)的處理中，利用PYTHON語(yǔ)言編寫了KZDGradeProgress函數(shù)，并集成在模型工具中自動(dòng)處理控制點(diǎn)等級(jí)信息，對(duì)控制點(diǎn)等級(jí)字段進(jìn)行自動(dòng)賦值。

經(jīng)過實(shí)踐，可以處理掉約90%的控制點(diǎn)數(shù)據(jù)，部分需要人工進(jìn)行檢查處理。

3.4 等高線類

在該類型要素處理過程中，主要涉及線要素和注記要素，通過對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析，了解到等高線要素的塊名存在規(guī)律性，存儲(chǔ)于固定的幾個(gè)要素層中且較為唯一，這為后續(xù)的程序化[16]處理提供了便利。

根據(jù)數(shù)據(jù)處理要求，該文設(shè)計(jì)了如下的處理方案(圖7)?？傮w思想是將等高線某個(gè)距離范圍內(nèi)的高程值匯總求擬合平均值，適當(dāng)處理后賦值給等高線。一是根據(jù)層名篩選出等高線的幾何要素?cái)?shù)據(jù)，修復(fù)后按照一定容差對(duì)數(shù)據(jù)進(jìn)行融合。二是導(dǎo)入注記要素，并通過字符特點(diǎn)和數(shù)值大小篩選出其中的高程信息。三是對(duì)等高線要素和高程值注記信息進(jìn)行空間連接，連接操作采用JION ONE TO ONE并且保留所有目標(biāo)要素，匹配選項(xiàng)采用相交、合并規(guī)則采用計(jì)算平均值。四是對(duì)數(shù)據(jù)按照0.5m的等高距進(jìn)行處理，完成后人工檢查，整體模型如圖7所示。

圖7 自動(dòng)提取等高線模型圖

經(jīng)過實(shí)踐，在地勢(shì)較為平緩的地區(qū)，處理效果較好，準(zhǔn)確無(wú)誤。在山區(qū)等高線密集區(qū)域，效果不好，需要較多的人工干預(yù)。

3.5 圍墻線類

圍墻線屬于附屬設(shè)施類，在該類型要素處理過程中，主要涉及線要素，通過對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析，了解到原始地形圖圍墻都是依比例尺圍墻，即雙線圍墻，但是寬度不一。根據(jù)數(shù)據(jù)處理要求，圍墻需要全部處理成不依比例尺圍墻，最初人工測(cè)試時(shí)，這種要素的數(shù)字化較為繁瑣，容易出現(xiàn)懸掛點(diǎn)等類型錯(cuò)誤，作業(yè)效率較低，工作量巨大，不利于整個(gè)項(xiàng)目的推進(jìn)。

根據(jù)數(shù)據(jù)處理要求，本文設(shè)計(jì)了如下的處理方案。一是將原始地形圖數(shù)據(jù)的線要素和面要素統(tǒng)一轉(zhuǎn)為線要素，同時(shí)進(jìn)行修復(fù)幾何等操作，將轉(zhuǎn)換的線要素合并。二是用要素轉(zhuǎn)面工具將線要素轉(zhuǎn)換為面要素，并分別篩選出面積>10和<10的面要素，對(duì)>10的面要素計(jì)算其包絡(luò)矩形的面積。三是計(jì)算面要素面積與其包絡(luò)矩形面積比值，篩選>0且<0.4的面要素，并于面積<10的面要素合并，利用要素轉(zhuǎn)線工具將面要素轉(zhuǎn)為線要素，根據(jù)長(zhǎng)度篩選出圍墻兩側(cè)的長(zhǎng)邊要素。四是從已經(jīng)完成的房屋面數(shù)據(jù)中獲取房角數(shù)據(jù)，通過空間連接功能篩選出最終的圍墻線。五是利用捕捉功能，將圍墻線靠在房角上，按照數(shù)據(jù)入庫(kù)標(biāo)準(zhǔn)進(jìn)行規(guī)范化處理以滿足要求[17]。

經(jīng)過實(shí)踐，在對(duì)較為規(guī)整的圍墻數(shù)據(jù)處理過程中，效果非常好，準(zhǔn)確率較高。但是在形狀不規(guī)則的圍墻，效果較差，需要人工進(jìn)行處理。

3.6 其他要素類

除了以上要素的自動(dòng)處理外，本文也對(duì)地類界、陽(yáng)臺(tái)面等要素的自動(dòng)化提取進(jìn)行了研究。主要思路是根據(jù)要素的幾何和屬性特征進(jìn)行選擇，借助空間連接、篩選、選擇、合并、字段計(jì)算等工具進(jìn)行復(fù)雜處理。

地類界要素跟多種要素有關(guān)聯(lián)，較為復(fù)雜，整體成功率不高，實(shí)踐中可以處理約20%的要素，只能參考使用。陽(yáng)臺(tái)面需要在完成房屋數(shù)據(jù)提取后進(jìn)行處理，根據(jù)空間位置、幾何特征等信息來判斷選取，成功率較高，在項(xiàng)目中已經(jīng)采用。整體方法類似，在此不再贅述。

3.7 部分說明

基于ArcGIS ModelBuilder制作的工具分發(fā)極其方便，制作完成工具后根據(jù)需要進(jìn)行加密處理，防止程序被破壞，然后拷貝到其他工作用電腦中，在ArcGIS中直接打開即可使用。按照工具界面選擇對(duì)應(yīng)數(shù)據(jù)滿足參數(shù)要求，運(yùn)行即可。

對(duì)于習(xí)慣于ArcGIS Pro的用戶來說，由于ArcGIS Desktop與ArcGIS Pro兩個(gè)軟件中的PYTHON版本不同，在模型遷移的過程中遇到了一些困難，可以借助2to3工具進(jìn)行了模型的遷移，但是為了程序的穩(wěn)定運(yùn)行，仍需要進(jìn)行一些微調(diào)工作，這點(diǎn)需要注意。本次工作收集歷史地形圖資料比較順利，全部為電子版。某些地區(qū)可能只有歷史地形圖的紙質(zhì)版數(shù)據(jù)，對(duì)于這種情況則需要進(jìn)行地圖掃描矢量化處理，可借助ArcScan、R2V等自動(dòng)矢量化工具進(jìn)行處理[18-20]。

4 結(jié)論

利用ArcGIS ModelBuilder制作的歷史地形圖數(shù)據(jù)處理的工具箱，極大地提高了作業(yè)效率，房屋類90%左右，附屬設(shè)施類的40%左右，高程點(diǎn)類接近100%，控制點(diǎn)接近100%，地類界20%左右，等高線60%左右都進(jìn)行了自動(dòng)化處理?；贏rcGIS Model Builder的數(shù)據(jù)自動(dòng)化生產(chǎn)數(shù)據(jù)的作業(yè)方式，使作業(yè)效率和數(shù)據(jù)質(zhì)量都有了極大提高。

鑒于智慧時(shí)空大數(shù)據(jù)與云平臺(tái)建設(shè)工作需要，各個(gè)地區(qū)都會(huì)存在歷史地形圖數(shù)據(jù)的整理入庫(kù)工作需求，本文所展示的方法可以廣泛的應(yīng)用于各個(gè)地區(qū)的歷史地形圖數(shù)據(jù)處理工作中。

目前完成的歷史數(shù)據(jù)處理工具箱對(duì)地類界和附屬設(shè)施類要素的自動(dòng)提取準(zhǔn)確性較低，目前沒有辦法提高，這是該次研究工作的不足之處。