不動產歷史數(shù)據(jù)整理及入庫方案探討

史衛(wèi)杰，顏敏

(1.山東省第四地質礦產勘查院，山東 濰坊 261021；2.濟南市房產測繪研究院，山東 濟南 250002)

技術方法

不動產歷史數(shù)據(jù)整理及入庫方案探討

史衛(wèi)杰1，顏敏2

(1.山東省第四地質礦產勘查院，山東 濰坊 261021；2.濟南市房產測繪研究院，山東 濟南 250002)

針對濟南市房產測繪研究院的不動產數(shù)據(jù)入庫工作，基于CASS9.1，ETL工具與地理信息工作站EPS軟件，詳細闡述了利用3種不同手段將CAD數(shù)據(jù)轉換成ArcGIS數(shù)據(jù)的方法，并對3種手段的入庫過程和結果進行分析，通過對3種入庫手段進行橫向對比，分別總結出其各自的優(yōu)勢和不足，進而為以后入庫工作進行有針對性的研究和改進，為下一步進行高效率、低錯誤率地完成歷史數(shù)據(jù)的入庫工作打下堅實的基礎和鋪墊。

房產測繪；數(shù)據(jù)整理入庫；CASS；ETL；EPS

0 引言

近年來，隨著地理信息行業(yè)的快速發(fā)展，數(shù)字房產圖已不能滿足房地產管理、產權交易及登記、城市更新等方面的應用需要，由傳統(tǒng)CAD格式的不動產數(shù)據(jù)(以下簡稱CAD數(shù)據(jù))向ArcGIS格式的不動產數(shù)據(jù)(以下簡稱ArcGIS數(shù)據(jù))轉換的需求越來越迫切。CAD數(shù)據(jù)向ArcGIS數(shù)據(jù)的轉換，通常是利用南方測繪CASS9.1軟件(以下簡稱CASS9.1)、空間數(shù)據(jù)轉換平臺(ArcGIS融合FME軟件的工具，稱為ETL工具，以下簡稱ETL)以及清華山維地理信息工作站EPS軟件(以下簡稱EPS)實現(xiàn)。

該文就濟南市房產測繪研究院的房產測繪數(shù)據(jù)入庫工作，依據(jù)相關國家規(guī)范[1-4]，基于CASS9.1，ETL以及EPS軟件(工具)，實現(xiàn)CASS數(shù)據(jù)(格式為DWG)向ArcGIS(格式為SHP)數(shù)據(jù)的整理、轉換、入庫，并對3種方案的入庫過程進行分析，為濟南市房產測繪數(shù)據(jù)入庫工作提供合理化建議。

1 三類數(shù)軟件數(shù)據(jù)轉換特點

南方CASS地形地籍成圖軟件是基于AutoCAD平臺技術的數(shù)字化測繪數(shù)據(jù)采集系統(tǒng)。廣泛應用于地形成圖、地籍成圖、工程測量等三大領域，且全面面向GIS，徹底打通數(shù)字化成圖系統(tǒng)與GIS接口，使用骨架線實時編輯、簡碼用戶化、GIS無縫接口等先進技術。自CASS軟件推出以來，已經成長成為用戶量最大、升級最快、服務最好的主流成圖系統(tǒng)[5-12]。

ETL工具是ArcGIS軟件融合加拿大Safe Software公司開發(fā)的空間數(shù)據(jù)轉換處理系統(tǒng)(FME軟件)后產生的一個工具模塊,是完整的空間ETL解決方案。具有強大的空間數(shù)據(jù)提取、轉換功能，是一套完整的訪問空間數(shù)據(jù)的解決方案，可以用于讀、寫、存儲和轉換各種空間數(shù)據(jù)，實現(xiàn)各類GIS及CAD格式的數(shù)據(jù)相互轉換。用戶可以根據(jù)實際需求，建立具有自身特色的空間數(shù)據(jù)處理、轉換平臺，實現(xiàn)不同格式數(shù)據(jù)間的互轉及數(shù)據(jù)處理。

EPS自身支持SHP，DWG格式數(shù)據(jù)的導入功能，但會丟失部分信息，失去了實用性。EPS提供了描述語言、工程模版、腳本程序等強大的功能模塊[13-14]，利用EPS的核心機制，結合數(shù)據(jù)特點，可對SHP，DWG格式數(shù)據(jù)到EPS的轉換進行定制，實現(xiàn)數(shù)據(jù)的無損失轉換。

2 數(shù)據(jù)的統(tǒng)計匯總

房產基礎測繪數(shù)據(jù)是指能夠提供與房產相關的空間定位和空間分析的基礎地理信息數(shù)據(jù)。主要由居住區(qū)(居住小區(qū)、居住組團)建筑區(qū)劃內的房產要素信息和房產項目要素信息組成，用于生成能夠全面反映房屋及其用地位置和權屬狀況的房產基礎平面圖(房產分丘平面圖)。

房產基礎測繪數(shù)據(jù)的生產，使用的是南方CASS軟件，格式為DWG。已生產的房產基礎測繪數(shù)據(jù)包括“房產日常業(yè)務委托生產的測繪數(shù)據(jù)和主動修補測工作生產的測繪數(shù)據(jù)”兩部分，數(shù)據(jù)范圍廣，現(xiàn)勢性好。

歷史數(shù)據(jù)均存在較多問題，主要有項目類型較多，存放較亂。在入庫前需挑選出所有需要入庫的數(shù)據(jù)，并進行匯總，以備數(shù)據(jù)入庫使用；因變更測量、同一區(qū)域測量的時間差以及每年一次的房產測繪修補測等原因而產生部分冗余數(shù)據(jù)，因此在進行數(shù)據(jù)入庫之前，也需要找出數(shù)據(jù)冗余的部分，通過分析、替換、回填等方法去除冗余；成果數(shù)據(jù)命名格式不統(tǒng)一：在數(shù)據(jù)預處理的過程中，將所有命名不統(tǒng)一的數(shù)據(jù)進行歸納、匯總，將所有需入庫的項目名稱進行統(tǒng)一、匯總。

3 數(shù)據(jù)整理入庫

3.1 基于CASS的數(shù)據(jù)整理入庫

濟南市房產測繪研究院自2008年開展房產測繪業(yè)務以來，一直使用CASS地形地籍成圖軟件進行計算機成圖、出圖的工作。所以，濟南市房產測繪研究院的歷史數(shù)據(jù)多數(shù)都是基于CASS軟件生產、存儲的。利用CASS軟件進行數(shù)據(jù)轉換的完整操作過程如下：

3.1.1 數(shù)據(jù)預處理

為了保證數(shù)據(jù)入庫的準確性，在入庫之前需進行以下幾方面的處理：①確保所有數(shù)據(jù)的圖層符合要求，且歸層正確；②確保所有數(shù)據(jù)均有編碼且編碼正確；③對必要的屬性進行賦值，比如房屋的結構、建筑年代，道路名稱、路寬等，屬性中的類型、長度等值保證正確；④確保所有需構幾何邏輯結構進行檢查、修改，通過“圖形屬性變換”功能和圖層操作刪除不需要入庫的短線、修飾線等，比如圍墻的短線、臺階線、地下車庫出入口的修飾線；⑤項目邊界的封裝，鑒于每一個項目的大小、復雜程度等均不一樣，一些需要構面的要素便需要進行邊界的封裝，一般以出圖的圖框內側線為界；⑥邏輯一致性檢查，檢查各圖層之間的有無重復要素，檢查多邊形要素的交叉和懸掛，檢查要素與要素之間相對關系正確與否，檢查是否存在各種不符合要求的回頭線、實體線等；⑦手動構面，利用CAD命令“BOUNDARY”進行手動構面，構面過程中尤其要注意排除孤島；⑧去制圖符號化處理，為了降低因大量數(shù)據(jù)對數(shù)據(jù)庫管理系統(tǒng)產生的壓力，經過檢查的數(shù)據(jù)要進行圖面去符號化處理。所有的面狀地物內只保留一個其本身填充的符號，比如面狀區(qū)域內為草坪綠化，那么整個區(qū)域內只保留一個草叢符號即可，其他面內為空的區(qū)域也需根據(jù)實際情況進行填充。

3.1.2 數(shù)據(jù)入庫前檢查

在數(shù)據(jù)預整理完成后，利用CASS9.1自帶的“檢查入庫”菜單可以對圖形一些常見錯誤比如圖層正確性、偽節(jié)點的刪除等進行檢查并修改。

3.1.3 輸出SHP文件名稱的配置

利用CASS文件安裝目錄下的索引文件“INDEX.INI”配合屬性文件“AttriBute.def”進行配置，按照需要進行CASS編碼與導出SHP要素名稱二者之間對應關系的修改。

3.1.4 CASS(DWG)數(shù)據(jù)向ArcGIS(SHP)數(shù)據(jù)的格式轉換

經過以上處理后，利用CASS9.1的“輸出ARC/INFO SHP格式”功能將此DWG文件輸出為SHP格式的數(shù)據(jù)，保存在以項目名稱命名的文件中，以備入庫整理使用。

3.1.5 屬性字段的增加和編輯

在 ArcGIS中經過屬性檢查，對所有無屬性的數(shù)據(jù)進行檢查，分析其原因，如果是人為失誤，那么重新在CASS中進行屬性表的填寫和編輯；如果是因人為構面產生的無屬性，則根據(jù)需要對屬性字段進行增加、編輯等。

3.1.6 數(shù)據(jù)入庫

以ArcGIS軟件打開以上輸出的SHP文件，經過屬性檢查、幾何修復、歸層正確性檢查、屬性表的屬性項檢查、拓撲檢查后，按要求進行數(shù)據(jù)入庫。

3.1.7 數(shù)據(jù)更新、數(shù)據(jù)接邊

嚴格按更新區(qū)域界線進行數(shù)據(jù)更新和數(shù)據(jù)接邊。

3.2 基于ETL的數(shù)據(jù)整理入庫

空間數(shù)據(jù)轉換引擎FME是由加拿大的Safe Software公司推出的一種空間數(shù)據(jù)轉換工具。利用ETL工具進行數(shù)據(jù)轉換的完整操作過程如下：

3.2.1 數(shù)據(jù)預處理

①確保所有需入庫的數(shù)據(jù)均有編碼且編碼正確；②確保所有需構面的地物按其所構成的面形成一個閉合圖形并保證不存在縫隙、斷口等；③按要求對所有需入庫的數(shù)據(jù)進行處理，通過“圖形屬性變換”功能和圖層操作刪除不需要入庫的短線、修飾線等；④項目邊界的封裝，鑒于每一個項目的面積大小、測區(qū)的復雜程度等均不一樣，一些需要構面的要素便需要認為進行邊界封裝，以備入庫后接邊；⑤將所有數(shù)據(jù)均放置在一個圖層中，比如“0”層；⑥去制圖符號化處理，具體操作同上述2.1。

3.2.2 CASS(DWG)數(shù)據(jù)向ArcGIS(SHP)數(shù)據(jù)的格式轉換

此過程需要用到ArcGIS10版本的ETL工具。具體過程如下：①在[Catalog]中找到[My Toolboxes]，右擊→[New]→[Spatial ETL Tool]；②分別按照向導設置源數(shù)據(jù)格式、目標數(shù)據(jù)格式為[Autodesk AutoCAD DWG/DXF]、[ESRI Shape]；③設計ETL工具，如圖1所示：

圖1 ETL工具設置示意圖

CASS數(shù)據(jù)(DWG格式)轉換到ArcGIS(SHP格式)數(shù)據(jù)結果如圖2所示：左側截圖為CASS原文件，右側截圖為經過轉換后的ArcGIS(SHP)文件。經過以上處理后的CASS文件，CASS中特有的編碼作為屬性值保存在屬性表里(圖3)。以此為基礎，可以進一步進行地圖符號化、數(shù)據(jù)入庫等工作。

圖2 數(shù)據(jù)轉換前后對比圖

圖3 轉換后的數(shù)據(jù)屬性表示意圖

3.2.3 數(shù)據(jù)構面

根據(jù)需要利用工具箱的相關命令對所有需構面的屬性要素進行“要素轉面”的處理，此命令要素需要構面的地物是一個封閉的多邊形且不含有斷口、縫隙，否則構面失敗。

3.2.4 數(shù)據(jù)歸層

鑒于數(shù)據(jù)轉換前所有的數(shù)據(jù)均放置在“0”層中，因此，數(shù)據(jù)轉換完成后需要將所有的數(shù)據(jù)根據(jù)屬性按照規(guī)范(標準)要求進行歸置、合并，比如：所有CASS編碼為“141101”的地物均將其移入房屋所在的圖層中。

3.2.5 屬性字段的增加和編輯

在ArcGIS中經過屬性檢查，對所有無屬性的數(shù)據(jù)進行檢查，分析其原因，如果是人為失誤，那么重新在CASS中進行屬性表的填寫和編輯；如果是因人為構面產生的無屬性，則根據(jù)需要對屬性字段進行增加、編輯等。

3.2.6 數(shù)據(jù)入庫

以ArcGIS軟件打開以上輸出的SHP文件，經過屬性檢查、幾何修復、歸層正確性檢查、屬性表的屬性項檢查、拓撲檢查后，按要求進行數(shù)據(jù)入庫。

3.2.7 數(shù)據(jù)更新、數(shù)據(jù)接邊

嚴格按更新區(qū)域界線進行數(shù)據(jù)更新和數(shù)據(jù)接邊。

3.3 基于EPS的數(shù)據(jù)整理入庫

3.3.1 利用EPS模板及腳本建庫

EPS中各要素數(shù)據(jù)以圖層的形式進行分類和管理，各圖層數(shù)據(jù)分別存儲于相應的數(shù)據(jù)庫表中。使用EPS工程模版及調入調出腳本可設置EPS數(shù)據(jù)庫中存儲房產基礎地理信息數(shù)據(jù)的數(shù)據(jù)庫表名稱、數(shù)量及數(shù)據(jù)庫表屬性字段內容和字段類型等。

調入、輸出腳本的部分代碼如下：

SSProcess.SetDataXParameter "ExportLayer"&CStr(AddOne(startIndex)),"房產界線面"“指定創(chuàng)建數(shù)據(jù)庫表名稱”(圖4)。

圖4 調入、輸出腳本及模板設置圖

SSProcess.SetDataXParameter "LayerRelation"&CStr(AddOne(startIndex)),"測量控制點:測量控制點::::" “指定調入、輸出數(shù)據(jù)的圖層對照關系”(圖5)。

SSProcess.SetDataXParameter "TableFieldDef"&CStr(AddOne(startIndex)),"定位基礎點,0,要素代碼,ClassCode,,byname,,dbText,10,0" “指定創(chuàng)建數(shù)據(jù)庫表(圖層)的字段內容”。

圖5 圖層設置圖

3.3.2 格式轉換流程圖

SHP數(shù)據(jù)與DWG數(shù)據(jù)二者基于EPS的格式轉換如圖6所示。

圖6 格式轉換流程圖

3.3.3 模版對照

EPS工程模版作為EDB文件的基礎，是一種Access文件型數(shù)據(jù)庫，全面定義了EDB文件數(shù)據(jù)結構，包括地物編碼、要素樣式、基本屬性、擴展屬性等[15-16](表1、表2、表3)。

3.3.4 歷史數(shù)據(jù)導入腳本設置

EPS腳本設置功能，可從SHP、DWG格式到EDB格式的數(shù)據(jù)在具體的工程項目中進行數(shù)據(jù)交換時，使得手工編輯處理的工作量大大減少。軟件的定制充分考慮質量要求，在定制階段即采用比對方式對交換前后的數(shù)據(jù)進行全面評估，保證數(shù)據(jù)的無損交換。調入DWG和SHP格式數(shù)據(jù)的部分代碼如下：

表1 FeatureCodeTB_500表設置

表2 FeatureCodeTB_CASSIn表設置

表3 FeatureCodeTB_mdbIn表設置

(1)調入DWG格式數(shù)據(jù)部分腳本

SSProcess.SelectFileName(1,"選擇要導入的Dwg文件",1,"AutoCAD Files (*.dwg)|*.dwg|All Files (*.*)|*.*||") “指定調入數(shù)據(jù)的格式及樣式”

SSProcess.GetSelGeoValue (i,"SSObj_LayerName")“指定調入數(shù)據(jù)的層名”

SSProcess.FindFeatureCode ("FeatureCodeTB_CASSIn", condition) “指定調入數(shù)據(jù)的編碼對照表”

SetDataXParameter "ImportPathName", filenames(i) “開始導入指定調入的數(shù)據(jù)”

(2)調入SHP格式數(shù)據(jù)部分腳本

SSProcess.SetDataXParameter "DataType", "22" 'SHP “指定調入數(shù)據(jù)的格式”

SSProcess.SetDataXParameter "FeatureCodeTBName", "FeatureCodeTB_mdbin" “指定調入數(shù)據(jù)的編碼對照表”

SSProcess.SetDataXParameter"ExportLayer"&CStr(AddOne(startIndex)),"測量控制點" “指定調入數(shù)據(jù)的層名稱”

SSProcess.SetDataXParameter"TableFieldDef"&CStr(AddOne(startIndex)),"定位基礎點,0,FeatureGUID,FeatureGUID,,GraphicGUID,,dbText,38,0" “指定調入數(shù)據(jù)的數(shù)據(jù)庫屬性表字段名稱、類型長度等字段內容”

3.3.5 轉換后的數(shù)據(jù)示意圖

(1)DWG格式數(shù)據(jù)轉換后

如圖7所示：自左至右依次為轉換前的CASS數(shù)據(jù)、轉換后的粗繪EPS數(shù)據(jù)和轉換后的詳繪EPS數(shù)據(jù)。

圖7 DWG格式轉換前后對比圖

(2)SHP格式數(shù)據(jù)轉換后

如圖8所示：自左至右依次為轉換前的SHP數(shù)據(jù)、轉換后的粗繪EPS數(shù)據(jù)和轉換后的詳繪EPS數(shù)據(jù)。

圖8 SHP格式轉換前后對比圖

4 結論

用濟南市某小區(qū)2014年的不動產數(shù)據(jù)分別基于以上3種軟件進行數(shù)據(jù)整理入庫，可以得出以下結論：

(1)CASS軟件與EPS軟件，均具有應用廣泛、簡單易學的特點，因此它們作為數(shù)據(jù)整理入庫的軟件，具有編輯性強、屬性填寫直觀等優(yōu)點，而ArcGIS軟件的編輯性較差，并且數(shù)據(jù)經過轉換后，各種屬性字段的填寫遠沒有其在CASS與EPS中直觀，而數(shù)據(jù)一旦轉換完成后，再次進行屬性填寫的人員往往不是項目的一線作業(yè)人員，因此在屬性填寫的效率和準確度上都不如CASS與EPS中高。

(2)CASS9.1的“輸出ARC/INFO SHP格式”功能可以通過索引文件和屬性文件的配置，實現(xiàn)CASS編碼屬性至與SHP圖層名稱的一一對應，因此在數(shù)據(jù)轉換之后并不需要再次進行數(shù)據(jù)圖層的對應操作，而通過FME轉換之后的入庫則需要對SHP文件再次進行基于CASS編碼與SHP圖層之間的對應操作；而利用EPS進行輸出“SHP”數(shù)據(jù)，非但可以實現(xiàn)一鍵轉換，而且其效率也更高，出錯率更低。

(3)基于CASS軟件的“BOUNDARY”命令構面，操作繁瑣，尤其是在需要構面的面積較大、圖形較復雜的情況下為甚；而基于ArcGIS軟件的構面則較為智能、便捷，但是對數(shù)據(jù)的質量要求較高，一旦有縫隙或者斷口，則構面失敗，需要進行檢查且重新編輯、以便構面；基于EPS的構面功能效率則介于2個軟件之間，既沒有CASS軟件那么繁瑣，也沒有ArcGIS軟件那么便捷。

(4)在數(shù)據(jù)格式的轉換方面，ETL工具與EPS軟件的文件性操作方面都要強于CASS軟件，CASS9.1在轉換SHP格式的數(shù)據(jù)時不可對文件目錄進行編輯，而ETL工具與EPS軟件均不存在此問題。

(5)在拓撲性、邏輯性檢查、修改方面，ArcGIS軟件與EPS軟件無論是在速度上還是準確度上都比CASS軟件的優(yōu)勢要明顯。

在濟南市房產測繪數(shù)據(jù)入庫的工作中，基于以上各自的優(yōu)缺點，進行有針對性的開發(fā)、改進，發(fā)揚三者的優(yōu)點進行入庫工作。進而實現(xiàn)高效率、低錯誤率地完成歷史數(shù)據(jù)的入庫工作。

[1] GB/T17986.1-2000.房產測量規(guī)范第1單元：房產測量規(guī)定[S].

[2] GB/T17986.2-2000.房產測量規(guī)范第2單元：房產圖圖式[S].

[3] GB/T20258.1-2007.1∶500 1∶1000 1∶2000 基礎地理信息要素數(shù)據(jù)字典 第1部分：1∶500 1∶1000 1∶2000基礎地理信息要素數(shù)據(jù)字典[S].

[4] GB/T20257.1-2007.1∶500 1∶1000 1∶2000國家基本比例尺地圖圖示第1部分：1∶500 1∶1000 1∶2000地形圖圖示[S].

[5] 高潔,李云玲,劉曉慶，等.CASS格式地籍數(shù)據(jù)入庫前的編輯與處理研究[J].山東國土資源,2011,27(4):56-59.

[6] 徐健元,李云玲,李靖龍.德州市德城區(qū)地籍調查數(shù)據(jù)整理入庫工作探討[J].山東國土資源,2011,27(5):39-41.

[7] 李國華,張擁軍,王琴，等.基于基礎測繪數(shù)字線劃圖成果的地理國情普查數(shù)據(jù)轉換方法研究[J].山東國土資源,2017,33(3):73-75.

[8] 王媛,基于擴展屬性的DGN數(shù)據(jù)入庫方法研究[J].測繪技術裝備,2016,(3):23-25.

[9] 徐衍波,丁肇軍,孫強,等.南方開思與MapGIS城鎮(zhèn)地籍一體化數(shù)據(jù)建庫探究[J].山東國土資源,2010,26(5):29-31.

[10] 李燕敏,高雅萍,劉俊,等.農村集體土地確權數(shù)據(jù)整理入庫方法探討[J].測繪,2014,37(3)：119-123.

[11] 劉秀杰,董福平.煙臺市基礎地理信息系統(tǒng)的建立[J].山東國土資源,2005,21(8):46-48.

[12] 周曉偉.基于CASS的全要素地形圖數(shù)據(jù)入庫方法探討[J].北京測繪,2015，(2):18-20.

[13] 楊吉明,張坤,郭雷,等.EPS2008地理信息工作站數(shù)據(jù)交換在生產中的應用[J].城市勘測，2014,(4):84-87.

[14] 琚鋒,錢強強,錢中杰.清華山維SunwayGIS與南方CASS數(shù)據(jù)轉換研究[J].地理空間信息，2011，9(3)：41-43.

[15] 覃豪杰,黃彩軍,方振華.清華山維EPS到南方CASS地形數(shù)據(jù)無損轉換研究[J].地理空間信息，2013,(3):104-105,108.

[16] 王彥紅,于海燕.淺談北京清華山維軟件模版控制技術的應用[J].黑龍江科技信息，2003，(2)：30.

StudyonHistoricalDataArrangementandLoadingPlanofRealEstate

SHI Weijie1, YAN Min2

(1. No.4 Exploration Institute of Geology and Mineral Resources, Shandong Weifang 261021, China; 2. Ji'nan Real Estate Surveying and Mapping Institute, Shandong Jinan 250002, China)

According to data loading of real estate by Ji'nan Real Estate Institute of Surveying and Mapping, based on CASS9.1, ETL tools and geographic information workstation EPS software, the method for transforming CAD data to ArcGIS data by using three different means has been illustrated in detail, and the process and results of 3 methods have been analyzed. Through lateral contrast of three loading means, advantages and disadvantages of each means have been summarized respectively. It will provide targeted suggestions for improvement of loading work with high efficiency and low error, and laid the foundation and pave the way for a solid storage of historical data.

Real estate surveying; data warehousing; CASS; ETL; EPS

2017-05-09；

2017-07-31；

陶衛(wèi)衛(wèi)

史衛(wèi)杰(1981—)，男，山東平度人，工程師，主要從事地理信息工作；E-mail：1073373108@qq.com

D923.2；P208

B

史衛(wèi)杰，顏敏.不動產歷史數(shù)據(jù)整理及入庫方案探討[J].山東國土資源，2018,34(1)：65-71.SHI Weijie, YAN Min.Study on Historical Data Arrangement and Loading Plan of Real Estate[J].Shandong Land and Resources, 2018,34(1)：65-71.