焦道振,曾 銘,高照忠,廖樂林
(1. 廣東省地質(zhì)測繪院,廣東 廣州 510080; 2. 肇慶市自然資源局,廣東 肇慶 526040; 3. 廣東工貿(mào)職業(yè)技術(shù)學(xué)院,廣東 廣州 510510)
不動產(chǎn)數(shù)據(jù)整合是不動產(chǎn)統(tǒng)一登記中一項極為重要的數(shù)據(jù)建設(shè)工作,是一項關(guān)乎國計民生的基礎(chǔ)性工作。數(shù)據(jù)質(zhì)量的好壞直接影響到不動產(chǎn)登記效率和地方政府不動產(chǎn)精細(xì)化管理,影響到地區(qū)的經(jīng)濟(jì)統(tǒng)計和宏觀調(diào)控政策方略。自2007年3月,第十屆全國人大第五次會議通過《物權(quán)法》以來,不動產(chǎn)統(tǒng)一登記制度逐步建立,國家從法律、制度等方面入手,明確了全國土地、房屋、林地、海域等不動產(chǎn)統(tǒng)一登記職責(zé),并基本做到登記機(jī)構(gòu)、登記簿冊、登記依據(jù)和信息平臺“四統(tǒng)一”。但由于登記機(jī)構(gòu)、地方做法、歷史遺留問題等諸多原因,造成了不動產(chǎn)數(shù)據(jù)數(shù)據(jù)存儲格式多樣,數(shù)據(jù)質(zhì)量差異明顯。不動產(chǎn)數(shù)據(jù)整合需要對不動產(chǎn)數(shù)據(jù)分散存放、格式不一、存儲介質(zhì)不同等進(jìn)行統(tǒng)一梳理、規(guī)范,依據(jù)不動產(chǎn)登記數(shù)據(jù)庫標(biāo)準(zhǔn)進(jìn)行整合[1],建設(shè)不動產(chǎn)登記信息數(shù)據(jù)庫[2]。選擇合適的數(shù)據(jù)整合處理工具,可以快速篩選出有缺陷的數(shù)據(jù),有側(cè)重地進(jìn)行數(shù)據(jù)處理,大大提高不動產(chǎn)數(shù)據(jù)成果質(zhì)量和數(shù)據(jù)整合效率。
通過調(diào)研摸底,不動產(chǎn)登記信息主要有Oracle、SQL Server、Excel、MDB等類型,空間數(shù)據(jù)主要有DWG、SHP、MDB、GDB、TIF、坐標(biāo)串文本文件等格式。因而,不動產(chǎn)數(shù)據(jù)整合需要采用支持眾多數(shù)據(jù)格式的ETL工具,對不動產(chǎn)資料進(jìn)行分析、轉(zhuǎn)換、處理、檢查、更新、輸出等操作,通過與同類軟件的對比,選擇FME作為數(shù)據(jù)處理軟件。FME是一個支持多源異構(gòu)數(shù)據(jù)融合[3]的ETL工具,支持的數(shù)據(jù)格式覆蓋GIS、CAD、柵格、數(shù)據(jù)庫等,超過300種,涵蓋了不動產(chǎn)數(shù)據(jù)現(xiàn)有的類型和格式,常用于處理地理信息數(shù)據(jù)[4]。此外,F(xiàn)ME內(nèi)置大量轉(zhuǎn)換器,可以完成絕大部分常規(guī)數(shù)據(jù)處理,是一種較為理想的不動產(chǎn)數(shù)據(jù)整合與建庫工具[5]。
本文采用FME和VSFTP[6]相結(jié)合的方式實現(xiàn)團(tuán)隊數(shù)據(jù)整理步驟的相互協(xié)作[7],整個工作環(huán)境部署在同一個與外網(wǎng)物理隔離的局域網(wǎng)內(nèi),作業(yè)模式如圖1所示。
FME處理模板制作完成后,部署于服務(wù)器端,可供數(shù)據(jù)整合人員、質(zhì)檢人員按需運行,也可以部署定時任務(wù),由服務(wù)器自動執(zhí)行數(shù)據(jù)檢查和處理;將不合格的數(shù)據(jù)輸出到指定位置,由各作業(yè)小組自行下載并繼續(xù)處理,直至完成后再通過作業(yè)組質(zhì)檢上傳至服務(wù)器,最后由數(shù)據(jù)整合人員或質(zhì)檢人員執(zhí)行FME數(shù)據(jù)處理模板,如此迭代,使數(shù)據(jù)不斷趨于完善。
依據(jù)《不動產(chǎn)登記數(shù)據(jù)整合建庫技術(shù)規(guī)范(試行)》的相關(guān)規(guī)定,不動產(chǎn)數(shù)據(jù)整合建庫分為工作準(zhǔn)備、規(guī)范化整理、整合關(guān)聯(lián)、數(shù)據(jù)入庫4個階段。但在實際的不動產(chǎn)數(shù)據(jù)整合與建庫過程中,這幾個階段并不是孤立的,而是不斷地處理、更新、質(zhì)檢,再處理、更新、質(zhì)檢,不斷迭代以致數(shù)據(jù)趨于完善。基于以上操作,不動產(chǎn)數(shù)據(jù)整合建庫工作有資料收集、轉(zhuǎn)入中間庫、規(guī)范化整理、檢查及分類、核檔及補錄、外業(yè)調(diào)查測繪、整合關(guān)聯(lián)、成果驗收等環(huán)節(jié),作業(yè)流程設(shè)計如圖2所示。
資料收集人員負(fù)責(zé)與業(yè)主方溝通,收集整理不動產(chǎn)資料,并將收集到的資料提交給規(guī)范化整理人員。
規(guī)范化整理的工作人員通過FME,將不動產(chǎn)信息從收集到的資料中抽取、轉(zhuǎn)換導(dǎo)入中間庫,轉(zhuǎn)換進(jìn)入中間庫時,對每一條數(shù)據(jù)編制唯一的標(biāo)識碼,字段為BSM。中間庫可使用任意支持SQL處理或存放空間數(shù)據(jù)的數(shù)據(jù)格式,如Access、GDB或Oracle等。
規(guī)范化整理的工作人員對數(shù)據(jù)進(jìn)行分析,依據(jù)不動產(chǎn)相關(guān)處理辦法對能批量處理的信息進(jìn)行批量處理,如字段值規(guī)范化、不允許為空的字段填入規(guī)定的缺省值等。
質(zhì)檢人員對中間庫數(shù)據(jù)進(jìn)行檢查,分類導(dǎo)出不合格數(shù)據(jù),導(dǎo)出不合格數(shù)據(jù)時帶出BSM字段,并新增3個附加字段(修訂更新標(biāo)識:XDGXBS,修訂處理人:XDCLR,修訂處理時間:XDCLSJ)。
數(shù)據(jù)修復(fù)整理人員對不合格數(shù)據(jù)進(jìn)行核檔、人工修復(fù)、補錄、刪除冗余等操作,處理后在修訂更新標(biāo)識處標(biāo)記該記錄是新增、更新或邏輯刪除,并注明處理人、更新時間,成果交規(guī)范化整理人員,迭代轉(zhuǎn)換進(jìn)中間庫、數(shù)據(jù)整理、質(zhì)檢輸出不合格數(shù)據(jù)過程。
各類數(shù)據(jù)通過FME進(jìn)行關(guān)聯(lián)整合[8],導(dǎo)出無法關(guān)聯(lián)的數(shù)據(jù),供數(shù)據(jù)修復(fù)整理人員核檔補錄或供外業(yè)補充調(diào)查、測繪人員補充測繪數(shù)據(jù)。
外業(yè)補充調(diào)查、測繪人員對無圖的信息進(jìn)行補充調(diào)查測繪[9],依據(jù)導(dǎo)出信息的檔案號核查檔案。檔案中有坐標(biāo)信息則以檔案中的坐標(biāo)直接成圖,對少量缺地形的區(qū)域采用傾斜攝影測量補充自然幢基底圖等要素[10],并進(jìn)行現(xiàn)場調(diào)查測繪,獲取大致圖斑,注明為預(yù)權(quán)籍調(diào)查圖斑,供將來正式權(quán)籍調(diào)查定位使用。外業(yè)組成果交規(guī)范化整理人員,迭代轉(zhuǎn)換進(jìn)中間庫、數(shù)據(jù)整理、質(zhì)檢輸出不合格數(shù)據(jù)過程。
檢查分類及整合關(guān)聯(lián)過程輸出的不合格數(shù)據(jù)所占的比例達(dá)到質(zhì)量控制所允許的范圍時,可通過FME轉(zhuǎn)換輸出指定格式的整合成果。
在數(shù)據(jù)整合過程中,每個重要工作環(huán)節(jié)都需要設(shè)置質(zhì)量風(fēng)險控制點[11],以保證不動產(chǎn)數(shù)據(jù)整合成果的質(zhì)量,在目前技術(shù)條件下,部分環(huán)節(jié)的質(zhì)檢只能通過人工方式核查(如核對檔案),電子數(shù)據(jù)的規(guī)則性檢查,如數(shù)據(jù)比對、合格性檢查、關(guān)聯(lián)分析、冗余檢查等,都可以通過運行FME模板自動化進(jìn)行,并輸出不合格數(shù)據(jù),如果使用人工處理,則耗時耗力,無法達(dá)到快速響應(yīng)的目的。
數(shù)據(jù)屬性檢查主要是對登記信息的屬性或圖層中的屬性進(jìn)行檢查[12],包括數(shù)據(jù)是否為空、值是否在字典范圍內(nèi)、值是否在有效值范圍內(nèi)等。這些是必填字段,如權(quán)利人的必填字段有:不動產(chǎn)單元號、業(yè)務(wù)號、權(quán)利類型、權(quán)屬狀態(tài)、權(quán)利人名稱、不動產(chǎn)權(quán)證號、國籍、權(quán)利人類型、權(quán)利比例、證件號等;建設(shè)用地、宅基地使用權(quán)的必填字段有:不動產(chǎn)單元號、業(yè)務(wù)號、權(quán)利類型、權(quán)屬狀態(tài)、宗地代碼、登記類型、不動產(chǎn)權(quán)證號、使用權(quán)面積等。在FME中,有針對屬性值進(jìn)行判斷的轉(zhuǎn)換器,包括TestFilter、AttributeFilter、AttributeValidator等。使用FME進(jìn)行不動產(chǎn)數(shù)據(jù)質(zhì)檢時,將不滿足檢查條件的數(shù)據(jù)分流到待處理數(shù)據(jù),并輸出這些數(shù)據(jù),提交給核檔及補錄人員依據(jù)檔案補錄或修正數(shù)據(jù)。
如宗地代碼不是19位的數(shù)據(jù)一定是需要提取出來進(jìn)行處理的數(shù)據(jù),可以通過TestFilter轉(zhuǎn)換器將這些數(shù)據(jù)提取出來。通過FME的TestFilter轉(zhuǎn)換器,將宗地代碼不是19位的數(shù)據(jù)提取出來,供數(shù)據(jù)整合人員處理落圖,其他不合格數(shù)據(jù)的復(fù)查,也可作類似的處理。
根據(jù)自然幢基底圖斑,找出對應(yīng)的宗地代碼,即實現(xiàn)圖上落宗,可使用FME進(jìn)行批量落宗,考慮到自然幢會有跨宗的情況,圖上落宗算法需要作一部分調(diào)整,以免自然幢落在兩宗地。算法如下:計算自然幢內(nèi)部點,將此內(nèi)部點與宗地圖斑疊加,得到帶宗地代碼的內(nèi)部點,再以此內(nèi)部的宗地代碼更新自然幢所在的宗地代碼。
DWG數(shù)據(jù)的擴(kuò)展屬性主要存放在實體的xData里面,一般以xData的AppName來進(jìn)行數(shù)據(jù)組織,FME支持讀取DWG文件的擴(kuò)展數(shù)據(jù),卻不支持AppName定位讀取。因此,需要在CAD中先對DWG文件的屬性進(jìn)行歸整[13],形成固定順序的xData屬性信息,再通過FME進(jìn)行轉(zhuǎn)換入庫。
可以使用FME的統(tǒng)計轉(zhuǎn)換器排不動產(chǎn)單元號,以排自然幢不動產(chǎn)單元號為例,指定宗內(nèi)排自然幢不動產(chǎn)單元號的最小值(也可以通過遍歷宗地最大自然幢號加1得到,但這種算法耗時),排宗地自然幢的序號,并以此序號得到自然幢的不動產(chǎn)單元號,若以自然幢坐落排序,在對自然幢有規(guī)律編制坐落時,自然幢號也將是有規(guī)律的排號。
中間庫成果處理達(dá)標(biāo)合格后,可以自動輸出指定格式的最終成果,以輸出與系統(tǒng)對接成果為例,F(xiàn)ME以對接數(shù)據(jù)模板輸出整合成果,由于權(quán)利人等表是由多類權(quán)利人合并成的一張表,故標(biāo)識碼需要重新排列,算法(部分)如圖3所示。
定義好數(shù)據(jù)標(biāo)準(zhǔn)并配置好處理模型后,輸出FME格式的處理模板文件[14],并在需要時使用命令行執(zhí)行數(shù)據(jù)處理任務(wù)。Windows下直接執(zhí)行批處理文件,或使用計劃任務(wù)按需要執(zhí)行數(shù)據(jù)處理任務(wù);Linux下可編寫Shell腳本人工執(zhí)行或使用crond執(zhí)行定時任務(wù)。
研究區(qū)為南方某區(qū)縣,原落宗落圖率約為65%,以FME作為數(shù)據(jù)處理工具建立團(tuán)隊協(xié)作機(jī)制,通過內(nèi)外業(yè)相結(jié)合的方式,快速反應(yīng),更新數(shù)據(jù),以50余人的團(tuán)隊,歷時兩個月左右,完成該區(qū)縣絕大部分不動產(chǎn)數(shù)據(jù)的落圖落宗。通過團(tuán)隊協(xié)助數(shù)據(jù)整合,該地區(qū)數(shù)據(jù)整合落宗落圖關(guān)聯(lián)率均達(dá)到90%以上。
這些數(shù)據(jù)更新進(jìn)入業(yè)務(wù)系統(tǒng)后,該區(qū)縣不動產(chǎn)登記速度明顯加快[15],基本緩和了該地區(qū)不動產(chǎn)登記流程不暢的問題。
本文在FME和VSFTP的輔助下建立了一種高效安全的不動產(chǎn)數(shù)據(jù)整合作業(yè)模式。FME數(shù)據(jù)處理模板可以快速整合各作業(yè)小組成果,并輸出不合格數(shù)據(jù),供作業(yè)小組迭代更新,寶貴的人力資源則集中于核對檔案、不動產(chǎn)信息修復(fù)與補錄、外業(yè)補充調(diào)查測繪等實質(zhì)性不動產(chǎn)數(shù)據(jù)整合工作之上, 從而提高了不動產(chǎn)數(shù)據(jù)整合的工作效率和成果質(zhì)量。