基于FME的排水管網(wǎng)隱患數(shù)據(jù)質(zhì)量檢查技術(shù)研究

陳莎，譚仁春，陳子凡，石淼，江威

(1.武漢市測(cè)繪研究院，湖北 武漢 430022； 2.武漢市勘察設(shè)計(jì)有限公司，湖北 武漢 430022)

1 引 言

城市排水管網(wǎng)隱患排查工作的開(kāi)展，旨在探明市政排水管網(wǎng)空間分布與屬性信息，通過(guò)查明各污水系統(tǒng)內(nèi)雨污管道混接、錯(cuò)接狀況、查明混接點(diǎn)(源)準(zhǔn)確位置信息；采用各種設(shè)備對(duì)排水管道及設(shè)施內(nèi)部進(jìn)行功能性、結(jié)構(gòu)性缺陷監(jiān)測(cè)評(píng)估，可以為混錯(cuò)接點(diǎn)整改、管道缺陷修復(fù)提供依據(jù)[1]。

由于城市排水管網(wǎng)隱患成果往往具有數(shù)據(jù)量龐大、屬性項(xiàng)豐富、錯(cuò)誤隱蔽性高等特點(diǎn)，質(zhì)量控制成為隱患排查工作中的關(guān)鍵環(huán)節(jié)。本文以武漢市中心城區(qū)排水管網(wǎng)隱患排查項(xiàng)目為例，探討利用FME平臺(tái)研發(fā)排水管網(wǎng)隱患數(shù)據(jù)質(zhì)量檢查模塊的技術(shù)方法與內(nèi)容。

2 排水管網(wǎng)隱患質(zhì)檢內(nèi)容

2.1 質(zhì)檢數(shù)據(jù)源

排水管網(wǎng)隱患外業(yè)調(diào)查成果為Microsoft Access數(shù)據(jù)庫(kù)的mdb格式文件，包含排水管網(wǎng)數(shù)據(jù)兩項(xiàng)，隱患數(shù)據(jù)兩項(xiàng)，以此四項(xiàng)數(shù)據(jù)表作為排水管網(wǎng)隱患質(zhì)量檢查的數(shù)據(jù)源。

(1)排水管網(wǎng)數(shù)據(jù)

主要為排水管點(diǎn)與排水管段兩類(lèi)數(shù)據(jù)表，包含排水(雨、污、合)管道名稱、管徑、管內(nèi)底高程、材質(zhì)、長(zhǎng)度、排水性質(zhì)、流向、權(quán)屬，井深、井內(nèi)狀況等空間及屬性信息，表達(dá)排水管網(wǎng)的分布及連接關(guān)系。

(2)隱患數(shù)據(jù)

采用管道潛望鏡(QV)檢測(cè)、閉路電視(CCTV)檢測(cè)等現(xiàn)代化管道檢測(cè)手段，調(diào)查排水管網(wǎng)的雨污混錯(cuò)接，查明雨水和污水管道混接情況、沿途社區(qū)商鋪污水私接情況等，形成混接點(diǎn)數(shù)據(jù)表。

通過(guò)管道潛望鏡(QV)檢測(cè)、閉路電視(CCTV)檢測(cè)、全地形機(jī)器人、聲吶檢測(cè)等現(xiàn)代化排查手段，調(diào)查排水管網(wǎng)存在的功能性缺陷(沉積、結(jié)垢、障礙物、殘墻壩根、樹(shù)根、浮渣)及結(jié)構(gòu)性缺陷(破裂、變形、腐蝕、錯(cuò)口、起伏、脫節(jié)、接口材料脫落、支管暗接、異物穿入、滲漏)，形成缺陷檢測(cè)信息表。

2.2 質(zhì)量控制流程

排水管網(wǎng)隱患數(shù)據(jù)的質(zhì)量控制環(huán)節(jié)主要由FME質(zhì)量檢查模塊、人機(jī)交互質(zhì)量檢查以及外業(yè)核查等工作結(jié)合而成，其中FME質(zhì)量檢查模塊包含數(shù)據(jù)結(jié)構(gòu)檢查、屬性檢查、空間檢查與邏輯一致性檢查4個(gè)子模塊，從各個(gè)方面對(duì)排水管網(wǎng)隱患外業(yè)調(diào)查成果進(jìn)行檢核，具體流程如圖1所示。

圖1 質(zhì)量控制流程圖

3 質(zhì)量檢查關(guān)鍵技術(shù)

3.1 質(zhì)檢規(guī)則設(shè)計(jì)

質(zhì)檢規(guī)則主要依據(jù)《測(cè)繪成果質(zhì)量檢查與驗(yàn)收》(GBT 24356-2009)[2]和《武漢市排水管網(wǎng)隱患數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)》(DB4201/T 650-2021)[3]，深入挖掘排水管網(wǎng)隱患數(shù)據(jù)的特性，科學(xué)分析排水管網(wǎng)隱患數(shù)據(jù)的現(xiàn)狀，對(duì)檢查內(nèi)容進(jìn)行歸納與提取，設(shè)計(jì)詳盡完備的檢查規(guī)則，并制定切實(shí)有效的檢查方法。檢查規(guī)則項(xiàng)如圖2所示。

圖2 質(zhì)檢規(guī)則項(xiàng)設(shè)計(jì)圖

(1)數(shù)據(jù)結(jié)構(gòu)檢查

數(shù)據(jù)結(jié)構(gòu)檢查模塊主要對(duì)數(shù)據(jù)庫(kù)各表是否符合規(guī)范要求進(jìn)行檢查，主要包括①檢查數(shù)據(jù)庫(kù)各表使用的坐標(biāo)系統(tǒng)是否正確；②檢查數(shù)據(jù)庫(kù)各表是否缺失或多余，命名是否符合規(guī)范；③檢查數(shù)據(jù)庫(kù)各表屬性字段是否缺失或多余，命名是否符合規(guī)范。

(2)屬性檢查

屬性檢查是對(duì)數(shù)據(jù)庫(kù)各表的屬性值填寫(xiě)內(nèi)容進(jìn)行檢查，主要包括①字段內(nèi)容是否在值域范圍內(nèi)；②必填字段是否為空；③排水管點(diǎn)外業(yè)點(diǎn)號(hào)是否唯一；④排水管段編碼是否唯一；⑤排水管點(diǎn)地面高程超出[10，50]范圍內(nèi)時(shí)生成復(fù)核提示；⑥排水管段的管段長(zhǎng)度與計(jì)算幾何長(zhǎng)度是否一致。

(3)空間檢查

空間檢查是對(duì)數(shù)據(jù)庫(kù)各表轉(zhuǎn)換為空間表達(dá)形式后進(jìn)行檢查，主要包括①排水管點(diǎn)在空間上是否不與任一管段相連；②排水管點(diǎn)(非混接管點(diǎn))存在空間重疊時(shí)生成復(fù)核提示；③排水管點(diǎn)為所有與其相連管段的終點(diǎn)(2段及以上)時(shí)生成復(fù)核提示。

(4)邏輯一致性檢查

邏輯一致性檢查是對(duì)數(shù)據(jù)庫(kù)各表在空間表達(dá)與語(yǔ)義化表達(dá)方面在邏輯上的一致性檢查，主要包括①排水管點(diǎn)點(diǎn)號(hào)是否存在對(duì)應(yīng)管段；②排水管段管段編碼是否為起始外業(yè)點(diǎn)號(hào)與終止外業(yè)點(diǎn)號(hào)構(gòu)成；③混接點(diǎn)是否存在對(duì)應(yīng)排水管點(diǎn)；④檢測(cè)管段是否存在對(duì)應(yīng)排水管線；⑤缺陷檢測(cè)信息同一檢測(cè)管段的是否存在相同缺陷記錄；⑥缺陷檢測(cè)信息缺陷類(lèi)型、名稱、代碼、等級(jí)、分值和評(píng)價(jià)是否一致，是否符合相關(guān)規(guī)定。

3.2 質(zhì)檢模塊研發(fā)

排水管網(wǎng)隱患數(shù)據(jù)的質(zhì)量檢查工作即是依據(jù)以上質(zhì)檢規(guī)則，利用FME平臺(tái)進(jìn)行質(zhì)檢模塊制作，并將質(zhì)檢結(jié)果分類(lèi)輸出。質(zhì)檢模塊的研發(fā)主要包括以下內(nèi)容。

(1)配置信息數(shù)據(jù)庫(kù)建立

配置信息數(shù)據(jù)庫(kù)的建立主要包含以下三個(gè)部分。

①根據(jù)《武漢市排水管網(wǎng)隱患數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)》(DB4201/T 650-2021)規(guī)定的數(shù)據(jù)庫(kù)結(jié)構(gòu)、數(shù)據(jù)表結(jié)構(gòu)、編碼結(jié)構(gòu)、填寫(xiě)規(guī)范及相關(guān)要求，制作標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)模板；

②基于《城鎮(zhèn)排水管道檢測(cè)評(píng)估與技術(shù)規(guī)程》(CJJ 181-2012)[4]中對(duì)結(jié)構(gòu)性缺陷與功能性缺陷的名稱、代碼、等級(jí)劃分及分值的相關(guān)規(guī)定，制作缺陷信息表；

③考慮到測(cè)區(qū)地理狀況與排水管網(wǎng)的實(shí)際現(xiàn)狀，設(shè)置合理的檢查條件，如排水管點(diǎn)的高程值超出[10，50]則生成復(fù)核提示，因此需制作特定屬性項(xiàng)值域范圍表；

這三部分作為配置信息數(shù)據(jù)庫(kù)，用于FME質(zhì)檢模塊的調(diào)用與參考。

(2)FME質(zhì)檢模板制作

①空間數(shù)據(jù)構(gòu)造

排水管網(wǎng)隱患數(shù)據(jù)在mdb數(shù)據(jù)表中以表格數(shù)據(jù)項(xiàng)的形式存儲(chǔ)，是一種非空間數(shù)據(jù)庫(kù)格式，以排水管點(diǎn)的外業(yè)點(diǎn)號(hào)作為關(guān)聯(lián)屬性，由排水管點(diǎn)的X、Y坐標(biāo)值作為基礎(chǔ)定位信息，分別構(gòu)建排水管點(diǎn)、排水管段、混接點(diǎn)與缺陷點(diǎn)的空間圖形，為質(zhì)檢項(xiàng)中涉及空間關(guān)系檢查的內(nèi)容提供支撐。

排水管點(diǎn)的構(gòu)建采用VertexCreator轉(zhuǎn)換器，其中Mode為Add Point，將X Y Z Value直接對(duì)應(yīng)為X坐標(biāo)、Y坐標(biāo)、地面高程即可。

通過(guò)AttributerKeeper轉(zhuǎn)換器，將排水管段保留管段編碼、起始外業(yè)點(diǎn)號(hào)、管底高程屬性為A，保留管段編碼、終止外業(yè)點(diǎn)號(hào)、管尾高程屬性為B，保留排水管點(diǎn)的外業(yè)點(diǎn)號(hào)、X坐標(biāo)、Y坐標(biāo)，A、B分別通過(guò)FeatureMerger轉(zhuǎn)換器與管點(diǎn)進(jìn)行關(guān)聯(lián)，并通過(guò)AttributeCreater轉(zhuǎn)換器為A、B建立標(biāo)識(shí)參數(shù)flag分別賦值為1與2，并保留管底高程與管尾高程為Z值，采用VertexCreator轉(zhuǎn)換器構(gòu)造點(diǎn)，利用Sorter轉(zhuǎn)換器分別對(duì)管段編碼(Alphabetic/Ascending)與flag(Numberic/Ascending)進(jìn)行排序，再通過(guò)LineBuilder轉(zhuǎn)換器兩點(diǎn)連線，其中Connection Break Attributes為管段編碼，構(gòu)建排水管段。

混接點(diǎn)通過(guò)外業(yè)點(diǎn)號(hào)通過(guò)FeatureMerger轉(zhuǎn)換器關(guān)聯(lián)對(duì)應(yīng)排水管點(diǎn)生成。

缺陷檢測(cè)信息表中的記錄項(xiàng)是針對(duì)排水管段的檢測(cè)記錄，因此構(gòu)造缺陷點(diǎn)需要通過(guò)排水管段的起止點(diǎn)坐標(biāo)值與缺陷距離來(lái)共同生成。缺陷信息表中檢測(cè)記錄的坐標(biāo)值可以參考排水管段的構(gòu)建方式獲取，將起始點(diǎn)坐標(biāo)設(shè)置為X1、Y1、Z1，終止點(diǎn)坐標(biāo)設(shè)置為X2、Y2、Z2，則先利用這些坐標(biāo)值利用Expression Evaluator轉(zhuǎn)換器計(jì)算排水管段的管段長(zhǎng)度D，規(guī)定缺陷點(diǎn)的坐標(biāo)值X0、Y0、Z0：若缺陷距離為0，則X0=X1，Y0=Y1，Z0=Z1；若缺陷距離與管段長(zhǎng)度相等，則X0=X2，Y0=Y2，Z0=Z2；否則通過(guò)Attribute Creator轉(zhuǎn)換器生成缺陷點(diǎn)的坐標(biāo)值X0、Y0、Z0，再采用Vertex Creator轉(zhuǎn)換器構(gòu)造缺陷點(diǎn)。

②數(shù)據(jù)結(jié)構(gòu)檢查

以SCHEMA方式將質(zhì)檢數(shù)據(jù)源與配置信息數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)模板分別輸入，利用FeatureMerger轉(zhuǎn)換器，將FME_FEATURE_TYPE_NAME作為關(guān)聯(lián)字段，判斷未成功匹配的數(shù)據(jù)結(jié)構(gòu)并輸出。

③屬性檢查

屬性值域檢查

通過(guò)FeatureMerger轉(zhuǎn)換器將目標(biāo)數(shù)據(jù)庫(kù)與配置信息數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)模板關(guān)聯(lián)，利用AttributeCreater轉(zhuǎn)換器的Parameter Condition Definition進(jìn)行條件判斷生成并輸出質(zhì)檢記錄。

屬性唯一性檢查

通過(guò)Matcher轉(zhuǎn)換器檢查排水管段的管段編碼與排水管點(diǎn)的外業(yè)點(diǎn)號(hào)，輸出存在重復(fù)的數(shù)據(jù)項(xiàng)。

屬性正確性檢查

通過(guò)Tester轉(zhuǎn)換器判斷相應(yīng)數(shù)據(jù)表的屬性項(xiàng)內(nèi)容是否滿足相應(yīng)條件，不符合即輸出相應(yīng)記錄。

④空間檢查

孤立管點(diǎn)檢查

將管段通過(guò)AttributerKeeper轉(zhuǎn)換器分別保留“起始外業(yè)點(diǎn)號(hào)”與“終止外業(yè)點(diǎn)號(hào)”，并經(jīng)過(guò)GeometryRemover轉(zhuǎn)換器移除幾何信息，與管點(diǎn)的“外業(yè)點(diǎn)號(hào)”進(jìn)行關(guān)聯(lián)查詢，并通過(guò)Tester轉(zhuǎn)換器排除管點(diǎn)附屬物為雨水篦、出水口、進(jìn)水口的情形，即生成不與任何管段相接的孤立管點(diǎn)。

重復(fù)管點(diǎn)檢查

在剔除孤立管點(diǎn)后進(jìn)行，利用PointOnPointOverLayer轉(zhuǎn)換器并篩選_overlaps>0的數(shù)據(jù)項(xiàng)為重疊項(xiàng)，再與混接點(diǎn)數(shù)據(jù)表進(jìn)行比對(duì)排除，進(jìn)行重疊檢查。

管段終點(diǎn)檢查

通過(guò)AttributeManager轉(zhuǎn)換器根據(jù)“流向”中的填值為0或1確定排水管段流向的“真實(shí)起點(diǎn)”與“真實(shí)終點(diǎn)”，再將無(wú)法匹配到“真實(shí)起點(diǎn)”的管段利用DuplicateFilter轉(zhuǎn)換器將“真實(shí)終點(diǎn)”重復(fù)的管段與管點(diǎn)利用FeatureMerger轉(zhuǎn)換器進(jìn)行關(guān)聯(lián)，找到為所有與其相連管段(大于2根以上的管段)終點(diǎn)的排水管點(diǎn)。

⑤邏輯一致性檢查

邏輯關(guān)聯(lián)關(guān)系檢查

排水管點(diǎn)、排水管段、缺陷檢測(cè)信息、混接點(diǎn)之間的邏輯關(guān)聯(lián)關(guān)系主要通過(guò)外業(yè)點(diǎn)號(hào)、起始外業(yè)點(diǎn)號(hào)、終止外業(yè)點(diǎn)號(hào)等字段利用AttributeManager轉(zhuǎn)換器進(jìn)行關(guān)聯(lián)，通過(guò)對(duì)UnmergedRequestor、UnusedSupplier等輸出端的結(jié)果進(jìn)行分析，輸出空間邏輯不一致的數(shù)據(jù)項(xiàng)列表。

邏輯約束關(guān)系檢查

同一條記錄中不同屬性項(xiàng)之間邏輯約束關(guān)系檢查，主要通過(guò)AttributeCreater轉(zhuǎn)換器，設(shè)置相應(yīng)的判斷因子Test Condition與描述值A(chǔ)ttributeValue，將存在多屬性邏輯不一致的數(shù)據(jù)項(xiàng)進(jìn)行詳細(xì)錯(cuò)誤描述并輸出。

邏輯一致性檢查

缺陷檢測(cè)信息缺陷類(lèi)型、名稱、代碼、等級(jí)、分值、距離、分布時(shí)鐘和評(píng)價(jià)的一致性檢查，先通過(guò)Tester轉(zhuǎn)換器過(guò)濾掉缺陷名稱為正常的數(shù)據(jù)項(xiàng)，再通過(guò)FeatureMerger轉(zhuǎn)換器與配置信息數(shù)據(jù)庫(kù)的缺陷信息表關(guān)聯(lián)，關(guān)聯(lián)字段設(shè)置包含缺陷名稱、缺陷代碼、缺陷等級(jí)，未關(guān)聯(lián)上的表明缺陷名稱、代碼與等級(jí)不符合標(biāo)準(zhǔn)規(guī)定。部分FME質(zhì)量檢查模板示意圖如圖3所示。

圖3 部分FME質(zhì)量檢查模板示意圖

(3)質(zhì)檢結(jié)果樣式制定

數(shù)據(jù)質(zhì)檢的意義在于檢查出數(shù)據(jù)錯(cuò)誤并反饋至數(shù)據(jù)生產(chǎn)側(cè)，及時(shí)對(duì)數(shù)據(jù)缺陷進(jìn)行完善。質(zhì)檢結(jié)果需保留數(shù)據(jù)源的數(shù)據(jù)表名以及相關(guān)標(biāo)識(shí)屬性，便于定位查找，且應(yīng)以相對(duì)通俗、科學(xué)、合理的語(yǔ)言文字詳細(xì)描述質(zhì)量問(wèn)題，易于理解核查，以包含上述兩類(lèi)信息的Excel表格按記錄項(xiàng)來(lái)表達(dá)質(zhì)檢成果，如圖4所示。

4 基于FME質(zhì)量檢查的優(yōu)勢(shì)

4.1 過(guò)程可視性

FME質(zhì)量檢查模塊的運(yùn)行過(guò)程中，在平臺(tái)上實(shí)時(shí)顯示數(shù)據(jù)的流動(dòng)軌跡、當(dāng)前轉(zhuǎn)換器節(jié)點(diǎn)與對(duì)應(yīng)轉(zhuǎn)換器各端口輸入輸出數(shù)據(jù)個(gè)數(shù)，直觀地反映每一步的處理情況，可以發(fā)現(xiàn)數(shù)據(jù)中存在的問(wèn)題，易于及時(shí)更新質(zhì)檢策略。

4.2 定制便捷性

根據(jù)不同批次、不同地理位置、不同作業(yè)單位提交數(shù)據(jù)源的實(shí)際質(zhì)量情況，可新增、禁用或激活部分質(zhì)檢轉(zhuǎn)換器與質(zhì)檢子流程，或在相關(guān)轉(zhuǎn)換器中直接對(duì)參數(shù)進(jìn)行重新填寫(xiě)(如合理調(diào)整容差等)，實(shí)現(xiàn)質(zhì)檢程序的高效快捷定制。用戶在可視化的工作空間內(nèi)，按照實(shí)際需求對(duì)轉(zhuǎn)換器進(jìn)行“組裝”，以此來(lái)實(shí)現(xiàn)對(duì)GIS數(shù)據(jù)的特定化處理[5]。

4.3 配置靈活性

用于FME模塊調(diào)用與參考的配置信息數(shù)據(jù)庫(kù)設(shè)置為Excel格式，針對(duì)不同的數(shù)據(jù)標(biāo)準(zhǔn)與數(shù)據(jù)要求，對(duì)Excel進(jìn)行靈活配置與編輯更新。例如可通過(guò)修改Excel表格隨時(shí)重置特定屬性項(xiàng)的值域范圍，不需調(diào)整FME程序即實(shí)現(xiàn)了適配新標(biāo)準(zhǔn)，服務(wù)新需求。

5 結(jié) 語(yǔ)

排水管網(wǎng)隱患排查為后續(xù)雨污分流改造、管網(wǎng)修復(fù)改造工程、清淤減污、提質(zhì)增效等行動(dòng)提供了有力數(shù)據(jù)支撐，排水管網(wǎng)隱患數(shù)據(jù)成果的質(zhì)量關(guān)乎河湖流域水環(huán)境治理的成敗。本文基于FME的自動(dòng)化、批量化質(zhì)檢模塊的研發(fā)，嘗試構(gòu)建了科學(xué)、合理的質(zhì)檢規(guī)則。本文中提到的FME實(shí)踐成果為武漢市中心城區(qū)排水管網(wǎng)隱患排查項(xiàng)目提供了高效實(shí)用的質(zhì)量控制解決方案，為項(xiàng)目順利驗(yàn)收及下一步工作的開(kāi)展提供保障。