實景三維模型紋理的敏感目標(biāo)自動識別與脫密方法

徐海燕,郭為人,李德民,郝 君,徐 剛

(1. 浙江安防職業(yè)技術(shù)學(xué)院,浙江 溫州 325016; 2. 溫州市地理空間信息技術(shù)研究院,浙江 溫州 325016; 3. 溫州市自然資源和規(guī)劃信息中心,浙江 溫州 325000; 4.溫州市天空地態(tài)勢感知應(yīng)用技術(shù)協(xié)同 創(chuàng)新中心,浙江 溫州 325016; 5. 溫州市自然災(zāi)害遙感監(jiān)測預(yù)警重點實驗室,浙江 溫州 325016; 6. 溫州市未來城市研究院,浙江 溫州 325016)

實景三維模型是新型基礎(chǔ)測繪的重要組成部分,作為構(gòu)建“數(shù)字城市”“城市大腦”的基礎(chǔ)空間信息數(shù)據(jù),既能夠表達(dá)城市的全要素信息,又具有測繪級的空間精度,逐步受到城市規(guī)劃、建筑和管理部門的重視[1-2]。

隨著網(wǎng)絡(luò)的日益普及,三維模型數(shù)據(jù)訪問、獲取、使用、傳播等更加便捷。然而大量已獲取的實景三維數(shù)據(jù)正面臨著保密與共享的難題,特別是實景三維模型中高分辨率的紋理信息能夠暴露很多秘密機(jī)構(gòu)、重要設(shè)施等敏感目標(biāo)[3]。因此,需要對這些敏感目標(biāo)進(jìn)行脫密處理后才能保證數(shù)據(jù)的安全與共享應(yīng)用,否則將對國家利益和安全構(gòu)成威脅[4]。

三維模型的紋理脫密主要分為兩個階段,即敏感目標(biāo)識別和脫密處理。傳統(tǒng)的方法主要依賴于人工方法尋找紋理影像中的敏感目標(biāo),再使用圖像編輯相關(guān)工具獲取敏感目標(biāo)周圍的紋理并對其進(jìn)行移除,以達(dá)到脫密的目的[5]。但該類方法在城市級的大場景下效率低,穩(wěn)健性不足,無法滿足高效脫密處理的要求。

隨著深度學(xué)習(xí)方法的發(fā)展,文獻(xiàn)[6]提出的YOLO網(wǎng)絡(luò)模型在目標(biāo)檢測和識別領(lǐng)域取得了卓越的成就,在工業(yè)[7]、交通[8-9]、安防[10-11]等領(lǐng)域表現(xiàn)出巨大的應(yīng)用前景。隨后相繼提出了YOLOv3[12]、YOLOv4[13]等版本。YOLOv5推出s、m、l和x這4個不同的網(wǎng)絡(luò)模型,是在YOLOv4的基礎(chǔ)上進(jìn)行的參數(shù)優(yōu)化調(diào)整,檢測速度和精度有很大的提升,且更適合在生產(chǎn)環(huán)境中使用和部署。

在紋理修復(fù)方面,文獻(xiàn)[14]提出了Patch match方法,具有較好的修復(fù)能力,其主要思想是在待修復(fù)紋理塊區(qū)域邊緣選取像素點,并以該點為中心劃定一個大小合適的窗口,遍歷整個圖像,搜索與該紋理特征最為接近的圖像塊,利用紋理塊的連續(xù)性找到最佳紋理塊替代當(dāng)前的紋理塊。文獻(xiàn)[15]以視頻序列影像為數(shù)據(jù),基于紋理塊匹配建立全局的相關(guān)性函數(shù)以約束新的影像,使新影像的全局相關(guān)性達(dá)到最大。

本文方法主要分為兩個階段:一是基于YOLOv5s網(wǎng)絡(luò)自動識別并有效提取敏感目標(biāo);二是基于多尺度紋理塊匹配方法建立全局相關(guān)性函數(shù)進(jìn)行紋理修復(fù),達(dá)到脫密的目的。

1 技術(shù)路線

1.1 總體框架

本文的敏感目標(biāo)自動識別和脫密模型總體框架如圖1所示,主要由YOLOv5s模型、GrabCut模型[15]和多尺度紋理塊匹配修復(fù)組成。其中,YOLOv5s模型用于敏感目標(biāo)識別和定位;GrabCut模型利用定位的錨框準(zhǔn)確提取敏感目標(biāo);多尺度紋理塊匹配用于對敏感目標(biāo)的自動脫密。

圖1 總體框架

處理流程為:①預(yù)處理。根據(jù)秘密點POI獲取三維模型及對應(yīng)的紋理影像集,其中包含敏感目標(biāo)的紋理影像。②輸入紋理影像集和預(yù)先訓(xùn)練好的目標(biāo)權(quán)重參數(shù),使用YOLOv5s模型對紋理影像進(jìn)行快速的檢索、識別,判斷是否存在敏感目標(biāo)。③紋理影像中若不存在目標(biāo),則直接用于后續(xù)生成;若存在,則根據(jù)錨框坐標(biāo),利用GrabCut模型提取敏感目標(biāo),輸出敏感目標(biāo)對應(yīng)的Mask。④使用多尺度的紋理塊修復(fù)方法直接處理待修復(fù)區(qū)域,并最終生成脫密后的紋理影像,用于后續(xù)生產(chǎn)。

1.2 YOLOv5s模型

YOLOv5s網(wǎng)絡(luò)是YOLOv5系列中的輕量化版本,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。為滿足敏感目標(biāo)快速識別的要求,本文采用計算速度最快的YOLOv5s模型。

圖2 YOLOv5s網(wǎng)絡(luò)框架

YOLOv5s算法網(wǎng)絡(luò)模型主要分為輸入端、骨干端、頸部端、頭部端4個模塊[8]。輸入端的主要功能是對輸入圖像進(jìn)行預(yù)處理,包括 Mosaic 數(shù)據(jù)增強(qiáng)、自適應(yīng)計算錨框、縮放圖像等模塊。骨干端是網(wǎng)絡(luò)的主要部分,主要負(fù)責(zé)提取特征,由CBS、CSP1和SPPF組成。其中,CBS是由卷積、批量歸一化和SiLU激活函數(shù)組成;CSP1為一種殘差結(jié)構(gòu),可以減少計算計算過程中的參數(shù),并通過殘差模塊控制模型的深度,也即由CSP1＿X和CSP2＿X的X所表示的殘差模塊使用的串聯(lián)次數(shù);SPPF是對特征圖進(jìn)行多次池化處理,對高層次特征進(jìn)行提取并融合,具有更快的推理速度。頸部端使用路徑聚合網(wǎng)絡(luò)PANet進(jìn)行特征融合,由CBS、上采樣、CSP2組成。CSP2與CSP1相比,少了殘差結(jié)構(gòu),因為特征融合不需要加深網(wǎng)絡(luò)[9]。PANet在 FPN基礎(chǔ)上添加了一個自底向上的信息流通途徑,進(jìn)一步提高了特征提取能力。檢測頭輸出端采用GIOU函數(shù)作為邊界框的損失函數(shù),在目標(biāo)識別后處理過程,使用非極大值抑制對多目標(biāo)框進(jìn)行篩選,提高多目標(biāo)的檢測能力。

1.3 Grabcut模型

GrabCut是基于圖割的圖像分割算法,如圖3所示。該算法需要為圖像設(shè)置矩形框,并以框內(nèi)的像素作為分割對象,在矩形框外的像素將被自動分為背景,對于矩形框內(nèi)的區(qū)域像素,將會利用背景中的像素信息區(qū)分前景和背景?；诟咚够旌夏Ｐ?GMM)對背景和前景建立模型,并將矩形框內(nèi)的像素標(biāo)記為可能為背景或前景,即待分類的像素。整個圖像中的每個像素將被視為通過邊與周圍的像素相連接,而每條邊都擁有一個屬于背景或前景的概率,這是基于它與周邊的像素顏色上的相似度。每個像素都會與一個前景節(jié)點s或背景節(jié)點t連接。在每個像素完成節(jié)點連接后,若相連接的兩個像素不屬于相同的前景或背景節(jié)點(即一個節(jié)點屬于背景而另一個節(jié)點屬于前景),則會切斷兩者之間的邊,通過該方式將對象分割為前景和背景。

圖3 GrabCut分割

自動識別模型會輸出若干個錨框表示敏感目標(biāo)的位置,但錨框不能準(zhǔn)確提取目標(biāo)。因此,本文將目標(biāo)識別的錨框作為需要分割的對象自動輸入至GrabCut模型,通過GrabCut模型可以將敏感目標(biāo)作為前景從背景中提取出來,輸出二值化Mask圖像,用于脫密處理。

1.4 紋理脫密

在紋理修復(fù)中,圖像需要保持最大的全局一致性才能達(dá)到良好的紋理脫密效果,全局一致性函數(shù)表示為

(1)

式中,SSIM為結(jié)構(gòu)相似度函數(shù);Wp為影像S需要填充的區(qū)域;Vq為影像D對應(yīng)找到區(qū)域。

對于影像S和影像D,如果影像S中每個點都能在影像D中找到,則認(rèn)為是全局一致性,即可以用影像D的窗口填充影像S的數(shù)據(jù)。從影像D中找到的patch塊用V表示。H則是影像S中需要填充的空洞區(qū)域。如果可以用一些新的Wp填充丟失Vq,得到一個新的影像S*,與影像D一樣具有最高的權(quán)交易全局一致性。雖然目前沒有可行的方法能直接對該目標(biāo)函數(shù)進(jìn)行求解,但可知在最優(yōu)解的位置,必然會滿足以下兩個條件:①包含P點的所有patch都來自影像D;②patch塊在P點的投票值都是一樣的。通過先在粗尺度上進(jìn)行處理,在不斷進(jìn)行傳播到細(xì)尺度上,可以提高紋理合成的效率。

由于是利用單幅紋理影像進(jìn)行修復(fù),因此影像S與影像D是一致的。在梯度設(shè)置方面,文獻(xiàn)[15]使用了5種指標(biāo)評估patch塊之間的相似度,本文針對圖像僅使用了RGB評價相似度。

2 試 驗

2.1 構(gòu)建數(shù)據(jù)集

以紋理影像中的敏感文字目標(biāo)和標(biāo)志目標(biāo)為例,構(gòu)建相應(yīng)的數(shù)據(jù)集,以驗證目標(biāo)自動識別與脫密的性能。

2.1.1 試驗數(shù)據(jù)

試驗數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)集將用于訓(xùn)練目標(biāo)識別模型,測試數(shù)據(jù)集用于模型的識別應(yīng)用。訓(xùn)練數(shù)據(jù)集由MSRA-TD500[16]和自采集紋理影像數(shù)據(jù)集兩部分組成。MSRA-TD500是一個用于測試和評估多方向、多語言文字檢測算法的自然圖像數(shù)據(jù)集,分辨率較高。為了提高模型的穩(wěn)健性,在自然圖像數(shù)據(jù)集的基礎(chǔ)上加入了自采集的紋理影像數(shù)據(jù)集,其中的紋理影像包含敏感目標(biāo)。

2.1.2 數(shù)據(jù)預(yù)處理

由于傾斜影像以紋理映射方式貼到對應(yīng)三維模型面上,立面紋理中的敏感文字和標(biāo)志目標(biāo)將以規(guī)整的排列方式呈現(xiàn),如圖4所示。因此,在訓(xùn)練數(shù)據(jù)集構(gòu)建中對訓(xùn)練數(shù)據(jù)進(jìn)行一定程度的透視變換,有針對性使其文字和標(biāo)志排列方式保持水平或垂直,更有利于網(wǎng)絡(luò)模型的訓(xùn)練。

圖4 紋理映射中影像變換

使用Labelimg軟件對訓(xùn)練數(shù)據(jù)集中的文字與標(biāo)志目標(biāo)等進(jìn)行重新標(biāo)注,構(gòu)建紋理影像敏感目標(biāo)識別數(shù)據(jù)集;按照8∶2的比例將數(shù)據(jù)集隨機(jī)分為訓(xùn)練集和驗證集。本文共標(biāo)注了350張影像,其中訓(xùn)練集總數(shù)為280張,驗證集為70張。測試數(shù)據(jù)集100張,用于評價,不參與模型訓(xùn)練。

2.2 參數(shù)設(shè)置

在識別模型網(wǎng)絡(luò)參數(shù)設(shè)置中,學(xué)習(xí)率設(shè)置為0.01,批量大小設(shè)置為32,迭代次數(shù)300輪,使用SGD優(yōu)化器。網(wǎng)絡(luò)訓(xùn)練結(jié)束后得到目標(biāo)權(quán)重參數(shù)文件,然后從測試數(shù)據(jù)集中抽取100張紋理影像,驗證模型識別的性能。

GrabCut目標(biāo)提取中,對于前景GMM模型和背景GMM模型中的類別數(shù)設(shè)置為5,迭代次數(shù)為3;在紋理修復(fù)中,尺度數(shù)scale設(shè)置為8,紋理塊的大小設(shè)置為9。

3 結(jié)果與分析

3.1 評價指標(biāo)

評價目標(biāo)識別模型性能的指標(biāo)主要為準(zhǔn)確率、召回率、漏檢率和F1值。準(zhǔn)確率P表示識別模型正確的預(yù)測為正樣本數(shù)量占所有預(yù)測為正樣本數(shù)量的比例,計算公式為

(2)

式中,NTP表示預(yù)測正確的正樣本數(shù);NFP表示誤預(yù)測為正樣本數(shù)。

召回率R表示預(yù)測正確的正樣本占所有正樣本的比例,計算公式為

(3)

式中,N表示所有目標(biāo)中為正樣本的數(shù)量。

漏檢率M用于評價模型對于目標(biāo)的漏檢程度,計算公式為

(4)

F1值是對準(zhǔn)確率和召回率的綜合衡量,以評價模型性能的優(yōu)劣,計算公式為

(5)

評價紋理修復(fù)性能的評價指標(biāo)主要為峰值信噪比(PNSR)和結(jié)構(gòu)相似度(SSIM)。PNSR計算公式為

(6)

(7)

結(jié)構(gòu)相似度S是通過構(gòu)建亮度比較函數(shù)、對比度比較函數(shù)c、結(jié)構(gòu)比較函數(shù)s,衡量兩張圖像之間的相似性,計算公式為

S(x,y)=(x,y)α·c(x,y)β·s(x,y)γ

(8)

當(dāng)α、β、γ均為1時,S(x,y)可變形為

(9)

3.2 目標(biāo)識別性能分析

在測試數(shù)據(jù)集中提取100張包含敏感目標(biāo)的紋理影像進(jìn)行測試,結(jié)果見表1。

表1 識別結(jié)果

通過目標(biāo)識別后,錨框可以定位敏感目標(biāo)的范圍,如圖5(b)所示。在測試數(shù)據(jù)集中實際目標(biāo)359個,共檢測出337個目標(biāo),其中正確數(shù)量321個。模型精度為95.3%,召回率為84.4%,F1值為92.2%,表明該模型對于敏感目標(biāo)具有較好的識別和檢測能力。圖5(b)表示了敏感標(biāo)志目標(biāo)和敏感文字目標(biāo)。

圖5 目標(biāo)識別與紋理脫密結(jié)果

3.3 紋理脫密性能分析

由于錨框內(nèi)仍然包含大量背景信息即非敏感目標(biāo),會對后續(xù)的紋理脫密造成一定的干擾,因此利用GrabCut自動提取錨框內(nèi)的敏感目標(biāo)。為了保證提取敏感目標(biāo)的完整性,對GrabCut得到的掩膜圖像進(jìn)行形態(tài)學(xué)膨脹處理,向外膨脹5個像素。圖5(c)為掩膜處理后的紋理影像,其中白色部分表示敏感目標(biāo)。將敏感目標(biāo)掩膜圖像和紋理影像作為輸入,進(jìn)行紋理脫密處理。圖5(a)和圖5(d)分別為脫密前和脫密后的紋理影像,可以看出,脫密后的紋理影像可以較好地隱藏立面上的敏感目標(biāo)。

將脫密結(jié)果紋理映射至三維模型,圖6為三維模型紋理脫密前后的對比效果。通過定性分析,脫密后的紋理在目視條件下保證了最大程度的真實性,同時移除了敏感文字和標(biāo)志等,提高了共享的安全性,驗證了本文方法的有效性。

圖6 三維模型紋理脫密前后對比

從100張樣本中隨機(jī)抽取若干張紋理影像進(jìn)行人工脫密處理,然后與本文方法的脫密結(jié)果進(jìn)行PSNR和SSIM值計算,如圖7所示。經(jīng)統(tǒng)計,PSNR平均值為39.2,SSIM平均值為0.97,表明本文方法的脫密效果接近于人工脫密效果。

圖7 PSNR平均值和SSIM平均值統(tǒng)計

使用本文方法的整個流程,處理100張分辨率大小不等的紋理影像共耗時約35 min;采用人工處理方法僅進(jìn)行紋理脫密且不計敏感目標(biāo)查找工作需要60 min以上。本文方法處理時間相較于人工處理縮短40%以上,有效提高了紋理脫密效率。

4 結(jié) 語

在本文方法中,三維模型紋理影像敏感目標(biāo)自動識別的準(zhǔn)確率、召回率等指標(biāo)較高,紋理脫密效果合理自然,有效提高了紋理脫密的整體時間,表明結(jié)合深度學(xué)習(xí)的目標(biāo)自動識別和脫密效果較好。后續(xù)將進(jìn)一步研究實景三維數(shù)據(jù)脫密方法,為國家地理信息安全,以及維護(hù)國家安全和利益提供支撐。