基于改進(jìn)Criminisi算法的自動(dòng)駕駛仿真道路場(chǎng)景圖像修復(fù)

王琛　閔永軍　張?zhí)齑?/p>

摘? 要：利用真實(shí)圖像生成虛擬駕駛場(chǎng)景視圖時(shí)，首先要從圖像中移除車輛、行人等前景目標(biāo)，以便獲得不包含移動(dòng)目標(biāo)的背景圖像。針對(duì)原始Criminisi算法存在的圖像破損區(qū)域在修復(fù)后會(huì)出現(xiàn)模糊效應(yīng)、邊界不夠平滑的弊端，提出了一種在處理掩膜圖像環(huán)節(jié)使用開運(yùn)算，并優(yōu)化原始優(yōu)先權(quán)函數(shù)的改進(jìn)算法。運(yùn)用MATLAB仿真平臺(tái)進(jìn)行實(shí)驗(yàn)分析，結(jié)果表明改進(jìn)后算法修復(fù)時(shí)間平均縮短了16.5 s，峰值信噪比平均高出原算法1.65 dB。該算法還原了圖像中更多的道路信息，彌補(bǔ)了Criminisi算法的不足。

關(guān)鍵詞：圖像修復(fù);Criminisi算法;開運(yùn)算;道路場(chǎng)景;虛擬駕駛

中圖分類號(hào)：TP391.41? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Image Restoration of Automatic Driving Simulation Road

Scene based on Improved Criminisi Algorithm

WANG Chen， MIN Yongjun， ZHANG Tianci

（College of Automobile and Traffic Engineering， Nanjing Forestry University， Nanjing 210037， China）

wangchen12090598@126.com; yjmin@njfu.edu.cn; 814575590@qq.com

Abstract： When generating virtual driving scene view from real images， the foreground objects such as vehicles and pedestrians should be removed from the image first， so to obtain a background image without moving objects. Aiming at the shortcomings of the original Criminisi algorithm that the damaged area of the image will have fuzzy effect and the boundary is not smooth enough after repairing， this paper proposes an improved algorithm， which uses open operation and optimizes the priority function in the process of mask image. MATLAB Simulation platform is used for experimental analysis. The results show that the restoring time of the improved algorithm is shortened by 16.5 seconds on average， and the peak signal-to-noise ratio is 1.65 dB higher than the original algorithm on average. The improved algorithm restores more road information in the image and makes up for the deficiency of Criminisi algorithm.

Keywords： image restoration; Criminisi algorithm; open operation; road scene; virtual driving

1? ?引言（Introduction）

在自動(dòng)駕駛領(lǐng)域，基于場(chǎng)景的仿真測(cè)試在算法研發(fā)、系統(tǒng)測(cè)試和安全驗(yàn)證等環(huán)節(jié)中必不可少。道路場(chǎng)景是自動(dòng)駕駛仿真系統(tǒng)中駕駛場(chǎng)景的核心要素，傳統(tǒng)的道路場(chǎng)景使用游戲引擎或計(jì)算機(jī)圖形學(xué)模型來(lái)創(chuàng)建，不僅成本高、耗時(shí)多，而且所得場(chǎng)景圖像缺乏真實(shí)世界圖像的豐富性和真實(shí)性，不能滿足自動(dòng)駕駛測(cè)試的需要[1]。數(shù)據(jù)驅(qū)動(dòng)自動(dòng)駕駛仿真道路場(chǎng)景以移除了行人、車輛等前景目標(biāo)的真實(shí)圖像為基礎(chǔ)，通過(guò)圖像修復(fù)復(fù)原完整的背景圖像，創(chuàng)建類似真實(shí)世界的模擬場(chǎng)景，可避免傳統(tǒng)方法的不足，成為道路場(chǎng)景構(gòu)建技術(shù)的發(fā)展方向。

目前，圖像復(fù)原修復(fù)技術(shù)主要分為兩種，分別是基于結(jié)構(gòu)的修復(fù)[2]和基于紋理的修復(fù)[3]?；诮Y(jié)構(gòu)的修復(fù)方法是由BERTALMIO等人[4]提出的，利用圖像分解模型將圖像分解為結(jié)構(gòu)部分和紋理部分，先用偏微分方程（Partial Differenitial Equation， PDE）方法修復(fù)結(jié)構(gòu)部分，再用紋理合成技術(shù)對(duì)紋理部分進(jìn)行填充[5]。基于此方法的還有CHAN等人提出的整體變分（TV）模型[6]和曲率擴(kuò)散（CDD）模型[7]。基于紋理的修復(fù)技術(shù)[8]是以圖像塊為單位，用已知的圖像信息合成圖像缺損部分的信息，進(jìn)而達(dá)到修復(fù)的目的，它與第一種方法最明顯的區(qū)別在于它修復(fù)大面積缺損的圖像時(shí)效果更好。這類方法的代表是CRIMINISI等人[9]在2004 年提出的新的修復(fù)算法。該算法首次引入了優(yōu)先權(quán)的概念，利用數(shù)據(jù)項(xiàng)與置信項(xiàng)的乘積來(lái)決定處理的先后次序，而后利用最佳匹配搜索來(lái)填補(bǔ)空白區(qū)域，考慮了目標(biāo)對(duì)象的結(jié)構(gòu)與紋理。應(yīng)用于自動(dòng)駕駛仿真的背景圖像通常需要移除行人、車輛等大面積復(fù)雜圖像區(qū)域，使用基于結(jié)構(gòu)的算法修復(fù)時(shí)模糊效應(yīng)嚴(yán)重，而使用Criminisi算法修復(fù)相較前者效果有所改觀，但圖像缺損部分的邊界修復(fù)后不夠平滑。

本文根據(jù)自動(dòng)駕駛仿真系統(tǒng)道路場(chǎng)景構(gòu)建需要，提出一種改進(jìn)的Criminisi算法移除并修復(fù)真實(shí)背景圖像中的行人、車輛等目標(biāo)，取得了較好的效果，為自動(dòng)駕駛仿真中的靜態(tài)場(chǎng)景構(gòu)建提供了良好的基礎(chǔ)。

2? ?Criminisi算法（Criminisi algorithm）

2.1? ?Criminisi算法原理

Criminisi算法將紋理技術(shù)引入圖像修復(fù)中，用以解決在修復(fù)大尺度缺損圖像時(shí)基于結(jié)構(gòu)的算法所造成的模糊效應(yīng)。其主要原理如圖1所示，其中是已知的圖像信息，Ω表示待修復(fù)區(qū)域，?Ω為待修復(fù)區(qū)域的邊界，為?Ω上的一點(diǎn);是以點(diǎn)為中心點(diǎn)鄰域的目標(biāo)塊;是點(diǎn)的法向量，為點(diǎn)的等照度線向量。

其主要思想分為三步：在圖像的已知區(qū)域中計(jì)算最大優(yōu)先級(jí)目標(biāo)快;在樣本塊中搜尋與待修復(fù)區(qū)域具有最佳匹配度的匹配塊;將匹配塊的信息復(fù)制到待修復(fù)區(qū)域中。

2.1.1? ?計(jì)算最大優(yōu)先級(jí)目標(biāo)塊

若圖像中含有具有較強(qiáng)的邊緣性特征且已知信息的部分，則這些部分（樣本塊）會(huì)被優(yōu)先修復(fù)。點(diǎn)的優(yōu)先權(quán)定義為：

式中，置信度項(xiàng)用于衡量目標(biāo)塊中已知信息的比重;稱為數(shù)據(jù)項(xiàng)，其中表示點(diǎn)的等照度線向量，它的方向與點(diǎn)的梯度向量呈相互垂直關(guān)系，表示待修補(bǔ)區(qū)域邊界的法向量，為歸一化因子。

如上所述，能夠使含有較多已知信息的目標(biāo)塊得到優(yōu)先的修復(fù)，而能夠使含有較多結(jié)構(gòu)信息的目標(biāo)塊優(yōu)先被修復(fù)。和兩項(xiàng)的結(jié)合，才能使圖像的紋理與結(jié)構(gòu)修復(fù)達(dá)到平衡，取得理想的效果。

2.1.2? ?搜尋最佳匹配樣本塊

由第一步計(jì)算出了具有最大優(yōu)先權(quán)的目標(biāo)塊，接下來(lái)搜索與此目標(biāo)塊最佳的匹配塊。匹配塊與目標(biāo)塊之間的匹配準(zhǔn)則是匹配塊中的紋理信息要盡量與目標(biāo)塊中的紋理信息相一致，匹配公式如下（例如圖1中為最佳匹配塊）：

式中，、、是目標(biāo)塊中像素點(diǎn)的RGB值，、、是匹配塊中像素點(diǎn)的RGB值。

2.1.3? ?復(fù)制信息和更新置信項(xiàng)

樣本塊中的破損區(qū)域被填充后，其像素點(diǎn)的位置也相應(yīng)發(fā)生了變化，從目標(biāo)區(qū)域轉(zhuǎn)移到像素區(qū)域中。按下列方程更新這些點(diǎn)的置信度：

重復(fù)上述修復(fù)步驟，直至將所有待修復(fù)區(qū)域修復(fù)完。修復(fù)流程如圖2所示。

2.2? ?算法存在的問(wèn)題

在修復(fù)大區(qū)域破損圖像時(shí)，Criminisi算法應(yīng)用廣泛。但CHENG等人[10]指出，隨著填充迭代過(guò)程的進(jìn)行，置信值會(huì)迅速下降到零，這就使得計(jì)算出的優(yōu)先值并不可靠，從而影響了修復(fù)順序，進(jìn)而影響最終修復(fù)的效果[11]。此外，在修復(fù)圖像時(shí)，Criminisi算法需要對(duì)圖像中的待處理部分進(jìn)行掩膜操作，可是人為創(chuàng)建的掩膜圖像邊界不夠平滑，目標(biāo)物間粘連嚴(yán)重，導(dǎo)致待修復(fù)區(qū)域邊緣在修復(fù)后會(huì)出現(xiàn)模糊效應(yīng)。數(shù)據(jù)驅(qū)動(dòng)自動(dòng)駕駛仿真道路場(chǎng)景以真實(shí)圖像為基礎(chǔ)，邊界的模糊會(huì)使得仿真系統(tǒng)采集的道路場(chǎng)景數(shù)據(jù)不夠真實(shí)，進(jìn)而影響系統(tǒng)對(duì)真實(shí)道路的自動(dòng)化還原。

3? 改進(jìn)的Criminisi算法（Improved Criminisi algorithm）

3.1? ?開運(yùn)算處理

針對(duì)前述Criminisi算法的不足，在處理掩膜圖像環(huán)節(jié)使用開運(yùn)算，對(duì)Criminisi算法進(jìn)行改進(jìn)，提高待修復(fù)區(qū)域邊界的清晰性和邊界像素點(diǎn)優(yōu)先權(quán)計(jì)算的精度。在數(shù)學(xué)形態(tài)學(xué)中，開運(yùn)算被定義為先腐蝕后膨脹[12]。

（1）腐蝕

腐蝕的作用是消除物體的邊界點(diǎn)，它能夠把小于目標(biāo)結(jié)構(gòu)元素的物體都去除掉。表示被的腐蝕，具體定義為：

即可看作所有使被平移后包含于的的集合。

（2）膨脹

膨脹的作用是擴(kuò)大目標(biāo)區(qū)域，填補(bǔ)物體中的空洞，它可以將離得較近的兩個(gè)物體聯(lián)通到一起。表示被的膨脹，具體定義為：

膨脹的步驟是首先進(jìn)行關(guān)于原點(diǎn)的映射，然后平移，膨脹被平移后，就會(huì)造成它與至少存在一個(gè)非0的公共元素。

開運(yùn)算是先腐蝕再膨脹的運(yùn)算，其算法仿真如圖3所示，其中圖3（a）是原始掩膜圖像，圖3（b）是開運(yùn)算處理后得到的效果圖。

經(jīng)過(guò)對(duì)比可以看出，零碎的小白點(diǎn)物體被消除了，較大物體的邊界變得平滑，同時(shí)物體面積沒(méi)有明顯改變[13]。在原Criminisi算法處理掩膜圖像的基礎(chǔ)上加入開運(yùn)算，能去除小顆粒噪聲以及斷開目標(biāo)物之間粘連，使得待修復(fù)的空白部分在修復(fù)后邊緣平滑，模糊效應(yīng)減輕。

3.2? ?優(yōu)先權(quán)函數(shù)的改進(jìn)

由公式（2）可知，當(dāng)為0時(shí)，即使數(shù)據(jù)項(xiàng)的值很高，優(yōu)先權(quán)的值也必然等于零，從而該目標(biāo)塊得不到優(yōu)先修復(fù)。針對(duì)這一問(wèn)題，對(duì)優(yōu)先權(quán)的計(jì)算公式提出如下修改：

式中，和都為常數(shù)。由式（8）可以看出，即使置信項(xiàng)為0，只要數(shù)據(jù)項(xiàng)足夠大，優(yōu)先值的計(jì)算結(jié)果依然會(huì)比較高，那么目標(biāo)區(qū)域就能被優(yōu)先修復(fù)，這在一定程度上改善了原算法修復(fù)順序混亂的問(wèn)題。

4? 道路場(chǎng)景圖像修復(fù)實(shí)例（Road scene image restoration example）

本實(shí)驗(yàn)在AMD（R） Ryzen7-5800H CPU @2.30 GHz、16.0 GB內(nèi)存，安裝64 位Windows 10設(shè)備的筆記本電腦環(huán)境下實(shí)現(xiàn)，使用的算法平臺(tái)為MATLAB 2017b。本次算法所使用的圖像為實(shí)拍的真實(shí)世界道路圖像。實(shí)驗(yàn)內(nèi)容為運(yùn)用改進(jìn)的Criminisi算法來(lái)修復(fù)圖像，與原算法修復(fù)的圖像進(jìn)行對(duì)比，并運(yùn)用峰值信噪比（PSNR）[14]體現(xiàn)出改進(jìn)前后的修復(fù)效果差別。以下為兩組移除圖像中行人、車輛目標(biāo)的修復(fù)效果對(duì)比圖，如圖4和圖5所示。

由圖4對(duì)比來(lái)看，掩膜圖像經(jīng)過(guò)開運(yùn)算的處理，去噪效果明顯且邊緣更加平滑。此圖片運(yùn)用原Criminisi算法修復(fù)效果已經(jīng)很好，與改進(jìn)后的算法修復(fù)效果對(duì)比來(lái)看差別并不明顯，引入PSNR來(lái)評(píng)價(jià)，如表1所示。

由表1評(píng)價(jià)結(jié)果來(lái)看，改進(jìn)后的算法修復(fù)圖片失真更小，效果更好，并且由于修復(fù)順序混亂問(wèn)題的改進(jìn)，圖像修復(fù)的時(shí)間減少了，提高了修復(fù)效率。

從圖5車輛區(qū)域的填充不難看出，Criminisi算法在修復(fù)位于圖像邊緣的大尺度缺損的圖像時(shí)，并不能輕易尋找到最佳匹配樣本塊，修復(fù)難度大，效果并不理想。原算法在修復(fù)車輛部分的缺損時(shí)，運(yùn)用樹木、路面及斑馬線的顏色進(jìn)行填充，有明顯的修復(fù)痕跡，模糊效應(yīng)嚴(yán)重，樹和斑馬線甚至出現(xiàn)了重影。在運(yùn)用改進(jìn)的算法修復(fù)原圖片時(shí)，修復(fù)效果有明顯改善，斑馬線重影消失了，樹木部分雖然仍然存在模糊效應(yīng)，但比改進(jìn)前的效果已有大幅提升。同樣引入PSNR進(jìn)行評(píng)價(jià)，如表2所示。

這組實(shí)驗(yàn)的修復(fù)效果差別明顯，由表2客觀評(píng)價(jià)結(jié)果可得出結(jié)論，改進(jìn)后算法修復(fù)的圖片失真更小，修復(fù)速度更快，使得道路圖像更加真實(shí)，還原了更多的道路信息。仿真系統(tǒng)用它作為背景參考圖像將更有利于實(shí)現(xiàn)對(duì)真實(shí)道路的自動(dòng)化還原。

5? ?結(jié)論（Conclusion）

仿真系統(tǒng)是自動(dòng)駕駛技術(shù)開發(fā)和驗(yàn)證的基礎(chǔ)，本文以真實(shí)圖像為基礎(chǔ)，研究移除前景目標(biāo)后的背景圖像修復(fù)方法，為仿真系統(tǒng)提供背景參考圖像。Criminisi算法因其在修復(fù)大尺度破損圖像時(shí)的優(yōu)越性而適用于仿真系統(tǒng)的靜態(tài)場(chǎng)景構(gòu)建。本文針對(duì)它現(xiàn)存的缺陷進(jìn)行改進(jìn)，提出在處理掩膜圖像的環(huán)節(jié)使用開運(yùn)算，優(yōu)化了待修復(fù)區(qū)域被人為擴(kuò)大及邊緣粗糙的問(wèn)題;然后通過(guò)對(duì)優(yōu)先權(quán)函數(shù)的修改，改善了修復(fù)順序錯(cuò)亂的問(wèn)題。實(shí)驗(yàn)證明，改進(jìn)的算法不僅修復(fù)效率有所提高，同時(shí)去噪效果明顯且使得破損區(qū)域的邊界在修復(fù)后更加平滑，這將有利于仿真系統(tǒng)從圖像中提取更為真實(shí)的道路場(chǎng)景信息。

參考文獻(xiàn)（References）

[1] 張微，李鑫慧，吳學(xué)易，等.自動(dòng)駕駛仿真技術(shù)研究現(xiàn)狀[J].汽車電器，2019（08）：13-15，8.

[2] LIAN X L， ZHONG Y X， FENG L L， et al. Novel image inpainting based on partial differential equation[J]. Computer Engineering， 2009， 35（6）：234-236.

[3] TANG F， YING Y， WANG J， et al. A novel texture synthesis based algorithm forobject removal in photographs[C]//MAHER M J. Asian Computing Science Conference： Dedicated to Jean-Louis Lassez on the Occasion of His 5th Cycle Birthday. Chiang Mai， Thailand： Oversea Publishing House， 2004：248-258.

[4] BERTALMIO M， VESE L， GUILLERMO S T， et al. Simultaneous structure and texture image inpainting[J]. IEEE Transactionson Image Processing， 2003， 12（8）：882.

[5] 張東，唐向宏，張少鵬，等.小波變換與紋理合成相結(jié)合的圖像修復(fù)[J].中國(guó)圖象圖形學(xué)報(bào)，2015，20（07）：882-894.

[6] CHAN T F， SHEN J H. Non-texture inpainting by curvature driven diffusions[J]. Journal of Visual Communication and Image Representation， 2001， 12（4）：436-449.

[7] CHAN T F， KANG S H， SHEN J H. Euler's elastic and curvature based inpainting[J]. SIAM Journal on Applied Mathematics， 2002， 63（2）：564-592.

[8] 謝斌，丁成軍，劉壯.基于圖像分解的圖像修復(fù)算法[J].激光與紅外，2018，48（5）：651?658.

[9] CRIMINISI A， PEREZ P， TOYAMA K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing， 2004， 13（9）：1200-1212.

[10] CHENG W H， HSIEH C W， LIN S K， et al. Robust algorithm for exemplar-based image inpainting[C]//CGIV. Conference on Computer Graphics， Imaging and Visualization. Beijing， China： IEEE， 2005：64-69.

[11] 杜閃閃，韓超.基于總變分模型的改進(jìn)圖像修復(fù)算法[J].激光與光電子學(xué)進(jìn)展，2018，55（7）：175-180.

[12] 白瑜.數(shù)學(xué)形態(tài)學(xué)與形態(tài)學(xué)圖象處理[J].中國(guó)高新技術(shù)企業(yè)，2008（15）：113.

[13] 陳尹剛.基于數(shù)學(xué)形態(tài)學(xué)圖像處理算法研究[J].信息通信，2019（12）：67-68.

[14] 何凱，?？』?，沈成南，等.基于SSIM的自適應(yīng)樣本塊圖像修復(fù)算法[J].天津大學(xué)學(xué)報(bào)（自然科學(xué)與工程技術(shù)版），2018，51（07）：763-767.

作者簡(jiǎn)介：

王? ??。?998-），男，碩士生.研究領(lǐng)域：汽車檢測(cè)與診斷.

閔永軍（1963-），男，博士，教授.研究領(lǐng)域：汽車電子控制和汽車檢測(cè)與診斷.

張?zhí)齑龋?989-），男，博士，講師.研究領(lǐng)域：自動(dòng)駕駛和智能交通與新航行系統(tǒng).