采用多方向插值融合的快速鐵路貨運(yùn)圖像修復(fù)

金 星， 俞大海,2， 韓建楓， 李暉暉， 韓軍偉

1.西北工業(yè)大學(xué)自動(dòng)化學(xué)院，西安710072

2.天津光電高斯通信工程技術(shù)股份有限公司，天津300211

3.天津商業(yè)大學(xué)信息工程學(xué)院，天津300134

數(shù)字圖像修復(fù)是指利用數(shù)字圖像處理技術(shù)對(duì)受到損壞的圖像數(shù)據(jù)進(jìn)行修復(fù)重建或者去除圖像中的多余物體，使其達(dá)到圖像的原始視覺(jué)效果.如今，這項(xiàng)技術(shù)備受關(guān)注，并廣泛應(yīng)用于文物保護(hù)、影視特效、虛擬現(xiàn)實(shí)、多余物體剔除等領(lǐng)域.目前圖像修復(fù)方法主要包括基于紋理合成的方法、基于結(jié)構(gòu)(偏微分方程)的方法、基于學(xué)習(xí)模板合成處理的方法[1].

基于結(jié)構(gòu)的修復(fù)方法先建立偏微分方程(partial differential equations,PDE)，再利用迭代方法來(lái)求解，其中最具代表性的迭代方法是BSCB算法[2]，它是將沿著等照度線方向上的鄰域信息迭代到待修復(fù)區(qū)域內(nèi)而產(chǎn)生修復(fù)信息.等照度的方向是通過(guò)計(jì)算修補(bǔ)的輪廓線上各個(gè)點(diǎn)的離散梯度并旋轉(zhuǎn)90°而獲得的.BSCB算法為圖像修復(fù)提供了新的處理方式.隨后文獻(xiàn)[3-4]提出了基于整體變分方法的TV模型和CCD模型.CCD模型是對(duì)TV模型的增強(qiáng)和擴(kuò)展，根據(jù)幾何曲率估算在等照度方向上的信息，保證了處理較大破損區(qū)域和細(xì)小邊緣的效果.文獻(xiàn)[5]提出了基于快速前進(jìn)方法(fast marching method,FMM)的修復(fù)模型，這個(gè)模型的算法與BSCB方法非常相似，只是在計(jì)算修復(fù)信息時(shí)引入了Eikonal方程和權(quán)重分類，不但取得了與BSCB相似的處理結(jié)果，而且優(yōu)化了運(yùn)算速度.這類基于PDE的算法適用于區(qū)域平滑和小尺度的修復(fù)，但因使用偏微分方程而導(dǎo)致計(jì)算復(fù)雜度太高，且一旦修復(fù)區(qū)域存在豐富紋理，就會(huì)出現(xiàn)修復(fù)區(qū)域比較模糊的效果，進(jìn)而影響視覺(jué)感受.

基于紋理的修復(fù)方法是以待修復(fù)區(qū)域?yàn)閳A心，提取其周圍的鄰域紋理特征，并根據(jù)周圍紋理的特點(diǎn)規(guī)律選擇最佳的紋理匹配區(qū)域進(jìn)行替換.最具代表性的是文獻(xiàn)[6]提出的算法,它借鑒紋理生成方法定義樣本區(qū)域并匹配復(fù)制，利用定義后的修復(fù)塊優(yōu)先級(jí)對(duì)邊緣附近的信息優(yōu)先進(jìn)行修復(fù).文獻(xiàn)[7]在此基礎(chǔ)上進(jìn)行改進(jìn)，也取得了較好的效果.基于紋理的算法雖然考慮了紋理結(jié)構(gòu)的連續(xù)性和相似性，但沒(méi)有圖像結(jié)構(gòu)，容易造成局部與整體的不自然，且因計(jì)算量較大而無(wú)法實(shí)現(xiàn)實(shí)時(shí)性.

基于模板合成處理的方法首先對(duì)一些前提條件進(jìn)行學(xué)習(xí)并設(shè)定，然后對(duì)待修復(fù)區(qū)域進(jìn)行修復(fù).這種方法可使用的學(xué)習(xí)信息有限，只適用于比較簡(jiǎn)單的圖像內(nèi)容，并不適合實(shí)時(shí)圖像修復(fù)的要求.

以上算法只是部分地利用結(jié)構(gòu)性和紋理性的原則，存在著視覺(jué)認(rèn)知規(guī)律的局限性.它們只解決了一些通用的修復(fù)目標(biāo)，而沒(méi)有考慮特殊的行業(yè)環(huán)境要求[8]，且計(jì)算的復(fù)雜度無(wú)法達(dá)到實(shí)時(shí)系統(tǒng)的運(yùn)行要求.

本文針對(duì)上述問(wèn)題，以高清圖像，尤其是由線陣高清相機(jī)采集到的列車貨運(yùn)頂部圖像為研究對(duì)象，對(duì)非目標(biāo)前景的高壓線進(jìn)行處理.首先將其去除，然后提出了一種利用多方向插值融合的圖像修復(fù)算法，將去除部位根據(jù)周邊的情況進(jìn)行修復(fù).該算法選擇適當(dāng)?shù)泥徲蛐畔⒉⒔Y(jié)合經(jīng)典的插值算法對(duì)待處理區(qū)域進(jìn)行準(zhǔn)確的修復(fù)，使其圖像完整，易于展示，并且滿足了工程應(yīng)用的實(shí)時(shí)性要求.

1 基于多方向插值融合的圖像修復(fù)算法

1.1 關(guān)于插值算法

經(jīng)典的插值算法包括最近鄰插值算法(nearest)、雙線性插值算法(bilinear)、雙三次插值算法(bicubic)、多項(xiàng)式插值算法、樣條插值法等.這些線性算法都是對(duì)整幅圖像的不同部分進(jìn)行統(tǒng)一處理，無(wú)論待插點(diǎn)映射在灰度平坦區(qū)域還是邊緣區(qū)域，均可以通過(guò)計(jì)算該點(diǎn)附近某一像素集合的加權(quán)平均來(lái)確定映射點(diǎn)的灰度值.唯一的區(qū)別在于：若采用不同的算法，則映射點(diǎn)周圍像素集合的取法不同.這也可理解為所采用的基函數(shù)都是低通濾波器，在實(shí)現(xiàn)時(shí)不可避免地抑制了圖像的高頻部分，導(dǎo)致插值效果圖的圖像邊緣模糊或者出現(xiàn)階梯狀鋸齒現(xiàn)象，不能很好地恢復(fù)圖像細(xì)節(jié).因此，采用此類基函數(shù)對(duì)于邊緣細(xì)節(jié)和紋理特征十分豐富的圖像插值效果并不理想，但適用于一般的光滑圖像.

圖像的邊緣紋理等區(qū)域是人眼最敏感的區(qū)域，是影響視覺(jué)的重要因素，于是文獻(xiàn)[9-10]提出了基于圖像邊緣保持的插值算法.這類算法首先將圖像分為平坦區(qū)域和邊緣區(qū)域，在平坦區(qū)域采用經(jīng)典的線性插值算法以減少運(yùn)算量，在邊緣區(qū)域采用優(yōu)化算法以增加圖像邊緣的銳利程度.優(yōu)化算法或結(jié)合圖像的顯示邊界信息，或結(jié)合圖像的局部結(jié)構(gòu)特征.還有一些學(xué)者致力于研究圖像的變換域，如采用小波變換域[12-13]和DCT變換[14-16]等對(duì)圖像進(jìn)行高分辨率恢復(fù)，但復(fù)雜度高，不具有實(shí)時(shí)性.基于這個(gè)問(wèn)題，考慮將信息融合技術(shù)應(yīng)用到圖像的插值算法中，旨在圖像的邊緣紋理區(qū)域獲得更好的插值效果.

至今為止，大多數(shù)圖像插值算法只適用于灰度圖像，而直接操作在彩色圖像上的插值算法[17-19]較少，其原因可能是彩色圖像插值可以通過(guò)灰度圖像插值算法以逐平面插值的方式實(shí)現(xiàn).也就是說(shuō)，彩色圖像包括紅、綠、藍(lán)三個(gè)顏色平面，通過(guò)灰度插值算法分別在這三個(gè)平面進(jìn)行插值，最后再合成彩色圖像便可得到最終的插值結(jié)果.但事實(shí)上這并不實(shí)用，首先R、G、B三基色彼此之間有很強(qiáng)的相關(guān)性，改變像素的任一個(gè)分量都會(huì)導(dǎo)致顏色的偏移；在每一個(gè)顏色平面上的插值方向并不總是一致的，導(dǎo)致插值結(jié)果存在偏差；最后合成的彩色圖像很可能出現(xiàn)色彩失真現(xiàn)象.另外，對(duì)于實(shí)時(shí)性要求較高的場(chǎng)合，對(duì)3個(gè)顏色分量分別應(yīng)用相同的插值算法勢(shì)必產(chǎn)生較大的計(jì)算量，這在一定程度上限制了算法的實(shí)時(shí)性.

針對(duì)上述問(wèn)題，本文提出了一種融合多方向插值技術(shù)的新型圖像修復(fù)算法，并應(yīng)用于鐵路貨運(yùn)檢查圖像的高壓線去除工作.首先對(duì)圖像待處理區(qū)域進(jìn)行區(qū)域判決，將其分為平滑區(qū)域和邊緣區(qū)域.對(duì)于平滑區(qū)域，選擇待插值點(diǎn)7×7鄰域內(nèi)45°、90°、135°三個(gè)方向中梯度變化最小的方向進(jìn)行三次方程插值(cubic)算法，從而得到待插值點(diǎn)的估計(jì)值；對(duì)于邊緣區(qū)域，圖像相鄰像素變化比較劇烈，僅利用單一方向的信息很難準(zhǔn)確估計(jì)插值點(diǎn)，于是考慮組合三個(gè)方向的信息獲得比單一方向更準(zhǔn)確的信息.設(shè)計(jì)合適的融合算法，組合多個(gè)方向的信息，既保持了算法的實(shí)時(shí)性，同時(shí)又在邊緣紋理區(qū)域獲得了更符合人眼觀察的插值效果.仿真實(shí)驗(yàn)結(jié)果表明，本文提出的插值算法不僅能夠取得比經(jīng)典BSCB算法、FMM算法更好的修復(fù)效果，而且時(shí)間復(fù)雜度較小，能夠滿足鐵路貨運(yùn)檢查的實(shí)時(shí)性要求.最后又將本文算法成功應(yīng)用到彩色圖像的修復(fù)中，先對(duì)RGB彩色圖像進(jìn)行HSI色彩空間變換，再對(duì)HSI色彩空間的各個(gè)通道分量分別進(jìn)行獨(dú)立處理，從而減少了對(duì)RGB彩色圖像R、G、B分量進(jìn)行相同處理所帶來(lái)的額外計(jì)算量，不但在一定程度上保證了算法的實(shí)時(shí)性，而且避免了對(duì)色彩信息較豐富圖像處理時(shí)存在的色彩失真問(wèn)題.

1.2 多方向插值融合算法

針對(duì)去除高壓線這一圖像修復(fù)問(wèn)題，主要考慮垂直以及兩條對(duì)角線上的方向信息.一般插值時(shí)沿著平滑的和邊界的方向(圖像灰度變化較小的方向)進(jìn)行，這樣得到的插值結(jié)果更接近于真實(shí)情況.因此，對(duì)于圖像中的平坦區(qū)域，采用沿著梯度最小的方向進(jìn)行插值；對(duì)于邊緣區(qū)域，由于像素的鄰域灰度值有較大的變化，僅利用單一方向的信息很難準(zhǔn)確估計(jì)圖像真實(shí)的情況，于是將3個(gè)方向的信息進(jìn)行融合，通過(guò)融合規(guī)則的設(shè)計(jì)以獲得更準(zhǔn)確且真實(shí)的信息.下面給予詳細(xì)描述：

步驟1 區(qū)域類型判斷

計(jì)算待估計(jì)像素點(diǎn)垂直以及兩條對(duì)角線方向上梯度變化的平均值Gavg45、Gavg90、Gavg135，設(shè)置合適的閾值T.

若Gavg45＜T&&Gavg90＜T&&Gavg135＜T，則認(rèn)為待估計(jì)點(diǎn)處于平坦區(qū)域，否則認(rèn)為待估計(jì)點(diǎn)處于邊緣區(qū)域，使用多方向融合算法進(jìn)行插值.

步驟2 平坦區(qū)域插值

對(duì)屬于平坦區(qū)域的點(diǎn)，采用梯度變化最小的方向進(jìn)行插值，插值算法采用三次插值算法(cubic interpolation).

步驟3 邊緣區(qū)域插值

利用三次插值在3個(gè)方向上對(duì)待估計(jì)點(diǎn)s進(jìn)行插值，得到待估計(jì)點(diǎn)s的估計(jì)值Is1、Is2、Is3.

待估計(jì)點(diǎn)s的灰度值為Is1、Is2、Is3進(jìn)行數(shù)據(jù)融合的結(jié)果

式中，α1、α2、α3是與圖像局部梯度有關(guān)的可調(diào)參數(shù)，并滿足α1+α2+α3=1.α1、α2、α3分別反映了區(qū)域圖像在45°、90°、135°方向上的梯度值大小.

若某方向上的梯度值較小，則圖像紋理沿該方向的可能性較大，沿該方向進(jìn)行插值的結(jié)果理應(yīng)較準(zhǔn)確，應(yīng)該給予一個(gè)較大的權(quán)值系數(shù).設(shè)θ為中間變量，令

式中，δ為可調(diào)參數(shù)，在插值過(guò)程中用以調(diào)節(jié)融合系數(shù)對(duì)梯度的敏感程度.v為某方向上梯度的平均值，以待估計(jì)點(diǎn)s為中心的7×7鄰域內(nèi)，計(jì)算對(duì)應(yīng)45°、90°、135°方向上梯度的平均值v1、v2、v3，并根據(jù)式(2)求出θ1、θ2、θ3，再進(jìn)行歸一化得到

將求得的系數(shù)代入式(1)，即可得到待估計(jì)點(diǎn)s的最終估計(jì)值Is.

1.3 HSI色彩空間與RGB色彩空間比較

直接對(duì)RGB彩色圖像R、G、B三個(gè)分量進(jìn)行相同處理勢(shì)必帶來(lái)較大的計(jì)算量.由于人眼對(duì)視覺(jué)亮度的敏感程度遠(yuǎn)強(qiáng)于對(duì)顏色濃淡的敏感程度，若能將圖像中的亮度信息與色彩信息分開(kāi)，并采用不同的算法進(jìn)行處理，則可以大大減少圖像處理的工作量.常用的可以將亮度信息與色彩信息分開(kāi)的色彩空間有YUV/YCbCr、HSI等.YUV/YCbCr色彩空間廣泛應(yīng)用于數(shù)字視頻，并利用兩個(gè)色差分量來(lái)描述彩色信息，實(shí)現(xiàn)了黑白電視兼容彩色信號(hào).HSI色彩空間是從人的視覺(jué)系統(tǒng)出發(fā)，用色調(diào)(hue)、色飽和度(saturation)、亮度(intensity)來(lái)描述色彩，因?yàn)閷?duì)于人類來(lái)說(shuō)，它們看起來(lái)更加直觀.與RGB色彩空間3個(gè)分量相比，色調(diào)、色飽和度、亮度3個(gè)通道是相互獨(dú)立的，相關(guān)性不大，于是采用基于視覺(jué)感知的HSI色彩空間對(duì)圖像進(jìn)行處理.

將一幅貨車頂部RGB彩色圖像進(jìn)行通道分解并顯示，然后將此圖片轉(zhuǎn)換到HSI色彩空間進(jìn)行通道分解并顯示，得到的結(jié)果分別如圖1和2所示.

圖1 RGB色彩空間下的各分量子圖Figure 1 Channel images in RGB color space

由圖1和2可以看出，RGB彩色圖像的3個(gè)分量具有很強(qiáng)的相關(guān)性，且每個(gè)分量都包含大量的邊緣紋理信息，而HSI彩色圖像的3個(gè)分量則具有較小的相關(guān)性，圖像中的邊緣紋理信息主要集中在I分量子圖中.

如果采用上面提出的高壓線去除算法處理RGB彩色圖像，為了獲得較精確的插值結(jié)果，本文采用三次方程算法進(jìn)行插值，以致在3個(gè)分量上進(jìn)行相同的處理時(shí)大大增加了計(jì)算量.基于這種考慮以及對(duì)HSI彩色分量性質(zhì)的分析，既然HSI彩色圖像的邊緣紋理信息主要集中在I分量中，那么對(duì)于I分量本文仍采用第1節(jié)提出的高壓線去除算法進(jìn)行處理.對(duì)于僅包含圖像色彩信息的H分量和S分量，為了減少計(jì)算量，在進(jìn)行高壓線去除時(shí)選擇精度相對(duì)較低的二維線性插值算法進(jìn)行插值，于是在處理彩色圖像時(shí)既保持了較好的修復(fù)效果，同時(shí)又減少了在RGB三個(gè)分量上進(jìn)行相同處理所帶來(lái)的額外計(jì)算量，保證了算法在處理彩色圖像時(shí)的高效性，還避免了對(duì)色彩信息較豐富圖像處理時(shí)存在的色彩失真現(xiàn)象，能更好地適應(yīng)鐵路裝載狀態(tài)檢測(cè)系統(tǒng)由灰度圖像向彩色圖像的轉(zhuǎn)型.

圖2 HSI色彩空間下的各分量子圖Figure 2 Channel images in HSI color space

2 本文算法的應(yīng)用流程

下面詳細(xì)描述本文算法在實(shí)時(shí)鐵路裝載狀態(tài)檢測(cè)系統(tǒng)中的應(yīng)用流程：

1)對(duì)于灰度圖像，采用第1節(jié)提出的高壓線去除算法處理圖像，并采用三次方程插值(cubic)算法進(jìn)行插值，以獲得較準(zhǔn)確的估計(jì)結(jié)果.

2)對(duì)于RGB彩色圖像，首先對(duì)圖像進(jìn)行HSI彩色空間變換，并提取出H、S、I各個(gè)分量子圖.

3)對(duì)于I分量子圖，利用第1節(jié)提出的高壓線去除算法進(jìn)行處理，并根據(jù)插值算法選用三次方程插值.

4)對(duì)于H和S分量子圖，仍利用第1節(jié)提出的高壓線去除算法進(jìn)行處理，但選用精度相對(duì)較低的雙線性插值算法進(jìn)行插值.

5)最后將處理過(guò)的HSI彩色圖像變換到RGB色彩空間，經(jīng)合成得到修復(fù)完成的彩色圖像.

3 系統(tǒng)實(shí)驗(yàn)與分析

為驗(yàn)證本文算法的修復(fù)效果，以及在實(shí)際應(yīng)用中的適用性和實(shí)時(shí)性，本文進(jìn)行了以下三方面的測(cè)試:

實(shí)驗(yàn)1 針對(duì)相同的經(jīng)典老照片圖像，分別采用BSCB算法、FMM算法、本文算法進(jìn)行修復(fù)，并比較修復(fù)結(jié)果.

實(shí)驗(yàn)2 針對(duì)實(shí)時(shí)現(xiàn)場(chǎng)采集的火車貨車頂部灰度圖像，仍然分別使用BSCB算法、FMM算法、本文算法進(jìn)行高壓線去除和修復(fù)的處理，并比較修復(fù)的結(jié)果.

實(shí)驗(yàn)3 針對(duì)實(shí)時(shí)現(xiàn)場(chǎng)采集的貨車頂部彩色圖像，根據(jù)本文算法分別對(duì)RGB和HSI色彩空間進(jìn)行高壓線去除和修復(fù)處理，并比較修復(fù)結(jié)果.

需要強(qiáng)調(diào)的是，實(shí)驗(yàn)2和3是基于實(shí)時(shí)的鐵路裝載狀態(tài)檢測(cè)系統(tǒng)(RLCI)進(jìn)行的實(shí)驗(yàn).RLCI是一套基于數(shù)字圖像的鐵路貨運(yùn)安全檢查系統(tǒng)，其主要功能是通過(guò)圖像模式的識(shí)別與分析，幫助貨檢人員跟蹤檢測(cè)鐵路貨車的貨運(yùn)狀態(tài)，及時(shí)發(fā)現(xiàn)問(wèn)題并報(bào)警.針對(duì)從鐵路現(xiàn)場(chǎng)獲得的大量素材，根據(jù)本文算法進(jìn)行高壓線去除和修復(fù)處理，不但可以實(shí)現(xiàn)完全的自動(dòng)處理，而且能使計(jì)算速度也滿足現(xiàn)場(chǎng)作業(yè)要求.

觀察上述實(shí)驗(yàn)可以發(fā)現(xiàn)：本文算法在平滑區(qū)域的圖像修復(fù)上獲得了與傳統(tǒng)BSCB算法和FMM算法相似的效果；而在邊緣紋理比較復(fù)雜的區(qū)域，本文算法的修復(fù)結(jié)果在圖像完整性和視覺(jué)感受上優(yōu)于BSCB算法和FMM算法.最為重要的是在運(yùn)行時(shí)間上，本文算法的工作效率遠(yuǎn)遠(yuǎn)勝于BSCB算法，并與FMM算法處于相同數(shù)量級(jí).

BSCB算法和本文算法均采用VisualC++6.0進(jìn)行程序開(kāi)發(fā)；而FMM算法采用Opencv得以實(shí)現(xiàn)，其實(shí)驗(yàn)的環(huán)境是基于Intel Core i5-2400,3.10 GHz，3.17G內(nèi)存的PC機(jī)上的.

3.1 舊照片修復(fù)實(shí)驗(yàn)

為了驗(yàn)證本文算法的可行性及有效性，第1組實(shí)驗(yàn)選用BSCB算法原文中使用的舊照片進(jìn)行實(shí)驗(yàn)，并模仿高壓線遮擋問(wèn)題對(duì)照片進(jìn)行處理，然后根據(jù)BSCB算法、FMM算法與多方向插值融合算法進(jìn)行仿真實(shí)驗(yàn).綜合考慮修復(fù)結(jié)果和計(jì)算復(fù)雜度，將閾值T設(shè)為待修復(fù)區(qū)域7×7鄰域平均梯度值的1.5倍，δ設(shè)為10.圖像大小為360×300.初始位置與高壓線寬度分別設(shè)置為50、4；150、4，如圖3所示.

由圖3的實(shí)驗(yàn)結(jié)果可以看出，對(duì)于照片中的平滑區(qū)域，如人物皮膚、背景等，本文算法與BSCB算法、FMM算法的修復(fù)效果相當(dāng)，均能較好地去除遮擋；而對(duì)于照片中的邊緣紋理區(qū)域，如圖中標(biāo)志處的人物毛發(fā)，BSCB算法、FMM算法均出現(xiàn)較明顯的模糊現(xiàn)象和修補(bǔ)痕跡，視覺(jué)效果不好.本文算法由于結(jié)合了數(shù)據(jù)融合技術(shù)，在邊緣紋理區(qū)域采用3個(gè)方向的信息進(jìn)行融合的方法，故在人物毛發(fā)處獲得了良好的修補(bǔ)效果，實(shí)現(xiàn)了圖像的平滑過(guò)渡，恰當(dāng)?shù)乇Ａ袅藞D像的邊緣紋理信息.從客觀的評(píng)價(jià)指標(biāo)PSNR上也可以看出，本文算法優(yōu)于BSCB算法和FMM算法.

圖3 舊照片實(shí)驗(yàn)結(jié)果圖Figure 3 Experimental results of the old photos

3.2 貨車頂部灰度圖像修復(fù)結(jié)果

為了驗(yàn)證本文算法在實(shí)際應(yīng)用中的適用性，第2組實(shí)驗(yàn)采用貨車頂部灰度圖像進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)中所用的實(shí)驗(yàn)設(shè)備以及參數(shù)設(shè)置同實(shí)驗(yàn)1相同，分別對(duì)較平滑的圖像和邊緣紋理信息較多的圖像進(jìn)行高壓線去除實(shí)驗(yàn)，如圖4和5所示.

由圖4和5的實(shí)驗(yàn)結(jié)果可以看出，對(duì)于本文的貨車頂部灰度圖像，采用BSCB算法與FMM算法修復(fù)后的圖像雖然去除了高壓線，對(duì)于較平滑的圖像修復(fù)痕跡并不明顯，但對(duì)于邊緣較多的圖像則存在明顯的修復(fù)痕跡，視覺(jué)效果不好；而本文算法的視覺(jué)效果優(yōu)于BSCB算法和FMM算法，尤其對(duì)于較平滑圖像，修復(fù)效果非常好，在主觀視覺(jué)上幾乎看不出任何修補(bǔ)痕跡.對(duì)于邊緣較多的圖像，本文算法在邊緣區(qū)域采用3個(gè)方向信息進(jìn)行融合的方法，于是較好地保持了邊緣信息，實(shí)現(xiàn)了圖像的平滑過(guò)渡，更符合圖像的真實(shí)情況.而且本文算法實(shí)時(shí)性較好，隨機(jī)選取10幅貨車頂部灰度圖像進(jìn)行測(cè)試，得到的算法平均運(yùn)行時(shí)間如表1所示.從表1可以看出，本文算法與Opencv中實(shí)現(xiàn)的FMM算法處理速度屬于同一數(shù)量級(jí).平均修復(fù)1幅圖像的時(shí)間約200 ms，而B(niǎo)SCB算法修復(fù)一幅圖像的時(shí)間約10 min，其參數(shù)設(shè)置如下：A=15,B=2,Δt=0.1 ms,T=1000.

圖4 較平滑圖像實(shí)驗(yàn)結(jié)果圖Figure 4 Experimental results of smoothness image

圖5 邊緣較多圖像實(shí)驗(yàn)結(jié)果圖Figure 5 Experimental results of the image with more edges

表1 運(yùn)行時(shí)間比較Table 1 Experimental results of processing time

除了主觀視覺(jué)評(píng)價(jià)，還選擇了峰值信噪比(PSNR)作為評(píng)價(jià)修復(fù)效果的客觀評(píng)價(jià)指標(biāo)，從貨車實(shí)時(shí)采集的圖像中隨機(jī)選取了10幅無(wú)高壓線遮擋的圖像作為原始標(biāo)準(zhǔn)圖，并模仿高壓線遮擋問(wèn)題對(duì)圖像進(jìn)行處理；然后用BSCB算法、FMM算法、本文算法進(jìn)行修復(fù)，對(duì)修復(fù)結(jié)果計(jì)算PSNR，得到的曲線見(jiàn)圖6.從客觀評(píng)價(jià)結(jié)果可以看出，本文算法的修復(fù)結(jié)果在客觀評(píng)價(jià)指標(biāo)上優(yōu)于BSCB算法和FMM算法，這與主觀視覺(jué)評(píng)價(jià)結(jié)果一致.

3.3 貨車頂部彩色圖像修復(fù)結(jié)果

為了進(jìn)一步驗(yàn)證算法對(duì)彩色圖像的適用性，以及本文提出的對(duì)HSI色彩空間的不同分量進(jìn)行不同算法處理的可行性，第3組實(shí)驗(yàn)選取貨車頂部的RGB彩色圖像進(jìn)行實(shí)驗(yàn)，并且將本文提出的彩色圖像處理算法與對(duì)RGB三個(gè)顏色分量進(jìn)行相同處理的算法進(jìn)行對(duì)比，即對(duì)彩色圖像R、G、B三個(gè)分量均采用第1節(jié)提出的高壓線去除算法進(jìn)行處理.插值算法使用三次方程插值，如圖7所示.其中，圖像大小為1648×512，初始位置與高壓線寬度設(shè)置為108、5；145、5；241、5.實(shí)驗(yàn)中所使用的實(shí)驗(yàn)設(shè)備以及參數(shù)設(shè)置同3.2節(jié)中的實(shí)驗(yàn).

圖6 PSNR客觀評(píng)價(jià)指標(biāo)比較結(jié)果Figure 6 Comparison results based on PSNR

圖7 彩色圖像實(shí)驗(yàn)結(jié)果Figure 7 Experimental results of color image

由圖7可以看出，對(duì)于色彩信息比較單一的圖像，本文算法與在RGB三個(gè)顏色分量進(jìn)行相同處理的算法視覺(jué)效果相近，均能較好地實(shí)現(xiàn)高壓線的去除工作，并且利用HSI色彩空間變換對(duì)各分量采用不同的插值算法，在一定程度上減少了算法的計(jì)算量.隨機(jī)選取50幅貨車頂部彩色圖像進(jìn)行測(cè)試，得到算法的平均運(yùn)行時(shí)間如表2所示，本文算法平均處理一幅圖像的時(shí)間約350 ms，而對(duì)RGB三個(gè)顏色分量進(jìn)行相同處理的方法，平均處理一幅圖像的時(shí)間約700 ms.

表2 運(yùn)行時(shí)間比較Table 2 Experimental results of processing time

圖8 色彩信息較豐富圖像實(shí)驗(yàn)結(jié)果Figure 8 Experimental results of complexity color images

由于RGB顏色分量之間具有很強(qiáng)的相關(guān)性，改變像素的任一個(gè)分量都會(huì)導(dǎo)致顏色的偏移，出現(xiàn)修復(fù)結(jié)果的色彩失真現(xiàn)象，而利用HSI空間則可以避免這一問(wèn)題，對(duì)于顏色信息比較豐富的圖像能夠取得更好的修復(fù)效果，這也可以從圖8的實(shí)驗(yàn)結(jié)果中看出，圖像大小為554×370，初始位置與高壓線寬度分別設(shè)置為298和4.

4 結(jié)語(yǔ)

針對(duì)鐵路貨運(yùn)檢測(cè)圖像中進(jìn)行高壓線去除和修復(fù)工作的環(huán)境特點(diǎn)，同時(shí)為解決基于傳統(tǒng)圖像修復(fù)模型(如BSCB)算法在修復(fù)圖像時(shí)運(yùn)算量較大的問(wèn)題，本文提出了一種基于多方向融合技術(shù)的快速圖像插值修復(fù)算法.對(duì)圖像的平滑區(qū)域和邊緣區(qū)域分別采用不同的插值方法，通過(guò)設(shè)計(jì)合適的多方向融合算法，在保持圖像平滑的基礎(chǔ)上實(shí)現(xiàn)了對(duì)圖像中的邊緣紋理信息更加真實(shí)準(zhǔn)確的插值估計(jì)，而且計(jì)算復(fù)雜度相比于經(jīng)典的BSCB算法大大降低，能夠滿足鐵路貨運(yùn)檢查系統(tǒng)的實(shí)時(shí)性要求.最后采用本文算法分別對(duì)HSI色彩空間的各個(gè)通道分量進(jìn)行獨(dú)立處理，并成功應(yīng)用于彩色圖像的修復(fù)處理，不僅避免了對(duì)RGB彩色圖像R、G、B分量進(jìn)行相同處理所帶來(lái)的色彩失真問(wèn)題，還有效降低了計(jì)算量，在一定程度上保證了算法的實(shí)時(shí)性.

在以后的研究中，我們將繼續(xù)針對(duì)更加復(fù)雜的鐵路環(huán)境圖像，利用更多可融合的圖像信息改進(jìn)本文算法并在算法設(shè)計(jì)上實(shí)現(xiàn)加速，以期在保證圖像整體視覺(jué)質(zhì)量的基礎(chǔ)上，繼續(xù)提高算法的實(shí)時(shí)應(yīng)用效率.

[1]TAUBERZ,LIZ N,DREw M S.Review and preview:disocclusion by inpainting for image-based rendering[J].IEEE Transactions on Systems,Man,and Cybernetics:Part C,2007,37(4):527-540.

[2]BERTALMIO M,SAPIRO G.Image inpainting[C]//Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques,New York,USA,2000:417-424.

[3]CHAN T,SHEN J.Mathematical models for local deterministic inpaintings[R].CAM 00-11,Image Processing Research Group,UCLA,2000.ftp://ftp.math.ucla.edu/pub/camreport/cam00-11.ps.gz

[4]CHAN T,SHEN J.Non-texture inpainting by curvature-driven diffusions(CDD)[J].CAM 00-35,Image Processing Research Group,UCLA,2000.ftp://ftp.math.ucla.edu/pub/camreport/cam00-35.pdf

[5]TELEA A C.An image inpainting technique based on the fast marching method[J].Journal of Graphics Tools,2004,9(1):25-36.

[6]CRIMINISIA,PEREZP,TOYAMAK.Region f illing and object removal by exemplar-based image inpainting[J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[7]FENGTang,YINGYiting,WANGJin.A novel texture synthesis based algorithm for object removal in photographs[C]//Proceedings of 9th Asian Computing Science Conference,Thailand,2004:248-258.

[8]BECK J,STEwART C,RADKER J.LiDAR inpainting from a single image[C]//Proceedings on 12th International Conference on Computer Vision Workshops,2009:1441-1448.

[9]黨向盈，吳錫生，趙勇.一種新穎基于邊緣最大梯度的多方向優(yōu)化插值算法[J].計(jì)算機(jī)應(yīng)用研究，2007,24(9):317-320.

DANG Xiangying,WU Xisheng,ZHAO Yong.Novel multi-direction optimization interpolation based on edge max-gradient algorithm[J].Application Research of Computers,2007,24(9):317-320.(in Chinese)

[10]吳錫生，黨向盈，趙勇.一種閾值控制的邊緣自適應(yīng)快速圖像插值算法[J].計(jì)算機(jī)工程，2007,33(22):226-228.

WU Xisheng,DANG Xiangying,ZHAO Yong.Fast self-adptive edge-oriented interpolation based on threshold method[J].Computer Engineering,2007,33(22)226-228.(in Chinese)

[11]ZHANG Xiangjun,WU Xiaolin.Image interpolation by adaptive 2-D autoregressive modeling and softdecision estimation[J].IEEE Transactions on Image Processing,2008,17(4):887-896.

[12]SOLTANE A,ELKHAMYSE.Wavelet-based image interpolation with a least squares algorithm[J].Computer Engineering Conference,2010,10(21):103-106.

[13]ADAMCZYK K.WALCZAK A.Digital images interpolation with wavelet edge extractors[J].Human System Interactions,2010,6(12):399-405.

[14]YAROSLAVSKY L P.DFT and DCT based discrete sinc-interpolation methods for direct fourier tomographic reconstruction[J].Imageand Signal Processing and Analysis,2003,1(12):405-410.

[15]LINT C,TRUONGT K.DCT-based image codec embedded cubic spline interpolation with optimal quantization[J].IEEE Eighth International Symposium,2006,44(2):11-15.

[16]WUZhenyu,YUYongyang,CHENChangwen.A new hybrid DCT-wiener_based interpolation scheme for video intra frame up-sampling[J].IEEE Signal Processing Letters,2010,17(10):827-830.

[17]LUKAC R, PLATANIOTIS N, SMOLKA B,VENESANOPOULOS N.Vector operators for color image zooming [C]//Proceedings of the IEEE International Symposium on Industrial Electronics.Dubrovnik,Croatia:IEEE,2005:1273-1277.

[18]JINL H,LID H,SONGE.Combining vector ordering and spatial information for color image interpolation[J].Image and Vision Computing,2009,27(4):10-416.

[19]CHA Y,KIM S.Edge-forming methods for color image zooming[J].IEEE Transactions on Image Processing,2006,15(8):2315-2323.