基于Otsu和FMM方法的風(fēng)洞試驗(yàn)圖像修復(fù)

江濤，李強(qiáng)，陳蘇宇，常雨，張扣立

中國空氣動力研究與發(fā)展中心 超高速空氣動力研究所，綿陽 621000

隨著空氣動力學(xué)試驗(yàn)研究的深入和光學(xué)測試技術(shù)的進(jìn)步，越來越多的光學(xué)測試技術(shù)應(yīng)用到風(fēng)洞試驗(yàn)中[1-4]，圖像的數(shù)據(jù)量大、信息直觀。但受光學(xué)系統(tǒng)器件或試驗(yàn)條件的影響，如相機(jī)噪聲、物理損傷、流場雜質(zhì)等，圖像中常會存在一些破損或無關(guān)信息等缺陷，會影響試驗(yàn)圖像的處理和分析。

以紋影技術(shù)為例，紋影儀是風(fēng)洞試驗(yàn)常用的流動顯示設(shè)備，紋影圖像是風(fēng)洞試驗(yàn)的重要數(shù)據(jù)之一，分析紋影圖像是數(shù)據(jù)分析的重要工作內(nèi)容，可獲得許多流場結(jié)構(gòu)方面的信息[1-3,5]。紋影光路中的各光學(xué)元件都會直接影響紋影圖像的質(zhì)量，因此有很高的材料和加工要求[1-2]。但光學(xué)元件脆弱，通常難以長期保持完好。較典型的是風(fēng)洞試驗(yàn)段觀測窗上的光學(xué)玻璃，在高速氣流和異物的作用下，表面會出現(xiàn)許多局部破損。玻璃的損傷會在紋影圖像中體現(xiàn)為大小和形狀各異的黑斑，這些多余而有害的信息，影響對圖像的后期處理和分析。對光學(xué)元件進(jìn)行加工修復(fù)或更換，可從根本上解決上述問題，但時效性和經(jīng)濟(jì)性差，而且修復(fù)加工可能會減薄光學(xué)元件的厚度，縮短其使用年限。又如，一些使用多幅圖像(包括單臺相機(jī)多次采集和多臺相機(jī)單次或多次采集)的測試方法，例如溫敏漆(Temperature Sensitive Paint, TSP)、壓敏漆(Pressure Sensitive Paint, PSP)技術(shù)[6-8]等，需要布置圖像標(biāo)記點(diǎn)以開展圖像的校正和配準(zhǔn)，或者安裝傳感器作為光學(xué)測試方法的對比和參考，這些圖像標(biāo)記點(diǎn)和傳感器測點(diǎn)也引起了圖像信息缺失。同時，TSP和PSP技術(shù)還會遇到因局部發(fā)光涂層脫落、污染等原因產(chǎn)生的信息缺失或失真等問題[8]?？梢?，圖像缺陷是光學(xué)測試技術(shù)在風(fēng)洞試驗(yàn)應(yīng)用中面臨的實(shí)際問題。

數(shù)字圖像修復(fù)技術(shù)在2000年由Bertalmio等明確提出[9]，之后發(fā)展迅速[10-12]。圖像修復(fù)是圖像處理領(lǐng)域的一個重要部分，是利用圖像中的已知信息，按照一定規(guī)則對某些區(qū)域進(jìn)行修正，可以修補(bǔ)圖像的損壞部分，恢復(fù)圖像的完整性，或者去除圖像中不需要的元素，使圖像更加合理和真實(shí)。數(shù)字圖像修復(fù)技術(shù)可大致分為基于紋理結(jié)構(gòu)的圖像修復(fù)和基于非紋理結(jié)構(gòu)的圖像修復(fù)兩類，前者主要用于填充圖像中大塊丟失的信息，后者主要用于修復(fù)小尺度的圖像破損[11-12]。

經(jīng)過多年研究發(fā)展，數(shù)字圖像修復(fù)技術(shù)已應(yīng)用于氣象云圖、醫(yī)學(xué)影像、物聯(lián)網(wǎng)、文物保護(hù)等領(lǐng)域[10,13-14]。受此啟發(fā)，數(shù)字圖像修復(fù)技術(shù)應(yīng)當(dāng)也可以應(yīng)用到風(fēng)洞試驗(yàn)中。對數(shù)字圖像修復(fù)的算法研究較多，但使用中還需要操作者人為指定待修復(fù)區(qū)域[11]，存在隨機(jī)性大和耗時長的不足，不利于實(shí)際應(yīng)用。本文以紋影圖像為例，根據(jù)此類圖像缺陷的特點(diǎn)，提出完整的圖像修復(fù)流程，選擇合適的算法，以期實(shí)現(xiàn)紋影圖像缺陷的自動識別和修復(fù)，獲得一種使紋影圖像信息完整的技術(shù)手段，并作為其他風(fēng)洞光學(xué)測試技術(shù)圖像修復(fù)的參考。

1 圖像缺陷的特征及修復(fù)流程

圖1為有缺陷的紋影圖像。顯然，此缺陷屬于小尺度的圖像破損，分析可知缺陷的主要特征為：① 離散分布于紋影視場內(nèi)，大小及形狀各異；② 核心區(qū)域的灰度值低，與模型的灰度值相近；③ 邊緣處的灰度梯度變化較大，與附近圖像對比明顯。

根據(jù)上述特征，缺陷可被視為離散存在于明亮視場內(nèi)的局部極小值區(qū)域，可設(shè)計(jì)圖像修復(fù)的流程為：① 確定待處理區(qū)域；② 缺陷識別；③ 缺陷修復(fù)。其中，缺陷識別這一步驟將實(shí)現(xiàn)圖像待修復(fù)區(qū)域自動識別的功能。據(jù)此，可分別使用合適的算法開展圖像的修復(fù)。

圖1 紋影圖像

2 算 法

2.1 圖像分割算法

圖像修復(fù)的前兩個流程均需要進(jìn)行圖像分割。一是確定待處理區(qū)域時，將模型與紋影視場以外的區(qū)域排除，避免修復(fù)處理時破壞模型外形，并減少計(jì)算量，加快修復(fù)速度；二是缺陷識別時，取一定尺寸的圖像塊進(jìn)行圖像分割以識別和確定缺陷的位置、尺寸和形狀。

圖像分割是將圖像劃分成若干個互不相交的小區(qū)域的過程，常用的圖像分割方法很多，如：基于閾值的圖像分割方法、模糊方法、邊緣檢測方法、特征空間聚類方法等[15-17]?；陂撝档姆椒ㄓ?jì)算簡單、分割效果好[18]。其中，Otsu算法[19]是一種性能、穩(wěn)定性和成功率均較高的方法，在一定條件下不受圖像對比度與亮度變化的影響，應(yīng)用廣泛[20-23]。

記圖像各點(diǎn)的灰度i={1, 2, …,L}，灰度值為i的像素的數(shù)量為ni，總像素?cái)?shù)量N=n1+n2+ … +nL，各灰度值的比例pi為：pi=ni/N。假設(shè)以灰度值k為閾值將圖像分割為目標(biāo)C0和背景C1兩類，C0中i={1, 2, …,k}，C1中i={k+1,k+2, …,L}，則有

目標(biāo)部分像素占比ω0為

(1)

目標(biāo)部分灰度均值μ0為

(2)

背景部分像素占比ω1為

(3)

背景部分灰度均值μ1為

(4)

圖像總灰度均值μT為

(5)

ω0ω1(μ1-μ0)2

(6)

2.2 圖像修復(fù)算法

小尺度圖像破損的修復(fù)一般采用基于非紋理結(jié)構(gòu)的圖像修復(fù)方法。該類方法是將待修復(fù)區(qū)域附近的已知信息按一定方式從區(qū)域邊界向內(nèi)擴(kuò)散來實(shí)現(xiàn)圖像的修復(fù)。信息的擴(kuò)散過程通常是通過求解高階偏微分方程予以控制，需要大量的迭代運(yùn)算，因此圖像修復(fù)的速度很慢，實(shí)用性不夠理想[11,24-25]。本文使用快速行進(jìn)方法(Fast Marching Method, FMM)[26]來進(jìn)行圖像的修復(fù)?；贔MM的圖像修復(fù)方法最初由Telea提出[27]。該方法將圖像待修復(fù)區(qū)域視為水平集，先利用快速行進(jìn)方法確定修復(fù)路徑，使用方向、距離和水平集等權(quán)值對鄰域像素進(jìn)行加權(quán)平均，然后沿著等照度線進(jìn)行平滑估計(jì)，從待修復(fù)區(qū)域的邊緣向內(nèi)逐步推進(jìn)，直到所有像素被修復(fù)[24-26]。FMM的修復(fù)速度較快，對紋影圖像缺陷這類離散區(qū)域修復(fù)的適用性較好[24-25]。

修復(fù)原理如圖2所示，Ω為圖像待修復(fù)區(qū)域，?Ω為該區(qū)域的邊界。假定p為?Ω上的一點(diǎn)，圍繞p取一個小鄰域Bε(p)，q為Bε(p)內(nèi)的一點(diǎn)，p點(diǎn)的修復(fù)即由鄰域像素Bε(p)來決定，對Bε(p)中的點(diǎn)進(jìn)行加權(quán)平均來估算p點(diǎn)的灰度值I(p)，即

(7)

圖2 修復(fù)原理

加權(quán)函數(shù)w(p,q)采用切線方向N(p)來評價已知鄰域像素點(diǎn)與缺失像素點(diǎn)的相關(guān)程度，即保證距離p點(diǎn)法線方向越接近的像素點(diǎn)對p點(diǎn)的貢獻(xiàn)越大。權(quán)函數(shù)定義為

w(p,q)=dir(p,q)·dst(p,q)·lev(p,q)

(8)

式中：

其中：dir(p,q)為方向因子，保證距法線方向越近的像素對p點(diǎn)修復(fù)的貢獻(xiàn)越大；dst(p,q)為幾何距離因子，保證距p點(diǎn)越近的已知像素對修復(fù)的貢獻(xiàn)越大；lev(p,q)為水平集距離因子，保證距待修復(fù)區(qū)域邊界越近的已知像素對修復(fù)的貢獻(xiàn)越大；d0和T0分別為距離參數(shù)和水平集參數(shù)，一般取值為1；T為Ω中的點(diǎn)到邊緣?Ω的距離。

由圖2可見，像素可分為3類：

1) Boundary。待修復(fù)區(qū)域邊界?Ω上的點(diǎn)，T= 0，其T值將被更新。

2) Known。?Ω外已知區(qū)域的像素，其T值和灰度值I已知。

3) Inside。?Ω內(nèi)部的像素，其T值和灰度值I未知。

FMM就是對待修復(fù)區(qū)域內(nèi)的點(diǎn)解Eikonal方程：

(9)

令D±x、D±y分別為x方向和y方向的差分，方程的穩(wěn)定解為

max(D-xT,-D+xT，0)2+

max(D-yT,-D+yT,0)2=1

(10)

式中：

由式(9)和式(10)求出Ω內(nèi)部所有點(diǎn)到?Ω的距離T，然后按照T由小到大的路徑進(jìn)行修復(fù)。

3 圖像修復(fù)試驗(yàn)

以圖1為例進(jìn)行修復(fù)，檢驗(yàn)本文流程和算法的可行性和有效性。

3.1 圖像分割試驗(yàn)

待處理區(qū)域確定和缺陷識別的結(jié)果分別如圖3和圖4所示。為取得較理想的修復(fù)結(jié)果，可對圖像進(jìn)行多次修復(fù)，圖3和圖4僅為第1次進(jìn)行分割的結(jié)果。

圖3 待處理區(qū)域確定

圖4 圖像缺陷識別(部分結(jié)果)

3.2 圖像修復(fù)試驗(yàn)

圖5為圖1經(jīng)多次修復(fù)后的結(jié)果，可見缺陷明顯減少，而模型和流場結(jié)構(gòu)未受影響。圖5中剩余的缺陷還可繼續(xù)予以修復(fù)。

圖5 圖像修復(fù)結(jié)果

4 評估與驗(yàn)證

4.1 修復(fù)前后對比

圖6為圖1和圖5之間的差異，由兩圖直接相減得到，代表圖1中被修復(fù)的缺陷。圖6中沒有連續(xù)或大片的像素，表明圖像修復(fù)僅處理了離散的信息，沒有影響紋影圖像中的模型和波系結(jié)構(gòu)。

圖6 圖像修復(fù)前后對比

4.2 應(yīng)用驗(yàn)證

選取圖7對本文的圖像修復(fù)方法進(jìn)行應(yīng)用驗(yàn)證。相對圖1，其缺陷尺寸更小、更密集。缺陷識別、修復(fù)結(jié)果及修復(fù)前后對比如圖8～圖10所示，可見圖7的缺陷得到了有效修復(fù)，且圖中的模型和波系結(jié)構(gòu)沒有受到影響。

圖7 有缺陷的紋影圖像

圖8 圖7缺陷識別結(jié)果

圖9 圖7修復(fù)結(jié)果

圖10 圖7中存在的缺陷

4.3 定量評估

為定量評估圖像修復(fù)的影響，選取沒有缺陷的圖像人為添加了13個缺陷(見圖11)進(jìn)行圖像修復(fù)和對比分析。圖像的分辨率為607 pixel×468 pixel，缺陷共1 040個像素。

圖11 添加缺陷的圖像

圖像修復(fù)前后的像素變化見表1，可見修復(fù)后的灰度值與原始灰度值十分接近，如表2所示，約90%的灰度差異不大于3、約99%的灰度差異不大于6。雖然修復(fù)像素的數(shù)量多于添加缺陷的像素?cái)?shù)量，但絕大部分像素的灰度差異很小，且數(shù)量對于整幅圖像而言是極少的，故并未對圖像整體造成明顯影響。圖像原有的部分噪聲在修復(fù)中被處理也是像素?cái)?shù)量增多的原因之一。因此，可以認(rèn)為圖像修復(fù)技術(shù)能將缺陷圖像修復(fù)至與原始圖像相當(dāng)?shù)乃健?/p>

表1 缺陷及圖像修復(fù)前后的像素?cái)?shù)量與灰度值

表2 灰度差異分布

5 結(jié) 論

1) 經(jīng)數(shù)字圖像修復(fù)技術(shù)處理，紋影圖像的缺陷明顯減少或得到削弱，可將缺陷圖像修復(fù)至與原始圖像相當(dāng)?shù)乃健?/p>

2) 圖像修復(fù)的信息是客觀合理的，沒有破壞或改變模型形狀和流場結(jié)構(gòu)等關(guān)鍵信息，對非缺陷區(qū)域和圖像整體的影響極小。

3) 在風(fēng)洞試驗(yàn)中引入數(shù)字圖像修復(fù)是可行的，圖像修復(fù)方法具有通用性，也可根據(jù)不同圖像的特點(diǎn)選用不同的算法，推廣運(yùn)用于其他光學(xué)測試技術(shù)，如修復(fù)TSP和PSP技術(shù)中的標(biāo)記點(diǎn)、涂層脫落或污染產(chǎn)生的暗區(qū)等。