紅外回掃補償系統(tǒng)圖像退化評價方法的研究

劉大通,劉 洋,劉力雙

(北京信息科技大學(xué) 儀器科學(xué)與光電工程學(xué)院,北京 100192,中國)

0 引 言

紅外周掃成像系統(tǒng)廣泛應(yīng)用于目標(biāo)預(yù)警、防空探測等領(lǐng)域,其通常采用延遲積分型(time delay integration,TDI)線陣探測器配合掃描機構(gòu)(如周掃轉(zhuǎn)臺)實現(xiàn)成像,但線陣探測器掃描成像時,像元與目標(biāo)駐留時間短,造成靈敏度不高、探測距離有限。因此面陣回掃補償型周掃結(jié)構(gòu)成為目前研究的主要方向。

回掃補償通過面陣探測器與擺鏡配合,利用擺鏡在積分時間內(nèi)對轉(zhuǎn)臺運動進行反向補償,從而消除積分時間內(nèi)的運動模糊。通過提升探測器的積分時間,有效提升系統(tǒng)探測距離。在此過程中轉(zhuǎn)臺、擺鏡擺速的均勻性及成像光學(xué)系統(tǒng)在回掃期間內(nèi)主光線偏移所造成的額外相差,都會導(dǎo)致所采集的圖像存在不同程度的退化。目前,對圖像退化程度的量化評價主要采用平行光管配合黑體,通過測量傳遞函數(shù)等方式進行測量及評價。因此只能在實驗室通過專用設(shè)備進行,而周掃設(shè)備大都應(yīng)用于海上、邊境等惡劣環(huán)境,為此本文作者提出一種基于全參考的回掃補償圖像退化質(zhì)量評價方法,在不使用外部測量設(shè)備的前提下,可實現(xiàn)回掃補償型紅外成像系統(tǒng)的實時在線質(zhì)量評價及優(yōu)化。

針對補償擺鏡擺速與轉(zhuǎn)臺轉(zhuǎn)速不一致所導(dǎo)致的拍攝圖像存在運動模糊的現(xiàn)象,通常使用質(zhì)量評估算法對失真圖像進行評價。傳統(tǒng)的全參考質(zhì)量評估方法有均方誤差 (mean square error,MSE)法與峰值信噪比 (peak signal-to-noise ratio,PSNR)[1]法,這兩種算法可以較好地表示隨機誤差所造成的圖像失真,但對于結(jié)構(gòu)性的或壓縮圖像的互相關(guān)誤差無效。WANG等人[2-4]提出的結(jié)構(gòu)相似性理論(structural similarity,SSIM)評估算法,由于其假設(shè)圖像各部分區(qū)域的重要程度都相同,所以不能與實際結(jié)果相一致。參考文獻[5]中基于電子穩(wěn)像[6]技術(shù)提出一種灰度投影結(jié)構(gòu)相似度算法。參考文獻[7]中提出了將邊緣信息和梯度特征作為圖像結(jié)構(gòu)信息的邊緣相似度算法和梯度相似度算法。ZHAO等人[8-9]中利用擴展的Sobel算子代替了傳統(tǒng)的梯度算子以獲取更為準(zhǔn)確的圖像梯度信息。SESHADRINATHAN等人[10-14]提出基于圖像梯度特征和相位一致性的特征相似度測量算法,但該算法對于圖像邊緣失真的梯度信息變化不敏感。

根據(jù)以上所提方法的不足,本文作者在SSIM算法思想的基礎(chǔ)上,針對回掃補償型紅外成像系統(tǒng)的特點,提取出有效衡量圖像失真變化程度的梯度特征,計算出圖像的梯度相似度,最終為回掃補償型紅外成像系統(tǒng)提供一種新的實時在線圖像質(zhì)量評價算法。

1 回掃補償型紅外成像系統(tǒng)

紅外成像系統(tǒng)在穩(wěn)定平臺下隨著轉(zhuǎn)臺的運動進行周視掃描,實現(xiàn)方位角360°大視場監(jiān)測,當(dāng)紅外成像系統(tǒng)連續(xù)掃描未補償時,紅外相機所拍攝的圖像存在嚴(yán)重的拖尾現(xiàn)象。回掃補償型紅外成像系統(tǒng)可以在分辨率沒有明顯降低的情況下實現(xiàn)對視場內(nèi)的目標(biāo)檢測[15]。

根據(jù)擺鏡所處位置不同,回掃補償結(jié)構(gòu)一般分為物方掃描與像方掃描兩種基本結(jié)構(gòu)[16]。物方掃描結(jié)構(gòu)中的擺鏡位于光學(xué)系統(tǒng)前方[17],因此結(jié)構(gòu)簡單,對光學(xué)系統(tǒng)成像無影響,但由于光學(xué)系統(tǒng)口徑受擺鏡鏡片尺寸限制,只能應(yīng)用在焦距較短、視場較大的系統(tǒng)中;而像方掃描結(jié)構(gòu)中擺鏡位于前置望遠系統(tǒng)及2次成像物鏡之間,由于可使用前置的望遠系統(tǒng)來壓縮光束的口徑,因此通常應(yīng)用在長焦系統(tǒng)中,但此類系統(tǒng)結(jié)構(gòu)復(fù)雜,擺鏡掃描角度高,掃描過程對主光線入射角度變化較大[18-19]。兩種回掃補償結(jié)構(gòu)示意圖如圖1所示。

圖1 兩種回掃補償結(jié)構(gòu)Fig.1 Two retrace compensation structures

由兩種類型的回掃補償結(jié)構(gòu)示意圖可知,紅外成像系統(tǒng)轉(zhuǎn)臺的轉(zhuǎn)速為ω,在物方掃描下,需要補償?shù)姆聪驍[鏡擺速ω1為ω/2;在像方掃描下,望遠鏡放大倍率為K,需要補償?shù)姆聪驍[鏡擺速ω2為Kω/2。

探測器隨方位轉(zhuǎn)臺進行勻速掃描時,場景圖像f(x,y)在探測器上的結(jié)果為:

(1)

式中:T為探測器積分時間;n(x,y)為探測器和電路噪聲總和;x0(t)表示運動時間變化參數(shù),周掃轉(zhuǎn)臺勻速掃描成像時:

(2)

式中:D為像移,可以通過探測器積分時間和轉(zhuǎn)臺轉(zhuǎn)速的關(guān)系來確定。

紅外成像系統(tǒng)在方位轉(zhuǎn)臺上進行周掃成像時,紅外相機與實際場景之間的相對運動會造成圖像一定程度的拖尾像移[20]。針對此問題,通過擺鏡回掃補償?shù)姆绞娇纱蠓岣叱上褓|(zhì)量[21],而對于成像后的紅外圖像質(zhì)量評價則必不可少,通常利用質(zhì)量評價算法對其成像質(zhì)量進行評估。

2 基于梯度相似度的圖像質(zhì)量評價方法

通過回掃補償型紅外成像原理可知,回掃補償系統(tǒng)圖像退化的主要原因是周掃系統(tǒng)成像過程中紅外相機與實際場景之間的相對運動造成圖像的邊緣失真[21],為此本文中分析了兩種常用的圖像質(zhì)量評價方法,并對其在紅外回掃補償系統(tǒng)圖像評價方面的性能指標(biāo)進行分析及測試。

2.1 SSIM算法的基本原理

SSIM算法是通過計算原始圖像與失真圖像之間的亮度、對比度及結(jié)構(gòu)度之間的差異來對失真圖像進行質(zhì)量評價,相比一般的全參考質(zhì)量評估算法更加符合人眼視覺系統(tǒng)的判斷。計算過程如圖2所示。

圖2 SSIM算法原理框圖[2]Fig.2 Block diagram of SSIM algorithm[2]

由原理圖可知,SSIM算法主要分為3個過程。首先計算參考圖像和失真圖像的亮度信號和對比度信號,然后通過亮度、對比度及結(jié)構(gòu)三通道來計算二者相對應(yīng)的比較函數(shù),最后將計算出的3種比較函數(shù)的值進行合并,得到結(jié)構(gòu)相似性的值[2]。其計算公式為:

VSSIM(r,d)=[l(r,d)]α·

[c(r,d)]β·[s(r,d)]γ

(3)

式中:r代表參考圖像;d代表失真圖像;l(r,d)、c(r,d)、s(r,d)分別表示二者間的亮度、對比度及結(jié)構(gòu)3種比較函數(shù);α、β和γ為大于0的3個權(quán)重參數(shù),使用這3個參數(shù)調(diào)整3種比較函數(shù)在整個公式中的權(quán)重。3種比較函數(shù)的計算公式如下所示:

(4)

(5)

(6)

式中:μr和μd表示r和d二者的均值;σr和σd代表二者的標(biāo)準(zhǔn)差;σr,d代表二者之間的協(xié)方差;C1,C2,C3為常數(shù)。

SSIM算法比均方誤差、峰值信噪比等方法具有更好的評價性能,在很多方面都得到了廣泛的應(yīng)用,但SSIM方法有兩個明顯的缺點:一是SSIM算法只是根據(jù)圖像的均值和方差來評價圖像質(zhì)量,沒有考慮到梯度等包含圖像結(jié)構(gòu)信息的邊緣紋理特征,使得SSIM算法不能很好地區(qū)分由于運動失真引起的不同模糊程度的紅外周掃圖像;二是失真紅外圖像盡管邊緣模糊,但相對于參考圖像來說,整幅圖像的亮度、對比度和整體結(jié)構(gòu)并沒有太多的降質(zhì)。因此,本文中提出將圖像梯度信息加入SSIM算法,從而獲得對運動模糊圖像更為準(zhǔn)確的評價。

2.2 基于梯度特征的結(jié)構(gòu)相似度

由于圖像紋理和邊緣特征是圖像結(jié)構(gòu)中最為關(guān)鍵的信息,采用梯度特征可以很好地表示圖像邊緣紋理的變化程度,本文中提出將梯度信息加入SSIM算法,從而獲得對運動模糊紅外圖像的更為準(zhǔn)確的質(zhì)量評價。圖像梯度幅值計算方式為:

(7)

式中:G(i,j)表示圖像在點(i,j)處的梯度幅值;Gh(i,j)、Gv(i,j)分別表示水平和垂直方向上的梯度分量,當(dāng)G(i,j)≠0時,表明在該點處存在梯度變化,G(i,j)值越大,該點處存在越清晰的邊緣信息。

如圖3所示,本文中采用Sobel梯度算子分別對原始圖像與失真圖像的梯度特征進行提取,進而得到原始圖像r和失真圖像d所對應(yīng)的梯度圖像r′和d′。圖像梯度對比度可定義為:

圖3 Sobel梯度算子[7]Fig.3 Sobel gradient operator[7]

(8)

圖像梯度相關(guān)系數(shù)可定義為:

(9)

式中:σr′、σd′分別表示r′和d′的標(biāo)準(zhǔn)差;σr′,d′表示r′和d′的協(xié)方差;常數(shù)C2、C3避免分母為零的情況。將SSIM算法中的對比度函數(shù)c(r,d)和結(jié)構(gòu)函數(shù)s(r,d)替換為式(8)、式(9),從而得到梯度相似度(gradient similarity,GSIM)算法模型:

VGSIM(r,d)=[l(r,d)]α·

[Cg(r,d)]β·[Sg(r,d)]γ

(10)

整幅圖像的梯度相似度可通過各子圖像塊的梯度相似度均值(mean gradient similarty,MGSIM)得出:

(11)

式中:M為子圖像塊的數(shù)量。

3 實驗結(jié)果分析及比較

為驗證圖像質(zhì)量評估算法的有效性,本文中實驗分為兩部分:第一部分采用圖像與視頻工程實驗室(laboratory for image &video engineering,LIVE)圖像質(zhì)量評價數(shù)據(jù)庫進行實驗;第二部分利用實驗室回掃補償型紅外成像系統(tǒng)所拍攝的紅外圖像數(shù)據(jù)庫進行實驗。

3.1 標(biāo)準(zhǔn)數(shù)據(jù)庫圖像質(zhì)量評價實驗

在像移變化、像旋不變的運動模糊圖像實驗中,對原始參考圖像加入像移D變化范圍(5 pixel～55 pixel)、像旋角度θ=5°的運動模糊核,利用MSE、PSNR、SSIM以及MGSIM 4種算法對不同運動模糊程度的圖像進行質(zhì)量評估。參考圖像及其不同運動程度的失真圖像如圖4所示。

圖4 原始圖像及其不同程度的運動模糊圖像Fig.4 Original image and its different degrees of motion blur images

利用上述4種算法對像移變化、像旋角度為定值5°的運動模糊圖像進行評價,其結(jié)果如表1所示。

表1 圖4中不同運動模糊程度圖像質(zhì)量評估結(jié)果Table 1 Image quality evaluation results of different degrees of motion blur in Fig.4

從表1可以看出,隨著圖像像移距離的增加,圖像越來越模糊時,MSE的值逐漸增大,PSNR、SSIM、MGSIM的值逐漸減小。4種算法的評價結(jié)果與人眼視覺系統(tǒng)感知基本一致。

由圖5可以看出,當(dāng)像移距離由小到大變化,即圖像越來越模糊時,SSIM算法與MGSIM算法二者的圖像質(zhì)量評價值都呈現(xiàn)逐漸下降趨勢,但二者的變化程度有著顯著差異,SSIM算法的圖像評價值由0.882下降至0.634,而MGSIM算法的評價值由0.846下降至0.262,由此可知,MGSIM算法的評價值變化更加明顯,對不同運動狀態(tài)的圖像表現(xiàn)出更好的靈敏度,這表明梯度相似度算法對于不同運動狀態(tài)的失真圖像的質(zhì)量評價更為優(yōu)越。

圖5 圖4中不同運動模糊程度下的評價值的曲線Fig.5 Curves of evaluation values under different degrees of motion blur in Fig.4

3.2 紅外周掃圖像質(zhì)量評價實驗

紅外圖像實驗使用周掃轉(zhuǎn)臺搭載的分辨率為1280 pixel×1024 pixel、像方掃描、焦距150 mm的非制冷紅外相機靜止拍攝的圖像作為參考圖像,采用周掃轉(zhuǎn)臺不同轉(zhuǎn)臺轉(zhuǎn)速和擺鏡擺速下的5幅不同模糊程度的圖像作為對比,其中,圖6a為周掃轉(zhuǎn)臺靜止拍攝的參考圖像;圖6b～圖6e為周掃轉(zhuǎn)臺以85.045 °/s的轉(zhuǎn)速、擺鏡擺速分別為95 °/s、98 °/s、100 °/s、105 °/s的周掃圖像;圖6f轉(zhuǎn)臺轉(zhuǎn)速為92.370 °/s、擺鏡擺速(110°/s)下的周掃圖像。

圖6 不同運動模糊程度的紅外周掃圖像Fig.6 Infrared scan images with different degrees of motion blur

利用MSE、PSNR、SSIM以及本文中MGSIM算法這4種方法對上述周掃圖像進行質(zhì)量評估,其結(jié)果如表2所示。

表2 圖6中不同運動模糊程度的紅外周掃圖像質(zhì)量評估結(jié)果Table 2 Evaluation results of infrared scan image quality with different degrees of motion blur in Fig.6

從表2可以看出,圖6d與參考圖像最為接近,4種方法均能正確反映圖6d的質(zhì)量評價結(jié)果;圖6f失真最為明顯,MSE、PSNR、SSIM 方法并不能很好地區(qū)別不同運動模糊程度的紅外圖像;而本文中MGSIM算法較為準(zhǔn)確地反映出紅外運動模糊圖像變化過程。

以往的評價方法主要采用平行光管測試傳遞函數(shù)的方式,該方法可以獲得絕對系統(tǒng)的評價參數(shù),但這需要專用設(shè)備。像質(zhì)評價主要用于優(yōu)化周掃系統(tǒng)擺掃速度,使成像質(zhì)量最優(yōu),因此采用相對評價參數(shù)并尋找最優(yōu)參數(shù)也可同樣實現(xiàn)該目的。本文中所采用的圖像評價方法主要用于擺鏡回掃速度的優(yōu)化,因此采用的是相對評價參數(shù),目的是尋找各擺掃速度下圖像質(zhì)量的最優(yōu)值。由圖7可以看出,SSIM方法對于不同運動狀態(tài)下的紅外周掃圖像質(zhì)量評價結(jié)果區(qū)分度不高,對擺掃速度變化較小的紅外周掃圖像并不能準(zhǔn)確評估。而本文中MGSIM算法在評價過程中考慮了梯度信息對圖像質(zhì)量變化的影響,對于不同運動狀態(tài)的周掃圖像更為敏感,與人眼視覺系統(tǒng)具有較高的一致性,更加準(zhǔn)確地反映出紅外周掃圖像的質(zhì)量評價結(jié)果。

圖7 圖6中不同運動模糊程度下紅外周掃圖像的評價曲線Fig.7 Evaluation curves of infrared scan images under different degrees of motion blur in Fig.6

4 結(jié) 論

針對回掃補償型紅外成像系統(tǒng)圖像退化程度在線評價問題,提出了梯度相似度的質(zhì)量評估算法。該算法以分塊結(jié)構(gòu)相似度思想為基礎(chǔ),通過Sobel梯度算子獲得能有效度量圖像中失真程度的梯度特征,使用梯度特征替代SSIM算法中的對比度和結(jié)構(gòu)兩個部分,最終計算各子圖像塊的梯度相似度均值,從而獲得整幅圖像的梯度相似度。MGSIM算法對紅外周掃圖像的質(zhì)量評價從0.700下降至0.543,實驗結(jié)果表明,本文中所提出的方法對紅外周掃圖像的退化程度敏感性更高,可作為實時在線周掃圖像優(yōu)化系統(tǒng)的一種有效評價手段。