紅外數(shù)字圖像清晰化顯示系統(tǒng)設(shè)計(jì)

張衛(wèi)國(guó)，劉華軍，王玉坤

(91550部隊(duì)92分隊(duì)，遼寧 大連116023)

1 引言

由于紅外成像與可見(jiàn)光相比具有夜視及受霧氣影響較小的特點(diǎn)，目前紅外成像技術(shù)已廣泛運(yùn)用在軍事、航天等多個(gè)領(lǐng)域，?？毡尘皸l件下獲得的紅外圖像對(duì)比度低、噪聲干擾大，主要原因有三方面:一是紅外成像器件［1］的像素?cái)?shù)分辨率(常用的320×256和640×480)低引起的清晰度差，如果采用640×480(像素尺寸20μm)紅外成像器件，圖像的分辨率有所提高;二是紅外成像器件的非均勻性引起的圖像干擾現(xiàn)象［2］，目前采用的紅外圖像非均勻干擾校正方法只是針對(duì)于特定使用的，對(duì)于背景變化較大環(huán)境，抑制干擾效果不明顯;三是高動(dòng)態(tài)范圍紅外圖像［3］(像素灰度為14位)顯示失真問(wèn)題。14位的紅外數(shù)字圖像直接采用線性移位的色調(diào)映射算法按8位灰度值在電腦顯示器顯示，這種方法無(wú)法保留圖像區(qū)域的細(xì)節(jié)信息，造成圖像失真。由此本文針對(duì)以上問(wèn)題，采用了圖像濾波、圖像子區(qū)域增強(qiáng)及圖像超分辨率重構(gòu)方法等算法，以及一種改進(jìn)的色調(diào)映射算法，設(shè)計(jì)了紅外數(shù)字圖像清晰化顯示系統(tǒng)，并通過(guò)實(shí)驗(yàn)驗(yàn)證:圖像質(zhì)量明顯提高，取得了滿意的紅外數(shù)字視頻圖像顯示效果。

2 系統(tǒng)組成及原理

紅外圖像清晰化顯示系統(tǒng)實(shí)時(shí)接收紅外數(shù)字圖像，并進(jìn)行濾波、圖像增強(qiáng)、超分辨率重構(gòu)以及色調(diào)映射等處理，送出顯示，同時(shí)可以通過(guò)圖像輸出卡將數(shù)字視頻圖像變換成模擬視頻信號(hào)輸出。

2．1 硬件平臺(tái)

該系統(tǒng)由工控機(jī)、以SOLIOS數(shù)字圖像采集卡、VIO圖像輸出卡、綜合圖像處理軟件等部分構(gòu)成。工控機(jī)和綜合圖像處理軟件用于完成紅外圖像處理，數(shù)字圖像采集卡用于采集紅外數(shù)字圖像。圖像輸出卡用于數(shù)字圖像與模擬視頻的轉(zhuǎn)換，送出模擬視頻。系統(tǒng)硬件原理框圖如圖1所示。

圖1 系統(tǒng)硬件原理框圖

采用SOLIOS數(shù)字圖像采集卡方案的優(yōu)點(diǎn)是可以實(shí)現(xiàn)多傳感器的數(shù)據(jù)融合處理，而且DSP的運(yùn)算程序存儲(chǔ)在計(jì)算機(jī)中，上電后計(jì)算機(jī)向圖像處理板加載運(yùn)算程序，有利于系統(tǒng)調(diào)試與維護(hù)，有利于以后升級(jí)與擴(kuò)充。

VIO圖像輸出卡是PCI－X卡，用于不同制式模擬視頻圖像的采集轉(zhuǎn)換，數(shù)字與模擬圖像的轉(zhuǎn)換。模擬的高清(HD)、標(biāo)清(SD)及其SDI輸入/輸出，模擬和數(shù)字圖像輸出同步。

2．2 系統(tǒng)軟件結(jié)構(gòu)

系統(tǒng)軟件基于VC編程，分為圖像濾波處理模塊、圖像增強(qiáng)模塊、超分辨率重構(gòu)模塊、色調(diào)映射模塊等，可以根據(jù)圖像特征在操作界面上選擇濾波器的模型和增強(qiáng)算法模型，軟件結(jié)構(gòu)如圖2所示。紅外數(shù)字圖像顯示控制軟件如圖3所示。

圖2 系統(tǒng)軟件結(jié)構(gòu)圖

圖3 紅外數(shù)字圖像顯示控制軟件

3 圖像的濾波及增強(qiáng)算法

3．1 紅外圖像去噪與背景抑制

紅外熱像儀依靠場(chǎng)景的輻射特性成像，其成像器件自身具有不均勻性，雖然在每次使用前，可以通過(guò)非均勻校正，進(jìn)行非均勻的消除和減弱，但是隨著時(shí)間的推移，外界環(huán)境的變化，器件的非均勻性仍會(huì)逐漸增強(qiáng)，造成紅外圖像背景的干擾。器件自身噪聲和成像環(huán)境干擾也會(huì)造成圖像的噪聲影響等，這些干擾和噪聲對(duì)圖像的觀察和分析、處理都是不利因素，需要盡可能的去除。

從圖像角度來(lái)說(shuō)，不管是由于什么機(jī)理和原因造成的干擾和噪聲，反應(yīng)到圖像上，都是一種疊加到圖像上的灰度分布，我們統(tǒng)一用下式來(lái)表達(dá):

式中，Is為真正的場(chǎng)景圖像;In為噪聲圖像;Ia為非均勻圖像，理想的結(jié)果時(shí)該式中僅包含Is，因此，需要盡可能去除In和Ia分量圖像，但由于兩者對(duì)圖像的影響機(jī)理不同，所以需要區(qū)別對(duì)待。

噪聲具有隨機(jī)特性，同時(shí)從經(jīng)驗(yàn)來(lái)說(shuō)，圖像中包含的噪聲大多數(shù)為散粒噪聲，這種噪聲采用中值濾波［4］、平滑濾波、高斯濾波及拉普拉斯銳化等方式去除。

非均勻圖像是由于器件自身特性和受周圍環(huán)境影響造成的一種干擾，因此，這是一種緩變化數(shù)據(jù)，從短時(shí)間內(nèi)看，可以認(rèn)為其灰度分布是不變的，同時(shí)由于非均勻性是反應(yīng)在自身器件上的，因此，不隨相機(jī)的運(yùn)動(dòng)而變化。這些是非均勻圖像區(qū)別于目標(biāo)圖像的前提，依據(jù)此前提，即可進(jìn)行非均勻圖像的去除處理。

這里利用幀間運(yùn)動(dòng)檢測(cè)技術(shù)［5］，檢測(cè)圖像中的變動(dòng)區(qū)域，其他區(qū)域即可認(rèn)為是器件自身造成的非均勻區(qū)域。

3．2 子區(qū)域增強(qiáng)算法［6］

紅外圖像較多采用直方圖均衡化或直方圖拉伸處理［7］，使其14位數(shù)據(jù)轉(zhuǎn)化為8位數(shù)據(jù)，由于量化位數(shù)的減少，帶來(lái)的一個(gè)問(wèn)題是，圖像中小范圍的紅外灰度波動(dòng)在轉(zhuǎn)換后會(huì)被弱化，甚至導(dǎo)致無(wú)法觀察到。為了避免這種問(wèn)題，采用了子區(qū)域增強(qiáng)處理，首先在原始的14位灰度圖像中，計(jì)算梯度分布，這里采用數(shù)學(xué)形態(tài)學(xué)方法實(shí)現(xiàn)。

設(shè)Ie和Id分別為腐蝕和膨脹的圖像，求兩者的差，得到梯度圖像為:

依據(jù)整個(gè)圖像區(qū)域的梯度走向，對(duì)整幅圖像進(jìn)行子區(qū)域分割處理，為了防止圖像復(fù)雜內(nèi)容造成的分割區(qū)域過(guò)于繁雜，在分割后進(jìn)行區(qū)域合并處理，使得整幅圖像保持在10個(gè)子區(qū)域以下。

分割后的各個(gè)子區(qū)域分別進(jìn)行直方圖均衡或直方圖拉伸［8］。

4 超分辨率重構(gòu)方法［9］

這里采用圖像的細(xì)節(jié)增強(qiáng)運(yùn)算，其基本原理是通過(guò)對(duì)圖像進(jìn)行超分辨率的重構(gòu)［6，10］，強(qiáng)化細(xì)節(jié)紋理走向，達(dá)到細(xì)節(jié)增強(qiáng)的目的。

根據(jù)目標(biāo)像素點(diǎn)與對(duì)應(yīng)的源圖像的位置關(guān)系得到源圖像中的兩組像素點(diǎn)(均包含三個(gè)相鄰像素)，分別求出其二階差分值，自動(dòng)選取一組源像素作為二階牛頓插值的輸入，從而求得目標(biāo)像素點(diǎn)的灰度值。

已知函數(shù)f(x)在等距節(jié)點(diǎn)xi上的函數(shù)值為f(xi)=fi(i=0，1，…，n)。則稱:為一階差分，而K階差分表示為:，n 次牛頓插值公式表示為:

式中，h為步長(zhǎng)，已知一維函數(shù)f(x)的(n+1)個(gè)等距節(jié)點(diǎn)上的值，即可求出f(x)的任意一點(diǎn)的值，其中n取值越大，其計(jì)算結(jié)果的誤差越小，而計(jì)算量也隨之增加。在數(shù)字圖像處理中，可將離散的二維圖像信號(hào)在水平方向進(jìn)行一維插值，然后對(duì)所得的信號(hào)在垂直方向進(jìn)行一維插值，即可完成該二維信號(hào)的插值處理，其中步長(zhǎng)h為1。

將相鄰三個(gè)點(diǎn)的二階差分的絕對(duì)值作為衡量該三個(gè)點(diǎn)的相關(guān)性大小的標(biāo)準(zhǔn)，絕對(duì)值越小，相關(guān)性越大，反之亦然。目標(biāo)像素點(diǎn)N的值由一組相關(guān)性較大的源像素通過(guò)插值比采用相關(guān)性較小的一組更為合理。這是因?yàn)?，相關(guān)性大，表明各像素處在同一圖像區(qū)域的可能性越大。

對(duì)于二維圖像的插值［11］，在硬件實(shí)現(xiàn)時(shí)為了避免采用幀緩沖區(qū)，通常將圖像在水平方向進(jìn)行插值，然后將插值結(jié)果在垂直方向進(jìn)行插值得到目標(biāo)圖像。將低分辨率圖像放大，然后采用前向－后向擴(kuò)散對(duì)圖像的強(qiáng)邊緣進(jìn)行增強(qiáng)，對(duì)圖像的弱邊緣進(jìn)行平滑。這樣插值得到的圖像具有非常清晰的邊

緣結(jié)構(gòu)。

差值得到了比原圖像分辨率高出1倍或n倍的結(jié)果，此時(shí)，將超分辨率圖像再次返回到原分辨率圖像，抽點(diǎn)過(guò)程中，在每點(diǎn)的周圍3鄰域區(qū)域內(nèi)計(jì)算梯度最高的點(diǎn)偏移量(d i，d j)，則有:

5 改進(jìn)的色調(diào)映射算法［3］

紅外數(shù)字圖像為高動(dòng)態(tài)范圍圖像，其一般的量化位數(shù)為14位，即灰度范圍為0～16383，而目前的顯示設(shè)備均為8位顯示設(shè)備，即紅綠藍(lán)灰度最高量化位數(shù)為8位，因此，紅外圖像必須進(jìn)行縮放使之變換低動(dòng)態(tài)范圍圖像轉(zhuǎn)化后，方可送往顯示設(shè)備輸出，這種圖像亮度的壓縮調(diào)節(jié)技術(shù)叫做色調(diào)映射［12］(tonemapping)。工程中常用的算法有在全局映射算法、局部映射算法等多種算法。全局算法使用同一種映射曲線作用域圖像中的所有像素，在效率上有一定優(yōu)勢(shì)，但不能對(duì)圖像的局部區(qū)域進(jìn)行有效修正，圖像效果一般。局部映射算法考慮到圖像像素的亮度分布，在局部區(qū)域作相關(guān)調(diào)整，盡可能地改善映射后的圖像效果，避免出現(xiàn)全局映射算法中的圖像顯示問(wèn)題。

本系統(tǒng)從工程需求出發(fā)，要求色調(diào)映射算法滿足條件:一是算法不復(fù)雜，滿足數(shù)字視頻處理的實(shí)時(shí)性要求;二是符合人眼視覺(jué)系統(tǒng)［8］規(guī)律，圖像效果滿足要求。在傳統(tǒng)的對(duì)數(shù)映射算法的基礎(chǔ)上進(jìn)行改進(jìn)，首先使用平方操作后，可以適當(dāng)?shù)乩焖鼈兊牟罹?，其次?duì)局部區(qū)域惡進(jìn)行適當(dāng)處理，使得數(shù)據(jù)分布較多的區(qū)域能夠擴(kuò)大映射范圍，數(shù)據(jù)分布較少的區(qū)域惡能夠縮小映射范圍，在這兩段區(qū)間上使用不同的含參數(shù)的映射曲線，實(shí)現(xiàn)了全局映射與局部映射算法的組合［13－14］，表達(dá)式如下:

其中，lb表示以2為底的對(duì)數(shù)，?」表示向下取整。令:

考慮這兩條曲線滿足三個(gè)初始條件:

為了確定上面4個(gè)參數(shù)，還需要一個(gè)初始條件。引入漸變系數(shù)α:

其中，Ni為亮度值分布在第i個(gè)區(qū)間內(nèi)的像素個(gè)數(shù)，漸變系數(shù)值反映了每個(gè)區(qū)間像素分布的遞增趨勢(shì)。具體操作過(guò)程如下:

首先，需要選取合適的拐點(diǎn)值2m和常數(shù)c，考慮數(shù)據(jù)分布大多數(shù)集中在低數(shù)值區(qū)域，拐點(diǎn)值的選取不宜太大，常數(shù)c選取較為麻煩。由于新算法的曲線始終露在線性函數(shù)和對(duì)數(shù)函數(shù)之間，所以

令:

其中，取 2m=128，s=1，t=4。

劃分為兩個(gè)映射區(qū)間后的曲線表達(dá)式為:

6 實(shí)驗(yàn)結(jié)果

試驗(yàn)采用了長(zhǎng)波紅外圖像，像素?cái)?shù)為640×480(像素尺寸為20μm)，處理幀頻為25 Hz。圖4所示為非均勻噪聲圖像經(jīng)中值濾波和幀間運(yùn)動(dòng)檢測(cè)相結(jié)合方法進(jìn)行處理前后圖像效果比較。圖5為經(jīng)超分辨率構(gòu)建增強(qiáng)算法處理后圖像效果比較。圖6為經(jīng)圖像自區(qū)域增強(qiáng)、超分辨

圖4 圖像去噪與背景抑制處理前后效果

圖5 超分辨率增強(qiáng)前后效果圖

圖6 組合處理后前后效果圖

7 結(jié)論

針對(duì)紅外圖像質(zhì)量存在的不足之處，設(shè)計(jì)了紅外數(shù)字圖像清晰化顯示系統(tǒng)，采用了先進(jìn)硬件平臺(tái)及圖像處理算法，經(jīng)外場(chǎng)的驗(yàn)證取得了較明顯的圖像顯示效果，滿足數(shù)字視頻圖像的要求，具有一定的推廣應(yīng)用價(jià)值。針對(duì)不同背景下的建立圖像濾波增強(qiáng)算法庫(kù)實(shí)現(xiàn)算法自適應(yīng)化是下一步的研究方向。

［1］ Mai Lübo．Outline on developmentand application of FPA thermal imaging sets［J］．Infrared Technology，2006，28(9):497 －501．(in Chinese)麥綠波．焦平面熱像儀的發(fā)展與應(yīng)用綜述［J］．紅外技術(shù)，2006，28(9):497 －501．

［2］ Xu Huihui，Zhang Guilin，Jiang Jin．Analysis of scence based non-uniformity correction for IR FPA［J］．Computer＆ Digital Engineering，2007，28(9):27 － 29．(in Chinese)許慧慧，張桂林，姜瑾．基于場(chǎng)景的紅外探測(cè)器非均勻性校正方法的分析［J］．計(jì)算機(jī)與數(shù)字工程，2007，28(9):27－29．

［3］ Xie Yisong，F(xiàn)ang Junyong．Development and prospect of tonemapping techniques for HDRI［J］．China Illuminating Engineering Journal，2011，22(5):11 －17．(in Chinese)謝一淞，方俊永．高動(dòng)態(tài)范圍圖像色調(diào)映射技術(shù)的發(fā)展與展望［J］．照明工程學(xué)報(bào)，2011，22(5):11 －17．

［4］ Rafael C Gonzalez，Richard EWoods．Digital image processing［M］．2nd．ed．Beijing:Publishing House of Electronics Industry，2010:93 －98．(in Chinese)Rafael C Gonzalez，Richard E Woods．?dāng)?shù)字圖像處理［M］．2版．北京:電子工業(yè)出版社，2010:93－98．

［5］ Ali Homaei，Ehsan Koohestani．Implematation a new realtime structure for driving an IRFPA and image enhancement［J］．Proc．of SPIE，2007，6616:1 －7．

［6］ Dong Liquan，Jin Weiqi，Sui jing．Research on the self-adaptive denoise and enhancement algorithm forinfrared image under ground-sky back ground［J］．Optical Technique，2009，35(1):109 －112．(in Chinese)董立泉，金偉其，隋婧．自適應(yīng)地空背景紅外圖像降噪增強(qiáng)方法［J］．光學(xué)技術(shù)，2009，35(1):109 －112．

［7］ Wang Liying，Jing Yadong，Luo Fengwu，et al．New self-adaptive image enhancement algorithm for infrared image［J］．Signal Processing，2009，25(12):1836 － 1839．(in Chinese)王利穎，蔣亞?wèn)|，羅鳳武，等．一種自適應(yīng)紅外圖像增強(qiáng)新算法［J］．信號(hào)處理，2009，25(12):1836 －1839．

［8］ Deng Yue，Wang Yanjie，Li Jingyu，et al．Improvement of enhancement algorithm for aerial image［J］．Laser＆ Infrared，2012，42(9):1080 －1085．(in Chinese)鄧玥，王延杰，李靜宇，等．天空區(qū)域圖像的增強(qiáng)算法的改進(jìn)［J］．激光與紅外，2012，42(9):1080 －1085．

［9］ Bian Jueping．Research on regression-based super-resolution image recomstruction technique［D］．Nanjing:Nanjing University of Posts and Telecommunications，2012:14 －28．(in Chinese)卞玨平．基于回歸的圖像超分辨率重建技術(shù)研究［D］．南京:南京郵電大學(xué)，2012:14－28．

［10］ W Dong，G Shi，L Zhang，et al．Super-resolution with nonlocal regularized sparse representation［C］．SPIE Visual Communications and Image Processing，2010．

［11］ H Q Luong，T Ruzic，A Pizurica，et al．Single-image super-resolution using sparisity constraints and non－local similarities antmultiple resolution scales［C］．SPIE Optics，Photonics，and Digital Technologics for Multimedia Applications，2010．

［12］ Tan Ruishen．Research of high dynamic range vide［D］．Hefei:University of Science and Technology of China，2008:11 －18．(in Chinese)譚銳莘．高動(dòng)態(tài)范圍視頻研究［D］．合肥:中國(guó)科技大學(xué)，2008:11－18．

［13］ Scheel A，et al．Tone reproduction for interactive walkthroughs［J］．Computer Graphics Forum，2009，19(3):301－312．

［14］ Shen Jianbing，F(xiàn)ang Shiaofen，Zhao Hanli，et al．Fast approximation of trilateral filter for tonemapping using a signal processing approach ［J］．Singal Process，2009，89(5):901－907．