自適應(yīng)參考圖像的可見光與熱紅外彩色圖像融合算法

劉佳妮、金偉其、李 力、王 霞

北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室、北京 100081

自適應(yīng)參考圖像的可見光與熱紅外彩色圖像融合算法

劉佳妮、金偉其*、李 力、王 霞

北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室、北京 100081

可見光與紅外熱圖像的彩色圖像融合技術(shù)是現(xiàn)今國(guó)內(nèi)外高性能夜視技術(shù)發(fā)展的重要方向之一、該技術(shù)有效提高了人們對(duì)目標(biāo)的探測(cè)和場(chǎng)景理解能力。目前常用的色彩傳遞算法多屬于基于單幅參考圖像的全局色彩傳遞算法、彩色融合圖像的色調(diào)受到參考圖像的影響較大、在實(shí)際應(yīng)用中難以保證對(duì)各類場(chǎng)景的適應(yīng)性。針對(duì)常規(guī)YUV空間色彩傳遞彩色圖像融合算法的環(huán)境適應(yīng)性問題、通過對(duì)植物、城鎮(zhèn)和海天三類典型場(chǎng)景的分類與統(tǒng)計(jì)、發(fā)現(xiàn)了典型場(chǎng)景在UV通道的均值和標(biāo)準(zhǔn)差具有的較為明顯的分類特性、由此提出了一種基于UV通道均值和標(biāo)準(zhǔn)差的自適應(yīng)參考圖像構(gòu)造方法、使得可見光與熱紅外彩色圖像融合算法具有較常規(guī)算法更好的環(huán)境適應(yīng)性、融合圖像的色彩具有較好的自然感、且算法處理量較小、對(duì)現(xiàn)有實(shí)時(shí)硬件融合處理算法的運(yùn)算速度影響不大、是一種環(huán)境適應(yīng)性強(qiáng)的自然感彩色融合處理算法。

可見光； 熱成像； 彩色圖像融合； 參考圖像； 自適應(yīng)

引 言

隨著多傳感器成像技術(shù)的發(fā)展、多傳感器信息融合技術(shù)得到了飛速的發(fā)展[1]。圖像融合作為信息融合技術(shù)的重要分支、將多源信道采集的同一目標(biāo)場(chǎng)景圖像通過特有的圖像處理方法、最大限度地利用各信道之間的互補(bǔ)信息、消除多源信道信息間的冗余、有效提高了人們對(duì)目標(biāo)的探測(cè)、識(shí)別和跟蹤能力[2-5]?；谌搜鄄噬曈X特性的彩色夜視技術(shù)充分利用微光和紅外波段的夜視圖像信息、可使觀察者的目標(biāo)識(shí)別速度和準(zhǔn)確度提高30%～60%[6-7]、因此受到國(guó)內(nèi)外的廣泛關(guān)注、目前已有基于雙波段的彩色夜視的裝備應(yīng)用。

顏色空間的色彩傳遞方法是目前常用的自然感彩色圖像融合方法、該方法源于2001年Reinhard[8]等提出的彩色圖像的彩色渲染方法、之后2003年荷蘭TNO研究所的Toet[9-11]將其引入到了多波段夜視圖像的彩色融合應(yīng)用、獲得了接近白天的自然感彩色夜視圖像、有利于觀察者更快地發(fā)現(xiàn)目標(biāo)和更準(zhǔn)確地理解場(chǎng)景信息。但是、該算法要求在lαβ顏色空間進(jìn)行色彩傳遞、其中存在大量的指數(shù)和對(duì)數(shù)運(yùn)算、不利于實(shí)際成像系統(tǒng)的快速處理。2006年北京理工大學(xué)[12]提出基于YUV空間的自然感彩色夜視圖像融合算法、其生成的自然感彩色圖像的色彩與lαβ空間傳遞方法相當(dāng)、但處理時(shí)間降低一半、并在DSP和FPGA處理平臺(tái)上實(shí)現(xiàn)了雙波段自然感彩色夜視融合的實(shí)時(shí)處理、成功實(shí)現(xiàn)裝備應(yīng)用。

目前常用的色彩傳遞算法屬于基于單幅參考圖像的全局色彩傳遞算法、彩色融合圖像的色調(diào)受到參考圖像的影響較大、在實(shí)際應(yīng)用中難以保證對(duì)各類場(chǎng)景的適應(yīng)性。為此、人們對(duì)色彩傳遞算法進(jìn)行了持續(xù)而深入的研究。馬爽[13]等研究了基于偽彩色融合圖像聚類的夜視圖像上色算法、先利用小波變換將可見光與紅外圖像進(jìn)行融合、再將兩種原圖像進(jìn)行RGB偽彩色融合并變換到IUV通道、用灰度融合圖像替換I通道、然后將偽彩色融合圖像與彩色圖像進(jìn)行聚類分割并進(jìn)行色彩傳遞。何永強(qiáng)[14]等研究了一種基于融合圖像特征庫(kù)的夜視圖像彩色化方法、采用小波融合方法來融合大量微光和紅外圖像、建立紋理圖像庫(kù)匹配相應(yīng)參考圖像、最后對(duì)圖像進(jìn)行分割后進(jìn)行色彩傳遞。這些算法都取得了一定的效果、但處理過程都比較復(fù)雜、不利于實(shí)時(shí)處理。為此、擬研究一種自適應(yīng)參考圖像的可見光與熱紅外自然感彩色圖像融合算法、實(shí)現(xiàn)參考圖像的自適應(yīng)選擇、提高自然感彩色融合算法的環(huán)境適應(yīng)性。

1 基于YUV空間色彩傳遞的自然感彩色圖像融合算法分析

1.1 基于YUV空間色彩傳遞的自然感彩色圖像融合算法

YUV顏色空間是國(guó)際電信聯(lián)盟ITU推薦的顏色空間、常用于視頻信號(hào)處理傳輸、通過空間變換可壓縮彩色圖像的傳輸帶寬、其中Y為亮度信號(hào)、U和V分別為藍(lán)色、紅色與亮度的色差信號(hào)[5]。雖然YUV空間沒有l(wèi)αβ空間的感知去相關(guān)特性、但其建立同樣考慮了人類的視覺感知、通過亮度和色差表示彩色圖像、實(shí)現(xiàn)亮度與色彩分離。

如圖1、基于YUV空間色彩傳遞的自然感彩色融合算法[13]的流程大致如下：

1)采用線性組合法在YUV空間將微光Vis(i,j)和紅外圖像IR(i,j)進(jìn)行初始彩色融合、得到初始彩色源圖像(Ys,Us,Vs)

(1)

式中、d1、e1、d2、e2、d3和e3為正有理數(shù)、且滿足d1+e1=1；d2和e2以及d3和e3的選取則需要使U和V保持在相應(yīng)的取值區(qū)間。

在彩色初始化中、主要考慮將目標(biāo)場(chǎng)景紋理信息較為豐富的微光/可見光圖像送到Y(jié)通道、將白熱紅外圖像主要送到V通道、將黑熱紅外圖像(前者的負(fù)片)主要送到U通道、使初始彩色圖像基本保持具有傳統(tǒng)視覺的暖冷色感規(guī)律。

圖1 基于YUV顏色空間的彩色融合算法流程圖

2)將選取的參考圖像由RGB空間轉(zhuǎn)換到Y(jié)UV空間中

(2)

3)將參考圖像YUV分量的均值和標(biāo)準(zhǔn)差傳遞給初始彩色源圖像的YUV分量

(3)

4)將經(jīng)過色彩傳遞后的源圖像從YUV空間轉(zhuǎn)換到RGB空間

(4)

5)將色彩傳遞后的RGB圖像再現(xiàn)、即可獲得類似參考圖像色調(diào)的彩色融合圖像。

可以看出：色彩傳遞實(shí)際上是將彩色參考圖像在YUV空間的6個(gè)全局灰度統(tǒng)計(jì)值(均值與標(biāo)準(zhǔn)差)傳遞給初始彩色源圖像、因此、實(shí)際應(yīng)用中只需存儲(chǔ)彩色參考圖像的灰度統(tǒng)計(jì)值、即每幅彩色參考圖像只需6個(gè)統(tǒng)計(jì)值表征。

1.2 參考圖像對(duì)彩色融合圖像的影響分析

由于自然界場(chǎng)景千差萬別、我們簡(jiǎn)單地將其分類為植物、城鎮(zhèn)、海天三種典型場(chǎng)景、圖2給出了三幅分別對(duì)應(yīng)三類典型場(chǎng)景的可見光和熱紅外圖像。圖3(b)、(c)和(d)分別給出植物、城鎮(zhèn)、海天三種典型場(chǎng)景采用圖3(a)三幅典型場(chǎng)景的彩色參考圖像的彩色融合結(jié)果圖像?？梢钥闯觯簠⒖紙D像的色調(diào)對(duì)彩色融合圖像的色調(diào)影響較大； 使植物、城鎮(zhèn)和海天類型場(chǎng)景獲得較佳自然感彩色融合圖像的彩色參考圖像與其實(shí)際場(chǎng)景類型基本一致。

圖2 三種典型場(chǎng)景的可見光/熱紅外圖像

圖3 三種典型參考圖像對(duì)圖2雙波段圖像的彩色融合圖像

我們進(jìn)一步針對(duì)植物、城鎮(zhèn)、海天三種典型場(chǎng)景分別選取80幅彩色參考圖像分別進(jìn)行了色彩傳遞融合處理、并選出其中融合圖像顏色自然、符合人眼視覺特性的112幅參考圖像(其中、植物場(chǎng)景41幅、城鎮(zhèn)場(chǎng)景36幅、海天場(chǎng)景35幅)、對(duì)其YUV三個(gè)通道的均值和標(biāo)準(zhǔn)差進(jìn)行統(tǒng)計(jì)(如表1和表2所示、表中Max表示最大值、Min表示最小值、Mean表示平均值、Med表示中位數(shù))。由此可看出參考圖像的六項(xiàng)灰度統(tǒng)計(jì)值的大致取值范圍。

表1 彩色參考圖像在Y、U、V通道的均值

表2 彩色參考圖像在Y、U、V通道的標(biāo)準(zhǔn)差

(1)Y通道均值取值范圍為80～180、值越大融合圖像的平均亮度越大； Y通道標(biāo)準(zhǔn)差取值范圍為20～80、其值越大融合圖像的對(duì)比度越大；

(2)U通道均值取值范圍為90～180、其值越大融合圖像總體上越偏藍(lán)紫色、值越小越偏綠色； U通道標(biāo)準(zhǔn)差取值范圍為3～50、其值越大融合圖像的藍(lán)綠變化幅度越大；

(3)V通道均值取值范圍為80～140、其值越大融合圖像越偏紅色、值越小越偏黃綠； V通道標(biāo)準(zhǔn)差取值范圍為3～30、其值越大融合圖像的紅黃變化幅度越大。

圖4 典型參考圖像庫(kù)U和V通道的均值和標(biāo)準(zhǔn)差聚類特性分布

Fig.4 The clustering distribution of mean and standard deviation in U and V channels for typical reference image library

2 自適應(yīng)參考圖像的可見光與熱紅外彩色圖像融合算法

為了減小彩色圖像融合過程中對(duì)彩色參考圖像選擇的盲目性、我們提出一種基于3幅典型(綠地、城鎮(zhèn)和海天)場(chǎng)景彩色參考圖像的彩色參考圖像線性組合方法。

2.1 彩色參考圖像的線性組合

如前所述、彩色參考圖像越接近待融合場(chǎng)景類型通常具有更好的自然感彩色融合效果；UV通道均值反映圖像的平均顏色、而UV通道標(biāo)準(zhǔn)差則反映了場(chǎng)景細(xì)節(jié)的顏色變化程度。因此、可選取具有代表性的典型彩色參考圖像作為“基本”圖像、通過線性組合的方法重構(gòu)組合彩色參考圖像。

(5)

(6)

“基本”參考圖像即可選取已有的彩色自然場(chǎng)景圖像、也可選擇與實(shí)際參考圖像無直接關(guān)系的6個(gè)統(tǒng)計(jì)值。在以植物、城鎮(zhèn)和海天場(chǎng)景為“基本”參考圖像的條件下、其選擇原則是應(yīng)處于色彩UV聚類圖中各自的區(qū)域中、且構(gòu)成的三角形具有足夠大的面積。從圖4(a)和(b)可以看出：圖3(a)的3幅彩色參考圖像以及表1、表2彩色參考圖像的色彩統(tǒng)計(jì)均值和標(biāo)準(zhǔn)差都基本處于各聚類區(qū)域的中心(如圖4(a)、(b)中的★點(diǎn)和+處)、屬于較好的“基本”參考圖像、將在后續(xù)分析討論中采用。

2.2 自適應(yīng)參考圖像的參數(shù)選擇

在選定3幅基本彩色參考圖像的基礎(chǔ)上、根據(jù)待融合圖像的“類型”確定組合參考圖像的關(guān)鍵就是自適應(yīng)地確定基本參考圖像的組合系數(shù)ri(i=1, 2, 3)。我們通過待融合初始彩色圖像與基本彩色參考圖像均值和標(biāo)準(zhǔn)差的差值來確定3幅基本參考圖像在組合參考圖像中所占的比例即線性組合系數(shù)。

首先確定待融合初始彩色圖像與基本彩色參考圖像均值和標(biāo)準(zhǔn)差的差值度量

(7)

由此進(jìn)一步確定組合系數(shù)

(8)

2.3 自適應(yīng)參考圖像的可見光與熱紅外彩色圖像融合算法

自適應(yīng)參考圖像的可見光與熱紅外彩色圖像融合算法的具體流程步驟如下：

2)根據(jù)S圖像與基本參考圖像在U和V通道的均值和標(biāo)準(zhǔn)差、按照式(7)和式(8)確定基本參考圖像的組合系數(shù)ri；

3)根據(jù)式(5)和式(6)計(jì)算得到組合參考圖像的6個(gè)統(tǒng)計(jì)值、并在YUV空間中按照式(3)進(jìn)行色彩傳遞、得到Y(jié)UV空間的自然感彩色融合圖像；

4)將YUV彩色融合圖像轉(zhuǎn)換回RGB空間進(jìn)行顯示、觀察。

3 結(jié)果與討論

為了檢驗(yàn)算法的有效性、我們對(duì)多種場(chǎng)景的可見光和熱紅外圖像進(jìn)行了自適應(yīng)彩色圖像融合實(shí)驗(yàn)、均取得了較好的融合效果。這里分別給出植物、城鎮(zhèn)、海天三種典型場(chǎng)景的一組彩色融合圖像結(jié)果、并據(jù)此進(jìn)行相應(yīng)的分析和討論。仿真實(shí)驗(yàn)在MATLAB環(huán)境下進(jìn)行、圖5給出了三種典型場(chǎng)景待融合的可見光圖像和紅外熱圖像、基本彩色參考圖像采用圖3的三幅典型場(chǎng)景圖像、無參考圖像的18個(gè)圖像統(tǒng)計(jì)值采用表1和表2中的統(tǒng)計(jì)平均值。

圖5 三種典型場(chǎng)景雙波段圖像

圖6給出了三種典型植物、城鎮(zhèn)和海天場(chǎng)景分別采用圖3典型場(chǎng)景彩色參考圖像、自適應(yīng)參考圖像以及表1和表2平均統(tǒng)計(jì)特征值傳遞得到彩色融合圖像。從融合圖像可以看出：1)單幅參考圖像對(duì)融合結(jié)果的色調(diào)影響很大、而自適應(yīng)參考圖像和平均統(tǒng)計(jì)特征值傳遞對(duì)三種典型場(chǎng)景均可獲得較好的自然感色彩、可在不進(jìn)行專門的參考圖像選擇基礎(chǔ)上、提高色彩傳遞的彩色融合圖像的環(huán)境適應(yīng)性； 2)雖然色彩有些過艷、但總體上用圖3的植物參考圖像對(duì)三種場(chǎng)景均可獲得較為自然的融合圖像色彩、實(shí)際上、該參考圖像是目前常用的彩色參考圖像、在大多數(shù)場(chǎng)景類型下具有較好的環(huán)境適應(yīng)性、自適應(yīng)參考圖像選擇方法可一定程度上解決其色彩過艷的問題、因此、本方法相對(duì)目前實(shí)際使用的方法具有明顯的進(jìn)步。3)本方法相對(duì)標(biāo)準(zhǔn)的色彩傳遞方法所增加的運(yùn)算量很小、其硬件實(shí)現(xiàn)不會(huì)對(duì)現(xiàn)有處理系統(tǒng)的實(shí)時(shí)性產(chǎn)生明顯的影響、但算法的環(huán)境適應(yīng)性將會(huì)得到明顯改善。

圖6 三種場(chǎng)景融合結(jié)果

由于圖像的灰度直方圖與灰度統(tǒng)計(jì)值相關(guān)、我們還可從直方圖的分布分析色彩傳遞彩色圖像融合的特點(diǎn)。圖7分別為圖3的三種典型場(chǎng)景彩色參考圖像在YUV顏色空間的灰度直方圖、圖8分別給出圖5三個(gè)典型場(chǎng)景的可見光和紅外熱圖像灰度直方圖以及線性組合彩色圖像、自適應(yīng)參考圖像、自適應(yīng)參考圖像色彩傳遞融合圖像、統(tǒng)計(jì)特征值傳遞融合圖像等在YUV通道的灰度直方圖。從直方圖分布可以看出：

1)線性融合彩色圖像的直方圖不僅包含紅外熱圖像的直方圖信息、也包含了可見光圖像豐富的細(xì)節(jié)(直方圖分布)信息；

圖7 參考圖像1、2、3在YUV三個(gè)通道的直方圖

圖8 自適應(yīng)參考圖像的色彩傳遞過程直方圖

2)自適應(yīng)參考圖像在YUV三個(gè)通道的直方圖與每個(gè)場(chǎng)景的直方圖分布及組合系數(shù)ri有關(guān)、即與線性組合融合圖像的YUV均值和標(biāo)準(zhǔn)差越接近的基本參考圖像所占的比重越大、自適應(yīng)參考圖像的直方圖就與該基本參考圖像的直方圖越類似；

3)自適應(yīng)參考圖像色彩傳遞與統(tǒng)計(jì)特征值色彩傳遞的彩色融合圖像在YUV三個(gè)通道的直方圖基本相似、只是直方圖的位置(均值)和寬度(標(biāo)準(zhǔn)差)稍有差別、因此、兩者的彩色融合圖像具有較好的色彩相似性。

4 結(jié) 論

在常規(guī)的YUV空間色彩傳遞彩色圖像融合算法基礎(chǔ)上、通過對(duì)植物、城鎮(zhèn)和海天三類典型場(chǎng)景的分類與統(tǒng)計(jì)、提出了一種基于UV通道均值和標(biāo)準(zhǔn)差的自適應(yīng)參考圖像選擇方法、由此構(gòu)成自適應(yīng)參考圖像的可見光與熱紅外彩色圖像融合算法。實(shí)驗(yàn)結(jié)果表明、算法具有較常規(guī)基于單幅彩色參考圖的全局色彩傳遞算法更好的環(huán)境適應(yīng)性、融合圖像的色彩自然感、且生成的自適應(yīng)參考圖像處理量小、基本不影響算法的硬件實(shí)時(shí)處理、是一種具有實(shí)用性的彩色融合處理算法。

多波段彩色圖像融合技術(shù)仍處于不斷完善的過程、新的融合方法或環(huán)節(jié)處理均可對(duì)算法的效果產(chǎn)生明顯的影響。在本算法中原始可見光和紅外熱圖像的灰度及其細(xì)節(jié)分布、線性組合過程的組合系數(shù)等都對(duì)初始彩色圖像的YUV通道均值和標(biāo)準(zhǔn)差產(chǎn)生影響、進(jìn)一步結(jié)合場(chǎng)景特點(diǎn)、實(shí)現(xiàn)更有效的線性組合對(duì)于完善自適應(yīng)參考圖像的彩色融合算法具有重要的意義、這將是后續(xù)深入研究的內(nèi)容。

[1] MAO Shi-yi,ZHAO Wei(毛士藝,趙 巍). Journal of Beijing University of Aeronautics and Astronautics(北京航空航天大學(xué)學(xué)報(bào))、2002,28(5): 512.

[2] HU Chuan-qi,WANG Xi,HOU Jia-huai,et al(胡傳奇,王 檄,侯家槐、等). Geomatics & Spatial Information Technology(測(cè)繪與空間地理信息),2010,33(2): 159.

[3] Terashima,S,Ogawa,K. Brain Research,2002、958：468471.

[4] LUO Yuan,WANG Ling-xue,JIN Wei-qi,et al(駱 媛,王嶺雪,金偉其,等). Infrared Technology(紅外技術(shù)),2010,32(6): 337.

[5] HE Gui-qing,CHEN Shi-hao,TIAN Yun,et al(何貴青,陳世浩,田 沄、等). Chinese Journal of Computers(計(jì)算機(jī)學(xué)報(bào)),2008,31(3): 486.

[6] QIN Zheng,BAO Fu-min,LI Ai-guo,et al(覃 征,鮑復(fù)民,李愛國(guó),等). Microelectronics & Computer(微電子學(xué)與計(jì)算機(jī)),2004,21(2): 1.

[7] Toet A,Walraven J. Optical Engineering,1996,35(3): 650.

[8] Reinhard E,Ashikhmin M,Gooch B,et al. IEEE Computer Graphics and Applications,2001,21(5): 34.

[9] Toet A. Information Fusion,2003,4(3): 155.

[10] Toet A. International Society for Optics and Photonics,2003. 168.

[11] Toet A,Hogervorst M A. Optical Engineering,2012,51(1): 010901.

[12] WANG Ling-xue,SHI Shi-ming,JIN Wei-qi,et al(王嶺雪,史世明,金偉其,等). Journal of Beijing Institute of Technology(北京理工大學(xué)學(xué)報(bào)),2007,27(3): 189.

[13] MA Shuang,FANG Jian-an,SUN Shao-yuan,et al(馬 爽,方建安,孫韶媛,等). Acta Optica Sinica(光學(xué)學(xué)報(bào)),2009,29(6): 1502.

[14] HE Yong-qiang,WANG Qun,LI Guo-song,et al(何永強(qiáng),王 群,李國(guó)松,等). Laser & Infrared(激光與紅外),2012,42(12): 1393.

*Corresponding author

Visible and Infrared Thermal Image Fusion Algorithm Based on Self-Adaptive Reference Image

LIU Jia-ni、JIN Wei-qi*、LI Li、WANG Xia

MOE Key Laboratory of Photoelectronic Imaging Technology and System,School of Optoelectronics,Beijing Institute of Technology,Beijing 100081,China

The technology of fusing visible images and infrared thermal images is one of the most important researching fields in terms of high-performance night vision technology home and abroad Using this kind of technology can efficiently improve people’s ability of target-detecting and scene’s comprehension. The commonly used color transfer algorithm belongs to single reference image’s global color transfer,which results in huge influence on the color of fusion image. Thus,this kind of method cannot adapt to different kinds of scenes. In this essay,we focus on environmental adaptation problems of regular color transfer in color image fusion algorithm base on YUV color space. After analyzing the mean and standard deviation of typical scenes’ UV channel,we find that it has obvious classified characteristics. As a result,we propose a method of constructing adaptive reference image based on mean and standard deviation of U and V channels,which makes visible and infrared thermal image fusion algorithm better adapt to environment and fusion images’ color is natural. Furthermore,the handling capacity is small and it exerts little impact on the speed of algorithm real-time hardware processing. To conclude,it is a kind of practical natural color fusion processing algorithm.

Visible light; Thermal imaging; Color image fusion; Reference image; Self-adaption

Nov. 24,2015; accepted Mar. 2,2016)

2015-11-24、

2016-03-02

國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目(61231014)、教育部博士學(xué)科點(diǎn)專項(xiàng)科研基金項(xiàng)目(20131101130002)和“十二五”總裝重點(diǎn)預(yù)研項(xiàng)目(40405030302)資助

劉佳妮、女、1991年生、北京理工大學(xué)光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室碩士研究生 e-mail: hengengliu@163.com *通訊聯(lián)系人 e-mail: jinwq@bit.edu.cn

TN215

A

10.3964/j.issn.1000-0593(2016)12-3907-08