紅外成像傳感器效應(yīng)建模與仿真的驗(yàn)證評價(jià)方法*

婁樹理,李召龍,周仁來,任建存

(海軍航空工程學(xué)院,山東煙臺(tái) 264001)

紅外成像傳感器效應(yīng)建模與仿真的驗(yàn)證評價(jià)方法*

婁樹理,李召龍,周仁來,任建存

(海軍航空工程學(xué)院,山東煙臺(tái) 264001)

為解決紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的驗(yàn)證評價(jià)問題,基于全參考圖像質(zhì)量評價(jià)方法提出了一種驗(yàn)證評價(jià)方法。在紅外實(shí)拍和典型效應(yīng)仿真圖像的基礎(chǔ)上,采用逐像素比較和統(tǒng)計(jì)比較相結(jié)合的分析方法,綜合直方圖統(tǒng)計(jì)、結(jié)構(gòu)相似度、保真度等評價(jià)指標(biāo)進(jìn)行全面驗(yàn)證評價(jià)。實(shí)驗(yàn)結(jié)果表明:綜合評價(jià)結(jié)果與直方圖、傅里葉頻譜數(shù)據(jù)分析一致,與主觀評判結(jié)果相符。該評價(jià)方法可有效對紅外成像傳感器效應(yīng)建模與仿真圖像進(jìn)行置信度評價(jià)。

紅外成像傳感器;建模與仿真;驗(yàn)證評價(jià)

0 引言

隨著紅外成像制導(dǎo)武器的發(fā)展和應(yīng)用,紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的研究越來越受到重視,紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的真實(shí)性和逼真度決定著建模與仿真的有效性,因此紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的真實(shí)性和逼真度的驗(yàn)證方法研究具有十分重要的意義[1]。

目前,對于紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的研究很少,建模與仿真準(zhǔn)確性和真實(shí)性的驗(yàn)證至今沒有行之有效的方法和公認(rèn)的評價(jià)指標(biāo)[2]。一種方法是將實(shí)拍圖像與建模仿真圖像進(jìn)行逐像素比較,如國內(nèi)胡方明等人[3]利用歸一化最小方差、保真度等進(jìn)行評價(jià),由于此類方法只比較了兩幅圖像對應(yīng)像素的絕對誤差,沒有考慮像素的相關(guān)性,對于特定類型的圖像評價(jià)與主觀評價(jià)結(jié)果存在較明顯差異;另外一種方法是整幅圖像的統(tǒng)計(jì)比較,如李珂等人[4]采用直方圖統(tǒng)計(jì)的方法,Jonathan D.Fanning、張福娣等人采用結(jié)構(gòu)相似度(SSIM)方法[2,5],此類方法利用的是圖像整體的統(tǒng)計(jì)量,容易產(chǎn)生誤導(dǎo),且對某些類型退化失真不敏感。

為了解決紅外成像傳感器系統(tǒng)典型效應(yīng)仿真的驗(yàn)證評價(jià)問題,文中提出一種紅外成像傳感器系統(tǒng)典型效應(yīng)仿真準(zhǔn)確性和真實(shí)性的驗(yàn)證方法,在紅外實(shí)拍圖像與紅外傳感器效應(yīng)仿真圖像的基礎(chǔ)上,采用逐像素比較和統(tǒng)計(jì)比較相結(jié)合的分析方法,利用一維、二維直方圖統(tǒng)計(jì)、結(jié)構(gòu)相似度、保真度等綜合評價(jià)指標(biāo)進(jìn)行全面驗(yàn)證評價(jià),有效克服了單一分析方法只能驗(yàn)證部分效應(yīng)仿真結(jié)果的缺陷。

1 紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的驗(yàn)證方法

由于構(gòu)造無參考的圖像質(zhì)量評價(jià)方法比全參考和半?yún)⒖荚u價(jià)方法要困難得多[6],且全參考圖像質(zhì)量評價(jià)方法的準(zhǔn)確性要遠(yuǎn)遠(yuǎn)優(yōu)于無參考的圖像質(zhì)量評價(jià)方法[7]。為驗(yàn)證紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真的準(zhǔn)確性,采取全參考圖像質(zhì)量評價(jià)方法,在實(shí)拍紅外圖像與仿真圖像的基礎(chǔ)上,采用逐像素比較和統(tǒng)計(jì)比較的分析比較方法,對仿真圖像與實(shí)拍圖像進(jìn)行分析評價(jià),具體實(shí)現(xiàn)方法如下:

首先利用紅外成像系統(tǒng)對黑體靶標(biāo)成像,并針對不同黑體溫度、溫差分別輸出紅外實(shí)拍圖像;其次,根據(jù)黑體溫度、溫差及靶標(biāo)類別,計(jì)算黑體靶標(biāo)的輻射亮度并量化為灰度,采用計(jì)算機(jī)仿真技術(shù)生成黑體靶標(biāo)的紅外理想仿真圖像,并將紅外理想仿真圖像經(jīng)過紅外成像系統(tǒng)各模塊的退化效應(yīng)作用,最終得到黑體靶標(biāo)的紅外傳感器效應(yīng)仿真圖像;最后,采用逐像素比較和統(tǒng)計(jì)比較相結(jié)合的分析方法,綜合分析信息熵、保真度、偏離度和結(jié)構(gòu)相似度等驗(yàn)證評價(jià)指標(biāo),形成綜合評價(jià)指標(biāo),對紅外傳感器效應(yīng)仿真圖像和紅外實(shí)拍圖像進(jìn)行分析比較,并給出可信度評價(jià)。

圖1 紅外成像傳感器典型效應(yīng)仿真的驗(yàn)證方法框圖

2 紅外成像傳感器典型效應(yīng)建模與仿真的驗(yàn)證評價(jià)指標(biāo)

為了全面客觀的對紅外成像傳感器效應(yīng)建模與仿真圖像進(jìn)行綜合評價(jià),必須對指標(biāo)進(jìn)行合理的選擇。選擇并確立驗(yàn)證評價(jià)指標(biāo)的原則如下:1)全面性。選擇的評價(jià)指標(biāo)要盡可能地覆蓋評價(jià)的圖像退化各個(gè)因素,要能從不同的角度對建模與仿真進(jìn)行評價(jià)。2)通用性。能夠適用于多種紅外成像系統(tǒng)的建模與仿真評價(jià)。3)精選指標(biāo)。限制指標(biāo)數(shù)量,減少指標(biāo)的重復(fù)性和相關(guān)性。4)評價(jià)指標(biāo)得到的結(jié)果應(yīng)具有單調(diào)性、準(zhǔn)確性和一致性。5)評價(jià)指標(biāo)得到的評價(jià)結(jié)果應(yīng)與人類視覺感受具有較好的符合程度。

針對紅外成像傳感器典型效應(yīng)建模與仿真的驗(yàn)證問題,分析比較了均值、標(biāo)準(zhǔn)差、信息熵、偏離度、密集度、對角線峰度、結(jié)構(gòu)相似度等統(tǒng)計(jì)指標(biāo),以及保真度、均方誤差、峰值信噪比等像素比較指標(biāo),經(jīng)過試驗(yàn)和理論分析,根據(jù)指標(biāo)選擇確定原則,從優(yōu)選擇確定信息熵、保真度、偏離度和結(jié)構(gòu)相似度作為驗(yàn)證評價(jià)指標(biāo)。

2.1 信息熵

信息熵是從信息論角度反映圖像信息豐富程度的一種度量方式,圖像的熵定義為[8]:

(1)

信息熵說明的是圖像的信息量,反映了圖像中有意義的灰度層次的豐富程度,紅外成像傳感器系統(tǒng)退化效應(yīng)仿真圖像與實(shí)拍圖像的熵存在差異,因此選取熵作為一項(xiàng)指標(biāo)。

2.2 保真度

保真度與均方誤差、峰值信噪比(PSNR)等評價(jià)指標(biāo)一樣,是對仿真圖像和實(shí)拍圖像兩幅圖像之間對應(yīng)像素值的絕對差異進(jìn)行統(tǒng)計(jì)和平均計(jì)算,具有如下形式[3]:

(2)

保真度F越大表示兩幅圖像之間差異越小,說明建模與仿真圖像可信度高,當(dāng)F=1時(shí),表示所評價(jià)的仿真圖像與實(shí)際拍攝圖像沒有差異。

保真度指標(biāo)因子既考慮了圖像灰度分布特征,也考慮了圖像像素之間的幾何結(jié)構(gòu)特征,能全面評價(jià)影響光電系統(tǒng)成像質(zhì)量的絕大多數(shù)因素,如分辨率、能量衰減以及信號(hào)處理對圖像退化的影響,具有很強(qiáng)的客觀性。該指標(biāo)缺點(diǎn)是對部分圖像的評價(jià)結(jié)果可能與主觀感知的效果產(chǎn)生較大偏差。

2.3 偏離度指標(biāo)

偏離度是二維直方圖統(tǒng)計(jì)指標(biāo),以相鄰像素灰度為定義,能夠形象的描述與像素空間位置有關(guān)的像素之間的相互關(guān)系,能很好的描述圖像的局部灰度波動(dòng)狀況。偏離度的數(shù)學(xué)表達(dá)式如下[9]:

(3)

偏離度的物理意義是整幅圖像相鄰像素灰度層次的平均差別。

2.4 結(jié)構(gòu)相似度指標(biāo)

結(jié)構(gòu)相似度(SSIM)評價(jià)指標(biāo)因子分別提取圖像亮度、對比度等統(tǒng)計(jì)信息,然后綜合比較紅外實(shí)拍圖像和紅外傳感器效應(yīng)仿真圖像在這些結(jié)構(gòu)信息間的差異,定義為[10]:

(4)

(5)

實(shí)際應(yīng)用時(shí),一般以相同大小的窗口在兩幅圖像中進(jìn)行滑動(dòng)分析比較,采用高斯加權(quán)計(jì)算每一窗口的均值、方差以及協(xié)方差,得到兩幅圖像相應(yīng)分塊的結(jié)構(gòu)相似度,最后取平均值作為兩圖像的結(jié)構(gòu)相似度。

結(jié)構(gòu)相似度分別提取亮度比較、對比度比較和結(jié)構(gòu)比較三類不同的信息,完全符合人類視覺系統(tǒng)從圖像中獲得結(jié)構(gòu)信息的特點(diǎn),可有效評價(jià)噪聲對于圖像退化的影響,但對某些模糊圖像的評價(jià)結(jié)果與人的主觀感覺不一致。

2.5 綜合評價(jià)指標(biāo)

確定紅外成像傳感器系統(tǒng)典型效應(yīng)建模與仿真圖像驗(yàn)證的各評價(jià)指標(biāo)因子后,綜合各評價(jià)指標(biāo)因子建立綜合評價(jià)指標(biāo),較為困難的是各指標(biāo)因子的權(quán)重分配,權(quán)重分配可以采用絕對比較法、二元比較法、模糊統(tǒng)計(jì)法等多種方法[12],在此采用實(shí)驗(yàn)與絕對比較法相結(jié)合的方法確定各指標(biāo)因子的權(quán)重。首先利用紅外成像系統(tǒng)對同一黑體靶的多次實(shí)拍圖像進(jìn)行分析比較,在實(shí)驗(yàn)的基礎(chǔ)上尋找規(guī)律,幾個(gè)指標(biāo)中穩(wěn)定度較高依次為保真度、結(jié)構(gòu)相似度、偏離度、熵。權(quán)重分配時(shí)穩(wěn)定度較高的指標(biāo)賦以較大權(quán)重值,穩(wěn)定度較低的賦予較小權(quán)重值,綜合評價(jià)指標(biāo)為:

(6)

式中:A、B為兩幅比較圖像;HA與HB、ξA與ξB、SSIM(A,B)、F(A,B)分別為圖像A、B的熵、偏離度、結(jié)構(gòu)相似度和保真度;k1、k2、k3、k4為權(quán)重系數(shù),k1+k2+k3+k4=1。

Q(A,B)值在0和1之間,反映了兩幅圖像在結(jié)構(gòu)特征、灰度特征、信息量和灰度相關(guān)性的差異,Q(A,B)數(shù)值越大說明兩幅圖像越接近,同一幅圖像進(jìn)行比較時(shí)Q(A,B)為1。

3 實(shí)驗(yàn)與結(jié)果

為了驗(yàn)證各種評價(jià)指標(biāo)對于建模與仿真驗(yàn)證評價(jià)的有效性,采用文中提出的驗(yàn)證方法,在實(shí)驗(yàn)室利用多種紅外成像系統(tǒng)進(jìn)行了實(shí)驗(yàn),在實(shí)驗(yàn)的基礎(chǔ)尋找規(guī)律,經(jīng)過多次實(shí)驗(yàn)和理論分析,采用絕對比較法進(jìn)行權(quán)重確定,k1=0.24、k2=0.18、k3=0.26、k4=0.32,并分析驗(yàn)證了評價(jià)指標(biāo)的有效性。

紅外成像系統(tǒng)1為非制冷長波紅外熱像儀,黑體溫差為4 K,實(shí)拍圖、仿真圖及其一維、二維直方圖和傅里葉頻譜圖見圖2,其中圖2(a)、圖2(b)為實(shí)拍圖像,圖2(c)是未經(jīng)退化作用的理想仿真圖像,圖2(d)是理想仿真圖像經(jīng)過衍射、漸暈、噪聲、低通濾波各種典型效應(yīng)退化后,經(jīng)圖像增強(qiáng)之后得到的仿真圖像。

圖2 紅外成像系統(tǒng)1實(shí)拍及仿真圖像比較

利用信息熵、保真度、偏離度和結(jié)構(gòu)相似度指標(biāo)對黑體溫差4 K時(shí)紅外成像系統(tǒng)1所拍攝的圖像和仿真圖像進(jìn)行分析,并采用綜合評價(jià)指標(biāo)Q(A,B)進(jìn)行綜合驗(yàn)證,比較分析時(shí)參考圖像是采用實(shí)拍圖像1,結(jié)果如表1所示。

紅外成像系統(tǒng)2為制冷中波紅外熱像儀,黑體溫差為4 K,實(shí)拍圖、仿真圖見圖3。

表1 紅外成像系統(tǒng)1的圖像驗(yàn)證結(jié)果

圖3 紅外成像系統(tǒng)2實(shí)拍及仿真圖像比較

利用評價(jià)指標(biāo)對紅外成像系統(tǒng)2所拍攝的圖像和仿真圖像進(jìn)行分析,參考圖像為實(shí)拍圖像1,結(jié)果如表2所示。

表2 紅外成像系統(tǒng)2的圖像驗(yàn)證結(jié)果

紅外成像系統(tǒng)3為制冷中波紅外成像系統(tǒng),黑體溫差為4 K,實(shí)拍圖、仿真圖見圖4。

圖4 紅外成像系統(tǒng)3實(shí)拍及仿真圖像比較

用評價(jià)指標(biāo)對紅外成像系統(tǒng)3所拍攝的圖像和仿真圖像進(jìn)行分析,參考圖像為實(shí)拍圖像1,結(jié)果如表3所示。

表3 紅外成像系統(tǒng)3的圖像驗(yàn)證結(jié)果

從直方圖、傅里葉頻譜圖直觀分析來看,每一紅外成像系統(tǒng)兩幅實(shí)拍圖像的直方圖、傅里葉頻譜圖非常接近,而考慮傳感器效應(yīng)時(shí)仿真圖像的直方圖、傅里葉頻譜圖相比于理想仿真圖像更加接近于實(shí)拍圖像的直方圖、傅里葉頻譜圖。

從驗(yàn)證評價(jià)指標(biāo)來看,每一種紅外成像系統(tǒng)兩幅實(shí)拍圖像的熵、偏離度、結(jié)構(gòu)相似度、保真度都非常接近,三種紅外成像系統(tǒng)兩幅實(shí)拍圖像之間的Q(A,B)值分別為0.997 7、0.998 0、0.997 5,即置信度在99.7%以上,與一維、二維直方圖和傅里葉頻譜數(shù)據(jù)一致,符合人眼視覺評價(jià)結(jié)果,說明綜合評價(jià)指標(biāo)具有合理性。

從綜合評價(jià)指標(biāo)Q(A,B)來看,紅外成像系統(tǒng)1的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.643 6和0.830 9,紅外成像系統(tǒng)2的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.661 0和0.856 0,紅外成像系統(tǒng)3的理想仿真圖像和退化仿真圖像的Q(A,B)值分別為0.702 6和0.938 1,考慮傳感器效應(yīng)后仿真圖像相比未考慮傳感器效應(yīng)的理想仿真圖像的置信度較高一些,與人眼視覺評價(jià)結(jié)果一致。

4 結(jié)論

文中根據(jù)紅外成像制導(dǎo)信號(hào)注入式仿真的需求,針對紅外成像傳感器典型效應(yīng)建模與仿真的驗(yàn)證問題,提出了紅外成像傳感器典型效應(yīng)建模與仿真的驗(yàn)證評價(jià)方法,給出了驗(yàn)證評價(jià)方法的基本思路和評價(jià)指標(biāo)。實(shí)驗(yàn)結(jié)果證明:紅外成像系統(tǒng)對黑體靶標(biāo)兩幅實(shí)拍圖像之間的綜合評價(jià)指標(biāo)在99.7%以上,考慮傳感器效應(yīng)后仿真圖像相比未考慮傳感器效應(yīng)的理想仿真圖像的綜合評價(jià)指標(biāo)高一些,與主觀評判結(jié)果一致。該評價(jià)方法可有效對紅外成像傳感器效應(yīng)建模與仿真圖像進(jìn)行置信度評價(jià)。

[1] 婁樹理,韓艷麗,任建存,等.基于結(jié)構(gòu)相似度和保真度的紅外成像傳感器仿真評價(jià)方法研究 [J].紅外,2015,36(2):30-34.

[2] 張福娣,張建奇,徐茵.紅外凝視傳感器定量仿真及模型驗(yàn)證 [J].光子學(xué)報(bào),2011,40(4):596-601.

[3] 胡方明,王曉蕊,張建奇.光電圖像質(zhì)量客觀度量準(zhǔn)則的分析與比較 [J].紅外技術(shù),2005,27(2):129-134.

[4] 李珂,王學(xué)偉,王世立.紅外傳感器模型的成像仿真效果分析 [J].計(jì)算機(jī)與數(shù)字工程,2012,40(7):118-122.

[5] JONATHAN D F.Metrics for Image-Based Modeling of Target Acquisition [C]// Proceeding of SPIE,8355.Bellingham:SPIE，2012:1401-1402.

[6] 范媛媛,沈湘衡,桑英軍.基于對比度敏感度的無參考圖像清晰度評價(jià) [J].光學(xué)精密工程,2011,19(10):2485-2493.

[7] 褚江,陳強(qiáng),楊曦晨.全參考圖像質(zhì)量評價(jià)綜述 [J].計(jì)算機(jī)應(yīng)用研究,2014,31(1):13-21.

[8] 章毓晉.圖像工程 [M].3版.北京:清華大學(xué)出版社,2012:141-144.

[9] 殷德奎.熱圖像的二維分析與仿真方法研究 [R].南京:南京理工大學(xué)博士后研究報(bào)告,1999:17-20.

[10] 易三莉,苗瑩,錢潔,等.基于感興趣區(qū)域的邊緣結(jié)構(gòu)相似度圖像質(zhì)量評估 [J].計(jì)算機(jī)工程,2015,41(6):216-221.

[11] 李愛華.基于相位的結(jié)構(gòu)相似度圖像質(zhì)量評價(jià)模型 [J].計(jì)算機(jī)應(yīng)用與軟件,2014,31(11):233-237.

[12] 張偉,王行仁.仿真可信度模糊評判 [J].系統(tǒng)仿真學(xué)報(bào),2001,13(4):473-475.

TheEvaluationMethodforModelingandSimulationofInfraredImagingSensor

LOU Shuli,LI Zhaolong,ZHOU Renlai,REN Jiancun

(Naval Aeronautical and Astronautical University,Shandong Yantai 264001,China)

In order to validate accuracy of modeling and simulation of infrared imaging sensor system,a method was proposed based on full reference image quality assessment.Actual infrared image and the simulated image were compared with pixel by pixel comparison method and statistical analysis,and the assessment was obtained based on histogram statistics,structural similarity and fidelity indicators.Experimental results indicate that the comprehensive evaluation index is consistent with histogram data and frequency spectrum,and it is accord with the subjective evaluation results.The evaluation method can effectively validate accuracy of modeling and simulation of infrared imaging sensor system.

infrared imaging sensor; modeling and simulation; image assessment

10.15892/j.cnki.djzdxb.2017.02.001

2016-06-10

總裝十二五預(yù)研基金(51303020403-3)資助

婁樹理(1976-),男,山東蒙陰人,副教授,博士,研究方向:光電工程、圖像處理。

TP751.1

A