航空光電成像載荷系統(tǒng)級(jí)固定噪聲去除方法研究

摘" 要： 航空光電成像載荷作為一種有效的偵察裝備，由于光學(xué)系統(tǒng)灰塵、探測(cè)器壞像元、探測(cè)器非均勻性等因素，導(dǎo)致光電成像載荷生成的圖像中存在固定噪聲，從而使載荷的成像質(zhì)量下降。為解決該問(wèn)題，文中提出一種可以去除航空光電成像載荷系統(tǒng)固定噪聲的方法。首先使用光電成像載荷對(duì)標(biāo)準(zhǔn)光源進(jìn)行成像，得到標(biāo)準(zhǔn)圖像；再對(duì)標(biāo)準(zhǔn)圖像進(jìn)行處理，得到固定噪聲圖像；最后從待優(yōu)化圖像中將固定噪聲圖像剔除，得到去噪后圖像。實(shí)踐證明，該方法在保持圖像空間結(jié)構(gòu)信息以及不損失圖像細(xì)節(jié)的前提下，可以有效地去除光電成像載荷的系統(tǒng)固定噪聲，提升光電成像載荷圖像質(zhì)量。

關(guān)鍵詞： 航空偵察； 光電成像載荷； 系統(tǒng)固定噪聲； 圖像濾波； 噪聲去除； 圖像質(zhì)量提升

中圖分類(lèi)號(hào)： TN911.73?34； TP751； TP391" " " " " 文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " 文章編號(hào)： 1004?373X（2024）23?0176?05

A study of system?level fixed noise removal method for aerial optoelectronic imaging load

WANG Xiaoyi1， 2， NIE Haitao1

（1. Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China;

2. School of Optoelectronic Engineering， Changchun University of Science and Technology， Changchun 130022， China）

Abstract： As an effective reconnaissance equipment， aerial photoelectric imaging load， due to the factors such as dust on the optical system and unqualified pixels and the non?uniformity of the detector， can lead to the presence of fixed noise in the image generated by the photoelectric imaging load， which can degrade the imaging quality of the load. Therefore， a method that can remove system?level fixed noise from an aerial photoelectric imaging load is proposed. A standard light source is imaged by photoelectric imaging load to obtain a standard image， which is processed and then a fixed noise image is obtained. The fixed noise image is removed from the image to be optimized to obtain a denoised image. It is proved that the proposed method can effectively remove the system?level fixed noise of the photoelectric imaging load and improve the image quality under the premise of maintaining the spatial structure information of the image and not losing the image details.

Keywords： aerial reconnaissance; optical imaging load; system?level fixed noise; image filtering; noise removal; image quality improvement

0" 引" 言

航空光電成像載荷作為一種重要裝備，可以搭載于飛機(jī)、飛艇等航空動(dòng)平臺(tái)上，是一種可以快速獲取高精度圖像的數(shù)據(jù)手段，在航空攝影測(cè)量[1]、軍事偵察[2]、國(guó)土調(diào)查、農(nóng)業(yè)監(jiān)測(cè)[3]、生態(tài)監(jiān)測(cè)[4]等領(lǐng)域有著廣泛應(yīng)用，為我國(guó)國(guó)防安全、經(jīng)濟(jì)發(fā)展、民生建設(shè)起到了至關(guān)重要的作用。航空光電成像載荷在進(jìn)行圖像信號(hào)采集的過(guò)程中，由于載荷內(nèi)部或外界環(huán)境等因素的干擾，導(dǎo)致生成的圖像中存在各種噪聲，從而影響圖像質(zhì)量。隨著各種應(yīng)用需求的不斷增強(qiáng)，對(duì)光電成像載荷的圖像質(zhì)量要求日益增高，因此如何保證圖像質(zhì)量、降低圖像噪聲，是提升光電成像載荷綜合性能、保障圖像下游應(yīng)用效能的關(guān)鍵[5]。

圖像去噪的相關(guān)方法研究經(jīng)歷了數(shù)十年的過(guò)程，在基礎(chǔ)理論和應(yīng)用算法方面都取得了重要進(jìn)展，同時(shí)在航空航天[6]、生物醫(yī)學(xué)[7]、工業(yè)工程[8]等領(lǐng)域都得到了較為廣泛的應(yīng)用。圖像去噪方法的研究主要分為兩類(lèi)：一類(lèi)是傳統(tǒng)方法[9]，早期主要采用濾波器的方法實(shí)現(xiàn)圖像降噪[10]，分為空間域?yàn)V波和變換域?yàn)V波，后期研究者們提出了基于模型的圖像去噪方法[11]，該類(lèi)方法通過(guò)設(shè)計(jì)圖像先驗(yàn)實(shí)現(xiàn)噪聲去除；另一類(lèi)是基于深度學(xué)習(xí)的去噪方法[12]，研究者們將各種深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像去噪方法中，在去噪性能方面有較大提升。

然而，以往的圖像去噪方法研究多針對(duì)圖像本身的傳統(tǒng)噪聲問(wèn)題，該類(lèi)方法在處理特定成像設(shè)備生成的真實(shí)圖像噪聲時(shí)效果較差，近年來(lái)研究者們開(kāi)始研究真實(shí)圖像的噪聲處理問(wèn)題[13?14]。由于成像設(shè)備的光學(xué)系統(tǒng)、機(jī)械結(jié)構(gòu)、探測(cè)器件等自身因素，真實(shí)圖像中通常存在大量復(fù)雜且未知的噪聲特性，該類(lèi)噪聲難以用單一的數(shù)學(xué)模型進(jìn)行描述，因此該類(lèi)圖像噪聲的去除更具有挑戰(zhàn)性。

特別針對(duì)航空光電成像載荷，復(fù)雜的內(nèi)部結(jié)構(gòu)導(dǎo)致其在工作中會(huì)存在多種系統(tǒng)級(jí)固定噪聲，在實(shí)際工程項(xiàng)目中，現(xiàn)有的圖像去噪方法均無(wú)法有效去除其圖像噪聲。針對(duì)此問(wèn)題，本文提出一種可以去除由航空光電成像載荷內(nèi)部因素導(dǎo)致的系統(tǒng)固定噪聲方法，采用該去噪方法，可以在保持圖像空間結(jié)構(gòu)信息以及不損失圖像細(xì)節(jié)的前提下，有效去除光電成像載荷的系統(tǒng)固定噪聲，提升光電成像載荷的成像質(zhì)量。

1" 航空光電成像載荷及其圖像噪聲

航空光電成像載荷一般具備可見(jiàn)光、紅外成像能力，以Spectro XR光電載荷[15]為例，如圖1所示。該系統(tǒng)具備可見(jiàn)光、紅外成像能力，以及多目標(biāo)跟蹤、地形測(cè)量計(jì)算等功能，其高精度目標(biāo)識(shí)別和跟蹤功能的實(shí)現(xiàn)，依賴(lài)于高信噪比的圖像獲取能力。因此，如何去除航空光電成像載荷的圖像噪聲、保證成像質(zhì)量是決定其效能發(fā)揮的重要因素。

航空光電成像載荷系統(tǒng)主要由光學(xué)系統(tǒng)、機(jī)械結(jié)構(gòu)系統(tǒng)、成像探測(cè)器、電控系統(tǒng)構(gòu)成，如圖2所示。

如圖3所示，導(dǎo)致光電成像設(shè)備圖像噪聲產(chǎn)生的因素有兩類(lèi)：系統(tǒng)內(nèi)部因素主要包括光學(xué)系統(tǒng)灰塵、機(jī)械結(jié)構(gòu)形變、探測(cè)器壞像元、探測(cè)器非均勻性等，該類(lèi)因素導(dǎo)致的噪聲一般為固定噪聲，表現(xiàn)為光環(huán)、波紋、線條等；外部環(huán)境因素主要包括抖動(dòng)、云霧、雨水、氣流等，該類(lèi)因素導(dǎo)致的噪聲一般具有隨機(jī)性。本文方法主要解決內(nèi)部因素。

目前的圖像去噪方法主要分為基于濾波器的方法、基于模型的方法和基于學(xué)習(xí)的方法三類(lèi)?，F(xiàn)有方法都根據(jù)圖像自身結(jié)構(gòu)特性實(shí)現(xiàn)去噪，對(duì)于由外部因素導(dǎo)致的噪聲具有較好的去除效果，但無(wú)法有效去除某一特定光電成像載荷中由于內(nèi)部因素導(dǎo)致的系統(tǒng)固定噪聲，同時(shí)存在去噪效率低、無(wú)法在載荷端實(shí)現(xiàn)的問(wèn)題。因此，本文針對(duì)由航空光電成像載荷系統(tǒng)內(nèi)部因素導(dǎo)致的圖像噪聲，提出一種有效的系統(tǒng)級(jí)固定噪聲去除方法。

2" 系統(tǒng)固定噪聲去除方法

2.1" 方法流程

為解決航空光電成像載荷系統(tǒng)內(nèi)部因素導(dǎo)致的圖像噪聲問(wèn)題，彌補(bǔ)現(xiàn)有算法在具體工程應(yīng)用中的不足，本文提出了一種可以有效去除航空光電成像載荷系統(tǒng)固定噪聲的方法，如圖4所示。

去除航空光電成像載荷系統(tǒng)固定噪聲的方法步驟如下：

第1步：使用光電成像載荷對(duì)標(biāo)準(zhǔn)光源進(jìn)行成像，得到標(biāo)準(zhǔn)圖像；

第2步：對(duì)標(biāo)準(zhǔn)圖像進(jìn)行處理，得到固定噪聲圖像；

第3步：從待優(yōu)化圖像中將固定噪聲圖像剔除，得到去噪后的優(yōu)化圖像。

2.2" 光電成像載荷標(biāo)準(zhǔn)圖像獲取

為獲取特定光電成像載荷的系統(tǒng)級(jí)標(biāo)準(zhǔn)噪聲，首先需要獲取該光電成像載荷的標(biāo)準(zhǔn)圖像。根據(jù)光電成像載荷相關(guān)參數(shù)特性，選取合適口徑的積分球（可見(jiàn)光成像設(shè)備使用）或黑體（紅外成像設(shè)備使用），之后用光電成像載荷對(duì)標(biāo)準(zhǔn)光源進(jìn)行成像，得到該光電成像載荷的標(biāo)準(zhǔn)圖像。為保證光電成像載荷系統(tǒng)成像的一致性和準(zhǔn)確性，使用光電成像載荷對(duì)標(biāo)準(zhǔn)光源進(jìn)行多次成像，各像素點(diǎn)均取多次成像的平均值，從而得到標(biāo)準(zhǔn)圖像。光電成像載荷標(biāo)準(zhǔn)圖像計(jì)算公式如下：

[Si，j=k=1nTki，jn]" （1）

式中：[Si，j]為標(biāo)準(zhǔn)圖像[S]在[（i，j）]位置的像素值；[Tki，j]為第[k]次對(duì)標(biāo)準(zhǔn)光源成像所生成圖像[Tk]在[（i，j）]位置的像素值；[n]為對(duì)標(biāo)準(zhǔn)光源成像次數(shù)。

2.3" 噪聲圖像生成

得到光電成像載荷的標(biāo)準(zhǔn)圖像之后，需要進(jìn)一步提取系統(tǒng)級(jí)固定噪聲圖像。如圖5所示，首先計(jì)算標(biāo)準(zhǔn)圖像[S]的圖像直方圖；之后，為了排除探測(cè)器壞像元等特異性因素的影響，根據(jù)圖像直方圖計(jì)算尋找像素點(diǎn)個(gè)數(shù)大于10的像素值最小值；最后，用標(biāo)準(zhǔn)圖像[S]各像素值減去上述最小值，得到系統(tǒng)級(jí)固定噪聲圖像。

[Qi，j=Si，j-min（Si，j），" " h（min（Si，j））gt;10] （2）

式中：[Qi，j]為求得的系統(tǒng)級(jí)固定噪聲圖像[Q]在[（i，j）]位置的像素值；[min（Si，j）]為標(biāo)準(zhǔn)圖像[S]的像素最小值；[h（min（Si，j））]是值為[min（Si，j）]的像素點(diǎn)個(gè)數(shù)。

2.4" 系統(tǒng)級(jí)噪聲去除

從待優(yōu)化的原始圖像中將系統(tǒng)級(jí)固定噪聲圖像去除。首先，求出標(biāo)準(zhǔn)圖像像素點(diǎn)均值，公式如下：

[ES=i=0Mj=0NSi，jM×N]" " " （3）

式中：[ES]為標(biāo)準(zhǔn)圖像像素點(diǎn)均值；[M]、[N]分別為圖像長(zhǎng)寬方向的像素點(diǎn)個(gè)數(shù)。

之后，求出待優(yōu)化的原始圖像像素點(diǎn)均值，公式如下：

[ESrc=i=0Mj=0NSrci，jM×N]" " " （4）

式中：[ESrc]為待優(yōu)化的原始圖像像素點(diǎn)均值；[Srci，j]為待優(yōu)化的原始圖像Src在[（i，j）]位置的像素值。

最后，去噪后的圖像通過(guò)式（5）計(jì)算生成：

[Ri，j=Srci，j-Qi，jESrcES]" "（5）

式中[Ri，j]為去噪后圖像[R]在[（i，j）]位置的像素值。

3" 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文提出的航空光電成像載荷系統(tǒng)級(jí)固定噪聲去除方法的有效性和可靠性，以某型航空光電成像載荷的可見(jiàn)光圖像作為實(shí)驗(yàn)驗(yàn)證對(duì)象，開(kāi)展了圖像噪聲去除實(shí)驗(yàn)。本文提出的方法既可以在上位機(jī)上實(shí)現(xiàn)圖像后處理，也可以在下位機(jī)實(shí)現(xiàn)嵌入式端上實(shí)時(shí)處理，端上處理方式可以實(shí)現(xiàn)載荷工作時(shí)實(shí)時(shí)生成優(yōu)化后圖像，有效提升載荷效能。

3.1" 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)采用的航空光電成像載荷的可見(jiàn)光探測(cè)器尺寸為1 920×1 080，圖像量化位數(shù)為8 bit。上位機(jī)代碼實(shí)現(xiàn)環(huán)境為Qt6+OpenCV，操作系統(tǒng)為Windows 10，計(jì)算機(jī)CPU為Core i5?8250U 1.8 GHz，內(nèi)存為8 GB。

3.2" 主觀評(píng)價(jià)

圖像主觀評(píng)價(jià)是指通過(guò)人眼觀察來(lái)對(duì)圖像質(zhì)量進(jìn)行定性評(píng)價(jià)[16]。根據(jù)第2節(jié)去噪方法描述，圖6展示了某型航空光電成像載荷可見(jiàn)光圖像采用本文方法的去噪效果。其中，圖6a）為對(duì)標(biāo)準(zhǔn)積分球進(jìn)行10次成像后根據(jù)公式（1）求得的標(biāo)準(zhǔn)圖像；圖6b）為根據(jù)公式（2）求得的系統(tǒng)級(jí)固定噪聲圖像；圖6c）為該航空光電成像載荷實(shí)飛拍攝的可見(jiàn)光圖像；圖6d）為根據(jù)本文方法生成的去噪處理后圖像。通過(guò)觀察可以發(fā)現(xiàn)圖6c）的待優(yōu)化原始圖像中存在“水波紋”“右下角黑圈”“橫縱兩條亮線”以及“透明小圓點(diǎn)”等系統(tǒng)級(jí)固定噪聲，經(jīng)過(guò)本文方法處理后，在圖6d）中均已消失，同時(shí)沒(méi)有損失原始圖像細(xì)節(jié)，優(yōu)化后圖像質(zhì)量得到大幅度提升，可見(jiàn)該方法可以有效去除系統(tǒng)級(jí)固定噪聲。

3.3" 客觀評(píng)價(jià)

客觀圖像質(zhì)量評(píng)價(jià)可分為全參考評(píng)價(jià)、半?yún)⒖荚u(píng)價(jià)和無(wú)參考評(píng)價(jià)三種[17]，前兩種評(píng)價(jià)方法都必須提供原始干凈圖像作為參考，而對(duì)于航空光電成像載荷的實(shí)際應(yīng)用場(chǎng)景，顯然無(wú)法提供原始干凈圖像作為參考，因此，本文采用無(wú)參考評(píng)價(jià)方法中經(jīng)典的圖像信噪比（SNR）和圖像信息熵（Entropy）對(duì)本文去噪方法效果進(jìn)行評(píng)價(jià)。由于現(xiàn)階段沒(méi)有專(zhuān)門(mén)針對(duì)特定成像裝備噪聲進(jìn)行優(yōu)化的方法，因此選取對(duì)真實(shí)場(chǎng)景效果較好且邊緣信息保留效果好的中值濾波和雙邊濾波算法與本文方法進(jìn)行對(duì)比。

為保證對(duì)比算法在該場(chǎng)景下的最佳效果，中值濾波的卷積核大?。╗ksize]）設(shè)置為7；雙邊濾波的濾波直徑參數(shù)（[d]）設(shè)置為9，顏色空間濾波器的標(biāo)準(zhǔn)差值（sigmaColor）設(shè)置為100，坐標(biāo)空間濾波器的標(biāo)準(zhǔn)差值（sigmaSpace）設(shè)置為120。圖7為不同方法的去噪效果對(duì)比圖。

從對(duì)比圖中可以看出，兩種傳統(tǒng)去噪方法對(duì)隨機(jī)噪聲有一定的去除能力，但對(duì)固定噪聲去除能力較差，圖像“水波紋”問(wèn)題仍然存在?？陀^指標(biāo)評(píng)價(jià)方面，由于信噪比（SNR）和圖像信息熵（Entropy）的值均是越大說(shuō)明去噪效果越好，從表1中可以看出，相比其他兩種方法，本文提出的方法在兩個(gè)評(píng)價(jià)指標(biāo)上均為最優(yōu)，證明了本文方法處理后的圖像信息更豐富、圖像質(zhì)量更高、去噪效果更優(yōu)。

4" 結(jié)" 語(yǔ)

本文針對(duì)航空光電成像載荷在成像過(guò)程中存在的系統(tǒng)級(jí)固定噪聲問(wèn)題，提出了一種高效的噪聲去除方法，該方法可以在保持圖像空間結(jié)構(gòu)信息以及不損失圖像細(xì)節(jié)的前提下，有效去除由于光電成像載荷內(nèi)部因素導(dǎo)致的系統(tǒng)級(jí)固定噪聲。相比現(xiàn)有面向圖像本身的高復(fù)雜度圖像去噪方法，本文提出的方法面向特定光電成像載荷的真實(shí)成像場(chǎng)景，具有針對(duì)性強(qiáng)、效率高的特點(diǎn)，既可以在裝備端實(shí)時(shí)處理，也可以在上位機(jī)進(jìn)行事后處理。通過(guò)相關(guān)實(shí)驗(yàn)對(duì)比，驗(yàn)證了所提方法的有效性和實(shí)用性，在航空光電成像載荷上具有一定的應(yīng)用前景。

注：本文通訊作者為王瀟逸。

參考文獻(xiàn)

[1] ZHANGH W， YUAN G Q， LIU X J. Precise calibration of dynamic geometric parameters cameras for aerial mapping [J]. Optics and lasers in engineering， 2022， 149： 106816.

[2] SHIMONI M， HAELTERMAN R， PERNEEL C. Hypersectral imaging for military and security applications： Combining myriad processing and sensing techniques [J]. IEEE geoscience and remote sensing magazine， 2019， 7（2）： 101?117.

[3] ZHANG H D， WANG L Q， TIAN T， et al. A review of unmanned aerial vehicle low?altitude remote sensing （UAV?LARS） use in agricultural monitoring in China [J]. Remote sensing， 2021， 13（6）： 1221.

[4] KIM J I， CHI J H， MASJEDI A， et al. High?resolution hyperspectral imagery from pushbroom scanners on unmanned aerial systems [J]. Geoscience data journal， 2021， 9： 221?234.

[5] BUADES A， COLL B， MOREL J M. A review of image denoising algorithms， with a new one [J]. Multiscale modeling amp; simulation， 2005， 4（2）： 490?530.

[6] WANG X Y， LUO Z Z， LI W Q， et al. A self?supervised denoising network for satellite?airborne?ground hyperspectral imagery [J]. IEEE transactions on geoscience and remote sensing， 2021， 60： 1?16.

[7] 于淼，許錚鏵.生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)圖像去噪研究綜述[J].中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào)，2022，41（6）：724?731.

[8] FAN J F， JING F S， YANG L， et al. A precise initial weld point guiding method of micro?gap weld based on structured light vision sensor [J]. IEEE sensors journal， 2019， 19（1）： 322?331.

[9] FAN L W， LI X M， GUO Q， et al. Nonlocal image denoising using edge?based similarity metric and adaptive parameter selection [J]. Science China （Information sciences）， 2018， 61（4）： 1?3.

[10] ZHANG X D， FENG X C， WANG W W. Two?direction nonlocal model for image interpolation [J]. Science China （Technological sciences）， 2013， 56（4）： 930?939.

[11] DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3?D transform?domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16（8）： 2080?2095.

[12] 王靜.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像去噪方法研究[D].濟(jì)南：山東大學(xué)，2016.

[13] 許雪.基于多尺度特征的真實(shí)噪聲圖像去噪算法研究[D].南京：南京信息工程大學(xué)，2022.

[14] 陳暢.面向真實(shí)圖像恢復(fù)的降質(zhì)建模與算法設(shè)計(jì)[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2021.

[15] CARRIGAN K G. Manufacturing status of Tinsley visible qua?lity bare aluminum and an example of snap together assembly [C]// SPIE Conference on Infrared Technology and Applications. [S.l.： s.n.]， 2012： 1?6.

[16] 韓翰，卓力，張菁，等.基于深度學(xué)習(xí)的無(wú)參考圖像質(zhì)量評(píng)價(jià)綜述[J].測(cè)控技術(shù)，2022，41（4）：1?10.

[17] 鄢杰斌，方玉明，劉學(xué)林.圖像質(zhì)量評(píng)價(jià)研究綜述：從失真的角度[J].中國(guó)圖象圖形學(xué)報(bào)，2022，27（5）：1430?1466.

作者簡(jiǎn)介：王瀟逸（1992—），男，吉林公主嶺人，碩士研究生，助理研究員，研究方向?yàn)楹娇展怆娸d荷控制及光電圖像智能處理技術(shù)。

聶海濤（1986—），男，吉林長(zhǎng)春人，博士研究生，副研究員，研究方向?yàn)楣怆妶D像智能處理技術(shù)。