面向弱光探測(cè)的實(shí)時(shí)像元合并

張 劉，王亞明，張 文，王文華

（吉林大學(xué)儀器科學(xué)與電氣工程學(xué)院，吉林長(zhǎng)春130021）

1 引 言

基于光學(xué)圖像的粗避障作為探測(cè)器月球著陸中自主避障軟著陸系統(tǒng)的重要環(huán)節(jié)，其避障精度影響整個(gè)著陸過(guò)程，同時(shí)，月球著陸要在極短的時(shí)間內(nèi)完成，提高粗避障環(huán)節(jié)的實(shí)現(xiàn)速度也十分重要。不充分的光照不僅會(huì)使探測(cè)器成像靈敏度下降，還會(huì)使目標(biāo)信號(hào)因輻射亮度過(guò)低而被噪聲淹沒(méi)［2］。因此，在保障粗避障環(huán)節(jié)實(shí)現(xiàn)速度的基礎(chǔ)上，提高探測(cè)器成像的靈敏度和圖像質(zhì)量是弱光下高精度深空探測(cè)成像的必要前提。

像元合并可以有效提高弱光下成像靈敏度和圖像信噪比，且易于硬件實(shí)現(xiàn)，滿(mǎn)足星上圖像實(shí)時(shí)處理的需求。文獻(xiàn)［2］為提高探測(cè)器的成像靈敏度提出了一種適用于互補(bǔ)金屬氧化物半導(dǎo)體（Complementary Metal Oxide Semiconductor，CMOS）傳感器的移位數(shù)字像元合并，由仿真結(jié)果可知，該方法對(duì)椒鹽噪聲具有較好的“去噪”能力，但會(huì)加劇黑白邊緣混疊的現(xiàn)象。文獻(xiàn)［3］為提高星載差分吸收光譜儀弱光下的探測(cè)能力，提出了一種基于光電耦合器件（Charge Coupled Device，CCD）傳感器的 4-Binning 像元合并方法，但存在時(shí)序控制復(fù)雜和像元滿(mǎn)阱容量限制的問(wèn)題，且上述方法均未考慮圖像數(shù)據(jù)量，無(wú)法提高粗避障選取安全區(qū)的處理速度。

粗避障的具體任務(wù)是在擁有較大著陸范圍的光學(xué)圖像中剔除隕石坑和巖石等大尺度障礙，選取安全著陸區(qū)。隕石坑和巖石在光學(xué)灰度圖像中的主要特點(diǎn)為：巖石亮度大于背景亮度，坑位陰影暗于背景，形成明暗對(duì)比明顯的類(lèi)圓形。因此，圖像的對(duì)比度也是影響目標(biāo)識(shí)別的關(guān)鍵。文獻(xiàn)［7］指出弱光環(huán)境下，采用去除相機(jī)本底值的方式可在一定程度上去除暗電流等固定噪聲，但未考慮去除相機(jī)本底值對(duì)圖像對(duì)比度的影響，因此，難以定量化地分析去除相機(jī)本底值對(duì)成像質(zhì)量的提升效果。

綜合上述問(wèn)題，本文在不增加系統(tǒng)數(shù)傳負(fù)擔(dān)的基礎(chǔ)上，針對(duì)n_taps 成像數(shù)據(jù)格式，提出了一種適用于弱光下月球著陸粗避障的“區(qū)域”數(shù)字像元合并設(shè)計(jì)。該設(shè)計(jì)在提高成像靈敏度和信噪比的基礎(chǔ)上減少了圖像數(shù)據(jù)量，提高了后續(xù)目標(biāo)識(shí)別的數(shù)據(jù)處理速度，同時(shí)，結(jié)合去除相機(jī)本底值的圖像預(yù)處理方法，提高了圖像對(duì)比度。整體設(shè)計(jì)由現(xiàn)場(chǎng)可編程門(mén)陣列（Field Programma?ble Gate Array，F(xiàn)PGA）實(shí)現(xiàn)，從工程角度出發(fā)，通過(guò)圖像預(yù)處理的方式改善成像性能，具有低成本、高效率等優(yōu)勢(shì)。

2 數(shù)字像元合并設(shè)計(jì)

2.1 像元合并實(shí)現(xiàn)原理分析

像元合并主要分為CCD 的模擬像元合并和CMOS 數(shù)字像元合并兩大類(lèi)［2］。兩類(lèi)像元的合并方式是通過(guò)間接增大像元面積來(lái)提高探測(cè)器成像靈敏度的。典型的模擬像元合并過(guò)程如圖1所示，在電荷域中，將進(jìn)行合并的電荷轉(zhuǎn)移到水平或垂直讀出寄存器中，做一次讀出操作，來(lái)提高單位像元信號(hào)的電荷量，進(jìn)而提高成像靈敏度［12］。

圖1 模擬像元合并Fig.1 Simulate pixel binning

CMOS 傳感器直接輸出數(shù)字圖像信號(hào)，利用FPGA 外圍電路實(shí)現(xiàn)類(lèi)似于電荷域中的模擬像元合并過(guò)程，不同之處在于CMOS 是在數(shù)字域以碼值的形式進(jìn)行信號(hào)的疊加，不受像元滿(mǎn)阱容量的限制，可有效避免最后一行出現(xiàn)的電荷溢出；同時(shí)驅(qū)動(dòng)時(shí)序簡(jiǎn)單，易于硬件實(shí)現(xiàn)，可對(duì)局部圖像的像元隨機(jī)訪問(wèn)編程，這是數(shù)字像元合并可實(shí)現(xiàn)“區(qū)域”像元合并的前提。

在傳統(tǒng)像元合并的基礎(chǔ)上，依據(jù)粗避障環(huán)節(jié)的具體任務(wù)是剔除隕石等大尺度障礙，對(duì)空間分辨要求不高的任務(wù)特點(diǎn)，通過(guò)改變傳統(tǒng)合并后像元的尺寸實(shí)現(xiàn)“區(qū)域”像元合并。具體實(shí)現(xiàn)過(guò)程如圖2 所示，圖2 左側(cè)圖為傳統(tǒng)數(shù)字像元合并原理，其中，小方格代表原始像元，圓圈代表進(jìn)行合并的像元矩陣，圓圈中2×2 的像元矩陣以矩陣大小為步長(zhǎng)進(jìn)行合并，合并后的像元占原始四個(gè)像元大小并且光譜信息相同，在此基礎(chǔ)上，“區(qū)域”像元合并的實(shí)現(xiàn)原理如圖2 右側(cè)圖所示，依據(jù)傳統(tǒng)像元合并后，4 個(gè)像元的光譜信息相同的原理，“區(qū)域”像元合并合理調(diào)整像元尺寸，將合并后的像元調(diào)整為一個(gè)原始像元的尺寸，在不改變傳統(tǒng)像元合并功能的基礎(chǔ)上，使合并后的圖像數(shù)據(jù)量減少到原圖像的1/4，最大限度地提高了行間隔，為提高粗避障安全區(qū)的快速選取奠定了基礎(chǔ)。

圖2 傳統(tǒng)像元合并（左）與“區(qū)域”像元（右）Fig.2 Traditional pixel binning（left）and‘Region’pixel binning（right）

2.2 基于多種數(shù)據(jù)格式的像元矩陣構(gòu)建

像元矩陣的構(gòu)建是像元合并的關(guān)鍵。傳統(tǒng)像元合并通常是1_tap 成像數(shù)據(jù)格式下進(jìn)行，為提高數(shù)據(jù)傳輸帶寬，成像數(shù)據(jù)格式可調(diào)整為n_taps，n_taps 的成像數(shù)據(jù)格式可提高n倍左右的帶寬。綜合考慮FPGA 的內(nèi)部資源、讀出速率以及傳輸帶寬，本文選擇2_taps/10 bits 成像數(shù)據(jù)結(jié)構(gòu)，帶寬相對(duì)1_tap 數(shù)據(jù)結(jié)構(gòu)提高約兩倍。為提高“區(qū)域”像元合并的普適性，本文在基于2_taps/10 bits 成像數(shù)據(jù)格式構(gòu)建像元矩陣的基礎(chǔ)上，提出了一種針對(duì)n_taps 成像數(shù)據(jù)格式的像元矩陣構(gòu)建方法。首先，確定像元矩陣構(gòu)建的一般方法，具體方法如圖3 所示，針對(duì)m×m的像元合并，行方向上利用m-1 個(gè)FIFO 按行緩存圖像數(shù)據(jù)控制像元矩陣行數(shù)，列方向上利用計(jì)數(shù)器控制像元矩陣列數(shù)。對(duì)得到的不同時(shí)刻的像元矩陣，利用累加器完成矩陣內(nèi)像元值的“合并”，存儲(chǔ)器對(duì)“合并”后圖像數(shù)據(jù)的時(shí)序與數(shù)據(jù)進(jìn)行重構(gòu)。

圖3 像元矩陣的構(gòu)建Fig.3 Construction of pixel matrix

然后，根據(jù)圖像數(shù)據(jù)不同的排列方式，將n_taps 成像數(shù)據(jù)格式大致分為“區(qū)排列”和“相鄰排列”兩大類(lèi)。如圖4 所示，“區(qū)排列”可分區(qū)按照上述方法構(gòu)建像元矩陣，而“相鄰排列”數(shù)據(jù)格式的像元矩陣構(gòu)建受到數(shù)據(jù)排列格式的限制，需先根據(jù)像元矩陣的大小，將同一時(shí)刻成像數(shù)據(jù)中矩陣內(nèi)的像元值先進(jìn)行相應(yīng)“合并”，再利用FIFO、計(jì)數(shù)器進(jìn)行緩存、計(jì)數(shù)，完成矩陣內(nèi)其余像元值的“合并”。如圖 4 左圖所示，2 taps/10 bits 的數(shù)據(jù)結(jié)構(gòu)在進(jìn)行2×2 像元矩陣合并時(shí)，先將同一時(shí)刻相鄰的像元值“合并”寫(xiě)入FIFO，再利用計(jì)數(shù)器對(duì)矩陣內(nèi)的其他像元值進(jìn)行后續(xù)的合并。以此類(lèi)推，針對(duì)n_taps 的成像數(shù)據(jù)結(jié)構(gòu)，像元合并設(shè)計(jì)均可以分類(lèi)構(gòu)建合并矩陣。

圖4 區(qū)排列（左）和相鄰排列（右）Fig.4 Arranged by area（left） and adjacent arrangement（right）

2.3 去除相機(jī)本底值

CMOS 傳感器中各個(gè)像素之間放大器閾值偏差和暗電流偏差對(duì)成像的影響較大。由于暗電流的不均勻性，以及像素放大器偏差的存在，在沒(méi)有入射光的情況下圖像也會(huì)含有暗電流等固定模式噪聲，因此，本文通過(guò)去除相機(jī)本底的方式來(lái)提高圖像質(zhì)量。

暗電流等固定噪聲主要與積分時(shí)間和溫度等相關(guān)因素相關(guān)。粗避障環(huán)節(jié)需要在短時(shí)間內(nèi)實(shí)現(xiàn)，相對(duì)于積分時(shí)間等其他因素，引起溫度變化的不確定因素更為復(fù)雜，難以模擬和推測(cè)。為保證去除相機(jī)本底值的精確度和實(shí)時(shí)性，利用重復(fù)性實(shí)驗(yàn)，在積分時(shí)間一定的情況下，獲取寬、窄視場(chǎng)相機(jī)工作在-5~60 ℃的相機(jī)本底值，通過(guò)多項(xiàng)式擬合法得到寬、窄視場(chǎng)兩款相機(jī)隨溫度變化的相機(jī)本底值的函數(shù)關(guān)系。表1 和表2分別為寬、窄視場(chǎng)相機(jī)不同次數(shù)多項(xiàng)式擬合的單數(shù)據(jù)平均殘差（vi）對(duì)比。綜合考慮擬合精度和FPGA 內(nèi)部資源的占用情況，三次多項(xiàng)式擬合滿(mǎn)足平均殘差小于1 個(gè)碼值的精度要求，相對(duì)于四次多項(xiàng)式擬合占用更少的FPGA 內(nèi)部資源，選擇三次多項(xiàng)式完成實(shí)驗(yàn)數(shù)據(jù)的擬合。圖5所示為兩款相機(jī)的三次多項(xiàng)式擬合曲線(xiàn)，寬、窄視場(chǎng)的函數(shù)關(guān)系式分別為：

圖5 相機(jī)本底值與溫度的擬合曲線(xiàn)Fig.5 Fitting curve of camera background value and tem?perature

表1 寬視場(chǎng)相機(jī)不同次數(shù)多項(xiàng)式擬合殘差Tab.1 Fitting residuals of different degrees polynomial for wide field camera

表2 窄視場(chǎng)相機(jī)不同次數(shù)多項(xiàng)式擬合殘差Tab.2 Fitting residuals of different degrees polynomial for narrow field camera

采用硬件描述語(yǔ)言，將溫度與相機(jī)本底值的函數(shù)關(guān)系寫(xiě)入成像系統(tǒng)，使成像系統(tǒng)實(shí)時(shí)讀取相機(jī)的工作溫度，去除相機(jī)本底值。為避免去除相機(jī)本底值對(duì)于圖像有效信號(hào)的損失，對(duì)去除的本底值做歸一化處理，如下：

其中a為某一溫度下相機(jī)的本底值。

2.4 整體設(shè)計(jì)

整體設(shè)計(jì)框圖如圖6 所示。首先，F(xiàn)PGA 主控單元利用SPI 接口配置CMOS 傳感器，完成CMOS 傳感器的初始化工作。然后，對(duì)傳感器采集的串行高速LVDS 圖像數(shù)據(jù)進(jìn)行串行解串，并在成像模塊中通過(guò)SPI 接口讀取相機(jī)的工作溫度，根據(jù)相應(yīng)溫度區(qū)間去除相機(jī)本底值，最后綜合考慮帶寬限制和FPGA 的內(nèi)部資源，根據(jù)Cameralink 接口標(biāo)準(zhǔn)完成圖像數(shù)據(jù)時(shí)序的控制與數(shù)據(jù)格式調(diào)整，像元合并作為圖像預(yù)處理模塊置于上位機(jī)顯示之前，實(shí)時(shí)對(duì)采集到的圖像數(shù)據(jù)進(jìn)行數(shù)字像元合并，上位機(jī)亦可通過(guò)通信接口控制像元合并的級(jí)數(shù)。

圖6 實(shí)時(shí)像元合并整體設(shè)計(jì)框圖Fig.6 Overall design framework for real-time pixel merging

3 實(shí) 驗(yàn)

3.1 “區(qū)域”像元合并對(duì)圖像信噪比和數(shù)據(jù)量的影響

CMOS 傳感器的多級(jí)數(shù)字像元合并是在數(shù)字域內(nèi)進(jìn)行像元信號(hào)的“累加”。像元信號(hào)F（i）可近似表示為隨機(jī)噪聲N（i）與像元信號(hào)有效值A(chǔ)（i）的線(xiàn)性相加，即：

假設(shè)有m個(gè)像元進(jìn)行像元合并，合并后信號(hào)的有效值近似增強(qiáng)了m倍，隨機(jī)噪聲按照矢量疊加，疊加后的強(qiáng)度和可近似為所以，合并后的像元信號(hào)為：

信噪比作為圖像質(zhì)量評(píng)價(jià)的重要指標(biāo)，其數(shù)學(xué)表達(dá)為信號(hào)與噪聲的比值，如式（6）所示：

圖7 2_taps_4×4“區(qū)域”像元合并仿真Fig.7 Simulation of 2_taps_4×4 pixel merger

3.2 去除相機(jī)本底對(duì)圖像對(duì)比度的影響

本文采用去除本底噪聲的方式提升圖像對(duì)比度，具體效果可由去除相機(jī)本底值前后圖像調(diào)制度的變化說(shuō)明。調(diào)制度通常用來(lái)表示圖像的對(duì)比度，定義為：

式中：Imax為圖像最大光強(qiáng)，Imin為圖像最小光強(qiáng)。假設(shè)某一溫度環(huán)境下，相機(jī)的本底值為a，去除相機(jī)本底后調(diào)制度變?yōu)椋?/p>

由式（8）可以得出，去除相機(jī)本底值后圖像最大光強(qiáng)和最小光強(qiáng)之間的差值不變，整體灰度值變小，兩者比值所代表的圖像對(duì)比度隨之提高。

3.3 實(shí)驗(yàn)平臺(tái)的搭建

為驗(yàn)證數(shù)字像元合并和去除相機(jī)本底值兩種圖像預(yù)處理方法對(duì)光學(xué)圖像質(zhì)量提升的實(shí)際效果，進(jìn)行了多次重復(fù)性實(shí)驗(yàn)。實(shí)驗(yàn)裝置如圖8所示，為更好地模擬弱光條件，選擇在室內(nèi)無(wú)燈光環(huán)境，時(shí)間為 17：00 至 18：30，溫度為 17 ℃，實(shí)驗(yàn)相機(jī)為窄視場(chǎng)相機(jī)（NOIP1SN012KA）和寬視場(chǎng)相機(jī)（CMV4000）。其中，窄視場(chǎng)相機(jī)的像元尺寸為 4.5 μm，成像分辨率為 4 096×2 896，實(shí)驗(yàn)成像距離為30 m；寬視場(chǎng)相機(jī)的像元尺寸為5.5 μm，成像分辨率為2 048×2 048，實(shí)驗(yàn)成像距離為10 m。

圖8 實(shí)驗(yàn)成像裝置Fig.8 Experimental imaging devices

首先，分析去除相機(jī)本底值前后，成像信噪比和對(duì)比度的變化情況，實(shí)驗(yàn)共進(jìn)行5 次。表3為室內(nèi)溫度為17 ℃，寬、窄視場(chǎng)相機(jī)本底值分別為27.3 與29.3 時(shí)，去除相機(jī)本底值的5 次實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)。由表3 可知，寬視場(chǎng)相機(jī)的信噪比平均提高0.703 8 dB，對(duì)比度平均提高0.229 0；窄視場(chǎng)相機(jī)的信噪比平均提高0.533 9 dB，對(duì)比度平均提高0.160 3，與上述理論分析結(jié)果基本一致。

表3 去本底實(shí)驗(yàn)數(shù)據(jù)Tab.3 Experimental data of denoising

然后，在不去除相機(jī)本底的情況下，寬、窄視場(chǎng)相機(jī)分別在原圖模式、2_Binning 模式和4-Bin?ning 模式下進(jìn)行5 次實(shí)驗(yàn)，統(tǒng)計(jì)觀察成像的信噪比變化。圖9 為實(shí)驗(yàn)測(cè)試樣圖，從視覺(jué)上可以看出像元合并達(dá)到了光信號(hào)“增強(qiáng)”的效果。合并前后信噪比的變化如圖10 所示，寬、窄視場(chǎng)相機(jī)2 合并前后的信噪比均提高近似2 倍，4 合并前后信噪比均提高近似4 倍，與上述理論分析結(jié)果一致。同時(shí)，由表4~表5 可知，在微弱光照下可通過(guò)像元合并達(dá)到SNR≥20 dB 的成像要求。

圖9 寬、窄視場(chǎng)相機(jī)像元合并成像對(duì)比Fig.9 Contrast images of pixel binning of wide and narrow field of view cameras

圖10 2×2 和4×4 像元合并5 次實(shí)驗(yàn)信噪比變化Fig.10 SNR changes in 2×2 and 4×4 images of 5 experiments combining

表4 窄視場(chǎng)相機(jī)實(shí)驗(yàn)數(shù)據(jù)Tab.4 Experimental data of N12K_camera

表5 寬視場(chǎng)相機(jī)實(shí)驗(yàn)數(shù)據(jù)Tab.5 Experimental data of CMV4000_camera

最后，結(jié)合“區(qū)域”像元合并和去除相機(jī)本底值兩種方法進(jìn)行5 次實(shí)驗(yàn)，5 次實(shí)驗(yàn)結(jié)果的平均值如表6 所示。寬視場(chǎng)相機(jī)2_Binning 結(jié)合去除相機(jī)本底值的模式下圖像信噪比可提高5.901 4 dB，圖像對(duì)比度提高了0.257 4，4_Binning 結(jié)合去除相機(jī)本底值的模式下圖像信噪比可提高11.698 8 dB，圖像對(duì)比度可提高0.210 2；窄視場(chǎng)2_Bin?ning 結(jié)合去除相機(jī)本底值的模式下圖像信噪比可提高5.764 4 dB，圖像對(duì)比度可提高0.265 4，4_Binning 結(jié)合去除本底值的模式下圖像信噪比可提高11.450 1 dB，圖像對(duì)比度可提高0.284 0。實(shí)驗(yàn)結(jié)果表明，弱光環(huán)境下，“區(qū)域”像元合并和去除相機(jī)本底值兩種圖像預(yù)處理方法可有效提高探測(cè)器成像的信噪比和對(duì)比度。

表6 像元合并結(jié)合去除本底值的實(shí)驗(yàn)數(shù)據(jù)Tab.6 Experimental data of pixel binning and removal of camera background

4 結(jié) 論

本文為提高弱光下月球著陸粗避障環(huán)節(jié)中探測(cè)器的成像靈敏度及圖像的信噪比與對(duì)比度，采用“區(qū)域”數(shù)字像元合并和去除相機(jī)本底兩種圖像預(yù)處理方法，實(shí)現(xiàn)了探測(cè)器弱光下的清晰成像。在“區(qū)域”像元合并的基礎(chǔ)上，提出了一種針對(duì)n_taps 成像數(shù)據(jù)格式的像元矩陣構(gòu)建方法。通過(guò)實(shí)驗(yàn)擬合了相機(jī)本底值隨溫度的變化曲線(xiàn)，去除了相機(jī)本底，但此溫度實(shí)驗(yàn)是針對(duì)后端相機(jī)的溫度實(shí)驗(yàn)，后續(xù)會(huì)進(jìn)行整機(jī)的熱真空實(shí)驗(yàn)，完善實(shí)驗(yàn)數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明：2×2“區(qū)域”像元合并可有效提高圖像信噪比2 倍左右；4×4“區(qū)域”像元合并可有效提高圖像信噪比4 倍左右；環(huán)境溫度為17 ℃時(shí)，寬視場(chǎng)相機(jī)的對(duì)比度近似提高了0.23，窄視場(chǎng)相機(jī)的對(duì)比度近似提高了0.16，滿(mǎn)足弱光成像的基本工程要求。