數(shù)字域時(shí)間延遲積分CMOS 遙感相機(jī)動(dòng)態(tài)傳函建模分析

陶淑蘋 ，馮欽評，陳曉龍,2，鄭亮亮，張紫玉,2，高 倓,2

（1. 中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所, 吉林 長春 130033；2. 中國科學(xué)院大學(xué), 北京 100049）

1 引 言

時(shí)間延遲積分（Time Delay and Integration，TDI）技術(shù)，通過對同一列像素信號在掃描運(yùn)動(dòng)的同時(shí)多次延時(shí)累加，可在低照度、快速掃描條件下，獲得高靈敏度、高空間分辨率的圖像，因此被廣泛應(yīng)用于航空、航天遙感相機(jī)中。

然而傳統(tǒng)實(shí)現(xiàn)TDI 的TDI CCD 器件存在功耗大、成像控制復(fù)雜、級數(shù)不可連續(xù)調(diào)整等固有缺陷。為了解決上述問題，必須從CMOS 傳感器入手，尋求實(shí)現(xiàn)TDI 的新方式。因此，MAYE R、ERCAN、XU、NIE 等人分別提出了不同的片上TDI CMOS 設(shè)計(jì)方法[1-5]。為了擺脫器件束縛、增強(qiáng)靈活性，學(xué)者們進(jìn)一步提出了數(shù)字域TDI CMOS[6-11]。

調(diào)制傳遞函數(shù)（Modulation Transfer Function，MTF）是遙感相機(jī)成像質(zhì)量的重要評價(jià)指標(biāo)之一，為了深入了解成像系統(tǒng)的傳函特性，多年來研究人員開展了大量研究工作。TDI CCD 在軌飛行成像過程中MTF 下降分析在衛(wèi)星研制領(lǐng)域得到廣泛研究，所采用的理論是通過像移分析TDI CCD推掃成像過程中對MTF 的影響[12-13]，但是TDI CCD 與 CMOS 在像元結(jié)構(gòu)、電荷轉(zhuǎn)移、信號累加方式等各方面都存在巨大差異，TDI CCD 的傳函及像移模型并不適用于TDI CMOS 成像系統(tǒng)。

Fillfactory 公司LEPAGE G 針對提出的TDI CMOS 傳感器設(shè)計(jì)架構(gòu)給出了簡單的MTF 討論分析[2]，但該方案不適合多次采樣疊加的數(shù)字域TDI CMOS 成像系統(tǒng)，也沒有考慮成像過程中有關(guān)因素對MTF 的影響。2015 年，韓國空間研究院和天津大學(xué)分別提出通過縮短曝光時(shí)間來降低運(yùn)動(dòng)模糊引起的TDI CMOS 傳函下降[14-15]，但降低了系統(tǒng)信噪比，且均未涉及降質(zhì)模型研究。天津大學(xué)研究團(tuán)隊(duì)首次基于TDI CMOS 傳感器開展了像移降質(zhì)模型研究[16-18]，但只考慮了過采樣疊加和線性像移失配對MTF 的影響，未考慮傳感器快門、衛(wèi)星姿態(tài)變化、軌道運(yùn)動(dòng)、振動(dòng)等因素的影響。

綜上，目前對于數(shù)字域TDI CMOS 相機(jī)像質(zhì)下降的研究十分有限，相關(guān)研究工作主要集中在線性像移失配對MTF 影響分析層面，未系統(tǒng)深入地揭示數(shù)字域TDI 在軌動(dòng)態(tài)成像過程MTF 下降因素及機(jī)理。

本文從數(shù)字域TDI 成像原理出發(fā)，結(jié)合理論建模和仿真分析，研究數(shù)字域TDI CMOS 遙感相機(jī)動(dòng)態(tài)成像過程中像元結(jié)構(gòu)、電子快門、曝光時(shí)間、振動(dòng)對成像質(zhì)量的影響，得出數(shù)字域TDI CMOS 遙感相機(jī)像質(zhì)下降模型，最后結(jié)合成像實(shí)驗(yàn)結(jié)果進(jìn)行討論。

2 數(shù)字域TDI CMOS 成像原理

數(shù)字域TDI 是指將時(shí)間延遲積分的操作借助現(xiàn)場可編程門陣列（FPGA）、外部存儲器等在模數(shù)轉(zhuǎn)換后的面陣圖像信號上完成，這是近些年對于多模態(tài)和小型化高光譜遙感成像需求日益急迫的情況下提出的新興成像模式。

數(shù)字域TDI 算法基本原理如圖1 所示，以同列像素逐行累加為例，在推掃成像過程中，目標(biāo)依次經(jīng)過CMOS 像素陣列的不同像元行。在第一個(gè)行周期，利用第3 行像元（1 級像元）對目標(biāo)成像。在第二個(gè)行周期，目標(biāo)相對傳感器在像面移動(dòng)一個(gè)像元位置，此時(shí)CMOS 像素陣列第2 行像元（二級像元）與上一幀圖像的第3 行圖像恰好對應(yīng)同一目標(biāo)，兩信號累加后進(jìn)入下一級積分。依次類推，直到第M個(gè)行周期，第M級像元信號與前面共M-1級像元對同一目標(biāo)的信號累加后，輸出積分信號。

圖1 數(shù)字域TDI 算法原理圖Fig. 1 Schematic diagram of TDI algorithm in digital domain

根據(jù)上述描述，數(shù)字域TDI 成像基本原理與TDI CCD 并無區(qū)別，都要求在掃描成像過程中每個(gè)行周期目標(biāo)投影在像面恰好移動(dòng)一個(gè)像元位置的距離。但同時(shí)也存在明顯差異，即數(shù)字域TDI 成像M級積分經(jīng)過了CMOS 傳感器M次快門曝光以及M次信號重采樣。

3 數(shù)字域TDI CMOS 系統(tǒng)傳函模型

數(shù)字域TDI CMOS 遙感相機(jī)成像過程中MTF將受到多種因素的影響。將干擾因素分解為相對獨(dú)立的離散單因子，包括目標(biāo)、光學(xué)系統(tǒng)、大氣、離焦、像移、CMOS 像元結(jié)構(gòu)、快門、曝光時(shí)間、采樣累加方式、級數(shù)、位姿（軌道、姿態(tài)角）變化、振動(dòng)。最終，數(shù)字圖像的調(diào)制度可近似描述為各環(huán)節(jié)調(diào)制傳遞函數(shù)的乘積。因?yàn)槟繕?biāo)、大氣、光學(xué)系統(tǒng)、離焦、線性像移失配這些環(huán)節(jié)與TDI CCD 成像系統(tǒng)一致，而且其研究已經(jīng)相對成熟，因此本文選擇異于TDI CCD 遙感相機(jī)的其他幾個(gè)關(guān)鍵因素進(jìn)行分析。

3.1 像元結(jié)構(gòu)對MTF 的影響分析

在CMOS 有源像素傳感器(APS)陣列中，每個(gè)像元由2 個(gè)功能部分組成：一部分為發(fā)生光電效應(yīng)的有效區(qū)域，稱為光敏元；另一部分是用于將收集的電荷讀出的控制電路。顯然，APS 像元的填充因子小于100%。文獻(xiàn)[12-13]等在分析CCD動(dòng)態(tài)傳函時(shí)未考慮孔闌的影響，是因?yàn)镃CD 的填充因子接近100%，但CMOS APS 與CCD 不同，在分析CMOS 圖像傳感器的動(dòng)態(tài)傳函時(shí)還必須考慮孔闌影響。

如圖2 所示，定義垂軌方向?yàn)閤軸，沿軌方向?yàn)閥軸。以L形有效區(qū)域像元結(jié)構(gòu)為例，圖中P代表像元尺寸，ai（i=1,2）代表垂軌方向的像元有效獲取尺寸，Ai（i=1,2）代表沿軌方向的像元有效獲取尺寸，灰色區(qū)域?qū)獠幻舾小?/p>

圖2 “L”形有效區(qū)域像元結(jié)構(gòu)圖Fig. 2 Pixel structure of 'L' shaped effective area

對于輻射強(qiáng)度為I(x,y)的目標(biāo)場景，經(jīng)過探測器光電感應(yīng)輸出電信號可表示為：

式中，h(x,y)為CMOS 傳感器脈沖響應(yīng)函數(shù)。通常情況下對其進(jìn)行傅立葉變換即可得到傳感器的MTF。為便于分析，首先計(jì)算得到單方向單個(gè)矩形的脈沖響應(yīng)傳函：

然后通過將“L”形分解為2 個(gè)矩形，得到由于孔闌特性曲線產(chǎn)生的MTF：

式中， α為垂軌方向權(quán)重， β為沿軌方向權(quán)重，ai,am為 垂軌方向的像元有效獲取尺寸，Ai,Am為沿軌方向的像元有效獲取尺寸。

利用式（3）在同一像元尺寸下分別選取0.85、0.65、0.5 三種開口率，得到不同開口率下MTF 曲線如圖3（彩圖見期刊電子版）所示。

圖3 不同開口率下TDI CMOS 的MTF 曲線Fig. 3 MTF curves of TDI CMOS at different opening rates

分析圖3 可知，CMOS 傳感器像元對傳函的影響與像元感光區(qū)域直接相關(guān)，且開口率越小對數(shù)字域TDI 成像影響越大。

3.2 電子快門對MTF 的影響分析

CMOS 傳感器的電子快門分為卷簾和同步快門兩種，同步快門的所有像素同時(shí)曝光，一幀曝光結(jié)束后再讀出，卷簾快門一幀圖像的曝光時(shí)間均不相同，同步曝光與分時(shí)曝光對靜止目標(biāo)成像不會存在差異，但是對于必然存在像移運(yùn)動(dòng)的TDI成像來講，必須要考慮非同時(shí)曝光對圖像傳函的影響[19]。CMOS 電子快門對數(shù)字域TDI 成像的影響可通過計(jì)算卷簾快門引起的像移傳函得到。

為簡化分析，假設(shè)卷簾快門方向與掃描運(yùn)動(dòng)方向相反，且不存在偏流誤差，即目標(biāo)景物在傳感器像面投影只有沿卷簾快門反方向的速度分量。假設(shè)P為視場內(nèi)目標(biāo)景物點(diǎn)，在推掃成像過程中，P與S的幾何投影關(guān)系如圖4 所示。

圖4 運(yùn)動(dòng)目標(biāo)點(diǎn)在傳感器投影成像為線Fig. 4 The moving target point is imaged as a line in the projection of the sensor

以Pk(px,py)表示第k幀正常圖像目標(biāo)點(diǎn)對應(yīng)的成像點(diǎn)位置，其對應(yīng)失真圖像的成像點(diǎn)位置表示為Sk(sx,sy)。根據(jù)卷簾快門工作原理可知，失真圖像的每個(gè)掃描行在曝光時(shí)間的某一特定時(shí)刻采樣，以kT+Sy表 示第k 幀圖像像素點(diǎn)Sk=(sx,sy)的采樣時(shí)刻?？梢酝茖?dǎo)出在一個(gè)行周期內(nèi)，由卷簾快門產(chǎn)生的幀內(nèi)和幀間像移分別為：

式中，T為行轉(zhuǎn)移周期，Trbt為行空白時(shí)間，Npix為每行圖像像元數(shù)，frd為 像元讀出頻率，Tint為行轉(zhuǎn)移周期內(nèi)實(shí)際曝光時(shí)間，且曝光時(shí)間不大于行轉(zhuǎn)移周期，Tfrm,roll為幀同期。

分析上式可得：當(dāng)在[(k-1)T+sy1,kT+sy2]時(shí)間間隔內(nèi)，若vy(t)=0，則Sk2 與Sk-11仍位于同一掃描行，此時(shí)不存在幀間幾何失真，因此在應(yīng)用中應(yīng)通過合理采樣設(shè)計(jì)消除幀間像移。但幀內(nèi)失真不可避免，該像移會引起MTF 下降，M級積分其Nyquist 頻率處的RS 傳函為：

采用某遙感相機(jī)在軌標(biāo)稱成像參數(shù)進(jìn)行分析。該相機(jī)像元尺寸為4.25 μm，在軌標(biāo)稱行轉(zhuǎn)移時(shí)間為128 μm，在8 級和16 級積分級數(shù)下，計(jì)算得到不同像素讀出頻率（對應(yīng)于不同卷簾快門速度）下MTF 曲線如圖5（彩圖見期刊電子版）所示。

圖5 不同RS 速度和級數(shù)下的MTF 曲線Fig. 5 MTF curves at different RS speeds and stages

觀察圖5 可知，卷簾快門效應(yīng)引起的像移會對數(shù)字域TDI 算法帶來較大的影響，尤其在卷簾速度較慢或積分級數(shù)較高時(shí)影響更為突出。但只要運(yùn)動(dòng)速度確定，就可以計(jì)算出卷簾快門引起的像移影響，甚至可進(jìn)一步對失真圖像進(jìn)行校正。

3.3 曝光時(shí)間、振動(dòng)對MTF 的影響分析

與TDI CCD 不同，數(shù)字域TDI CMOS 成像系統(tǒng)的曝光時(shí)間可獨(dú)立于行周期進(jìn)行單獨(dú)設(shè)置。而運(yùn)動(dòng)對像元模糊和TDI 成像的影響均與曝光時(shí)間息息相關(guān)，因此對于數(shù)字域TDI CMOS 成像系統(tǒng)需重新構(gòu)建與運(yùn)動(dòng)有關(guān)的像移傳函模型。

將像移分為垂軌橫向像移和沿軌縱向像移兩類?？紤]偏流角為引起橫向像移的主要因素，單個(gè)積分周期內(nèi)產(chǎn)生的橫向像移失配量 Δd可以根據(jù)曝光時(shí)間和偏流角等參數(shù)算出：

式中，vP為沿掃描方向的像移速度，θ 為偏流角。

根據(jù)數(shù)字域TDI 采樣累加原理可以得到橫向像移過程的退化函數(shù)為：

由公式(8)可知，偏流角或積分級數(shù)大，會引起退化函數(shù)擴(kuò)散，即傳遞性能變差。因此在積分掃描成像，尤其是在高積分級數(shù)情況下，必須保證偏流角補(bǔ)償控制精度。如果偏流補(bǔ)償欠佳，則應(yīng)該盡量采用小級數(shù)成像，避免橫向像移導(dǎo)致的圖像質(zhì)量退化。

暫不考慮卷簾快門產(chǎn)生的像移影響，M級數(shù)字域TDI 積分的縱向像移速度匹配殘余誤差引起的退化函數(shù)為：

式中 ε為縱向像移匹配殘差，其定義如式（10）所示。式中ve為數(shù)字域TDI CMOS 的平均行轉(zhuǎn)移速度。

在成像過程中除了上述整體像移匹配殘差外，平臺或單機(jī)振動(dòng)還會引起遙感相機(jī)像移速度矢分布場變化，進(jìn)而引入信息采樣不規(guī)則性和空間變化的像元運(yùn)動(dòng)模糊，影響TDI 成像質(zhì)量。

為了便于分析又不失一般性，采用正弦運(yùn)動(dòng)組合來表征形式復(fù)雜的振動(dòng)，像移與正弦運(yùn)動(dòng)關(guān)系如圖6 所示，得到M 級積分的振動(dòng)像移為：

圖6 像移與正弦運(yùn)動(dòng)關(guān)系圖Fig. 6 Relationship between image motion and sinusoidal motion

式中，Al為第l個(gè)振動(dòng)成分的幅值，fl為第l個(gè)振動(dòng)成分的振動(dòng)頻率， φk,l為第l個(gè)振動(dòng)成分在第k個(gè)積分周期的初始相位，Tint為單次曝光時(shí)間，T為行轉(zhuǎn)移周期。

根據(jù)運(yùn)動(dòng)頻率與行轉(zhuǎn)移時(shí)間的相對關(guān)系，可將振動(dòng)分為低頻和高頻兩種，因?yàn)樵诜e分時(shí)間內(nèi)低頻運(yùn)動(dòng)的幅頻變化幾乎為零，因此可將低頻運(yùn)動(dòng)近似視為線性運(yùn)動(dòng)。公式（9）的像移失配即可視為頻率為零的一種特殊振動(dòng)，此時(shí)可按照常規(guī)線性像移失配計(jì)算其對MTF 的影響。

式中，fC為 特征頻率，fN為乃歸斯特頻率。

假設(shè)歸一化振動(dòng)幅值為0.2，采用前述遙感相機(jī)的成像參數(shù)不變，在16 級積分條件下設(shè)置不同曝光時(shí)間和振動(dòng)頻率，基于像移傳函模型計(jì)算得到Nyquist 頻率處MTF 值，其與振動(dòng)頻率、曝光時(shí)間的關(guān)系如圖7（彩圖見期刊電子版）所示。觀察圖7 可以看出，曝光時(shí)間越短，傳函越高，尤其在低頻運(yùn)動(dòng)下表現(xiàn)越明顯，但曝光時(shí)間同樣會影響圖像信噪比。因此，在實(shí)際應(yīng)用中應(yīng)結(jié)合兩個(gè)指標(biāo)要求選擇合理的曝光時(shí)間。另外，可以看到，低頻運(yùn)動(dòng)下不同曝光時(shí)間對應(yīng)的MTF 存在較大的不同，即低頻運(yùn)動(dòng)對圖像傳函的非規(guī)則性影響較大，但在高頻運(yùn)動(dòng)下則規(guī)律一致，此時(shí)的MTF是時(shí)空移不變的。

圖7 MTF 與振動(dòng)頻率及曝光時(shí)間的關(guān)系圖Fig. 7 Relationship between MTF, vibration frequency and exposure time

4 實(shí)驗(yàn)及結(jié)果分析

為了驗(yàn)證MTF 理論模型的效果，分別開展數(shù)字域TDI CMOS 仿真及成像實(shí)驗(yàn)。

仿真實(shí)驗(yàn)選取扇形靶標(biāo)圖像作為樣本，根據(jù)幾何投影關(guān)系、感光原理和數(shù)字域TDI 算法生成不同開口率的積分圖像，如圖8 所示。然后采用刃邊法測試圖像MTF 曲線，得到圖9（彩圖見期刊電子版）結(jié)果?？梢钥闯?，傳感器開口率越?。从行裨獏^(qū)域越?。┇@取圖像的MTF 下降越嚴(yán)重，與圖3 理論分析結(jié)論吻合。

圖8 不同開口率下扇形靶標(biāo)仿真圖像：從左到右的開口率分別為0.8、0.5、0.3Fig. 8 Simulation images of the sector target under different aperture ratios: 0.8, 0.5 and 0.3 (from left to right)

圖9 圖8 中各圖像的MTF 曲線Fig. 9 MTF of images in figure 8

為了驗(yàn)證卷簾快門效應(yīng)和曝光時(shí)間對TDI成像的影響，設(shè)計(jì)卷簾數(shù)字TDI CMOS 成像系統(tǒng)，并開展成像實(shí)驗(yàn)。將相機(jī)固定于二維調(diào)整架后安裝于水平運(yùn)動(dòng)轉(zhuǎn)臺上，整個(gè)成像過程保持轉(zhuǎn)臺速度不變。為滿足幀間像移匹配，設(shè)置行周期為200 μs，通過調(diào)整時(shí)鐘頻率設(shè)置行讀出時(shí)間分別為6 μs、10 μs，即對應(yīng)于不同的卷簾速度。8 級積分圖像如圖10 所示，可以看出，卷簾速度降低后圖像幾何失真加重。刃邊法計(jì)算2 幅圖像的奈奎斯特頻率處MTF 分別為0.191、0.177。結(jié)果表明卷簾快門速度越快MTF 下降越小，驗(yàn)證了圖5理論分析結(jié)果。

圖10 行讀出時(shí)間分別為（a）6 μs；（b）10 μs 時(shí)不同卷簾速度的TDI 圖像Fig. 10 TDI images with different rolling shutter speeds.(a) 6 μs; (b) 10 μs

保持轉(zhuǎn)臺速度和行周期不變，調(diào)整二維調(diào)整架使相機(jī)傾斜一定角度（實(shí)驗(yàn)中選取角度大約為5°），在此條件下對目標(biāo)水平推掃成像。分別設(shè)置單次曝光時(shí)間為100、140 和180 μs，采用16 級積分對同一目標(biāo)成像，得到不同曝光時(shí)間下的數(shù)字域TDI 圖像如圖11 所示。由圖11 可知，在存在偏流角失配情況下，隨著曝光時(shí)間減小，圖像邊緣逐漸清晰，但層次感減弱。計(jì)算3 幅圖像的MTF 和信噪比，結(jié)果如表1 所示。可以看出縮短曝光時(shí)間對圖像MTF 有利，但信噪比卻降低，與圖7 理論分析結(jié)果吻合。

圖11 不同曝光時(shí)間的TDI 圖像：曝光時(shí)間（從上到下）分別為100、140、180 μsFig. 11 TDI images with different exposure times. 100,140 and 180 μs (from top to bottom)

表1 圖像MTF 和SNR 測試結(jié)果Tab.1 The MTF and SNR test results of images

5 結(jié) 論

論文針對數(shù)字域TDI CMOS 遙感相機(jī)動(dòng)態(tài)MTF 分析需求，介紹了數(shù)字域TDI CMOS 成像原理，開展了像元、電子快門、曝光時(shí)間、振動(dòng)對數(shù)字域TDI CMOS 成像的影響分析，推導(dǎo)了上述各因素下的MTF 數(shù)學(xué)模型，并對其影響進(jìn)行預(yù)估分析。構(gòu)建的MTF 模型表明：傳感器有效像元區(qū)域分布會影響圖像MTF，且開口率越小影響越大；CMOS傳感器的卷簾快門會導(dǎo)致數(shù)字域TDI 成像MTF下降，卷簾速度越慢影響越嚴(yán)重；曝光時(shí)間越短則MTF 越高，尤其存在低頻像移失配時(shí)更為明顯。為了驗(yàn)證構(gòu)建的理論模型分別開展了計(jì)算機(jī)仿真及成像實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果與理論分析規(guī)律一致，驗(yàn)證了MTF 模型的正確性。