星載相機(jī)軌道末期成像模型及圖像復(fù)原算法

賀小軍,金 光,楊秀彬,王金玲,曲宏松

1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,吉林長春130033;2.中國科學(xué)院研究生院,北京100039

星載相機(jī)軌道末期成像模型及圖像復(fù)原算法

賀小軍1,2,金 光1,楊秀彬1,2,王金玲1,2,曲宏松1

1.中國科學(xué)院長春光學(xué)精密機(jī)械與物理研究所,吉林長春130033;2.中國科學(xué)院研究生院,北京100039

通過對光學(xué)衛(wèi)星軌道末期成像面臨的像移失配的研究,從能量的觀點出發(fā)建立TDI CCD(時間延遲積分電荷耦合器件)推掃成像通用模型(GMPI)?；谠撃Ｐ吞岢鲆环N像移失配工況下的非常規(guī)遙感成像方式。引入信號濾波器的表示方法,將GMPI模型簡化成為易于計算的TDI CCD推掃成像濾波器模型(FMPI),對軌道末期遙感圖像混疊效應(yīng)進(jìn)行定量分析,并給出基于成像機(jī)理及成像參數(shù)的圖像恢復(fù)處理方法。通過實際成像試驗獲取像移速度失配下的圖像并通過圖像恢復(fù)算法進(jìn)行處理,得到比半盲式復(fù)原算法更好的圖像恢復(fù)效果。

軌道末期;TDI CCD;非常規(guī)成像;像移失配;圖像恢復(fù)

1 引 言

為了獲取高分辨率的遙感圖像,光學(xué)成像衛(wèi)星大多運行在低于1 000 km的太陽同步軌道。由于稀薄大氣的阻力影響,衛(wèi)星軌道會逐漸衰變,最后墜入大氣層燒毀。為了維持正常軌道高度,光學(xué)成像衛(wèi)星一般都攜帶大量燃料,每隔一段時間重新將軌道推高到標(biāo)稱高度,這一過程稱為軌道維持。當(dāng)衛(wèi)星燃料耗盡,無力再維持正常的軌道高度時,光學(xué)相機(jī)的成像系統(tǒng)往往會因為本身參數(shù)的限制,不能再進(jìn)行正常的遙感成像。從衛(wèi)星燃料耗盡到衰變墜入大氣層燒毀,這段時間稱為衛(wèi)星軌道末期。由于太空中空氣極為稀薄,軌道的衰變是一個漫長的過程,這段時間短則幾個月,長則幾年。由于衛(wèi)星其他系統(tǒng)的設(shè)計壽命往往長于燃料供給時間,故在衛(wèi)星軌道末期,衛(wèi)星仍然有可能進(jìn)行一些異于常規(guī)模式的成像,從而獲取一些有價值的遙感資料。由于此時成像已經(jīng)不滿足像移速度匹配條件,所得到的遙感圖像是具有區(qū)域性混疊的欠采樣圖像。

對衛(wèi)星軌道末期成像問題進(jìn)行研究,其關(guān)鍵技術(shù)是圖像復(fù)原算法,本問題屬于圖像工程中的運動圖像復(fù)原研究范疇。該領(lǐng)域的研究成果和相關(guān)算法較多。文獻(xiàn)[1]通過獲取點擴(kuò)散函數(shù)從而得到遙感圖像的調(diào)制傳遞函數(shù)(MTF)增強(qiáng)圖像的高頻部分,使圖像易于判讀解譯。文獻(xiàn)[2]綜合利用了無人機(jī)運動的先驗信息,提出不同運動模糊情況下點擴(kuò)散函數(shù)的估計方法,采用維納濾波復(fù)原算法估計圖像,給出了適用于無人機(jī)成像制導(dǎo)系統(tǒng)的圖像復(fù)原方案。文獻(xiàn)[3]分析了航空成像系統(tǒng)像移模糊產(chǎn)生的機(jī)理;通過建立運動模糊的數(shù)學(xué)模型,構(gòu)建二維運動模糊點擴(kuò)散函數(shù);采用維納濾波方法,消除了航空成像系統(tǒng)圖像像移模糊;通過加窗技術(shù),有效地抑制和減小了邊緣誤差。文獻(xiàn)[4]基于調(diào)制傳遞函數(shù)(MTF)對 TDI CCD的像移進(jìn)行了分析。根據(jù)TDI CCD像移的產(chǎn)生機(jī)理,建立圖像退化的數(shù)學(xué)模型,本文作者提出一種有效估計模糊圖像系統(tǒng)點擴(kuò)散函數(shù)的方法,并對運動模糊圖像進(jìn)行半盲恢復(fù)。

文獻(xiàn)[2-3,7]主要針對面陣CCD所成圖像進(jìn)行分析,由于像移情況復(fù)雜,只能通過盲式或半盲式,主要依靠對圖像的統(tǒng)計學(xué)參數(shù)進(jìn)行圖像恢復(fù),其中提到的特征分割等處理方法對完善本文的算法具有借鑒意義。文獻(xiàn)[1,4]針對TDI CCD在航天遙感的像移失配成像進(jìn)行半盲式恢復(fù),但并不適用于軌道末期像移嚴(yán)重失配的情況。在該情況下,像移主要是沿航方向分量,且與軌道直接相關(guān)。本文提出一種基于成像原理的復(fù)原算法,避免盲式或者半盲式復(fù)原算法在像移失配嚴(yán)重時出現(xiàn)病態(tài)。建立像移速度失配下的 TDI CCD推掃成像模型,并尋找出圖像恢復(fù)算法,不僅可以延長光學(xué)成像衛(wèi)星的有效工作壽命,使得衛(wèi)星得到更加充分的利用,而且有助于非常規(guī)遙感成像理論的發(fā)展。

2 軌道末期成像模型

2.1 TDI CCD推掃成像通用模型

根據(jù)初步調(diào)研,到目前為止,學(xué)術(shù)界尚未提出TDI CCD像移速度嚴(yán)重失配時的成像模型。在軌道末期,隨著衛(wèi)星軌道的不斷衰變,像移速度持續(xù)增大。由于焦平面電子學(xué)的噪聲與像素移出時鐘頻率存在正相關(guān)關(guān)系,為了保證相機(jī)在正常工作軌道上具備較高的信噪比,成像電子學(xué)在設(shè)計時往往選取了滿足正常拍照要求的最低像素移出頻率。故在軌道末期,隨著軌道持續(xù)衰變,相移速度持續(xù)增大。若仍然通過調(diào)整行轉(zhuǎn)移周期去實現(xiàn)與相移速度的嚴(yán)格匹配,則會使得TDI CCD每行的像素?zé)o法正常移出,使得TDI CCD產(chǎn)生時許紊亂,無法成像。所以在進(jìn)行成像電子學(xué)設(shè)計中,都設(shè)定了一個最小行周期閾值,當(dāng)通過姿軌參數(shù)計算所得值小于這個閾值時,則將實際行轉(zhuǎn)移周期鎖定為該閾值。由于軌道末期太陽能帆板仍能正常提供電能,衛(wèi)星姿態(tài)控制系統(tǒng)可以正常工作,衛(wèi)星仍具備調(diào)偏流能力,偏流對衛(wèi)星成像的影響在允許范圍之內(nèi),忽略其影響。本論文提出的 TDI CCD推掃成像通用模型(GMPI)主要研究沿航方向像移速度與行轉(zhuǎn)移頻率在任意不同匹配度時對遙感成像的影響,對不同的匹配情況具有較好的通用性。

為了建立簡單實用的數(shù)學(xué)模型,以文獻(xiàn)[1]中的成像模型為基礎(chǔ)進(jìn)行簡化,設(shè)地面目標(biāo)亮度函數(shù)為 g0(x0,y0,t),軌道高度為 H,焦距為 f,在成像的瞬時弧段看成勻速圓周運動,則像面照度函數(shù)為

其中,A0是與光學(xué)系統(tǒng)、星地距離有關(guān)的系統(tǒng)參數(shù),在每次拍照時間內(nèi),可以看作常數(shù),其數(shù)值對本模型沒有影響。根據(jù)能量積分的觀點,每個CCD像元的信號能量來源于像面上對應(yīng)區(qū)域的照度對時間及位置的積分,根據(jù)TDI CCD的推掃成像方式及電荷轉(zhuǎn)移原理,每個像元輸出信號為該列各感光像元先后不同時刻積分之和,TDI CCD第L行R列輸出的信號理論大小為

其中,K0為光電轉(zhuǎn)換常數(shù),只與TDI CCD器件本身有關(guān);N為 TDI CCD推掃成像所采用的積分級數(shù);a為CCD像元尺寸,若行轉(zhuǎn)移頻率與像移速度嚴(yán)格匹配,則表現(xiàn)為對同一區(qū)域的多次感光量之和,而對像移速度失配的情況,則表現(xiàn)為對某區(qū)域及其前后鄰近混疊區(qū)域的感光量之和。

2.2 TDI CCD的濾波器模型

公式(2)為TDI CCD成像的理論公式,但在實際成像過程中,目標(biāo)的亮度函數(shù)往往是不規(guī)則函數(shù),很難進(jìn)行精確的積分計算。為了得到易于應(yīng)用的工程化模型,將TDI CCD的推掃成像過程看成一個濾波器。由于軌道末期相移失配主要表現(xiàn)為沿航方向(行間像移),偏流引起的列間像移在經(jīng)過偏流調(diào)節(jié)之后,其殘差已經(jīng)變?yōu)榇我蛩?予以忽略,得到簡化的TDI CCD推掃成像濾波器模型(FMPI)。它表示像面各個區(qū)域?qū)b感圖像中每個像素的貢獻(xiàn)率,或者是遙感圖像每個像素對目標(biāo)各個區(qū)域的敏感度,其傳遞特性函數(shù)為GTDI(L,y)表示像面 y位置的圖像對第L行圖像的貢獻(xiàn)率(其數(shù)值在0～N之間),其中 y為目標(biāo)在像面坐標(biāo)系中的位置矢量(飛行方向為正),L為行數(shù);a為CCD像元尺寸;δ為行轉(zhuǎn)移頻率失配率矢量(像移速度超前為正);N為 TDI CCD積分級數(shù)。圖1～圖3直觀地表示出δ取不同值時公式(3)所表示的濾波器特性。

圖1 δ=0時96級積分等效濾波器Fig.1 Flitter module forδ=0 andN=96

圖2 δ=1%時96級積分等效濾波器Fig.2 Flitter module forδ=1%andN=96

圖1～圖3展示了TDI CCD在96級積分情況下連續(xù)10行輸出信號所對應(yīng)的目標(biāo)位置。從圖中可以看出,當(dāng)行轉(zhuǎn)移頻率與像移速度嚴(yán)格匹配時,只有相鄰像素之間有成像區(qū)域混疊現(xiàn)象,每個像素所采集的信息來源于鄰近的2個GSD單元,主峰出現(xiàn)在本GSD內(nèi),且本GSD區(qū)域能量權(quán)重占75%。當(dāng)行轉(zhuǎn)移頻率與像移速度失配時,混疊程度變得越來越嚴(yán)重,對于96級積分的 TDI CCD,當(dāng)δ=1%時,每個像素所采集的信息來源于鄰近的2.5個 GSD單元。當(dāng)δ=5%時,每個像素所采集的信息來源于鄰近的4.5個 GSD單元。為了便于表征信號混疊的嚴(yán)重程度,引入混疊率RA來表示某像元中混疊信號量與總信號量之比,混疊率越小,表示該像元信號可信度越高,圖像的對比度越好。

圖3 δ=5%時96級積分等效濾波器Fig.3 Flitter module forδ=5%andN=96

由公式(3)可以看出,GTDI(l,y)具有明顯的窗口特性,在窗口外為全0。根據(jù)窗口范圍,可以得出每行像素圖像信號來源的始末位置,而且每行像素的濾波曲線僅僅是在 y方向的平移,所以相鄰兩行像素增益值相等處,則為兩行之間的分界位置,于是可以計算出第L行圖像信號來源的起始位置Ybegin(L)、結(jié)束位置Yend(L),與L+1行的分界位置得 Yborder(L)

于是利用公式(3)中單行像素濾波曲線關(guān)于中心位置的對稱特性,可以得到混疊率公式為

為便于計算,公式可變換為

通過數(shù)值分析,可以得到圖4。從圖中可以看出,隨著行像移失配率的增大,混疊率隨之增大,且TDI CCD積分級數(shù)越大,變化混疊率增加越快。所以,在衛(wèi)星軌道末期,若失配率已經(jīng)較大,不應(yīng)選用高積分級數(shù),而應(yīng)該采用較低積分級數(shù),同時提高電子學(xué)放大系數(shù)的方法來獲得較好圖像。

圖4 圖像混疊率曲線圖Fig.4 Image-aliasing effect(IAE)curve

圖4定性地表示了混疊率在不同積分級數(shù)下隨著失配率的變化。常規(guī)的航天遙感圖像處理大多是圍繞圖像本身進(jìn)行盲式或半盲式處理[3,5],對于軌道末期的非常規(guī)成像,像移失配嚴(yán)重,很難取得好的效果,需要采用特殊的圖像復(fù)原算法。為便于圖像復(fù)原處理,進(jìn)一步計算出各像元信息來源的精確比例即信息貢獻(xiàn)率,作為圖像復(fù)原處理的補(bǔ)償系數(shù),實現(xiàn)圖像的信息校正與恢復(fù)。將當(dāng)前像元對應(yīng)的GSD稱為0級目標(biāo)區(qū)域,前后鄰近GSD依次為±1級、±2級,為了得到補(bǔ)償系數(shù),需要精確計算出鄰近GSD對本像素的信號貢獻(xiàn)率。利用公式(6)、公式(8),可以計算出鄰近±j級區(qū)域的貢獻(xiàn)率 Kj,它同時作為圖像復(fù)原時的補(bǔ)償系數(shù)。32級積分時補(bǔ)償系數(shù)如表1。

表1 TDI CCD32級積分補(bǔ)償系數(shù)表Tab.1 Compensation coefficient forN=32

像移失配情況下的成像效果可以用式(10)表示。

于是可以得到如下的補(bǔ)償公式

上式中 Ki表示±i級區(qū)域的貢獻(xiàn)率,帶＊號的量表示準(zhǔn)確值,但由于圖像本身已經(jīng)發(fā)生混疊,無法得到準(zhǔn)確值。由公式(8)及表2可以看出,一般情況下,0級補(bǔ)償系數(shù)始終大于其他高級次系數(shù),不妨用帶＊號量所對應(yīng)的0級像素的值來代替準(zhǔn)確值,于是有近似補(bǔ)償公式

根據(jù)公式(9)、公式(12),可以對軌道末期成像得到的遙感圖像進(jìn)行復(fù)原處理,算法參數(shù)來源于衛(wèi)星成像參數(shù),原始圖像數(shù)據(jù)來源于軌道末期非常規(guī)成像結(jié)果,利用公式(12)進(jìn)行迭代,可以實現(xiàn)對相移失配成像結(jié)果的圖像恢復(fù)。

由于像移速度失配條件下成像結(jié)果存在幾何畸變(沿像移速度矢量方向壓縮或伸長),所以需要將公式(12)復(fù)原的圖像進(jìn)行幾何修正,修正因子與失配率相關(guān)

其中,Y為復(fù)原算法所得圖像沿像移速度方向長度;Y′為進(jìn)行修正后的圖像沿像移速度方向長度;像移速度超前于行轉(zhuǎn)移速度時,δ為正,像移速度滯后于行轉(zhuǎn)移速度時,δ為負(fù),衛(wèi)星軌道末期成像屬于前者。

3 試驗驗證

為了驗證本文提出的圖像恢復(fù)算法的恢復(fù)效果,設(shè)計了一組成像試驗,利用某工程項目的TDI CCD相機(jī)電性樣機(jī)對貼有分辨率圖案的勻速轉(zhuǎn)動靶標(biāo)進(jìn)行成像,模擬衛(wèi)星對地的推掃成像,經(jīng)理論計算,其理論行轉(zhuǎn)移時間為56.86μs。積分級數(shù)為32級時,成像如圖5所示。

圖5 相移匹配成像結(jié)果Fig.5 Image without IMM

為了得到相移適配條件下的成像結(jié)果,將行轉(zhuǎn)移時間設(shè)置為68.25μs,即失配率20%,積分級數(shù)為32級時,成像結(jié)果如圖6所示。

圖6 相移失配率20%成像結(jié)果Fig.6 Image with 20%IMM

利用本文推到的圖像恢復(fù)算法,利用公式(12)及表(1)中的補(bǔ)償參數(shù),對圖6進(jìn)行了圖像復(fù)原,經(jīng)過2次迭代,并經(jīng)公式(13)進(jìn)行幾何修正,得到圖7所示的復(fù)原圖。

圖7 圖像恢復(fù)結(jié)果Fig.7 Image recovered

從圖7與圖6的對比中可以看出,恢復(fù)后的圖像在縱向(像移失配方向)有較明顯的改善,圖像清晰程度有明顯提高,從較小的鑒別率圖案中可以看出,圖像分辨率有所提高,原圖中的彌散現(xiàn)象大大減弱。上述試驗結(jié)果說明,本文提出的圖像復(fù)原算法能夠較有效地復(fù)原因像移失配引起的模糊現(xiàn)象。

4 參照試驗及評價

為了對本文的圖像恢復(fù)算法進(jìn)行評價,以焦斌亮教授等人提出的基于 TDI CCD點擴(kuò)散函數(shù)估計的半盲恢復(fù)算法作為參照算法[4],對圖(6)進(jìn)行半盲恢復(fù)。根據(jù)圖8所示頻譜圖,分析得到水平方向中央條帶寬度為78像素。原圖尺寸為256×256,計算得像移量初始化值S=6.6,根據(jù)文獻(xiàn)[4]中提出的圖像恢復(fù)算法,得到復(fù)原圖(圖9)。

圖8 像移失配20%成像結(jié)果頻譜圖Fig.8 Spectrum of the image with 20%IMM

圖9 參考算法復(fù)原結(jié)果Fig.9 Image recovered by reference algorithm

由于目前TDI CCD像移失配圖像的復(fù)原算法[4]一般用于處理微小像移失配(小于0.02%),文獻(xiàn)[4]中的算法對嚴(yán)重像移失配(20%)的圖像復(fù)原效果欠佳,出現(xiàn)了較為明顯的橫紋噪聲,試驗過程中發(fā)現(xiàn)算法此時容易表現(xiàn)出病態(tài)。對比圖9和圖7可以發(fā)現(xiàn),本文的算法在軌道末期成像這種嚴(yán)重像移失配情況下的圖像,具有更好的復(fù)原效果,且算法具有較好的魯棒性,對像移失配較嚴(yán)重時據(jù)有較明顯的優(yōu)勢。為了定量得衡量兩種算法的圖像復(fù)原效果,引入文獻(xiàn)[6]中翟亮博士提出的Q值評價方法。它由影像特征畸變(GCD)、紋理畸變(TD)和相關(guān)性損失(LC)三個“維”組成,與主觀評價有很好的吻合性。分別分析兩種算法復(fù)原的圖像(均經(jīng)過幾何校正)與像移匹配條件下成像結(jié)果進(jìn)行比較,得到吻合性參數(shù),參數(shù)值越大,表示復(fù)原效果越接近理想結(jié)果。從表2可以看出,本文的算法在三個分指標(biāo)及總體指標(biāo)Q均優(yōu)于參考算法,且處理時間僅為參考算法的10%左右。

表2 參照試驗分析結(jié)果Tab.2 Results of comparative experiment

5 結(jié) 論

本文從TDI CCD推掃成像的基本原理出發(fā),推導(dǎo)出了衛(wèi)星軌道末期像移嚴(yán)重失配下的成像模型和工程化簡化算法,并利用某空間項目TDI CCD相機(jī)電性樣機(jī)進(jìn)行了對鑒別率靶標(biāo)的推掃成像試驗及圖像復(fù)原試驗,取得了優(yōu)于參考算法的復(fù)原效果。從復(fù)原圖像可以看出噪聲對復(fù)原效果影響較大,加入適當(dāng)?shù)脑肼曇种扑惴▽⒖梢允沟帽舅惴ǜ油晟?從而可以大大降低多次迭代過程中產(chǎn)生的噪聲積累,有利于獲得更優(yōu)的復(fù)原效果。

[1] ZHOU Chunping,GONG Huili,LI Xiaojuan,et al.The Summary of MTF Restoration on Remote Sensing Image[J].Spacecraft Recovery&Remote Sensing,2009,30(1):27-32.(周春平,宮輝力,李小娟,等.遙感圖像MTF復(fù)原國內(nèi)研究現(xiàn)狀[J].航天返回與遙感,2009,30(1):27-32.)

[2] LI Qingzhen,ZHU Xiaoping,ZHOU Zhou.Research on UAV Motion-blurred Image Restoration[J].Fire Control &Command Control,2009,34(2):51-54.(李慶震,祝小平,周洲.無人機(jī)運動模糊圖像復(fù)原技術(shù)[J].火力與指揮控制,2009.34(2):51-54.)

[3] JIA Ping,ZHANG Bao,SUN Hui.Restoration of Motionblurred Aerial Image[J].Optics and Precision Engineering. 2006.14(4):697-703.(賈平,張葆,孫輝.航空成像像移模糊恢復(fù)技術(shù)[J].光學(xué)精密工程,2006.14(4):697-703.)

[4] J IAO Binliang,YAN Xuhui.Image Motion Analysis and Image Restoration Based on TDI-CCD Imaging[J].Journal of Astronautics,2008,29(2):675-678.(焦斌亮,閆旭輝.基于TDI-CCD成像像移分析及圖像復(fù)原[J].宇航學(xué)報,2008,29(2):675-678.)

[5] TONG Xiaochong,WU Yundong,WANG Hui,et al.The Eliminate Inconsistent Algorithm of Large Plane Array CCD Multiple Channel Images[J].ActaGeodaetica et Cartographica Sinica,2006,35(3):234-239.(童曉沖,吳云東,王慧,等.大面陣CCD影像多通道不一致性消除算法[J].測繪學(xué)報,2006,35(3):234-239.)

[6] ZHAI Liang,TANG Xinming,LI Lin,et al.A New Quality Assessment Index for Compressed RS Image[J].Geomatics and Information Science of Wuhan University,2007,32 (10):872-873.(翟亮,唐新明,李霖,等.一種新型的遙感影像壓縮質(zhì)量評價指標(biāo)[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2007,32(10):872-873.)

[7] ZHANG Yuye,ZHOU Xiaodong,WANG Chunxin.Space-Variant Blurred Image Restoration Based on Pixel Motion-Blur Character Segmentation[J].Optics and Precision Engineering,2009,17(5):1119-1126.(張玉葉,周曉東,王春歆.應(yīng)用像素運動模糊特征分割的空間移變降質(zhì)復(fù)原[J].光學(xué)精密工程,2009,17(5):1119-1126.

(責(zé)任編輯:叢樹平)

Imaging Model and Image Recovering Algorithms of Spaceborne Camera In the End of Orbit Life

HE Xiaojun1,2,J IN Guang1,YANG Xiubin1,2,WANGJinling1,2,QU Hongsong1
1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Sciences,Changchun 130033,China;2.Graduate University of the Chinese Academy of Sciences,Beijing 100039,China

A generic model of time-delay and integration charge-coupled device(TDI CCD)push-broom imaging (GMPI)based on energy is established,through researching the image motion mismatch(IMM)of the space camera in the end of orbit life.For the image motion mismatch being inevitable in the end of orbit life,an unconventional way of remote sensing imaging(UWRSI)is proposed based on GMPI,in order to simplify the calculation.The GMPI is simplified to a filter model of TDI CCD push-broom imaging(FMPI).Using the filter model,the image-aliasing effect(IAE)of the space camera in end of orbit life is quantitatively analyzed easily,and the algorithm and its parameters of image recovering is given out based on imaging parameters.The original images with IMM are obtained from imaging system with IMM,which is tried to recover the virtual images using the image recovery algorithm,the result shows that the image recover algorithm is effective.

end of orbit life;TDI CCD;unconventional imaging;image motion mismatch;image recovery

HEXiaojun(1983-),male,PhD candidate, majors in CCD imaging electronics of spaceborne camera.

E-mail:hexiaojun6@163.com

1001-1595(2010)06-0579-06

P236

A

國家863計劃(O93J32F090);吉林省科技支撐計劃(20090102)

2009-07-03

2010-03-25

賀小軍(1983—),男,博士生,研究方向為星載相機(jī)CCD成像電子學(xué)。