劉 明,鄧 軍,馮獻(xiàn)飛,錢峰松
(北京工業(yè)大學(xué) 信息學(xué)部 光電子技術(shù)省部共建教育部重點實驗室,北京 100124)
對空間目標(biāo)的有效探測一直以來都是天文學(xué)和航天科學(xué)領(lǐng)域的研究熱點。常見的空間目標(biāo)探測方法包括:雷達(dá)探測、可見光相機(jī)探測、紅外相機(jī)探測等。其中,采用可見光相機(jī)進(jìn)行探測具有探測精度高、技術(shù)成熟度較高和數(shù)據(jù)直觀便于使用的優(yōu)點,是天文學(xué)和航天科學(xué)領(lǐng)域進(jìn)行空間目標(biāo)探測的主要發(fā)展方向[1-2]。
目前,可見光相機(jī)探測系統(tǒng)通常選擇CCD或CMOS傳感器。CCD傳感器具有噪聲低、光譜響應(yīng)范圍寬的優(yōu)點,傳統(tǒng)上常選擇科學(xué)級CCD作為大型天文觀測設(shè)備的圖像傳感器。近年來出現(xiàn)了高靈敏度的CMOS傳感器,能夠?qū)ξ⑷醯墓庑盘柼綔y,并具有面陣信號采集、輸出圖像幀頻高的優(yōu)點,適合對空間運動目標(biāo)進(jìn)行探測。CMOS相機(jī)與CCD相機(jī)相比還具有體積小、功耗低、傳感器外圍電路簡單等優(yōu)勢[3],更適合在對體積重量敏感的航天器上應(yīng)用。但高靈敏度CMOS傳感器的噪聲較大,影響了微弱信號的檢測精度。如何基于高靈敏度CMOS傳感器進(jìn)行暗弱空間目標(biāo)檢測是亟待解決的問題[4]。
針對該問題,采用CMOS傳感器設(shè)計了高靈敏度空間點目標(biāo)探測系統(tǒng)。與傳統(tǒng)的CCD傳感器系探測統(tǒng)相比,該系統(tǒng)更適合對運動目標(biāo)進(jìn)行探測,且具有輕敏性、成本低等特點,是未來空間點目標(biāo)探測系統(tǒng)的主要發(fā)展方向。
探測系統(tǒng)由CMOS相機(jī)、算法運算單元和上位機(jī)三部分構(gòu)成。CMOS相機(jī)主要由CMOS傳感器和FPGA相機(jī)組成,F(xiàn)PGA驅(qū)動CMOS傳感器工作后輸出圖像;算法運算單元主要由FPGA和DSP兩部分組成,共同完成點目標(biāo)的提取。系統(tǒng)的組成如圖1所示。
圖1 探測系統(tǒng)的組成 Fig.1 Architecture of detecting system
系統(tǒng)工作的工作步驟如下:
(1)上位機(jī)首先將成像指令發(fā)送給CMOS相機(jī),同時將相機(jī)的姿態(tài)發(fā)送給算法運算單元;
(2)相機(jī)接收指令開始成像,并將輸出視頻給算法運算單元;
(3)算法運算單元接收圖像視頻后開始降噪處理、提取像點的質(zhì)心并進(jìn)行細(xì)分定位;
(4)算法運算單元根據(jù)相機(jī)的姿態(tài)會自動調(diào)出相應(yīng)姿態(tài)下該天區(qū)恒星的星表,將此星圖和相機(jī)視頻圖像進(jìn)行三角匹配,剔除恒星星點,提取疑似點目標(biāo);
(5)算法運算單元實時輸出測角信息到平臺和上位機(jī),平臺根據(jù)測角信息實時調(diào)整位置,使探測目標(biāo)始終處于CMOS傳感器的視場內(nèi),則證明該探測方法有效。
圖2 LUPA-4000傳感器結(jié)構(gòu) Fig.2 Structure of LUPA-4000 CMOS sensor
進(jìn)行空間探測時,探測目標(biāo)越暗,對傳感器的靈敏度要求也就越高[5]。高靈敏度傳感器像元尺寸一般在12~15 μm,可以在較低的光強(qiáng)下產(chǎn)生響應(yīng),但其抗噪性能較差。本文以CPRESS公司生產(chǎn)的一款分辨率為2 048×2 048的CMOS傳感器為例,對高靈敏度CMOS傳感器的成像特點進(jìn)行分析。此傳感器為全色大面陣CMOS傳感器,像元尺寸為12 μm,具有體積小、功耗低、抗輻照等特點被廣泛應(yīng)用,結(jié)構(gòu)如圖2所示。傳感器由像素陣列、片上驅(qū)動器、驅(qū)動選擇器、位移寄存器和模數(shù)轉(zhuǎn)換器構(gòu)成,采用SPI總線,對外為2個LVDS數(shù)據(jù)通道。當(dāng)像素陣列受到光束照射時,像素單元內(nèi)發(fā)生光電效應(yīng),將光信號轉(zhuǎn)為電信號;邏輯單元根據(jù)SPI總線的配置,進(jìn)行邏輯運算并選擇相應(yīng)的驅(qū)動器工作;模擬信號經(jīng)過模數(shù)轉(zhuǎn)換器變成數(shù)字信號,通過LVDS對外接口輸出。
當(dāng)傳感器對空間成像時,背景是深空,相機(jī)的視場角很小,可以認(rèn)為所成圖像G(x,y,t)灰度值為目標(biāo)信號S(x,y,t)和噪聲信號N(x,y,t)的疊加,如式(1):
G(x,y,)=
(1)
空間目標(biāo)探測時,一般對目標(biāo)離焦成像形成彌散斑,彌散斑星點像的能量服從二維高斯分布,故星點像的灰度S(x,y,t)值也服從高斯分布。
CMOS傳感器的噪聲由隨機(jī)噪聲和固定模式噪聲組成[6]。隨機(jī)噪聲主要由散粒噪聲、熱噪聲組成。散粒噪聲主要包括輸入光子散粒噪聲、光生電流散粒噪聲與暗電流散粒噪聲;熱噪聲是金屬氧化物半導(dǎo)體(MOS)器件固有的噪聲,由熱電子隨機(jī)運動的不確定性引起的。固定模式噪聲(FPN)是由像素結(jié)構(gòu)中的光電二極管的尺寸、摻雜濃度、生產(chǎn)過程中的污染、以及 MOS 場效應(yīng)的參數(shù),如VT、增益、溝道寬度、長度等的偏差造成的,對于單個像素,固定模式噪聲中噪點位置是固定的,噪點的灰度值與探測器的溫度和曝光時間相關(guān)[7]。
建立圖像傳感器成像模型,如公式(2):
(2)
式中,(x,y)為探測器感光的像元位置,I0為成像時積分時間內(nèi)投射到CMOS感光面上的光信號總能量,(xc,yc)為像點的真實質(zhì)心,σ為像點的斯半徑,Nr(x,y,t)為傳感器的隨機(jī)噪聲,Nf(x,y,t)為傳感器的固定模式噪聲。
傳感器在成像時固定模式噪聲對圖像質(zhì)量的影響遠(yuǎn)大于隨機(jī)噪聲[8]。固定模式噪聲只與傳感器溫度和積分時間有關(guān)。在軌CMOS相機(jī)和在軌天文望遠(yuǎn)鏡系統(tǒng)一般都有精確地溫控分系統(tǒng),保持相機(jī)的工作溫度處于設(shè)計的最佳工作溫度。根據(jù)以往的設(shè)計經(jīng)驗,CMOS相機(jī)焦面部分的溫度一般控制在8℃左右。通過存儲8 ℃時不同積分時間下的模式噪聲,成像時減去固定模式噪聲即可以得到降噪圖像G′(x,y,t),降噪后的圖像見公式(3):
(3)
將探測器置于暗盒內(nèi),放置入8 ℃的溫箱進(jìn)行試驗,待其溫度平衡后,采集積分時間為5 ms、15 ms、25 ms、35 ms、45 ms、55 ms和65 ms時傳感器的固定模式噪聲,記為N1~ N7。探測器原始圖像為A(t),經(jīng)過降噪算法后A′(t)圖像見公式(4):
(4)
采用上述方法,可以明顯降低圖像的噪聲,為質(zhì)心細(xì)分定位和點目標(biāo)的星圖匹配做了準(zhǔn)備。
常用的質(zhì)心提取算法主要分為基于邊緣和基于灰度兩大類[9]。基于邊緣的方法利用目標(biāo)的邊緣形狀信息,對灰度的分布不敏感,適合較大的目標(biāo);基于灰度的質(zhì)心提取方法利用目標(biāo)的灰度分布特征,對灰度的分布敏感,適用于較小的目標(biāo)。空間點目標(biāo)探測時,探測器所成彌散斑一般為十幾至二十幾個像元,灰度分布明顯,且基于灰度的質(zhì)心提取算法的計算過程簡便,容易實現(xiàn)[10],其計算如公式(5):
(5)
式中,(xi,yi)是組成星點彌散斑像元的坐標(biāo),gi是該像元對應(yīng)的灰度值,(x,y)是根據(jù)質(zhì)心提取算法計算的亞像元坐標(biāo)。提取星點的質(zhì)心坐標(biāo)后,可以計算出星點之間的星角距,從而進(jìn)行星圖匹配。
將恒星星表信息作為先驗知識預(yù)先存儲起來,利用恒星星表和相機(jī)的降噪圖像,基于星圖匹配方法實現(xiàn)對空間點目標(biāo)的探測[11],其流程見圖3。
圖3 星圖匹配算法流程 Fig.3 Flow of stellar map matching algorithm
當(dāng)相機(jī)對某天區(qū)進(jìn)行成像時,利用外部輸入的相機(jī)姿態(tài)作為參考值從星表中索引相應(yīng)天區(qū)一定視場范圍內(nèi)的恒星,根據(jù)質(zhì)心的細(xì)分定位計算各質(zhì)心初坐標(biāo)并分別計算索引出的恒星之間的星角距和圖像提取出的星點間的星角距,進(jìn)行三角形匹配[12-13]。如果匹配成功,利用匹配三角形計算相機(jī)的姿態(tài)矩陣,得到相機(jī)的真實姿態(tài),并利用該姿態(tài)信息再次索引星表,進(jìn)而將視場所在天區(qū)的恒星按照相機(jī)姿態(tài)重投影到像面,得到理論成像位置,比較理論位置和圖像中星點位置,剔除掉恒星,其它的星點即為疑似目標(biāo)星點。如果匹配不成功,則利用外部輸入的相機(jī)姿態(tài)直接將視場所在天區(qū)的恒星按照相機(jī)姿態(tài)重投影到像面,得到理論成像位置,同樣比較理論位置和圖像中星點位置,剔除掉恒星,其它的星點即為疑似目標(biāo)星點[14-16]。
在得到目標(biāo)像在圖像中的位置信息后,可以進(jìn)一步計算出目標(biāo)在測量坐標(biāo)系下的相對位置,一般通過角度進(jìn)行表示,稱為測角信息。如圖4所示,Z軸為相機(jī)的視軸,相機(jī)焦距為f,XOY為圖像坐標(biāo)系,XOZ為測量坐標(biāo)系,目標(biāo)像點T在圖像坐標(biāo)系下的位置為(x,y)。定義方位角α、俯仰角β如下:
(1)方位角α:定義為目標(biāo)與測量坐標(biāo)系原點連線矢量在測量坐標(biāo)系XOZ平面的投影與OZ軸的夾角,偏向+X軸為正;
(2)俯仰角β:定義為目標(biāo)與測量坐標(biāo)系原點連線矢量與其在測量坐標(biāo)系XOZ平面的投影的夾角,偏向+Y軸為正。
可以推知,
(6)
已知方位角α和俯仰角β后,實際探測系統(tǒng)可以通過姿態(tài)調(diào)整機(jī)構(gòu)(例如衛(wèi)星平臺、轉(zhuǎn)臺等)執(zhí)行閉環(huán)控制。如圖4,當(dāng)系統(tǒng)先沿Y軸旋轉(zhuǎn)α角,再沿X軸旋轉(zhuǎn)β角后,目標(biāo)T的像將位于圖像中心。
圖4 測角信息的定義 Fig.4 Definition of angular information
為了測試系統(tǒng)的星等探測和星點提取能力,在中科院興隆國家天文臺進(jìn)行了照星試驗。試驗過程中,CMOS相機(jī)通過連接工裝固定在望遠(yuǎn)鏡旁,在標(biāo)定光軸后利用望遠(yuǎn)鏡轉(zhuǎn)臺和星圖引導(dǎo)系統(tǒng)指向不同天區(qū),調(diào)整曝光時間進(jìn)行成像和測試。
圖5為相機(jī)在積分時間123.88 ms時對所指向天區(qū)拍攝的圖片,表1為試驗中拍攝的恒星的視星等和光譜型。根據(jù)測光輔助望遠(yuǎn)鏡拍攝的圖像數(shù)據(jù)處理結(jié)果得到消光系數(shù),并根據(jù)目標(biāo)的R星等和觀測時的恒星高度角,計算得到消光后的R星等。試驗中經(jīng)過大氣消光矯正后,探測相機(jī)具備探測不同光譜類型的6星等恒星的能力。
圖5 CMOS相機(jī)拍攝的星圖 Fig.5 Stellar map taken by CMOS cameras
HIP編號HD編號V星等高度角/(°)光譜型是否提取HIP894821679655.5679B7IV是HIP896041683226.1285G8.5IIIbFe-1CH0.5是HIP899621687233.2346K0III-IV是HIP912621721670.0387.5A0Va是HIP928621758654.0879.5M5III是HIP93408177196577A7V是HIP937471777242.9961.5A0Vn是HIP944811801634.4375B2.5IV是HIP955011826403.3649F3IV是HIP959471839123.0570K3II+B9.5V是HIP958531840063.7671A5Vn是HIP958531840063.7577A5Vn是HIP964411853954.4577F4V是HIP996551926964.2570A3IV-Vn是HIP999511929445.371.5G8III是HIP1004531940932.2367F8Ib是HIP1004531940932.286F8Ib是
電子星圖模擬器可利用計算機(jī)仿真生成包含恒星像點、動態(tài)點目標(biāo)像點的視頻,模擬CMOS相機(jī)工作時指定視軸拍攝得到的圖像。設(shè)定相機(jī)內(nèi)參數(shù)(圖像分辨率、視場角等)和相機(jī)視軸指向后,星圖模擬器即可索引星表并利用投影變換關(guān)系生成對應(yīng)天區(qū)的理論星圖,并在模擬星圖中加入高斯噪聲、椒鹽噪聲,設(shè)定目標(biāo)的大小和星等調(diào)整目標(biāo)與背景之間的相對運動速度,模擬空間運動的點目標(biāo)?;陔娮有菆D模擬器進(jìn)行仿真驗證的最小系統(tǒng)如圖6所示,由電子星圖模擬器、上位機(jī)和算法單元構(gòu)成。電子星圖模擬器接收上位機(jī)的姿態(tài)信息和遙控指令,輸出固定姿態(tài)的星圖視頻給算法處理單元;算法處理單接收模擬星圖后即可進(jìn)行目標(biāo)提取。
圖6 基于電子星圖模擬器仿真驗證最小系統(tǒng) Fig.6 Minimum simulation system based on electronic stellar map simulator
設(shè)置星圖模擬器輸出仿真圖像的視場角為8×8°,圖像分辨率為1 024×1 024,幀頻20 fps,目標(biāo)與背景相對運動速度為>0.002°/s,背景中添加高斯噪聲和椒鹽噪聲,同時設(shè)置信噪比大于6。為了驗證系統(tǒng)的可靠性,采用蒙特卡羅方法隨機(jī)生成了100個初始視軸指向進(jìn)行試驗。其中一次試驗的結(jié)果如圖7所示。紅框恰好框住了兩顆像點,經(jīng)數(shù)據(jù)比對,該兩像點即為預(yù)先設(shè)定的目標(biāo)像點,試驗成功。仿真測試表明,當(dāng)信噪比大于6,視軸指向誤差小于1°時,探測的正確率和目標(biāo)脫靶量誤差基本保持不變,探測的正確率為100%。
圖7 星圖模擬器輸出界面 Fig.7 Output interface of electronic star image simulator
本文根據(jù)高靈敏度CMOS傳感器特性,設(shè)計了空間點目標(biāo)探測系統(tǒng)。分析了高靈敏度CMOS傳感器的成像特點并給出了傳感器的降噪方法,并根據(jù)DPS+FPGA的嵌入式平臺處理結(jié)構(gòu),設(shè)計了星圖匹配算法。與傳統(tǒng)CCD傳感器探測系統(tǒng)相比,CMOS傳感器更適合對運動目標(biāo)進(jìn)行探測,且極大的縮小了相機(jī)的體積和功耗。經(jīng)過照星試驗表明,經(jīng)過大氣消光矯正后該系統(tǒng)可以探測到6等星,達(dá)到預(yù)期靈敏效果。采用電子星圖模擬器輸出動態(tài)模擬星圖并對點目標(biāo)的提取進(jìn)行驗證,測試結(jié)果表明:當(dāng)信噪比大于6,視軸指向誤差小于1°時,點目標(biāo)的探測正確率和目標(biāo)脫靶量誤差基本保持不變,探測的正確率為100%,可以采取此方法進(jìn)行空間點目標(biāo)探測。
[1] 李少敏,牛威,馬鑫,等.空間目標(biāo)探測技術(shù)研究[J].國防科技,2009(3):6-13.
LI SH M,NIU W,MA X,etal.. Research on space target exploration technology[J].NationalDefenseScience&Technology,2009(3):6-13.(in Chinese)
[2] 王維,董吉洪,孟慶宇.火星探測可見光遙感相機(jī)的發(fā)展現(xiàn)狀與趨勢[J].中國光學(xué),2014,7(2):208-214.
WANG W,DONG J H,MENG Q Y. Current status and developing tendency of visible spectral remote sensing camera for mars observation[J].ChineseOptics,2014,7(2):208-214.(in Chinese)
[3] BULAYEV Y. Advances in CMOS image sensors open doors to many applications[J].PhotonicsSpectra,2015,49(9):41-43.
[4] 梁斌,朱海龍,張濤,等.星敏感器技術(shù)研究現(xiàn)狀及發(fā)展趨勢[J].中國光學(xué),2016,9(1):16-29.
LIANG B,ZHU H L,ZHANG T,etal.. Research status and development tendency of star tracker technique[J].ChineseOptics,2016,9(1):16-29.(in Chinese)
[5] 楊濤,吳孫桃,郭東輝.CMOS圖像傳感器電路噪聲分析[J].廈門大學(xué)學(xué)報(自然版),2012,51(3):321-326.
YANG T,WU S T,GUO D H. Analysis of noise behavior in CMOS image sensor[J].JournalofXiamenUniversity,2012,51(3):321-326.(in Chinese)
[6] KIM D,BAE J,SONG M. A high speed CMOS image sensor with a novel digital correlated double sampling and a differential difference amplifier[J].Sensors,2015,15(3):5081-5095.
[7] 王華,曹劍中,王華偉,等.基于估計方法的CMOS圖像傳感器列固定模式噪聲校正方法[J].紅外與激光工程,2013,42(7):1928-1932.
WANG H,CAO J ZH,WANG H W,etal.. Column fixed pattern noise correction of the CMOS image sensor based on estimation method[J].Infrared&LaserEngineering,2013,42(7):1928-1932.(in Chinese)
[8] SAFFIH F,HORNSEY R. Reduced human perception of FPN noise of the pyramidal readout CMOS image sensor[J].IEEETransactionsonCircuits&SystemsforVideoTechnology,2007,17(7):924-930.
[9] 魏新國,張廣軍,江潔.星敏感器中星圖圖像的星體細(xì)分定位方法研究[J].北京航空航天大學(xué)學(xué)報,2003,29(9):812-815.
WEI X G,ZHANG G J,JIANG J. Subdivided locating method of star image for star sensor[J].JournalofBeijingUniversityofAeronautics&Astronautics,2003,29(9):812-815.(in Chinese)
[10] 連月勇,張超,謝宗特.星點亞像元細(xì)分定位精度分析[J].測繪科學(xué)技術(shù)學(xué)報,2015,32(6):578-582.
LIAN Y Y,ZHANG CH,XIE Z T. Accuracy analysis for sub-pixel location of star image[J].JournalofGeomaticsScience&Technology,2015,32(6):578-582.(in Chinese)
[11] 李振偉,張濤,孫明國.星空背景下空間目標(biāo)的快速識別與精密定位[J].光學(xué) 精密工程,2015,23(2):589-599.
LI ZH W,ZHANG T,SUN M G. Fast recognition and precise orientation of space objects in star background[J].Opt.PrecisionEng.,2015,23(2):589-599.(in Chinese)
[12] 李欣璐,楊進(jìn)華,張劉,等.用于快速星跟蹤的雙向遞推匹配識別[J].光學(xué) 精密工程,2015,23(5):1443-1449.
LI X L,YANG J H,ZHANG L,etal.. Bidirectional selective rule out matching recognition of fast star tracking[J].Opt.PrecisionEng.,2015,23(5):1443-1449.(in Chinese)
[13] 翟優(yōu),曾巒,熊偉.基于不變特征描述符實現(xiàn)星點匹配[J].光學(xué) 精密工程,2012,20(11):2531-2539.
ZHAI Y,ZENG L,XIONG W. Star matching based on invariant feature descriptor[J].Opt.PrecisionEng.,2012,20(11):2531-2539.(in Chinese)
[14] 劉太陽,王仕成,劉志國,等.基于星三角形角度的競選式星圖識別[J].光電工程,2011,38(3):29-34.
LIU T Y,WANG S CH,LIU ZH G,etal.. Voting star recognition algorithm with main star triangle angular determination[J].Opto-ElectronicEngineering,2011,38(3):29-34.(in Chinese)
[15] SCHIATTARELLA V,SPILLER D,CURTI F. A novel star identification technique robust to high presence of false objects:the multi-poles algorithm[J].AdvancesinSpaceResearch,2017,59(8):2133-2147.
[16] 江山,張銳,韓廣良,等.復(fù)雜背景灰度圖像下的多特征融合運動目標(biāo)跟蹤[J].中國光學(xué),2016,9(3):320-328.
JIANG SH,ZHANG R,HAN G L,etal.. Moving object tracking based on multi-feature fusion in the complex background gray image[J].ChineseOptics,2016,9(3):320-328.(in Chinese)