寇 鵬,智帥峰,程 耘,劉永祥*
(1.國(guó)防科技大學(xué) 電子科學(xué)學(xué)院,湖南 長(zhǎng)沙 410073;2.西安衛(wèi)星測(cè)控中心,陜西 西安 710600)
隨著光學(xué)成像技術(shù)的發(fā)展,特別是自適應(yīng)光學(xué)成像技術(shù)的成熟,一定程度上解決了長(zhǎng)期以來(lái)困擾空間目標(biāo)成像的大氣湍流問(wèn)題,使空間目標(biāo)高分辨率成像成為可能[1]。利用高分辨率自適應(yīng)成像,可以提取空間目標(biāo)的形狀特征,對(duì)空間目標(biāo)的實(shí)際尺寸形態(tài)進(jìn)行估計(jì),進(jìn)一步分析空間目標(biāo)及其部件結(jié)構(gòu)。然而由于自適應(yīng)成像尚未完全消除大氣湍流等因素影響,造成目標(biāo)輪廓模糊[2-3]。本文在對(duì)自適應(yīng)光學(xué)圖像進(jìn)行復(fù)原和增強(qiáng)的基礎(chǔ)上,通過(guò)一系列圖像處理方法,檢測(cè)在軌空間目標(biāo)的橢圓型部件。
自適應(yīng)圖像中存在邊緣雜亂、運(yùn)動(dòng)模糊、光照遮擋及湍流噪聲等問(wèn)題,如何高效準(zhǔn)確地檢測(cè)圖像中的橢圓目標(biāo)成為一個(gè)難題?,F(xiàn)有常用的橢圓檢測(cè)方法大致可分為3 大類:基于Hough變換(HT)、基于機(jī)器學(xué)習(xí)和基于邊緣連接的方法。
基于HT 的橢圓檢測(cè)是最常用的方法。HT橢圓檢測(cè)的基本思想是將任意邊緣像素投票到5D 參數(shù)空間。當(dāng)累加器超過(guò)投票閾值時(shí),將出現(xiàn)局部峰值,這意味著需要檢測(cè)橢圓。但由于計(jì)算量大、內(nèi)存消耗過(guò)多,直接將HT 應(yīng)用在實(shí)際中幾乎是不可行的?;贖T 的橢圓檢測(cè)方法仍存在易受圖像噪聲和復(fù)雜背景的影響,且調(diào)整模型參數(shù)較為困難等問(wèn)題[4-5]?;跈C(jī)器學(xué)習(xí)的方法具有創(chuàng)新性,但由于人工標(biāo)注昂貴,導(dǎo)致數(shù)據(jù)集獲取相對(duì)困難,致使該類方法仍然不適合直接處理自適應(yīng)光學(xué)圖像[6-8]。
近年來(lái),基于邊緣連接的檢測(cè)方法大大提高了橢圓檢測(cè)性能。這類方法的主要問(wèn)題是如何確定屬于同一橢圓的橢圓弧。ELSD(Ellipse and Line Segment Detector)方法通過(guò)檢測(cè)LS(Line Segments)和對(duì)LS 分組,充分利用了橢圓的梯度和幾何特征,可以在不調(diào)整任何參數(shù)的情況下減少對(duì)各種類型圖像的錯(cuò)檢率[9]。文獻(xiàn)[10]結(jié)合基于HT 和基于邊緣鏈接的方法的優(yōu)點(diǎn)來(lái)檢測(cè)工業(yè)圖像中的橢圓,但它們不適用于一般的橢圓檢測(cè)。文獻(xiàn)[11] 提出了一種弧段基于弧鄰接矩陣的快速橢圓檢測(cè)方法,但該方法對(duì)缺失橢圓的檢測(cè)效果不夠理想。文獻(xiàn)[12] 提出了一種基于弧支撐線段(Arc-support Line Segments,ASLS)的橢圓檢測(cè)方法,該方法能夠精確高效檢測(cè)出橢圓,尤其對(duì)有遮擋的橢圓檢測(cè)較為理想。
本文首次將ASLS 方法引入空間目標(biāo)自適應(yīng)光學(xué)圖像領(lǐng)域,針對(duì)ASLS 算法使用的Canny[13]等邊緣提取算法弧段過(guò)分割的問(wèn)題,提出了基于多尺度組合分組(Multiscale Combinatorial Grouping,MCG)的邊緣提取算法[14]。針對(duì)ASLS 算法使用優(yōu)度指標(biāo)等驗(yàn)證方法存在部分虛假橢圓的情況,綜合利用了優(yōu)度、形狀、位置、梯度和加權(quán)等幾何特性約束較好地消除了虛假橢圓。
ASLS 方法使用Sobel 或Canny 等傳統(tǒng)邊緣檢測(cè)算法提取圖像中目標(biāo)的邊緣,Sobel 算法對(duì)噪聲較多、灰度漸變的圖像處理效果較好,但對(duì)邊緣定位不是很準(zhǔn)確且對(duì)灰度的變化不敏感;Canny 方法使用兩種不同的閾值分別檢測(cè)強(qiáng)邊緣和弱邊緣,該方法會(huì)盡可能多地標(biāo)識(shí)出圖像中的邊緣,可能會(huì)將圖像噪聲標(biāo)識(shí)為邊緣。傳統(tǒng)邊緣提取算法對(duì)于自然圖像能夠取得較好的效果,但空間目標(biāo)自適應(yīng)光學(xué)圖像具有目標(biāo)暗弱、紋理復(fù)雜的特點(diǎn),與普通的自然圖像具有較大差別,使用傳統(tǒng)邊緣提取算法處理時(shí)常會(huì)出現(xiàn)自適應(yīng)能力差且易出現(xiàn)偽邊緣等問(wèn)題。MCG 是一種自下而上的圖像分層分割和目標(biāo)建議生成相統(tǒng)一的邊緣提取算法。MCG 首先開發(fā)了一種快速歸一化分割策略,然后提出了一種有效利用多尺度信息的分層分段器,最后通過(guò)有效地探索多尺度信息空間組合,形成多尺度區(qū)域組合成圖像邊緣,對(duì)空間目標(biāo)自適應(yīng)光學(xué)圖像邊緣提取具有較好的效果,算法流程如圖1 所示。
圖1 MCG 算法流程圖Fig.1 Flow chart of the MCG algorithm
MCG 算法首先使用結(jié)構(gòu)化森林算法來(lái)產(chǎn)生“可能”的邊緣圖,即圖像的像素點(diǎn)屬于某邊緣的概率。然后利于分水嶺算法[15]對(duì)邊緣圖進(jìn)行分界得到輪廓圖,通過(guò)對(duì)輪廓圖進(jìn)行加權(quán)合并得到UCM(Ultrametric Contour Map)。在UCM 里通過(guò)白色線條分離黑色的連接區(qū)域,從而獲取圖像的N個(gè)連接區(qū)域,任意兩個(gè)相鄰區(qū)域之間都有一個(gè)差異度值。將N個(gè)葉子節(jié)點(diǎn)兩兩合并,得到N-1 個(gè)非葉子節(jié)點(diǎn)從而構(gòu)造了一顆完全二叉樹,二叉樹的根部是整個(gè)圖像區(qū)域,葉子節(jié)點(diǎn)是N個(gè)區(qū)域,這樣一張UCM 圖可以得到一個(gè)層次分割。初始的N個(gè)區(qū)域和組合后的非葉子節(jié)點(diǎn)可以認(rèn)為是一個(gè)候選區(qū)域(Regional Proposal,RP),一共是2N-1 個(gè)RP。然后使用Pareto 優(yōu)化[16]得到多個(gè)自下而上的“單”、“雙”、“三”和“四”共4 種RP,篩選覆蓋率大于0.95 的RP,再進(jìn)行孔洞填充。計(jì)算所有RP 的面積、周長(zhǎng)、邊界強(qiáng)度等特征,用這些特征訓(xùn)練隨機(jī)森林回歸器來(lái)對(duì)這些RP 排名,排名最高的即邊界提取結(jié)果。圖2 為實(shí)測(cè)Lacrosse4 衛(wèi)星的自適應(yīng)光學(xué)原始圖像[17]、Sobel、Canny 和MCG 邊緣檢測(cè)圖像。由圖2 可知,MCG 邊緣提取結(jié)果較Sobel 和Canny 結(jié)果具有偽邊緣少和語(yǔ)義清晰等優(yōu)點(diǎn)。
圖2 空間目標(biāo)自適應(yīng)光學(xué)原始和邊緣圖像Fig.2 Adaptive optics original and edge images of space target
圖像中橢圓檢測(cè)指標(biāo)可使用準(zhǔn)確率(P,Precision)、召回率(R,Recall)和F值(F-measure)來(lái)評(píng)價(jià)。P為檢測(cè)出的正確橢圓個(gè)數(shù)與檢測(cè)出的橢圓總數(shù)比值。R為檢測(cè)出的正確橢圓個(gè)數(shù)與樣本內(nèi)所有正確橢圓個(gè)數(shù)的比值。P和R指標(biāo)有時(shí)候會(huì)出現(xiàn)的矛盾的情況,可用P和R加權(quán)調(diào)和平均F值來(lái)綜合評(píng)價(jià):
重疊面積可作為評(píng)價(jià)橢圓準(zhǔn)確率的重要指標(biāo),重疊面積表示檢測(cè)出的橢圓面積與真實(shí)橢圓面積的比值。但重疊面積也有局限性,如兩個(gè)重疊面積近似的橢圓可能位置不重合,因此,本文提出使用橢圓參數(shù)誤差來(lái)評(píng)價(jià)兩個(gè)橢圓的近似程度。如圖3 所示,橢圓參數(shù),即中心點(diǎn)的位置O(x,y)、方向角 φ、半長(zhǎng)軸a和半短軸b,橢圓參數(shù)誤差定義為檢測(cè)得到橢圓參數(shù)與真值差的絕對(duì)值。
圖3 橢圓參數(shù)定義Fig.3 Definition of ellipse parameters
ASLS 定義為橢圓中一小段圓弧兩個(gè)端點(diǎn)形成的“直線段”,但它不同于普通直線段,實(shí)際上是一小段弧,分布像曲線一樣變化,只是局部近似為直線段[12]?;≈谓M(Arc-support Group,ASG)是具有相似幾何特性的連續(xù)ASLS 連接形成的,每個(gè)ASG 同時(shí)被分配顯著性分?jǐn)?shù)。然后通過(guò)局部和全局方法將ASG 生成初始橢圓集,利用橢圓擬合的疊加原理和新的幾何約束,即極性約束、區(qū)域約束和自適應(yīng)內(nèi)插準(zhǔn)則,提高了算法的精度和效率。接著,根據(jù)橢圓中心、方向和半軸將5D橢圓參數(shù)空間分解為3 個(gè)子空間,并進(jìn)行三階段高效聚類。最后,通過(guò)優(yōu)度度量和橢圓幾何特性等約束剔除虛假橢圓,整個(gè)算法流程如圖4 所示。
圖4 改進(jìn)ASLS 算法流程Fig.4 Flow chart of the improved ASLS algorithm
與傳統(tǒng)弧線段不同,ASLS 具有凸性,代表著橢圓弧的橢圓中心方向即弧支撐方向。滿足連續(xù)性和凸性條件的ASLS 具有可鏈接性,連續(xù)性條件指一個(gè)ASLS 的頭部與另一個(gè)ASLS 的尾部之間的距離應(yīng)足夠近。凸性條件指可連接的ASLS 均為順時(shí)針或者逆時(shí)針。此外,為了避免在噪聲的情況下出現(xiàn)錯(cuò)誤的ASLS 鏈接,算法在當(dāng)前ASLS 終點(diǎn)附近的局部統(tǒng)計(jì)區(qū)域內(nèi)計(jì)算每個(gè)可能的下一個(gè)ASLS 的支撐點(diǎn)數(shù)量,并創(chuàng)建一個(gè)直方圖,用于選擇與當(dāng)前ASLS 連接的統(tǒng)計(jì)數(shù)最大的ASLS。
考慮到一個(gè)ASG 可能包含一條曲線的所有ASLS,或僅包含一個(gè)獨(dú)立的ASLS,因此使用閾值將顯著度分?jǐn)?shù)高的ASG 單獨(dú)擬合到橢圓上和全局搜索所有有效的ASG 兩種互補(bǔ)的方法來(lái)生成初始橢圓候選集,所有橢圓候選集應(yīng)滿足以下3 個(gè)約束:
(1)極性約束:觀察橢圓邊緣周圍的圖像區(qū)域后,橢圓的內(nèi)部始終比外圍亮或暗,其中亮表示ASLS 的極性為正,暗表示ASLS 的極性為負(fù),通常同一個(gè)橢圓的極性也應(yīng)該相同。
(2)區(qū)域約束:如果兩個(gè)ASG 配對(duì),則它們應(yīng)位于相互有效區(qū)域中,區(qū)域約束表示為:
圖5 兩個(gè)弧支撐組生成候選橢圓Fig.5 Candidate ellipse generated by two arc-support groups
(3)自適應(yīng)內(nèi)邊界約束:能夠構(gòu)成成對(duì)ASG的{r1,r2}的每個(gè)ASLS 的長(zhǎng)度應(yīng)該大于分割線段的總長(zhǎng)度,即:
這里 TSS j表示ASLS 中S j的內(nèi)邊界集(j=1,2,···,Nr1+Nr2),Nr1和Nr2分別為ASG 的r1和r2的數(shù)量。
聚類采用基于Mean Shift[18]的分層聚類方法,將5D 橢圓參數(shù)空間聚類分解為3 個(gè)低維級(jí)聯(lián)空間的聚類,即中心O(x,y)i、方向角 φi和半軸(a,b)i。若初始橢圓集為Cinit共Minit個(gè)橢圓,則
這里ci={(x,y)i,φi,(a,b)i},即橢圓中心點(diǎn)、方向角和半軸。首先通過(guò)均值漂移有限迭代對(duì)橢圓中心進(jìn)行聚類,然后再對(duì)方向角和半軸聚集,生成橢圓候選集Ec,可表示為
其中k,s,t分別表示中心,方向角和半軸個(gè)數(shù)。
在進(jìn)行橢圓候選驗(yàn)證時(shí),在ASLS 算法所使用的優(yōu)度等指標(biāo)(Gd,Goodness)的基礎(chǔ)上,結(jié)合AAMD[11](Arc Adjacency Matrix-Based Fast Ellipse Detection)思想,綜合沿用了形狀指標(biāo)、位置指標(biāo)、梯度指標(biāo)和加權(quán)指標(biāo)等約束,進(jìn)一步提高了檢測(cè)橢圓的質(zhì)量。若候選橢圓由采樣點(diǎn)集Ri,(i=1,2,···),Rv構(gòu)成,采樣點(diǎn)的采樣方法是從擬合橢圓的極坐標(biāo)出發(fā),如果橢圓周長(zhǎng)小于360,那么采樣點(diǎn)個(gè)數(shù)就是周長(zhǎng),否則就采360 個(gè)點(diǎn),即
φ為相對(duì)于橢圓長(zhǎng)軸正向的角度,可以得到
其中O為橢圓中心位置,Θ (φ)表示如下:
各項(xiàng)指標(biāo)的計(jì)算公式如下:
(1)優(yōu)度指標(biāo)Gd。反映ASLS 數(shù)量和角度覆蓋率,可用下面公式計(jì)算:
(2)形狀指標(biāo)HI。形狀指標(biāo)主要用于約束橢圓的幾何形狀,避免過(guò)小或過(guò)扁的橢圓。公式如下:
φarc是 一個(gè)閾值,一般取 π/3。約束主要由多√邊形逼近橢圓的斜向像素距離最小值應(yīng)大于推導(dǎo)得到,并根據(jù)實(shí)驗(yàn)結(jié)果調(diào)整了約束強(qiáng)弱程度。
(3)位置指標(biāo)PI。如果第i個(gè)采樣點(diǎn)Ri落在邊緣點(diǎn)的一個(gè)8 鄰域上,則認(rèn)為其滿足位置指標(biāo),對(duì)應(yīng)指標(biāo)值PIi=1,否則PIi=0。
(4)梯度指標(biāo)VI。梯度指標(biāo)用于驗(yàn)證當(dāng)前采樣點(diǎn)估計(jì)梯度Iξi和理論梯度gξi的差異,估計(jì)梯度可由有界正切誤差估計(jì)[19]得出,理論梯度為,則梯度指標(biāo)值為
其中 ξi為第i個(gè) 采樣點(diǎn)Ri的離心角,Θ(?)的定義見式(8),θ
(5)加權(quán)指標(biāo)。采樣點(diǎn)是在極坐標(biāo)下的角度均勻采樣,從而導(dǎo)致采樣點(diǎn)在圖像上分布并不均勻,長(zhǎng)軸兩端點(diǎn)多,短軸兩端點(diǎn)少,由此可以對(duì)每個(gè)采樣點(diǎn)進(jìn)行加權(quán)以提高橢圓驗(yàn)證精度。其中,每個(gè)采樣點(diǎn)的加權(quán)指標(biāo)為AIi=A(ξi),則
綜合上述指標(biāo),可以用綜合驗(yàn)證置信度Pe公式
得到所有候選橢圓的置信度,再通過(guò)門限去除置信度較低的橢圓。
實(shí)驗(yàn)使用空間目標(biāo)的仿真和實(shí)測(cè)圖像,驗(yàn)證了本文算法對(duì)空間目標(biāo)自適應(yīng)光學(xué)圖像中橢圓部件檢測(cè)的有效性和準(zhǔn)確性。
實(shí)驗(yàn)的目的是驗(yàn)證不同邊緣提取算法對(duì)不同類型光學(xué)圖像邊緣提取的效果。實(shí)驗(yàn)首先對(duì)自適應(yīng)光學(xué)圖像進(jìn)行RL(Richardson-Lucy) 方法復(fù)原[20],該方法具有不需要點(diǎn)擴(kuò)散函數(shù)尺寸先驗(yàn)信息的優(yōu)點(diǎn)和湍流退化模式的特點(diǎn)。然后分別采用Sobel、Prewitt、Canny 和MCG 算法提取復(fù)原后的圖像邊緣,邊緣提取部分結(jié)果見圖6。
圖6(a)為原始目標(biāo)自適應(yīng)光學(xué)圖像,圖6(b)RL 為圖像復(fù)原后的空間目標(biāo)自適應(yīng)光學(xué)圖像,圖6(c)~6(d)為實(shí)測(cè)Lacrosse4 衛(wèi)星的光學(xué)圖像[17],圖6(e)為實(shí)測(cè)Lacrosse2 衛(wèi)星的光學(xué)圖像[21],圖6(f)為實(shí)測(cè)哈勃太空望遠(yuǎn)鏡光學(xué)圖像[22],圖6(g)為實(shí)測(cè)國(guó)際空間站光學(xué)圖像[23]。相比其它幾種邊緣提取算法,MCG 邊緣提取算法邊緣輪廓清晰,語(yǔ)義信息明確,且不容易受噪聲干擾的優(yōu)點(diǎn)。
實(shí)驗(yàn)利用ELSDc[24]、AAMD、ASLS 和本文算法分別檢測(cè)復(fù)原后的空間目標(biāo)自適應(yīng)光學(xué)圖像中橢圓部件的個(gè)數(shù)和圖像位置。算法實(shí)驗(yàn)平臺(tái)主要參數(shù)為:Windows10 操作系統(tǒng),PC 機(jī)(I7-8750H @2.2 GHz,16 GB RAM),Matlab2016a 環(huán)境運(yùn)行。為了檢測(cè)出真實(shí)橢圓尤其是被遮擋的不完整橢圓,同時(shí)盡量減少虛假橢圓,實(shí)驗(yàn)中AAMD 算法參數(shù)設(shè)置為:曲線彎曲度為 π/3(該值越小,檢測(cè)出的結(jié)果越像是一個(gè)圓),目標(biāo)完整度比例為0.1(檢測(cè)弧段與整個(gè)橢圓的最小比例)。ASLS 算法和本文算法參數(shù)設(shè)置為:完整度30°(檢測(cè)弧段與整個(gè)橢圓的最小比例),邊緣點(diǎn)數(shù)量比例系數(shù)0.2(檢測(cè)點(diǎn)在整個(gè)橢圓的最小比例),無(wú)極性設(shè)置(極性正表示內(nèi)白外黑,極性負(fù)表示內(nèi)黑外白,無(wú)極性設(shè)置表示極性正負(fù)均檢測(cè)),典型橢圓檢測(cè)結(jié)果如圖7(彩圖見期刊電子版)所示。圖中紅色圓圈為檢測(cè)出的置信度最高的若干個(gè)橢圓,橢圓參數(shù)誤差結(jié)果見表1。
圖7 空間目標(biāo)自適應(yīng)光學(xué)復(fù)原圖像橢圓檢測(cè)結(jié)果Fig.7 Ellipse detection results of adaptive optics restored images of partial space targets
表1 仿真圖像橢圓參數(shù)平均誤差Tab.1 Average error of linear structure components for test
ELSDc 算法檢測(cè)平均誤差非常高;對(duì)應(yīng)仿真圖像AAMD 和ASLS 算法存在一定的檢測(cè)誤差,尤其對(duì)實(shí)測(cè)圖像檢測(cè)誤差仍然較高;除方向角外,本文算法檢測(cè)的平均誤差最小。
表2 給出了整個(gè)數(shù)據(jù)集算法的檢測(cè)指標(biāo)及平均耗時(shí)。在重疊面積門限為0.65 時(shí),本文算法具有最高的準(zhǔn)確率、召回率、F 值指標(biāo)。圖8 給出了不同重疊面積門限條件下各種算法的檢測(cè)指標(biāo),本文算法均取得了最好的橢圓檢測(cè)性能。本文算法的候選橢圓綜合指標(biāo)約束驗(yàn)證,能夠有效剔除過(guò)扁及過(guò)小橢圓,因此準(zhǔn)確率最高;同時(shí)MCG 邊緣檢測(cè)算法,能有效避免邊緣過(guò)分割和語(yǔ)義信息不足的問(wèn)題,因而召回率最高。但本文算法平均耗時(shí)最高,原因是MCG 邊緣檢測(cè)較經(jīng)典的邊緣檢測(cè)算法步驟多速度慢,且對(duì)候選橢圓的綜合指標(biāo)驗(yàn)證計(jì)算時(shí)間相對(duì)較長(zhǎng)。相比于傳統(tǒng)橢圓檢測(cè)算法,本文算法更適合在時(shí)效性要求不高的事后分析時(shí)應(yīng)用。
表2 算法檢測(cè)指標(biāo)及平均耗時(shí)Tab.2 Average consumed times of those algorithms and the error detection rates
圖8 重疊面積門限與檢測(cè)指標(biāo)關(guān)系Fig.8 Relationship between overlapping area threshold and detection index
根據(jù)自適應(yīng)光學(xué)圖像紋理結(jié)構(gòu)復(fù)雜及邊緣模糊的特點(diǎn),在對(duì)自適應(yīng)光學(xué)圖像進(jìn)行圖像復(fù)原的基礎(chǔ)上,提出了基于改進(jìn)ASLS 算法的空間目標(biāo)橢圓部件的檢測(cè)方法。不同于經(jīng)典ASLS 方法使用傳統(tǒng)算法提取邊緣輪廓,該方法使用多尺度語(yǔ)義信息MCG 提取邊緣輪廓,解決了傳統(tǒng)邊緣提取算法弧段過(guò)分割的問(wèn)題。同時(shí)針對(duì)ASLS 算法使用優(yōu)度指標(biāo)等驗(yàn)證方法存在部分虛假橢圓的情況,綜合利用了多種幾何指標(biāo)約束有效地消除了虛假橢圓。實(shí)驗(yàn)結(jié)果證明:橢圓檢測(cè)中心點(diǎn)誤差優(yōu)于3 像素;半長(zhǎng)軸誤差優(yōu)于4 像素;方向角誤差優(yōu)于3°;在重疊面積門限為0.65 時(shí),本文算法的準(zhǔn)確率為85.7%、召回率為93.3%和F 值為0.893,優(yōu)于傳統(tǒng)橢圓檢測(cè)算法。本文算法在檢測(cè)像素過(guò)少的小橢圓存在漏檢現(xiàn)象,尤其是存在多個(gè)橢圓時(shí)的小橢圓檢測(cè)效果較差,對(duì)過(guò)扁橢圓的檢測(cè)效果也不夠理想,同時(shí)本文算法時(shí)效性較差,后續(xù)將研究耗時(shí)較短且檢測(cè)覆蓋范圍更全面的橢圓檢測(cè)算法。
致謝:感謝北京航空航天大學(xué)圖像處理中心李兆璽博士對(duì)本文工作的指導(dǎo)與支持。