復(fù)眼式光學(xué)成像系統(tǒng)畸變測量與校正技術(shù)研究

李 茜，聶 亮

（西安工業(yè)大學(xué) 光電工程學(xué)院，陜西 西安 710021）

引言

隨著光電成像技術(shù)的日趨成熟，大視場高分辨率光電成像系統(tǒng)可以獲取更大空間范圍、更多空間細(xì)節(jié)的目標(biāo)圖像，成為目前主要發(fā)展趨勢之一。復(fù)眼式光學(xué)成像系統(tǒng)能在保證大視場的同時獲得高分辨率圖像，逐漸取代傳統(tǒng)單孔徑光學(xué)系統(tǒng)，在國防科技領(lǐng)域如無人機(jī)、光電偵查、導(dǎo)彈制導(dǎo)等以及安防攝像機(jī)、智能機(jī)器人、微型復(fù)眼相機(jī)等民用經(jīng)濟(jì)領(lǐng)域中有著廣泛的應(yīng)用[1-2]。

本文研究的復(fù)眼式光學(xué)成像系統(tǒng)采用同心多尺度結(jié)構(gòu)，如圖1所示。同心多尺度成像系統(tǒng)主要分為同心球透鏡、微相機(jī)陣列兩部分。整個視場被微相機(jī)陣列分為多個小視場，相鄰小視場之間存在視場重疊，每個小視場對應(yīng)一個微相機(jī)，通過微相機(jī)陣列將多幅有重疊區(qū)域的小視場子圖像拼接成全視場高分辨率圖像[3-5]。

圖1 復(fù)眼式光學(xué)成像系統(tǒng)圖Fig.1 Schematic diagram of compound-eye optical imaging system

復(fù)眼式光學(xué)系統(tǒng)微相機(jī)的視頻圖像存在畸變，發(fā)生畸變的圖像無法準(zhǔn)確傳達(dá)真實(shí)場景的內(nèi)容，導(dǎo)致圖像無法拼接或者拼接錯誤。為了滿足復(fù)眼式光學(xué)成像系統(tǒng)圖像拼接高精度的要求，需要對每個微相機(jī)的畸變進(jìn)行測量和校正。2016年，上海大學(xué)Li 等人通過校準(zhǔn)捕獲圖像進(jìn)行光學(xué)系統(tǒng)畸變校正，生成畸變條紋圖形，通過投影系統(tǒng)投射畸變校正后的條紋。2018年，韓國電子與電信研究所的Hayan Kim 提出數(shù)值補(bǔ)償方法用于重建畸變大小。

本文針對復(fù)眼式光學(xué)成像系統(tǒng)畸變問題，采用可見光圖像顯示技術(shù)，生成多模動態(tài)電子畸變測量靶標(biāo)，建立多項(xiàng)式擬合算法，構(gòu)建畸變測量校正模型，采用最小二乘法獲得畸變系數(shù)，通過雙線性插值法模型對圖像進(jìn)行重建，以提升復(fù)眼系統(tǒng)中多孔徑拼接的圖像質(zhì)量。

1 畸變測量

1.1 畸變測量系統(tǒng)

畸變測量系統(tǒng)由目標(biāo)發(fā)生子系統(tǒng)、多維調(diào)整子系統(tǒng)、圖像采集子系統(tǒng)構(gòu)成，如圖2所示。測試時，目標(biāo)發(fā)生子系統(tǒng)生成9×13 陣列的十字目標(biāo)畸變測試標(biāo)準(zhǔn)靶，通過手動多維調(diào)整臺調(diào)整待測復(fù)眼式光學(xué)成像系統(tǒng)，圖像采集子系統(tǒng)接收待測系統(tǒng)輸出的畸變標(biāo)準(zhǔn)靶的圖像，如圖3所示。

圖2 復(fù)眼式光學(xué)成像系統(tǒng)畸變測量原理圖Fig.2 Schematic diagram of distortion measurement of compound-eye optical imaging system

圖3 畸變圖像Fig.3 Distorted image

1.2 畸變圖像目標(biāo)點(diǎn)提取

畸變測量校正需要利用數(shù)字圖像處理方法獲取畸變圖像中的目標(biāo)點(diǎn)信息。本文采用自適應(yīng)中值濾波、局部直方圖增強(qiáng)等方法對畸變圖像進(jìn)行預(yù)處理[6]，運(yùn)用圖像處理中閾值化分割法從圖像中提取出目標(biāo)點(diǎn)[7]。

閾值分割后的畸變二值圖像中目標(biāo)點(diǎn)成為一個個分離的連通區(qū)域，校正前首先要找到圖像中的每個目標(biāo)對象，并用同樣的數(shù)值標(biāo)記屬于同一目標(biāo)對象的所有像素，進(jìn)而提取每個目標(biāo)點(diǎn)的中心坐標(biāo)，標(biāo)記出各個連通區(qū)域[8]。

以圖4所示的待標(biāo)記連通區(qū)域?yàn)槔?，?biāo)記的算法實(shí)現(xiàn)步驟如下：

圖4 待標(biāo)記的連通區(qū)域Fig.4 Connected regions to be marked

1）定義數(shù)組N(i)。i為連通區(qū)域的標(biāo)號，為第i個連通區(qū)域的像素個數(shù)，初始化0,i=0；新分配與待標(biāo)記連通區(qū)域大小相等的內(nèi)存，初始化為0。

2）逐行逐列掃描目標(biāo)圖像，若當(dāng)前點(diǎn)像素值為1 且其左上、正上、右上、左點(diǎn)都不為1，則將N(i)值和i值分別加1。若右上點(diǎn)為1，則將右上點(diǎn)標(biāo)記賦予當(dāng)前點(diǎn)，N(i)值加1；若不為1，但正上點(diǎn)為1，則將正上點(diǎn)標(biāo)記賦予當(dāng)前點(diǎn)，N(i)值加1。同理判斷左上和左點(diǎn)，若都不為1，賦予當(dāng)前點(diǎn)i+1作為新的標(biāo)記值，以此來標(biāo)記另一區(qū)域。

該算法實(shí)現(xiàn)邊掃描邊提取，有效克服了重復(fù)標(biāo)記的問題，標(biāo)記結(jié)果如圖5所示。

圖5 標(biāo)記后的連通區(qū)域Fig.5 Connected area after marking

畸變圖像經(jīng)過標(biāo)記后，各個目標(biāo)點(diǎn)具有相同標(biāo)記，即可對目標(biāo)進(jìn)行細(xì)分定位，通過圖像質(zhì)心法提取畸變圖像目標(biāo)點(diǎn)的中心坐標(biāo)?；儓D像的中心部分視場較小可視為理想成像，以畸變圖像中心9 個目標(biāo)點(diǎn)為理想點(diǎn)坐標(biāo)，計(jì)算虛擬理想圖目標(biāo)點(diǎn)的行列間距，還原虛擬理想圖像各個目標(biāo)點(diǎn)的中心坐標(biāo)[9]。圖3 的畸變圖像和虛擬理想圖像目標(biāo)中心點(diǎn)對比如圖6所示，畸變目標(biāo)點(diǎn)用紅色星點(diǎn)表示，理想目標(biāo)點(diǎn)用藍(lán)色圓點(diǎn)表示。

圖6 畸變圖像和虛擬理想圖像目標(biāo)中心點(diǎn)對比Fig.6 Comparison of target center points between distorted image and virtual ideal image

2 基于多項(xiàng)式擬合的畸變校正算法

圖像產(chǎn)生畸變是圖像中的像素點(diǎn)位置發(fā)生偏移，利用多項(xiàng)式模型進(jìn)行畸變校正實(shí)際上是對發(fā)生畸變的圖像進(jìn)行恢復(fù)的過程。通過確定位置的目標(biāo)點(diǎn)建立兩幅圖像之間的對應(yīng)關(guān)系，利用空間變換校正圖像中的各像素位置，得到正常顯示的圖形[10-14]，基于多項(xiàng)式擬合算法的畸變校正過程如圖7所示。

圖7 多項(xiàng)式擬合校正過程示意圖Fig.7 Schematic diagram of correction process of polynomial fitting

1）建立多項(xiàng)式數(shù)學(xué)模型，提取目標(biāo)點(diǎn)，建立其像素空間位置的對應(yīng)關(guān)系。通過畸變圖像目標(biāo)點(diǎn)的中心像素坐標(biāo)(xd,yd)→(ρd,θd)和理想圖像目標(biāo)點(diǎn)的中心像素坐標(biāo)(xi,yi)→(ρi,θi)，由多個目標(biāo)點(diǎn)的坐標(biāo)關(guān)系得到一個線性方程組，如（1）式所示，利用最小二乘法求得畸變系數(shù)。

2）根據(jù)畸變系數(shù)計(jì)算出每個理想點(diǎn)對應(yīng)的畸變點(diǎn)的坐標(biāo)(ρt,θt)→(xt,yt)，即：

3）在重新排列畸變圖像像素時，像素映射關(guān)系并不是一一對應(yīng)的，因此利用雙線性插值法進(jìn)行灰度重建，將非整數(shù)位置點(diǎn)的灰度值變換為整數(shù)位置點(diǎn)的灰度值。通過公式（3）計(jì)算畸變點(diǎn)(xt,yt)對應(yīng)的灰度值g(xt,yt)，取整后即為校正圖像素點(diǎn)(xi,yi)對應(yīng)的灰度值φ(xi,yi)。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 多項(xiàng)式擬合算法分析

根據(jù)圖6 中畸變目標(biāo)點(diǎn)和理想目標(biāo)點(diǎn)位移繪制偏差分布圖如圖8所示。偏差呈對稱分布，畸變圖像的點(diǎn)陣區(qū)域越接近中心部分，理想點(diǎn)和畸變點(diǎn)偏差越小，而在圖像邊緣，尤其是4 個角上，偏差較大，達(dá)到了35 個像素，如不進(jìn)行畸變校正，邊緣特征點(diǎn)誤差較大，會降低后期圖像拼接的精度。

圖8 偏差分布圖Fig.8 Deviation distribution diagram

圖9 是多項(xiàng)式擬合進(jìn)行校正后的效果圖，紅色星點(diǎn)是畸變圖像目標(biāo)中心點(diǎn)，藍(lán)色圓點(diǎn)是采用多項(xiàng)式算法計(jì)算的擬合目標(biāo)中心點(diǎn)，可以看出畸變圖像目標(biāo)中心點(diǎn)與擬合目標(biāo)中心點(diǎn)幾乎完全重合。圖10 是針對圖3 采用多項(xiàng)式擬合算法得到的畸變校正圖，擬合之后圖像成像質(zhì)量得到提升。多項(xiàng)式擬合殘差分布如圖10所示，圖像中心區(qū)域殘差在0.1～0.3 個像素之間，圖像邊緣殘差為1 個像素以內(nèi)，擬合之后圖像成像質(zhì)量得到提升。

圖9 多項(xiàng)式擬合Fig.9 Polynomial fitting

圖10 校正后圖像Fig.10 Image after correction

3.2 校正精度評估

在多項(xiàng)式擬合的數(shù)學(xué)模型和畸變系數(shù)足夠準(zhǔn)確的前提下，畸變點(diǎn)可以映射正確的理想點(diǎn)位置，否則會產(chǎn)生殘余畸變，因此我們用殘余畸變來評價(jià)畸變校正的精度。多項(xiàng)式擬合殘差分布如圖11所示，圖像中心區(qū)域殘差在0.1～0.3 個像素之間，圖像邊緣殘差為1 個像素以內(nèi)，優(yōu)于傳統(tǒng)Tsai 算法。表1 給出了畸變校正精度評估的各項(xiàng)指標(biāo)，通過表1 中數(shù)據(jù)可看出，采用多項(xiàng)式擬合算法校正后的平均相對畸變小于0.1%。

表1 校正算法的精度評價(jià)Table 1 Comprehensive evaluation of correction algorithm

圖11 不同算法殘差分布對比圖Fig.11 Comparison diagram of residual distribution with different algorithms

3.3 校正圖像的拼接

采用多項(xiàng)式擬合算法，對復(fù)眼式光學(xué)成像系統(tǒng)（如圖12所示）的多個子孔徑圖像進(jìn)行畸變校正，校準(zhǔn)結(jié)果如圖13所示。從圖13 中兩幅圖像的校正示例可以看出，圖像的畸變得到了較好的校正。根據(jù)復(fù)眼式光學(xué)成像系統(tǒng)的特性，結(jié)合邊緣檢測，采用SIFT 算法進(jìn)行子圖像特征點(diǎn)檢測和提取，利用RANSAC 算法對提取出的特征點(diǎn)進(jìn)行精確匹配，通過加權(quán)平均算法實(shí)現(xiàn)多幅子圖像的拼接融合，完成復(fù)眼式光學(xué)成像系統(tǒng)多孔徑圖像拼接[15-16]，如圖14所示。

圖12 多孔徑原始圖像Fig.12 Original image of multi-aperture

圖13 子孔徑圖像畸變校正示例Fig.13 Example of distortion correction of sub-aperture image

圖14 畸變校正后多孔徑圖像拼接圖Fig.14 Stitched image of multi-aperture image after distortion correction

4 結(jié)論

本文針對復(fù)眼式光學(xué)成像系統(tǒng)畸變提出了基于多項(xiàng)式擬合算法的畸變測量校正方法，實(shí)驗(yàn)結(jié)果表明，校正后的平均相對畸變優(yōu)于0.1%，提高了畸變校正的精度。但是通過校正結(jié)果可以看出，圖像邊緣部分仍然存在殘余畸變，對復(fù)眼式光學(xué)成像系統(tǒng)后期圖像拼接精度仍有一定影響，因此，還需要繼續(xù)對算法進(jìn)行優(yōu)化改進(jìn)。