基于橢圓斑點(diǎn)序列圖像估測(cè)清晰成像的方法

馬 倩,朱興龍,尹珺瑤

(揚(yáng)州大學(xué)機(jī)械工程學(xué)院,江蘇 揚(yáng)州 225127)

1 引 言

單目視覺(jué)測(cè)量,因成本低廉、系統(tǒng)簡(jiǎn)潔所具備的特點(diǎn),國(guó)內(nèi)外學(xué)者做了大量的研究工作。文獻(xiàn)[1]提出了一種在材料動(dòng)態(tài)變形中對(duì)捕獲的圖像進(jìn)行去模糊的方法,該方法與高斯方法和Lucy-理查森方法相比,它具有好的圖像恢復(fù)效果；文獻(xiàn)[2]針對(duì)光學(xué)畸變,提出了把光學(xué)畸變當(dāng)作物體之間的幾何變形,通過(guò)幾何變換模型(GTM)建立光學(xué)系統(tǒng),采用算法來(lái)估計(jì)GTM,消除制造和裝配過(guò)程中引入的誤差；文獻(xiàn)[3]介紹了一種非接觸式測(cè)量應(yīng)力應(yīng)變的方法,在承受壓縮載荷的情況下,通過(guò)激光束反射在延性材料的橫截面上圖像的變化,通過(guò)圖像處理分析這個(gè)區(qū)域的增加量值,得到了應(yīng)力應(yīng)變圖；文獻(xiàn)[4]提出了一種基于激光測(cè)量?jī)x的單目視覺(jué)框架,通過(guò)曲線擬合確定擬合函數(shù),修正鏡頭畸變；文獻(xiàn)[5]提出了一種基于圓特征的單目視覺(jué)水下目標(biāo)物3D距離估測(cè)方法,該方法解決了因光的折射造成圖像失真的問(wèn)題,應(yīng)用解析幾何解估測(cè)水下圓特征的方位和中心坐標(biāo)；文獻(xiàn)[6]在兩種類型的美學(xué)判斷中對(duì)序列效果進(jìn)行量化,在連續(xù)判斷過(guò)程中,觀察到不同類型的偏差；文獻(xiàn)[7]提出了一種在主成分分析(PCA)域中對(duì)降級(jí)的面部圖像序列進(jìn)行去噪的有效算法,該算法具有更好對(duì)面部圖像的恢復(fù)和識(shí)別性能；文獻(xiàn)[8]研究了場(chǎng)序(FS)成像背景下的運(yùn)動(dòng)補(bǔ)償方法,解決了圖像強(qiáng)度的已知方法和改進(jìn)方法在圖像變換和強(qiáng)度校正方法中的相鄰圖像通道之間的不一致的問(wèn)題,獲得了一組379種適用于FS數(shù)據(jù)流的運(yùn)動(dòng)估計(jì)方法；文獻(xiàn)[9]提出了一種在Radon領(lǐng)域的Meteosat圖像序列編碼方法來(lái)解決不同成像器的遙感圖像序列壓縮方法的低呈現(xiàn)率問(wèn)題。測(cè)試結(jié)果表明,該方法優(yōu)于JPEG-LS標(biāo)準(zhǔn)的性能,可作為一般氣象圖像的預(yù)處理,特別適用于氣象現(xiàn)象跟蹤、分割等解壓過(guò)程后的氣象圖像序列；文獻(xiàn)[10]討論了2D+X數(shù)據(jù)量上與機(jī)器學(xué)習(xí)有關(guān)的兩個(gè)問(wèn)題。對(duì)于數(shù)據(jù)條件問(wèn)題,將二維空間卷積引入到基于一維希爾伯特的實(shí)例中,該方法對(duì)于卷積網(wǎng)絡(luò)的信息可壓縮性非常準(zhǔn)確,并且提供了三種數(shù)據(jù)庫(kù)；文獻(xiàn)[11]針對(duì)復(fù)雜的環(huán)境條件,提出了一種基于多線索融合和卡爾曼濾波的紅外小目標(biāo)跟蹤算法。實(shí)驗(yàn)結(jié)果證明,該算法可以有效提高跟蹤的魯棒性和準(zhǔn)確性；文獻(xiàn)[12]針對(duì)卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)模型中的目標(biāo)檢測(cè)問(wèn)題,提出了一種新的易于學(xué)習(xí)的方法,通過(guò)無(wú)監(jiān)督的時(shí)空分析來(lái)逐步改進(jìn)圖像序列中的對(duì)象檢測(cè)；文獻(xiàn)[13]針對(duì)單平臺(tái)觀測(cè)條件下目標(biāo)運(yùn)動(dòng)特性反演問(wèn)題,提出了基于序列圖像的目標(biāo)空間位置重建及運(yùn)動(dòng)參數(shù)估計(jì)模型和方法。采用反向追蹤策略,根據(jù)追蹤路徑與目標(biāo)發(fā)射面的交點(diǎn),采用迭代估計(jì),搜索最優(yōu)發(fā)射面,確定目標(biāo)空間位置；文獻(xiàn)[14]提出了基于紅外空域監(jiān)測(cè)探測(cè)系統(tǒng)的視頻運(yùn)動(dòng)模糊復(fù)原算法。該算法通過(guò)引入主、客觀兩套評(píng)價(jià)體系對(duì)使用的算法以及其他經(jīng)典算法作對(duì)比,評(píng)估復(fù)原結(jié)果。實(shí)驗(yàn)結(jié)果表明:復(fù)原視頻各幀的峰值信噪比和均方誤差,均優(yōu)于對(duì)比算法；文獻(xiàn)[15]提出了一種基于3-D剪切波(3DST)和廣義高斯模型的多模態(tài)醫(yī)學(xué)序列圖像融合方法來(lái)處理醫(yī)學(xué)序列圖像的局限性。通過(guò)實(shí)驗(yàn)對(duì)融合圖像的主客觀性能進(jìn)行比較,結(jié)果表明所提算法可以獲得更好的融合效果；文獻(xiàn)[16]研究了一種僅使用單目相機(jī)對(duì)非合作目標(biāo)進(jìn)行遠(yuǎn)程相對(duì)運(yùn)動(dòng)估計(jì)的相對(duì)導(dǎo)航方法。該方法利用非線性系統(tǒng)的相對(duì)“局部弱可觀測(cè)性”理論分析了單目序列圖像的可觀測(cè)性。 分析結(jié)果表明,僅依靠單目序列圖像,完全估計(jì)遠(yuǎn)程非合作目標(biāo)的相對(duì)運(yùn)動(dòng)；文獻(xiàn)[17]針對(duì)口腔環(huán)境復(fù)雜性和牙齒拓?fù)浣Y(jié)構(gòu)多樣性的問(wèn)題,提出一種基于齒科序列圖像的超分辨率重建算法,實(shí)驗(yàn)結(jié)果表明,這種算法提高了重建指標(biāo),具有較強(qiáng)的魯棒性。

采用圖像序列可以進(jìn)行運(yùn)動(dòng)物體估測(cè)、測(cè)量和三維重建、非合作目標(biāo)自主導(dǎo)航、多模態(tài)醫(yī)學(xué)圖像融合、模糊物體復(fù)原；利用衛(wèi)星圖像序列編碼技術(shù)檢測(cè)火災(zāi)區(qū)域及發(fā)生時(shí)間；通過(guò)序列圖像的深度學(xué)習(xí),可以實(shí)現(xiàn)動(dòng)作識(shí)別、人臉識(shí)別、審美判斷等。本文提出的一種基于序列斑點(diǎn)圖像估測(cè)清晰成像位置的方法,即移動(dòng)透鏡在不同位置分別獲取不同位置下的斑點(diǎn)圖像,通過(guò)圖像處理得到斑點(diǎn)圖像中心坐標(biāo)值,根據(jù)理論推導(dǎo)的解析模型,分成兩段擬合,求取交點(diǎn)位置,該交點(diǎn)位置即為成像的最清晰位置。最后通過(guò)實(shí)驗(yàn),將透鏡調(diào)整至最佳位置并獲取圖像,通過(guò)邊緣梯度檢測(cè)和像素均值檢測(cè),驗(yàn)證了該位置就是清晰成像的最佳位置。

2 透鏡成像模型

圖1 透鏡成像模型

由圖1分析可知,假設(shè)初始位置服從透鏡成像規(guī)律,則有:

(1)

若被測(cè)物體移動(dòng)dL,則激光斑點(diǎn)在被測(cè)表面上移動(dòng)后距離oo′為lp。

lp=lp0-dLtanα

(2)

由透鏡成像公式可知:

(3)

由式(3)-式(1),可得深度信息差:

(4)

將式(2)代入式(4)得:

經(jīng)整理得:

(ftanα+y)tanαdL2-(2flp0tanα-c0ytanα+lp0y)·

dL+flp02+fy2-c0lp0y=0

(5)

當(dāng)測(cè)量系統(tǒng)安裝完成后,式(5)中,lp0、α、f便固定下來(lái),深度信息的變化dL僅與成像斑點(diǎn)中心坐標(biāo)值y有關(guān),如果知道成像光點(diǎn)中心坐標(biāo)值y,那么深度信息的變化便可獲得。

因此如何準(zhǔn)確獲取物體發(fā)生位移后的斑點(diǎn)中心坐標(biāo),是本文研究的關(guān)鍵問(wèn)題。

3 透鏡最佳位置搜索方法

3.1 搜索方法的理論分析

在測(cè)量范圍內(nèi),通過(guò)直線伺服電機(jī)調(diào)整透鏡的位置,運(yùn)用相機(jī)記錄透鏡不同位置的斑點(diǎn)圖像,形成斑點(diǎn)圖像序列,該序列斑點(diǎn)圖像將形成模糊→逐漸清晰→清晰→逐漸模糊→模糊的一個(gè)過(guò)程,表現(xiàn)為序列斑點(diǎn)圖像的直徑由最大→逐漸變小→逐漸變大→最大,如圖2所示。

圖2 斑點(diǎn)序列圖像

這一過(guò)程中,清晰的圖像從落在CCD面之前,逐漸落在CCD面上,然后落在CCD面之后。在記錄的斑點(diǎn)圖像序列中有可能沒(méi)有服從透鏡成像規(guī)律的最清晰圖像,但是可以通過(guò)斑點(diǎn)圖像的直徑的變化與透鏡移動(dòng)的關(guān)系估測(cè)出服從透鏡成像規(guī)律的透鏡位置。如圖3所示,當(dāng)被測(cè)物體發(fā)生移動(dòng)后,如果清晰圖像成像在CCD面之前,實(shí)際成像在CCD面上的是模糊圖像。模糊圖像在y方向的界點(diǎn)由y1、y2、y3和y4的坐標(biāo)表征。

圖3 清晰圖像成像在CCD面之前

在這種情況下,y3和y4被淹沒(méi)在模糊圖像中,因此界點(diǎn)由y1、y2表征,其表達(dá)式如式(6)和式(7)所示:

y1=(lp+r)(v0-f-dv)/f

(6)

y2=f(lp-r)/(u0-f+dL+dv)

(7)

由式(6)和式(7),計(jì)算斑點(diǎn)成像直徑大小:

(8)

如果清晰圖像成像在CCD面之后,實(shí)際成像在CCD面上的是模糊圖像。

圖4 清晰圖像成像在CCD面之后

在這種情況下,y1和y2被淹沒(méi)在模糊圖像中,因此界點(diǎn)由y3和y4表征,其表達(dá)式如式(9)和式(10)所示:

y3=(lp-r)(v0-f-dv)/f

(9)

y4=f(lp+r)/(u0-f+dL+dv)

(10)

由式(9)和式(10),計(jì)算斑點(diǎn)圖像直徑大小:

(11)

當(dāng)上述種情況下直徑相等時(shí),此時(shí)的dv即為凸鏡位置的最佳值,該位置的成像一定落在CCD面上,即服從透鏡成像規(guī)律,證明如下:

設(shè)初始位置的物距和像距分別為u0、v0,焦距為f,服從透鏡成像規(guī)律,則有:

u0v0=f(u0+v0)

(12)

現(xiàn)在被測(cè)標(biāo)靶移動(dòng)dL,透鏡移動(dòng)dv,那么現(xiàn)在的物距和像距分別為u、v,則有:

u=u0+dL+dv

(13)

v=v0-dv

(14)

根據(jù)式(8)和式(11),當(dāng)它們相等時(shí),有:

dv2-(v0-u0-dL)dv-(v0-f)dL=0

(15)

解式(15)可得:

(16)

式(16)中,

Δ=(v0-u0-dL)2+4(v0-f)dL。

將式(16)分別代入式(13)和式(14),得:

(17)

(18)

由式(17)和式(18),可得:

(19)

將式(12)及Δ代入上式,得:

證畢。

3.2 算法實(shí)現(xiàn)

通過(guò)序列斑點(diǎn)圖像,采用最小二乘橢圓擬合法可以獲得斑點(diǎn)直徑數(shù)據(jù)點(diǎn)集D(Di,dvi)和斑點(diǎn)中心數(shù)據(jù)點(diǎn)集C(yi,dvi)(i=1,…,I0),I0為序列斑點(diǎn)圖像的個(gè)數(shù)。將斑點(diǎn)直徑數(shù)據(jù)點(diǎn)集D(Di,dvi)分為兩個(gè)子點(diǎn)集D(Di,dvi)(i=1,…,I0/2)和D2(Di,dvi)(i=I0/2,…,I0)。

針對(duì)子點(diǎn)集D(Di,dvi)(i=1,…,I0/2),采用式(8)和式(11)導(dǎo)出的解析式,采用罰函數(shù)法確定其參數(shù),具體方法如下:

(20)

同時(shí)滿足:

(21)

于是將式(20)、(21)轉(zhuǎn)化為求以下罰函數(shù)的極值問(wèn)題,即:

并規(guī)定:

這樣可以獲得:

(22)

同理可以獲得子點(diǎn)集D2(Di,dvi)(i=I0/2,…,I0)對(duì)應(yīng)的表達(dá)式如下:

(23)

求解式(22)和式(23),可得其交點(diǎn),該交點(diǎn)的dv*值即為估測(cè)的透鏡的最佳位置。

然后對(duì)斑點(diǎn)中心數(shù)據(jù)點(diǎn)集C(yi,dvi)(i=1,…,I0)進(jìn)行擬合,所采用的方法同上,得到y(tǒng)=f(dv),將dv*代入,從而得到y(tǒng)*=f(dv*),y*就是通過(guò)序列斑點(diǎn)圖像獲取透鏡最佳位置后,估測(cè)得到的清晰斑點(diǎn)圖像的中心坐標(biāo)。算法的流程圖如圖5所示。

圖5 擬合算法流程圖

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)裝置

實(shí)驗(yàn)裝置由相機(jī)、光纖激光器、透鏡、直線電機(jī)等組成,相機(jī)選用 BaumerTXG50c,分辨率為2480×1920,像素尺寸3.45 μm×3.45 μm鏡頭焦距25 mm,開(kāi)發(fā)平臺(tái)采用Vs2010 +OpenCv,如圖6所示。

4.2 理論數(shù)據(jù)驗(yàn)證

為了驗(yàn)證以上所提方法的正確性和可行性,首先從理論數(shù)據(jù)入手,根據(jù)本文提出的測(cè)量系統(tǒng),設(shè)u0=v0=2f,dL=5 mm,f=25 mm,r=5 mm,lp=25 mm,其解析解由式(2～27)得到,dv2+5dv-125=0,解之得dv*=8.9564 mm。根據(jù)光路圖可得,清晰斑點(diǎn)圖像中心坐標(biāo)值y*=16.0436 mm。

圖6 實(shí)驗(yàn)裝置

下面通過(guò)設(shè)計(jì)的算法來(lái)進(jìn)行估測(cè),看看是否與解析求得的結(jié)果一致。首先通過(guò)式(8)和式(11),當(dāng)dv從0變化到22 mm時(shí)(每次1 mm變化),獲取斑點(diǎn)圖像序列,得到斑點(diǎn)圖像直徑和斑點(diǎn)圖像中心坐標(biāo)值y,并記錄在表1中。

表1 理論斑點(diǎn)圖像序列數(shù)據(jù)點(diǎn)集

根據(jù)表1的數(shù)據(jù)點(diǎn)集,得到斑點(diǎn)圖像前段直徑和后段直徑的擬合函數(shù)如下:

(24)

(25)

它們的變化過(guò)程如圖7所示,求解式(24)和(25),得dv*=8.9568 mm,而解析值為8.9564 mm,兩者相差甚微,說(shuō)明設(shè)計(jì)的基于斑點(diǎn)圖像序列估測(cè)清晰成像位置算法從理論上是可行的和正確的。

圖7 斑點(diǎn)橢圓短徑變化曲線

再?gòu)谋?的數(shù)據(jù)點(diǎn)集,繪制斑點(diǎn)輪廓中心坐標(biāo)值y隨透鏡位置變化的曲線如圖8所示。

圖8 斑點(diǎn)輪廓中心坐標(biāo)值y變化曲線

從圖8中可以看出,中心坐標(biāo)值y與dv不符合線性關(guān)系,這里采用三次多項(xiàng)式函數(shù)擬合,其擬合的表達(dá)式如下:

y=23.396-0.938dv+0.016dv2-2e-4dv3

(26)

將dv*代入式(26),可得y=16.134 mm,而解析值為16.044 mm。兩者相差0.09 mm,搜索方法所得到的解基本逼近解析解。

4.3 斑點(diǎn)圖像序列估測(cè)實(shí)驗(yàn)

通過(guò)實(shí)驗(yàn)系統(tǒng)獲取15幅序列斑點(diǎn)圖像如圖9所示,經(jīng)灰度化處理后,通過(guò)輪廓提取,得到序列橢圓輪廓。從圖7可以看出,序列斑點(diǎn)圖像從模糊→逐漸清晰→清晰→逐漸模糊→模糊的過(guò)程,表現(xiàn)為序列斑點(diǎn)圖像的短徑由最大→逐漸變小→逐漸變大→最大,從序列斑點(diǎn)圖像獲取的數(shù)據(jù)點(diǎn)集見(jiàn)表2。

圖9 序列斑點(diǎn)圖像

表2 序列斑點(diǎn)圖像數(shù)據(jù)點(diǎn)集

根據(jù)表2的數(shù)據(jù)點(diǎn)集,得到橢圓短徑前段和后段的擬合函數(shù)如下:

(27)

(28)

求解式(27)和(28),得dv*=2.950 mm。

在圖10中,曲線①、④為表2中前半段數(shù)據(jù)的擬合曲線,,曲線②、③為表2中后半段數(shù)據(jù)的擬合曲線,兩段擬合曲線在dv*=2.9503 mm處有交點(diǎn),曲線③、④在透鏡成像過(guò)程中實(shí)際上是不會(huì)產(chǎn)生的。

圖10 斑點(diǎn)橢圓短徑變化曲線

再?gòu)谋?的數(shù)據(jù)點(diǎn)集,繪制斑點(diǎn)輪廓中心坐標(biāo)值y隨透鏡位置變化的曲線如圖11所示。從圖11中可以看出,它們之間并不是線性關(guān)系,結(jié)合前面的理論數(shù)據(jù)擬合,這里仍采用三次多項(xiàng)式擬合,其表達(dá)式如下:

y=669.063-19.203dv-0.308dv2+0.119dv3

(29)

圖11 斑點(diǎn)輪廓中心坐標(biāo)值y變化曲線

將dv*代入式(29),可得y*=612.783pixel。這樣將y*帶入前面推導(dǎo)的公式(5),可以求得深度信息的變化。

4.4 清晰成像位置結(jié)果的實(shí)驗(yàn)驗(yàn)證

4.4.1 邊緣梯度驗(yàn)證

為了驗(yàn)證上述估測(cè)結(jié)果的正確性,將透鏡移至dv*,獲取該位置的斑點(diǎn)圖像,如圖12所示。

采用圖像處理獲取該圖像的邊緣梯度值,并與15幅序列斑點(diǎn)圖像的邊緣梯度值進(jìn)行比較,見(jiàn)表3。

圖12 估測(cè)位置的斑點(diǎn)圖像

表3 15幅斑點(diǎn)圖像序列的邊緣梯度均值

當(dāng)dv*=2.9503 mm時(shí),圖像的梯度均值為130.8389。與表3中列出的梯度均值比較可以看出,該dv*=2.9503 mm位置的邊緣梯度值最大,驗(yàn)證了該位置的斑點(diǎn)圖像最清晰。

4.4.2 像素均值驗(yàn)證

采集的15幅斑點(diǎn)圖像序列的像素均值,見(jiàn)表4。

表4 15幅斑點(diǎn)圖像序列的像素均值

當(dāng)dv*=2.9503 mm時(shí),圖12的像素均值為233.39 pixel。與表4中列出的像素均值比較可以看出,該透鏡位置dv*=2.9503 mm時(shí),估測(cè)圖像的像素均值最大,驗(yàn)證了該位置的斑點(diǎn)圖像最清晰,證明了通過(guò)斑點(diǎn)圖像序列估測(cè)的清晰成像位置是服從透鏡成像規(guī)律的,驗(yàn)證了基于斑點(diǎn)圖像序列估測(cè)清晰成像位置的算法是可行的。

5 結(jié) 論

提出的一種基于斑點(diǎn)序列圖像估測(cè)清晰成像位置的方法,通過(guò)圖像處理獲取斑點(diǎn)圖像序列的橢圓短徑數(shù)據(jù)。根據(jù)理論推導(dǎo)的解析模型,采用兩段擬合,獲取擬合函數(shù),然后求取交點(diǎn)位置。通過(guò)理論證明,該交點(diǎn)位置即為估測(cè)的清晰圖像位置。通過(guò)實(shí)驗(yàn),計(jì)算了估測(cè)位置圖像的梯度均值和像素均值,并與15幅斑點(diǎn)圖像序列的梯度均值和像素均值相比較,估測(cè)位置的圖像具有最大梯度均值和最大像素均值,驗(yàn)證了基于斑點(diǎn)圖像序列估測(cè)清晰成像位置的算法是可行的。