基于兩臺(tái)顯微相機(jī)主動(dòng)運(yùn)動(dòng)的微球孔姿態(tài)高精度測(cè)量方法

曲吉旺 徐 德 張大朋 許家忠

自20 世紀(jì)80 年代至今,微機(jī)電系統(tǒng)得到了飛速的發(fā)展,微裝配與微操作技術(shù)也取得了較大的進(jìn)步.目前,微裝配仍然是一個(gè)熱點(diǎn)領(lǐng)域,如何將不同形狀不同材質(zhì)的微小型零件進(jìn)行高精密裝配,仍然存在很多需要解決的問題[1].其中,微器件姿態(tài)的測(cè)量在微裝配中是一個(gè)非常重要的方面,是后續(xù)的運(yùn)動(dòng)控制、姿態(tài)調(diào)整的基礎(chǔ),受到研究人員的普遍重視.目前,已有大量關(guān)于姿態(tài)測(cè)量的文獻(xiàn).例如,文獻(xiàn)[2]利用立體視覺測(cè)量了超音速風(fēng)洞中滾動(dòng)目標(biāo)的位姿,通過刪除不匹配點(diǎn),提高了測(cè)量精度.文獻(xiàn)[3]提出了一種利用兩臺(tái)機(jī)器人的機(jī)載相機(jī)估計(jì)目標(biāo)位置的方法,利用兩臺(tái)相機(jī)圖像中目標(biāo)的匹配特征點(diǎn)計(jì)算目標(biāo)的3D 位置,相當(dāng)于立體視覺.針對(duì)非基準(zhǔn)復(fù)雜零件的位姿測(cè)量問題,文獻(xiàn)[4]中提出了一種基于迭代優(yōu)化的視覺測(cè)量方法,不需要特征提取,具有較高的測(cè)量精度,但每次測(cè)量耗時(shí)近20 s.文獻(xiàn)[5]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的端到端的位姿測(cè)量方法,實(shí)現(xiàn)了棋盤格目標(biāo)的位姿測(cè)量.文獻(xiàn)[6]設(shè)計(jì)了基于三軸陀螺儀、三軸加速度計(jì)和三軸磁強(qiáng)計(jì)的姿態(tài)測(cè)量系統(tǒng),通過多傳感器數(shù)據(jù)融合求取無人機(jī)姿態(tài),并將加速度計(jì)信任度引入基于四元數(shù)的互補(bǔ)濾波算法,增加了無人機(jī)姿態(tài)測(cè)量的精度.文獻(xiàn)[7]提出了一種融合RGB 和深度傳感器信息的姿態(tài)估計(jì)方法,提高了姿態(tài)估計(jì)對(duì)尺寸、光照和噪聲的魯棒性,提高了復(fù)雜場(chǎng)景中方形基準(zhǔn)標(biāo)記的姿態(tài)估計(jì)精度.文獻(xiàn)[8]中提出了一種基于單位四元數(shù)的立體視覺初始姿態(tài)估計(jì)方法,并對(duì)姿態(tài)估計(jì)精度進(jìn)行了預(yù)測(cè)和分析.通過對(duì)機(jī)器人姿態(tài)的旋轉(zhuǎn)和平移的相關(guān)分析,分離出旋轉(zhuǎn)協(xié)方差和平移協(xié)方差,有效地實(shí)現(xiàn)協(xié)方差估計(jì),實(shí)現(xiàn)了姿態(tài)的精確估計(jì).文獻(xiàn)[9]提出了一種基于3D 激光雷達(dá)和立體視覺信息融合的非合作目標(biāo)姿態(tài)測(cè)量及運(yùn)動(dòng)估計(jì)方法,實(shí)現(xiàn)了對(duì)空間非合作目標(biāo)姿態(tài)的高精度測(cè)量.

上述姿態(tài)估計(jì)皆可實(shí)現(xiàn)對(duì)目標(biāo)姿態(tài)的準(zhǔn)確測(cè)量,但皆屬于宏觀測(cè)量,且其中有些測(cè)量方法需要多種傳感器,通過信息融合提高姿態(tài)測(cè)量的精度.在微裝配中,由于顯微視覺視野小景深小,操作空間小,不同的顯微相機(jī)幾乎沒有公共視野,故上述姿態(tài)測(cè)量方法不適用于微裝配.為此,研究人員提出了一些基于顯微視覺的目標(biāo)姿態(tài)測(cè)量的方法.文獻(xiàn)[10]提出了一種基于Hough 變換和模板匹配的目標(biāo)定位和姿態(tài)檢測(cè)方法.該方法能精確定位目標(biāo)并獲得其傾斜角度.文獻(xiàn)[11]提出了一種基于單目顯微視覺系統(tǒng)的平面位姿估計(jì)算法,用于基于視覺引導(dǎo)下的微零件加工.利用基于PnP (Perspectiven-point)算法的線性方法估計(jì)姿態(tài)的初始值,然后利用正交迭代算法對(duì)姿態(tài)進(jìn)行優(yōu)化,可保證姿態(tài)矩陣的單位正交性.文獻(xiàn)[12]提出了基于雙目視覺檢測(cè)針狀目標(biāo)姿態(tài)的方法,提取針狀目標(biāo)特征點(diǎn),標(biāo)定空間三維坐標(biāo)系與二維圖像之間的轉(zhuǎn)換矩陣,得到目標(biāo)中軸線上一系列點(diǎn)的三維坐標(biāo),采用最小二乘法擬合直線,得出針狀目標(biāo)的姿態(tài)向量,測(cè)量誤差為±0.3°.文獻(xiàn)[13]提出了一種基于三路顯微視覺系統(tǒng)的微小零件在線檢測(cè)與裝配策略,提出了基于圖像特征的微零件相對(duì)位姿測(cè)量算法,實(shí)現(xiàn)了復(fù)雜的微小零件裝配.文獻(xiàn)[14]提出了一種利用單臺(tái)顯微相機(jī)測(cè)量凸臺(tái)零件姿態(tài)的方法,利用凸臺(tái)的陰影估計(jì)零件的姿態(tài),方向向量均方根誤差約0.2°.文獻(xiàn)[15]提出了一種基于顯微視覺的微膠接自動(dòng)裝配方法,利用點(diǎn)特征測(cè)量?jī)蓚€(gè)器件之間的相對(duì)位置偏差,采用視覺伺服完成微裝配任務(wù).文獻(xiàn)[16]提出了一種基于支持向量機(jī)的微器件識(shí)別方法,利用Broyden 方法在線估計(jì)表征位置偏差的圖像雅可比矩陣,實(shí)現(xiàn)了基于顯微視覺的微器件識(shí)別、定位和抓取.文獻(xiàn)[17]提出了一種基于輪廓基元的微器件體征提取方法,基于模板匹配實(shí)現(xiàn)輪廓基元與微器件圖像的對(duì)準(zhǔn),從而準(zhǔn)確提取出圖像特征.對(duì)于3 臺(tái)顯微相機(jī)構(gòu)成的視覺測(cè)量系統(tǒng),基于上述提取的點(diǎn)和線特征,實(shí)現(xiàn)了微器件的高精度姿態(tài)測(cè)量,其中位置均方根誤差為3 μm,方向均方根誤差為0.05°.

但上述方法無法實(shí)現(xiàn)帶孔球類目標(biāo)的姿態(tài)測(cè)量.在一些球形零件的微裝配中,對(duì)微零件三維姿態(tài)的精確測(cè)量是完成裝配任務(wù)的關(guān)鍵.文獻(xiàn)[18]提出了一種基于單目顯微視覺測(cè)量微球孔姿態(tài)的方法,通過相機(jī)的主動(dòng)運(yùn)動(dòng)完成對(duì)微球球心與微孔孔心的聚焦,獲得球心與孔心的圖像坐標(biāo)并轉(zhuǎn)換到微管操作手所在的運(yùn)動(dòng)坐標(biāo)系中,計(jì)算出微球孔姿態(tài)向量.此方法并未對(duì)聚焦軸方向的運(yùn)動(dòng)進(jìn)行標(biāo)定,相機(jī)沿聚焦軸運(yùn)動(dòng)后特征點(diǎn)的圖像坐標(biāo)存在誤差,導(dǎo)致姿態(tài)測(cè)量不夠精確.針對(duì)顯微視覺景深小的特點(diǎn),文獻(xiàn)[19]中提出了一種基于雙目顯微視覺的微球孔姿態(tài)測(cè)量方法,通過顯微相機(jī)主動(dòng)運(yùn)動(dòng)測(cè)量出微球球心到微孔的向量所在平面的法向量,利用兩臺(tái)顯微相機(jī)測(cè)量出的兩個(gè)平面的法向量叉乘,獲得微球球心到微孔的姿態(tài)向量,測(cè)量誤差為0.7°,精度有待進(jìn)一步提高.文獻(xiàn)[20]中提出了一種基于單目顯微視覺的微球孔姿態(tài)測(cè)量方法,通過對(duì)微球與微孔的精確定位,計(jì)算出微球心與微孔心的空間相對(duì)位置關(guān)系,并由此計(jì)算出微球孔姿態(tài),測(cè)量精度為0.3°.此方法中顯微相機(jī)豎直安裝,位于微球調(diào)整平臺(tái)的正上方,由于顯微視覺景深小視野小的特點(diǎn),相機(jī)距離微球較近,限制了操作空間的高度,且微球零件與其他零件配合安裝時(shí),很容易遮擋視野,不利于裝配操作.

在慣性約束核聚變的微靶制靶過程中,需要對(duì)微球和微管進(jìn)行高精度對(duì)接.其中,微球孔的高精度姿態(tài)測(cè)量是影響裝配質(zhì)量的核心問題,如何進(jìn)一步提高微球孔姿態(tài)的測(cè)量精度是亟待解決的難題.針對(duì)上述微球孔姿態(tài)測(cè)量方法的不足,本文在傾斜雙目顯微視覺引導(dǎo)下,通過相機(jī)的主動(dòng)運(yùn)動(dòng),實(shí)現(xiàn)了微球孔姿態(tài)的高精度測(cè)量.本文的主要貢獻(xiàn)包括:1)通過相機(jī)的主動(dòng)運(yùn)動(dòng),分別將微球中心和微孔中心的圖像調(diào)整到光軸中心點(diǎn)的位置,利用高精度的主動(dòng)運(yùn)動(dòng)量計(jì)算微球孔的姿態(tài).2)對(duì)相機(jī)運(yùn)動(dòng)軸進(jìn)行了標(biāo)定,考慮了相機(jī)運(yùn)動(dòng)軸與相機(jī)光軸不平行引起的運(yùn)動(dòng)量,并對(duì)用于姿態(tài)計(jì)算的相機(jī)運(yùn)動(dòng)量進(jìn)行了修正.

本文內(nèi)容安排如下:第1 節(jié)介紹系統(tǒng)構(gòu)成以及系統(tǒng)標(biāo)定方法,包括相機(jī)運(yùn)動(dòng)與圖像特征變化之間的圖像雅可比矩陣標(biāo)定、相機(jī)光軸與聚焦運(yùn)動(dòng)軸的標(biāo)定、相機(jī)運(yùn)動(dòng)坐標(biāo)系與微球調(diào)整平臺(tái)坐標(biāo)系間的角度轉(zhuǎn)換矩陣的標(biāo)定、相機(jī)光軸中心點(diǎn)的標(biāo)定.第2 節(jié)給出了微球微孔的精確定位方法,在圖像空間聚焦以及定位微球和微孔,得到其圖像坐標(biāo).第3節(jié)為微球孔的姿態(tài)測(cè)量方法,介紹了測(cè)量的原理與步驟.第4 節(jié)為實(shí)驗(yàn)與結(jié)果,進(jìn)行了微球孔測(cè)量實(shí)驗(yàn),并與已有的方法進(jìn)行了對(duì)比.第5 節(jié)為結(jié)論,對(duì)全文進(jìn)行了總結(jié).

1 系統(tǒng)構(gòu)成及標(biāo)定

1.1 帶孔微球零件

目標(biāo)零件為直徑500 μm 的微球,球上微孔直徑為8 μm.微球示意圖如圖1 所示.球心孔心連線與微孔平面法向量一致,微球微孔尺寸過小,常規(guī)視覺因分辨率不足無法對(duì)其進(jìn)行有效成像并測(cè)量.此外,微球微孔尺寸相差數(shù)十倍,微孔與微球邊緣無法處于同一視野之內(nèi),需使用變倍顯微相機(jī)對(duì)其進(jìn)行跨尺度觀測(cè)并測(cè)量.

圖1 微球示意圖Fig.1 The miscrosphere

1.2 平臺(tái)系統(tǒng)構(gòu)成

實(shí)驗(yàn)平臺(tái)示意圖如圖2 所示.該平臺(tái)包含兩路傾斜正交的顯微視覺,一臺(tái)微球調(diào)整平臺(tái).顯微視覺由顯微相機(jī)、運(yùn)動(dòng)機(jī)構(gòu)構(gòu)成,顯微相機(jī)的鏡頭可改變放大倍率,運(yùn)動(dòng)機(jī)構(gòu)包含X、Y、Z方向及聚焦軸方向四自由度的運(yùn)動(dòng)軸.微球調(diào)整平臺(tái)為可繞X軸與Y軸旋轉(zhuǎn)的兩自由度運(yùn)動(dòng)機(jī)構(gòu).該平臺(tái)的坐標(biāo)系如圖3 所示.

圖2 實(shí)驗(yàn)平臺(tái)示意圖Fig.2 Experiment platform

圖3 平臺(tái)坐標(biāo)系示意圖Fig.3 Coordinates of experiment platform

圖3 中,{C1}表示顯微相機(jī)1 的相機(jī)坐標(biāo)系,Xc1對(duì)應(yīng)于其圖像坐標(biāo)水平軸方向,Yc1對(duì)應(yīng)于其圖像坐標(biāo)豎直軸方向,Zc1為其光軸方向.{C2}表示顯微相機(jī)2 的相機(jī)坐標(biāo)系,Xc2對(duì)應(yīng)于其圖像坐標(biāo)水平軸方向,Yc2對(duì)應(yīng)于其圖像坐標(biāo)豎直軸方向,Zc2為其光軸方向.{M1}表示顯微相機(jī)1 運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系,{M2}表示顯微相機(jī)2 運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系,{W}表示微球調(diào)整平臺(tái)坐標(biāo)系.三個(gè)坐標(biāo)系{M1}、{M2}和{W}的X軸、Y軸、Z軸分別相互平行.

1.3 系統(tǒng)標(biāo)定

1.3.1 相機(jī)運(yùn)動(dòng)與圖像變化關(guān)系的標(biāo)定

因微孔尺寸遠(yuǎn)遠(yuǎn)小于微球尺寸,觀測(cè)微孔與觀測(cè)微球時(shí)的圖像分辨率具有很大差異,需要在不同倍率下觀測(cè).因此,需要在不同倍率下對(duì)相機(jī)進(jìn)行標(biāo)定.此處以顯微相機(jī)1 初始倍率的標(biāo)定為例進(jìn)行說明.

首先完成顯微相機(jī)1 對(duì)標(biāo)定物的定位及聚焦,協(xié)調(diào)運(yùn)動(dòng)顯微相機(jī)1 運(yùn)動(dòng)機(jī)構(gòu)的Xm1,Ym1,Zm1軸,使標(biāo)定物始終處于清晰平面內(nèi),記錄三軸運(yùn)動(dòng)量 (Δx1,Δy1,Δz1),記錄特征點(diǎn)的圖像變化量(Δu1,Δv1).以(Δx1,Δy1,Δz1,Δu1,Δv1)作為一組數(shù)據(jù),重復(fù)n次,得到n組數(shù)據(jù),獲得式(1).

式中,J1s是初始倍率下顯微相機(jī)1 運(yùn)動(dòng)量到圖像特征變化的圖像雅可比矩陣,Y是n次運(yùn)動(dòng)形成的運(yùn)動(dòng)量矩陣,U是n次運(yùn)動(dòng)形成的特征點(diǎn)圖像變化量矩陣.利用最小二乘法,可以求得式(1)中的雅可比矩陣J1s,見式(2).

大倍率下顯微相機(jī)1 運(yùn)動(dòng)量到圖像特征變化的圖像雅可比矩陣J1b的標(biāo)定方法與初始倍率下的圖像雅可比矩陣J1s的標(biāo)定方法相同.顯微相機(jī)2 初始倍率與大倍率下的由相機(jī)運(yùn)動(dòng)量到圖像特征變化的圖像雅可比矩陣J2s,J2b的標(biāo)定方法與顯微相機(jī)1 的標(biāo)定方法相同.

1.3.2 相機(jī)光軸及聚焦運(yùn)動(dòng)軸的標(biāo)定

在顯微相機(jī)1 初始倍率下,對(duì)標(biāo)定物進(jìn)行聚焦,在標(biāo)定物保持清晰的情況下,兩次以不同方向?qū)︼@微相機(jī)1 的Xm1,Ym1,Zm1軸進(jìn)行運(yùn)動(dòng),記錄其移動(dòng)量分別為(Δx11,Δy11,Δz11)和(Δx12,Δy12,Δz12).光軸單位方向向量的計(jì)算如式(3)所示,光軸單位方向向量與Ym1軸夾角的計(jì)算如式(4)所示.

式中,n1s為初始倍率下顯微相機(jī)1 光軸單位方向向量,v1=[Δx11,Δy11,Δz11]T,v2=[Δx12,Δy12,Δz12]T為n1s與Ym1軸的夾角.顯微相機(jī)1 大倍率下的光軸單位方向向量n1b的標(biāo)定方法與其在初始倍率下光軸單位方向向量的標(biāo)定方法相同.顯微相機(jī)2 初始倍率與大倍率下光軸單位方向向量n2s和n2b的標(biāo)定方法與顯微相機(jī)1 的標(biāo)定方法相同.n2s與Xm1軸的夾角αc2見式(5).

相機(jī)聚焦運(yùn)動(dòng)軸的標(biāo)定在初始倍率下進(jìn)行,顯微相機(jī)可以運(yùn)動(dòng)較大距離,因而標(biāo)定結(jié)果具有較高精度.初始倍率下移動(dòng)顯微相機(jī)1 對(duì)標(biāo)定物進(jìn)行定位及聚焦,使相機(jī)聚焦運(yùn)動(dòng)軸移動(dòng)合適距離,通過Xm1,Ym1,Zm1三個(gè)運(yùn)動(dòng)軸的協(xié)調(diào)運(yùn)動(dòng)使相機(jī)沿相機(jī)光軸方向運(yùn)動(dòng),對(duì)標(biāo)定物重新聚焦,記錄三個(gè)運(yùn)動(dòng)軸的運(yùn)動(dòng)量 (Δx1,Δy1,Δz1),并記錄相機(jī)運(yùn)動(dòng)前后標(biāo)定物特征點(diǎn)的圖像偏差 (Δu1,Δv1).根據(jù)圖像偏差 (Δu1,Δv1),利用式(6)計(jì)算出對(duì)應(yīng)的位移向量.利用位移矢量相加得到聚焦運(yùn)動(dòng)軸的方向,見式(7).

式中,n1s=[Δx1,Δy1,Δz1]T為光軸方向向量,Vm為相機(jī)聚焦軸的運(yùn)動(dòng)向量.將Vm歸一化后,得到顯微相機(jī)1 聚焦運(yùn)動(dòng)軸的單位方向向量Vm1.顯微相機(jī)2 初始倍率下的聚焦運(yùn)動(dòng)單位方向向量Vm2的標(biāo)定方法與顯微相機(jī)1 的標(biāo)定方法相同.

1.3.3 運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系與微球調(diào)整平臺(tái)坐標(biāo)系之間的角度轉(zhuǎn)換關(guān)系標(biāo)定

由于微球調(diào)整平臺(tái)與兩臺(tái)顯微相機(jī)運(yùn)動(dòng)機(jī)構(gòu)之間存在安裝誤差,其坐標(biāo)軸不完全平行.微球孔姿態(tài)向量在微球調(diào)整平臺(tái)坐標(biāo)系中的旋轉(zhuǎn)角與在相機(jī)運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系中測(cè)量出的分解角之間的轉(zhuǎn)換關(guān)系需要標(biāo)定.

將微球孔姿態(tài)向量在{W}坐標(biāo)系中分別繞XW軸與YW軸旋轉(zhuǎn)α1和β1度,分別在{W2}坐標(biāo)系與{C1}坐標(biāo)系中測(cè)量該向量的分解角θx和θy,測(cè)量方法如第3.2 節(jié)所述.將(α1,β1,θx,θy)作為一組數(shù)據(jù),重復(fù)n次,得到n組數(shù)據(jù),獲得式(8).

式中,θ為微球孔姿態(tài)向量在相機(jī)運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系中n次測(cè)量結(jié)果形成的測(cè)量角度矩陣,為微球孔姿態(tài)向量在微球調(diào)整平臺(tái)坐標(biāo)系中n次旋轉(zhuǎn)量形成的旋轉(zhuǎn)角度矩陣,J3為相機(jī)運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系與微球調(diào)整平臺(tái)坐標(biāo)系之間的旋轉(zhuǎn)角度轉(zhuǎn)換矩陣.利用最小二乘法可以求得式(8)中的角度轉(zhuǎn)換關(guān)系矩陣,見式(9).

1.3.4 相機(jī)光軸中心點(diǎn)的標(biāo)定

由于相機(jī)與變倍鏡頭存在安裝誤差,光軸中心點(diǎn)與圖像中心點(diǎn)并不重合.假設(shè)改變相機(jī)倍率時(shí),光軸中心點(diǎn)的圖像坐標(biāo)不變.因此,可以將相機(jī)變倍后圖像坐標(biāo)不變的點(diǎn)作為相機(jī)光軸中心點(diǎn).

將微孔中心點(diǎn)作為目標(biāo)點(diǎn),光軸中心點(diǎn)的標(biāo)定步驟如下:

步驟 1.初始倍率下移動(dòng)相機(jī),使微孔中心點(diǎn)圖像坐標(biāo)與圖像中心點(diǎn)圖像坐標(biāo)一致.

步驟 2.調(diào)整相機(jī)倍率對(duì)目標(biāo)點(diǎn)進(jìn)行放大,移動(dòng)相機(jī)沿光軸方向運(yùn)動(dòng),再次對(duì)微孔中心點(diǎn)進(jìn)行聚焦,并得到運(yùn)動(dòng)前后微孔中心點(diǎn)的圖像坐標(biāo)偏差(Δu,Δv),通過相機(jī)運(yùn)動(dòng)量到圖像特征變化的圖像雅可比矩陣J1b,J2b的偽逆,計(jì)算出相機(jī)運(yùn)動(dòng)量k[Δx,Δy,Δz]T,控制相機(jī)運(yùn)動(dòng),此處系數(shù)k為0.6.

步驟 3.使相機(jī)恢復(fù)初始倍率,并再次對(duì)微孔中心點(diǎn)進(jìn)行聚焦,記錄其圖像坐標(biāo).

步驟 4.重復(fù)步驟2 和步驟3,當(dāng)改變相機(jī)倍率,微孔中心點(diǎn)圖像坐標(biāo)不發(fā)生變化時(shí),將此時(shí)微孔中心點(diǎn)的圖像坐標(biāo)作為相機(jī)光軸中心點(diǎn)的圖像坐標(biāo).

2 微球微孔的精確定位

2.1 微球邊緣的聚焦

將微球移入視野內(nèi)合適位置,選取包含微球邊緣的感興趣區(qū)域(Region of interest,ROI),由清晰度評(píng)價(jià)函數(shù)計(jì)算ROI 區(qū)域的清晰度值.清晰度評(píng)價(jià)函數(shù)采用的是Tenengrad評(píng)價(jià)函數(shù),在ROI 區(qū)域內(nèi)P(u,v)點(diǎn)上使用Sobel算子提取水平和垂直方向的梯度值,以其均方根作為梯度值,見式(10).

式中,Gx和Gy分別為水平和垂直梯度.對(duì)梯度值求平均值作為ROI 區(qū)域的清晰度值,見式(11).

式中,S為清晰度值,G為梯度值.首先對(duì)微球進(jìn)行粗略聚焦,移動(dòng)相機(jī)聚焦運(yùn)動(dòng)軸向上運(yùn)動(dòng)一定距離,使微球處于離焦?fàn)顟B(tài),移動(dòng)相機(jī)聚焦運(yùn)動(dòng)軸向下運(yùn)動(dòng)合適距離d1并計(jì)算ROI 區(qū)域清晰度值S1,并將(d1,S1)作為一組數(shù)據(jù).重復(fù)運(yùn)動(dòng)n次得到n組數(shù)據(jù),運(yùn)動(dòng)過程中微球邊緣逐漸清晰后再次處于離焦?fàn)顟B(tài).對(duì)n組數(shù)據(jù)進(jìn)行二次曲線擬合得到極大值,以該極大值位置作為聚焦位置,如圖4 所示.

圖4 聚焦過程Fig.4 Focusing process

2.2 微球的定位

由于微球微孔尺寸過小,顯微相機(jī)視野內(nèi)微球邊緣與背景差別不大,且視場(chǎng)內(nèi)明暗程度受環(huán)境影響較大,故采用灰度與梯度相結(jié)合的方法,提取微球邊緣點(diǎn).微球圖像如圖5 所示,對(duì)圖像第i行進(jìn)行掃描得到灰度值變化曲線,如圖6 所示.根據(jù)式(12)得到邊緣點(diǎn)的集合Qb,可將微球邊緣點(diǎn)粗略地定位于圖6 中的a處與b處.然后,再由式(13)對(duì)微球邊緣進(jìn)行精確定位.

圖5 微球圖像Fig.5 The real miscrosphere

圖6 微球圖像中一行的灰度值變化曲線圖Fig.6 Gray value change graph of one line in the microsphere image

其中,g(u,v)表示圖像點(diǎn)(u,v)的灰度值,m表示設(shè)定的灰度閾值,Qb為邊緣點(diǎn)集合.

式中,P為精確定位的邊緣點(diǎn).

根據(jù)式(12)與式(13)在圖像中確定出n個(gè)邊緣點(diǎn),對(duì)邊緣點(diǎn)進(jìn)行粗大誤差篩選,利用誤差較小的邊緣點(diǎn)擬合出微球邊緣圓,得到微球半徑及圓心的圖像坐標(biāo),如圖7 所示.微球邊緣圓的擬合方法如下:

圖7 微球邊緣及球心的擬合Fig.7 The fitting of microsphere edge and center

步驟 1.由n個(gè)邊緣點(diǎn)擬合出圓心Ob1.

步驟 2.計(jì)算每個(gè)點(diǎn)到圓心的距離,在距離圓心大于閾值的邊緣點(diǎn)中,將距離圓心最遠(yuǎn)的一個(gè)點(diǎn)去除.

步驟 3.得到新的點(diǎn)群n1,擬合新的圓心Ob2,重復(fù)步驟2 的計(jì)算,直到所有點(diǎn)距離新的圓心的距離在設(shè)定閾值之內(nèi).

通過上述方法,可實(shí)現(xiàn)對(duì)微球球心的精確定位,得到微球球心的圖像坐標(biāo).

2.3 微孔的精確定位

根據(jù)先驗(yàn)知識(shí)移動(dòng)相機(jī),使微孔處于顯微相機(jī)光軸中心點(diǎn)附近.將顯微鏡頭倍率放大至合適倍率后,對(duì)微孔進(jìn)行聚焦.經(jīng)過聚焦后得到的微孔圖像如圖8 所示,微孔邊緣較為清晰,邊緣特征明顯.在區(qū)域A中,按照第2.2 節(jié)方法利用灰度值便可精確的確定微孔邊緣點(diǎn),根據(jù)邊緣點(diǎn)擬合出橢圓中心點(diǎn)作為微孔中心點(diǎn).由圖8 可以發(fā)現(xiàn),上述方法可以準(zhǔn)確地檢測(cè)出微孔邊緣點(diǎn),并擬合出微孔中心點(diǎn),得到微孔中心點(diǎn)的圖像坐標(biāo).

圖8 微孔邊緣檢測(cè)與微孔中心的擬合Fig.8 The detection of micro-hole edge and fitting of micro-hole center

3 微球孔姿態(tài)測(cè)量

3.1 微球孔姿態(tài)測(cè)量原理

微球孔姿態(tài)測(cè)量原理以顯微相機(jī)2 為例進(jìn)行說明,測(cè)量原理示意圖如圖9 所示.為了更加簡(jiǎn)明地闡述其測(cè)量原理,先將相機(jī)聚焦運(yùn)動(dòng)軸方向與其光軸方向視為一致,改變相機(jī)倍率,相機(jī)光軸及其光軸中心點(diǎn)不變.實(shí)際測(cè)量過程中,對(duì)相機(jī)聚焦運(yùn)動(dòng)軸與不同倍率下的光軸進(jìn)行了標(biāo)定.

圖9 微球孔姿態(tài)測(cè)量原理示意圖Fig.9 Schematic diagram of microsphere hole pose measurement principle

Ob是微球的球心,Oh是微球孔的中心點(diǎn),αc2為顯微相機(jī)2 光軸中心線與 Xm2軸的夾角.由于Oh位于微球表面,所以微球孔姿態(tài)向量ObOh的長(zhǎng)度為微球半徑R.首先,顯微相機(jī)2 在初始倍率下對(duì)微球聚焦,使得球心Ob在顯微相機(jī)2 圖像中與光軸中心點(diǎn)的圖像坐標(biāo)重合.此時(shí)的清晰成像平面即聚焦平面,記為F1.然后,沿Zm2軸向上移動(dòng)顯微相機(jī)2,同時(shí)沿相機(jī)聚焦運(yùn)動(dòng)軸調(diào)整顯微相機(jī)2 與微球的距離,對(duì)微孔聚焦,并使得顯微相機(jī)2 在高倍率下獲得的圖像中微孔的圖像縱坐標(biāo)與光軸中心點(diǎn)的圖像縱坐標(biāo)相同.此時(shí)的聚焦平面,記為F2.聚焦微球時(shí)顯微相機(jī)2 的光軸中心線與聚焦平面F1的交點(diǎn)為P2,聚焦微孔時(shí)顯微相機(jī)2 的光軸中心線與聚焦平面F2的交點(diǎn)為P1.P3點(diǎn)為Zm2軸上的點(diǎn),其Z坐標(biāo)與P1點(diǎn)相同.過Oh點(diǎn)做Xm2軸的平行線,與Ym2ObZm2平面相交于P4點(diǎn).最后,通過顯微相機(jī)2 沿Ym2軸的運(yùn)動(dòng),將微孔中心的圖像坐標(biāo)調(diào)整到光軸中心點(diǎn)的圖像坐標(biāo).從微球聚焦到微孔聚焦,顯微相機(jī)2 沿Zm2軸的運(yùn)動(dòng)量為 Δz2,沿相機(jī)聚焦運(yùn)動(dòng)軸的運(yùn)動(dòng)量為m2.為了對(duì)準(zhǔn)微孔中心,調(diào)整時(shí)沿Ym2軸的運(yùn)動(dòng)量為Δy2.

由于微孔聚焦時(shí)顯微相機(jī)2 只沿Zm2軸和相機(jī)聚焦運(yùn)動(dòng)軸運(yùn)動(dòng),所以P1和P2位于Xm2ObZm2平面內(nèi).為了對(duì)準(zhǔn)微孔中心調(diào)整時(shí),顯微相機(jī)2 只沿Ym2軸運(yùn)動(dòng),所以P1Oh平行于Ym2軸.可見,∠P1ObP3是微球孔姿態(tài)向量的分解角θy.點(diǎn)P1,Oh,P4,P3構(gòu)成矩形,所以 ∠P4ObP3是微球孔姿態(tài)向量的分解角θx.由圖9 中的幾何關(guān)系,可知:

其中,R是微球半徑.

考慮到安裝誤差,顯微相機(jī)2 的光軸中心線與聚焦運(yùn)動(dòng)軸不平行,顯微相機(jī)2 在聚焦運(yùn)動(dòng)后目標(biāo)圖像會(huì)發(fā)生變化.為了使得聚焦前后目標(biāo)的圖像坐標(biāo)保持不變,需要相機(jī)沿Xm2,Ym2,Zm2軸做補(bǔ)償運(yùn)動(dòng),運(yùn)動(dòng)量為 ?m2(Vm2?ns2).為消除補(bǔ)償運(yùn)動(dòng)對(duì)姿態(tài)計(jì)算的影響,需要對(duì)式(14)中的 Δz2和Δy2進(jìn)行修正,見式(15).

其中,[Δx2,Δy2,Δz2]T為顯微相機(jī)2 運(yùn)動(dòng)機(jī)構(gòu)修正后的運(yùn)動(dòng)量,[Δxm2,Δym2,Δzm2]T為其運(yùn)動(dòng)機(jī)構(gòu)的運(yùn)動(dòng)量,m2為其聚焦運(yùn)動(dòng)軸的運(yùn)動(dòng)量,Vm2為其聚焦運(yùn)動(dòng)軸單位方向向量,n2s為顯微相機(jī)2 光軸單位方向向量.于是,得到顯微相機(jī)2 測(cè)量的微球孔姿態(tài)向量的分解角θy2和θx2,見式(16)和式(17).

類似地,對(duì)顯微相機(jī)1 的運(yùn)動(dòng)量進(jìn)行修正:

其中,[ Δx1,Δy1,Δz1]T為顯微相機(jī)1 修正后的運(yùn)動(dòng)量,[ Δxm1,Δym1,Δzm1]T為其運(yùn)動(dòng)機(jī)構(gòu)真實(shí)運(yùn)動(dòng)量,m1為其聚焦運(yùn)動(dòng)軸的運(yùn)動(dòng)量,Vm1為其聚焦運(yùn)動(dòng)軸單位方向向量,n1s為其光軸單位方向向量.

利用修正后的顯微相機(jī)1 運(yùn)動(dòng)量,結(jié)合幾何關(guān)系,得到顯微相機(jī)1 測(cè)量的微球孔姿態(tài)向量的分解角θx1和θy1,見式(19)和式(20).

其中,(θx1,θy1)與(θx2,θy2)為微球孔姿態(tài)分別在顯微相機(jī)1 與顯微相機(jī)2 運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系中的分解角.由于顯微相機(jī)1 對(duì)Xm1方向的變化敏感,顯微相機(jī)2 對(duì)Ym2方向的變化敏感,故只將θx2和θy1作為有效的測(cè)量數(shù)據(jù),記為(θx,θy).

3.2 微球孔姿態(tài)測(cè)量步驟

微球孔姿態(tài)的精確測(cè)量依靠顯微視覺對(duì)微球與微孔的精確定位及相機(jī)運(yùn)動(dòng)機(jī)構(gòu)的高分辨率運(yùn)動(dòng).微球孔姿態(tài)測(cè)量步驟如下:

步驟 1.微球聚焦.初始倍率下,利用兩臺(tái)顯微相機(jī)運(yùn)動(dòng)機(jī)構(gòu)的運(yùn)動(dòng),使微球位于兩臺(tái)顯微相機(jī)視野內(nèi)合適位置.按照第2.1 節(jié)微球聚焦過程,分別利用兩臺(tái)顯微相機(jī)聚焦運(yùn)動(dòng)軸調(diào)整相機(jī)位置,利用式(10)和式(11)計(jì)算微球邊緣ROI 區(qū)域的清晰度值,在清晰度值達(dá)到最高時(shí),即實(shí)現(xiàn)了對(duì)微球的聚焦.

步驟 2.微球?qū)?zhǔn).在兩臺(tái)顯微相機(jī)初始倍率下,利用式(12)和式(13)確定微球邊緣點(diǎn),并擬合出微球球心的圖像坐標(biāo).計(jì)算出微球球心到光軸中心點(diǎn)的圖像坐標(biāo)偏差,利用初始倍率下的圖像雅可比矩陣J1s與J2s的偽逆,由式(6)分別求得兩臺(tái)顯微相機(jī)運(yùn)動(dòng)機(jī)構(gòu)的運(yùn)動(dòng)量,分別控制兩臺(tái)顯微相機(jī)運(yùn)動(dòng),使微球球心的圖像坐標(biāo)分別與兩臺(tái)顯微相機(jī)光軸中心點(diǎn)的圖像坐標(biāo)相同.

步驟 3.微球孔聚焦.按照第2.3 節(jié)方法,利用顯微相機(jī)1 的Zm1軸及其聚焦運(yùn)動(dòng)軸調(diào)整顯微相機(jī)1 的位置,利用顯微相機(jī)2 的Zm2軸及其聚焦運(yùn)動(dòng)軸調(diào)整顯微相機(jī)2 的位置,使微孔中心點(diǎn)的圖像坐標(biāo)分別位于兩臺(tái)顯微相機(jī)光軸中心點(diǎn)圖像坐標(biāo)附近,避免因增大倍率使得微孔移出相機(jī)視野.增大顯微相機(jī)倍率,再次協(xié)同兩臺(tái)顯微相機(jī)的Z軸與聚焦運(yùn)動(dòng)軸的運(yùn)動(dòng),使得兩臺(tái)顯微相機(jī)在高倍率下獲得的圖像中微球孔圖像清晰;并使得微球孔中心點(diǎn)的圖像縱坐標(biāo)與光軸中心點(diǎn)的圖像縱坐標(biāo)相同.記錄兩臺(tái)顯微相機(jī)的Z軸運(yùn)動(dòng)量 Δz1和 Δz2,聚焦運(yùn)動(dòng)軸的運(yùn)動(dòng)量m1和m2.

步驟 4.微球孔對(duì)準(zhǔn).利用顯微相機(jī)1 的Xm1軸與顯微相機(jī)2 的Ym2軸調(diào)整兩臺(tái)顯微相機(jī)位置,對(duì)微孔中心點(diǎn)進(jìn)行對(duì)準(zhǔn),使微孔中心點(diǎn)在兩臺(tái)顯微相機(jī)中的圖像坐標(biāo)與其光軸中心點(diǎn)圖像坐標(biāo)一致.記錄兩臺(tái)顯微相機(jī)的運(yùn)動(dòng)量 Δx1和 Δy2.根據(jù)兩臺(tái)顯微相機(jī)光軸單位方向向量n1s,n2s,光軸單位方向向量XOY平面的夾角αc1,αc2與聚焦運(yùn)動(dòng)軸單位方向向量Vm1,Vm2,可由式(15)和式(20)計(jì)算出微球孔姿態(tài)在運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系中的分解角(θx,θy).

步驟 5.根據(jù)式(7)中微球調(diào)整平臺(tái)坐標(biāo)系與相機(jī)運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系之間的旋轉(zhuǎn)角度轉(zhuǎn)換矩陣J3,可由θx,θy得出微球孔姿態(tài)在調(diào)整平臺(tái)坐標(biāo)系中的旋轉(zhuǎn)角度α與β.

利用旋轉(zhuǎn)角度α與β,得到在調(diào)整平臺(tái)坐標(biāo)系下的微球孔姿態(tài)單位向量:

式中,[γx,γy,γz]T為微球孔姿態(tài)單位向量在微球調(diào) 整平臺(tái)坐標(biāo)系中的表示.

4 實(shí)驗(yàn)與結(jié)果

按照?qǐng)D2 所示原理,設(shè)計(jì)了實(shí)驗(yàn)系統(tǒng),如圖10所示.實(shí)驗(yàn)系統(tǒng)包括兩臺(tái)傾斜正交顯微相機(jī)及其運(yùn)動(dòng)機(jī)構(gòu)、一個(gè)兩自由度的調(diào)整平臺(tái)、光源系統(tǒng)和一臺(tái)控制計(jì)算機(jī).顯微相機(jī)由CCD 相機(jī)(型號(hào)為TXG50)和Navitar 變焦顯微鏡頭構(gòu)成,顯微鏡頭放大倍率為5.54～66.3×,采集圖像的幀率為15 幀/s,圖像大小為2 448×2 050 像素,顯微相機(jī)運(yùn)動(dòng)機(jī)構(gòu)的運(yùn)動(dòng)分辨率為0.25 μm,重復(fù)定位精度小于±0.3 μm.兩自由度調(diào)整平臺(tái)包括繞著XW軸和YW軸的旋轉(zhuǎn),繞著XW軸和YW軸的旋轉(zhuǎn)分辨率是0.001.控制計(jì)算機(jī)的處理器是Intel Core i5,頻率2.9 GHz.

圖10 實(shí)驗(yàn)系統(tǒng)實(shí)物圖Fig.10 The real experiment system

4.1 系統(tǒng)標(biāo)定

根據(jù)第1.3.1 節(jié)所述方法,初始倍率下顯微相機(jī)1 與顯微相機(jī)2 的運(yùn)動(dòng)量到其圖像特征變化的圖像雅可比矩陣分別為

在大倍率下,顯微相機(jī)1 與顯微相機(jī)2 的運(yùn)動(dòng)量到其圖像特征變化的圖像雅可比矩陣分別為

利用第1.3.2 節(jié)所述方法,對(duì)兩臺(tái)顯微相機(jī)的光軸及聚焦軸進(jìn)行了標(biāo)定.初始倍率下兩臺(tái)顯微相機(jī)光軸單位方向向量為

顯微相機(jī)1 在初始倍率下光軸單位方向向量與Y軸的夾角為αc1=49.97°,顯微相機(jī)2 在初始倍率下光軸單位方向向量與X軸的夾角為αc2=50.78°.大倍率下兩臺(tái)顯微相機(jī)光軸單位方向向量為

兩臺(tái)顯微相機(jī)聚焦運(yùn)動(dòng)軸的單位方向向量為

由第1.3.3 節(jié)所述方法對(duì)相機(jī)運(yùn)動(dòng)機(jī)構(gòu)坐標(biāo)系分解角(θx,θy)到微球調(diào)整平臺(tái)坐標(biāo)系下的旋轉(zhuǎn)角(α,β)之間的轉(zhuǎn)換關(guān)系進(jìn)行了標(biāo)定,標(biāo)定結(jié)果為

由第1.3.3 節(jié)所述方法,對(duì)兩臺(tái)顯微相機(jī)的光軸中心點(diǎn)圖像坐標(biāo)進(jìn)行了標(biāo)定.顯微相機(jī)1 的光軸中心點(diǎn)的圖像坐標(biāo)為(1 184,1 164)像素,顯微相機(jī)1 的光軸中心點(diǎn)的圖像坐標(biāo)為(1 200,1 080)像素.

4.2 微球孔姿態(tài)的測(cè)量實(shí)驗(yàn)

分別令調(diào)整平臺(tái)繞XW和YW軸旋轉(zhuǎn),轉(zhuǎn)動(dòng)角度記為αr和βr,作為真實(shí)值.根據(jù)第3 節(jié)介紹的方法,利用式(9)、式(15)～(20),對(duì)微球孔姿態(tài)分解角進(jìn)行測(cè)量并轉(zhuǎn)換到微球調(diào)整平臺(tái)坐標(biāo)系中,測(cè)量結(jié)果記為αm和βm.將真實(shí)值(αr,βr)和測(cè)量值(αm,βm)分別代入式(21),得到在微球調(diào)整平臺(tái)坐標(biāo)系中微球孔姿態(tài)單位向量.

圖11 給出了一次實(shí)驗(yàn)過程中采集的微球和微孔圖像,其中,圖11(a)是完成第3.2 節(jié)的步驟2“微球?qū)?zhǔn)”后顯微相機(jī)1 采集的微球圖像,圖11(b)是完成第3.2 節(jié)的步驟4“微球孔對(duì)準(zhǔn)”后顯微相機(jī)1 采集的微球孔圖像.顯微相機(jī)2 采集的微球與微孔圖像與圖11 類似,此處從略.從圖11 可以發(fā)現(xiàn),圓輪廓擬合準(zhǔn)確,微球球心以及微孔孔心的圖像坐標(biāo)準(zhǔn)確地對(duì)準(zhǔn)到了光軸中心點(diǎn)的圖像坐標(biāo)位置.

圖11 實(shí)驗(yàn)過程中采集的微球和微孔圖像Fig.11 Microsphere and micro-hole images acquired during the experiment

1)調(diào)整平臺(tái)的YW軸不動(dòng),僅繞XW軸進(jìn)行旋轉(zhuǎn),依次旋轉(zhuǎn)±2.00°,±4.00°,±6.00°,±8.00°.根據(jù)第3 節(jié)介紹的方法,對(duì)微球孔姿態(tài)角進(jìn)行測(cè)量,測(cè)量結(jié)果如表1 所示.其中α的最大測(cè)量誤差為0.05°,平均誤差為0.04°,方差為0.01;β的最大測(cè)量誤差為0.05°,平均誤差為0.03°,方差為0.02.文獻(xiàn)[20]方法α的最大測(cè)量誤差為0.18°,平均誤差為0.11°,方差為0.04;β角的最大測(cè)量誤差為0.15°,平均誤差為0.08°,方差為0.04.

表1 繞 XW 軸旋轉(zhuǎn)的實(shí)驗(yàn)結(jié)果(°)Table 1 Experimental results of rotation along with the XW axis (°)

2)調(diào)整平臺(tái)的XW軸不動(dòng),僅繞YW軸進(jìn)行旋轉(zhuǎn),依次旋轉(zhuǎn)±1.00°,±2.00°,±3.00°,±4.00°,±5.00°,測(cè)量微球孔姿態(tài),測(cè)量結(jié)果如表2 所示.其中,α的最大測(cè)量誤差為0.08°,平均誤差為0.04°,方差為0.02;β的最大測(cè)量誤差為0.08°,平均誤差為0.05°,方差為0.03.文獻(xiàn)[20]方法α的最大測(cè)量誤差為0.10°,平均誤差為0.06° 方差為0.05;β角的最大測(cè)量誤差為0.17°,平均誤差為0.13°,方差為0.04.

表2 繞 YW 軸旋轉(zhuǎn)的實(shí)驗(yàn)結(jié)果(°)Table 2 Experimental results of rotation along with the YW axis (°)

3)XW軸與YW軸同時(shí)旋轉(zhuǎn)不同的角度,利用本文方法測(cè)量微球孔姿態(tài),同時(shí)利用文獻(xiàn)[20]方法測(cè)量微球孔姿態(tài),測(cè)量結(jié)果如表3 所示.其中,本文方法α的最大測(cè)量誤差為0.04°,平均誤差為0.02°,方差為0.01;β的最大測(cè)量誤差為0.07°,平均誤差為0.04°,方差為0.02.文獻(xiàn)[20]方法α的最大測(cè)量誤差為0.20°,平均誤差為0.12°,方差為0.05;β角的最大測(cè)量誤差為0.18°,平均誤差為0.10°,方差為0.04.

表3 繞 XW軸及 YW 軸旋轉(zhuǎn)的實(shí)驗(yàn)結(jié)果(°)Table 3 Experimental results of rotation along with the XWand YW axis,simultaneously (°)

為了更加直觀地顯示實(shí)驗(yàn)結(jié)果,按照式(14)計(jì)算出上述實(shí)驗(yàn)的微球孔姿態(tài)向量,分別如圖12所示,帶有“+”號(hào)的線表示姿態(tài)向量的真實(shí)值,帶有“o”號(hào)的線表示利用本文方法測(cè)量姿態(tài)向量所得的測(cè)量值,帶有“Δ”號(hào)的線表示利用文獻(xiàn)[20]方法測(cè)量姿態(tài)向量所得的測(cè)量值.由表1、表3 和圖12可以發(fā)現(xiàn),利用本文方法測(cè)量姿態(tài)向量所得的測(cè)量值與真實(shí)值的誤差較小.

圖12 用向量表示的微球孔姿態(tài)實(shí)驗(yàn)結(jié)果Fig.12 Experimental results of microsphere hole poses expressed by vector

5 結(jié)論

本文提出了一種基于兩臺(tái)顯微相機(jī)主動(dòng)運(yùn)動(dòng)的微球孔姿態(tài)高精度測(cè)量方法.設(shè)計(jì)了微球邊緣點(diǎn)檢測(cè)與微球輪廓擬合的算法,實(shí)現(xiàn)了微球球心的高精度定位.通過兩路顯微視覺的主動(dòng)運(yùn)動(dòng),實(shí)現(xiàn)了微球孔姿態(tài)的高精度測(cè)量.實(shí)驗(yàn)結(jié)果表明,利用本文方法,角度測(cè)量值與實(shí)際值的最大偏差為0.08°,平均偏差為0.04°,方差為0.02.利用文獻(xiàn)[20]的方法,角度測(cè)量值與實(shí)際值的最大偏差為0.20°,平均偏差為0.10°,方差為0.05.與已有的微球孔姿態(tài)測(cè)量方法相比,本文測(cè)量方法具有更高的精度.在后續(xù)工作中,我們將研究如何提高測(cè)量速度與操作的自動(dòng)化程度,提高測(cè)量的實(shí)時(shí)性.