基于圖像非剛性匹配的物體空間轉(zhuǎn)角檢測方法

王宇佳,楊 靜

(西安理工大學機械與精密儀器工程學院，陜西西安710048)

物體空間位姿檢測是導航、現(xiàn)代控制等領域的關鍵技術[1]，其中，轉(zhuǎn)角是空間位姿的重要檢測參數(shù)?；跈C器視覺的檢測是通過電子化感知和理解圖像的一種非接觸式測量方法[2]，具有結(jié)構簡單，安裝方便，實時、高效等優(yōu)點，得到了越來越廣泛的應用[3]。通過機器視覺識別轉(zhuǎn)角的方法已經(jīng)得到國內(nèi)外諸多學者的重視，Sellami M[4]構造了基于Fourier-Mellin轉(zhuǎn)換，通過對旋轉(zhuǎn)前后圖像用雙傅立葉變換，確定旋轉(zhuǎn)角度的算法；Lay等[5]利用小波變換求角度直方圖，對旋轉(zhuǎn)角度自動校正；張楠[6]提出Hough變換直線特征檢測器，使用Hough變換提取特定長度直線，分組后得到圖像主方向，以計算圖像配準中的旋轉(zhuǎn)參數(shù)?，F(xiàn)有轉(zhuǎn)角的圖像檢測方法中，檢測相機光軸線與物體旋轉(zhuǎn)軸線是平行的，如圖1(a)所示，此時待測位姿角度轉(zhuǎn)化為平面內(nèi)的角度。但在一些特殊場景，由于安裝空間受限，導致相機鏡頭軸心線與旋轉(zhuǎn)物體回轉(zhuǎn)軸線垂直，詳見圖1(b)。此時，由于透視變換導致圖像發(fā)生非剛性變形，空間角度的機器視覺測量就成為了一個難題。

在圖1(b) 相機光軸線垂直于物體旋轉(zhuǎn)軸線的情況下，物體空間轉(zhuǎn)角越大，圖像的相似度就越小，因此，可以利用圖像相似度衡量轉(zhuǎn)角大小。圖像相似度可以利用圖像的匹配程度來表征，本文基于匹配特征點的統(tǒng)計信息定義了圖像的相似度系數(shù)[7]。但由于透視變換，圖像發(fā)生非剛性變形[7]，圖像特征匹配的準確性和穩(wěn)定性下降。為了提高圖像相似度計算的準確性，本文基于向量場一致性原理[7]，提出特征點篩選算法，解決旋轉(zhuǎn)圖像非剛性形變的特征點誤匹配問題。

圖1 相機與旋轉(zhuǎn)物體相對位置Fig.1 Relative position of the camera and the rotating object

1 空間轉(zhuǎn)角的圖像識別算法

圖2給出了相機鏡頭軸心線與旋轉(zhuǎn)物體回轉(zhuǎn)軸線垂直情況下，一個矩形物體不同姿態(tài)角的圖像。圖2(a)為初始位置(不旋轉(zhuǎn))圖像；圖2(b)、(c)分別為30°、60°轉(zhuǎn)角下的圖像。由圖可見，以初始位置的圖像為樣本，隨著空間轉(zhuǎn)角增加，圖像形變量增大，與樣本的相似度逐漸減小，因此，可以利用相似度估計物體的空間轉(zhuǎn)角。

圖2 物體在不同空間角度下的圖像Fig.2 Image of objects in different spatial angles

兩幅圖像的相似度定義為γ：

(1)

式中，n為旋轉(zhuǎn)圖像與樣本之間的正確匹配的特征點數(shù)；P為樣本圖像的所有特征點數(shù)；γ為正確匹配的特征點數(shù)占所有特征點數(shù)的比例。

γ值表示了兩幅圖像的接近程度。若γ=1，則兩圖相似性極高，即當前圖像相對樣本位置沒有改變；若γ=0，則兩圖相似性極小，即當前圖像相對樣本轉(zhuǎn)角至少大于90°，兩圖之間幾乎沒有匹配的特征點；若0<γ<1，則兩圖有一定相似性，即當前圖像相對樣本轉(zhuǎn)角幅度在0°～90°之間[7]。

當相機光軸線垂直于物體旋轉(zhuǎn)軸線，利用特征點匹配的相似度識別物體轉(zhuǎn)角的算法流程如圖3所示。

第一步 提取特征。以物體非旋轉(zhuǎn)時的圖像為樣本提取特征點P。特征選取與圖像配準結(jié)果直接相關。本文采用尺度不變特征變換(SIFT)算子提取特征點，該算子可實時提取圖像的局部特征信息，且具有旋轉(zhuǎn)與尺度變換不變性，對隨機噪聲、光線亮度的容忍度較高等特征。

第二步 圖像初次匹配。利用k-d tree搜索策略和歐式距離進行初次特征點匹配。

第三步 圖像匹配篩選。篩選算法通常應用于特征選擇，用來剔除錯誤匹配的特征，該過程是在全部特征中選取一個準確性最高的特征子集。一般篩選算法，如RANSAC算法，在剛性變形下，能通過確定參數(shù)化模型，篩選錯誤匹配點對，效果顯著，但對非剛性形變而言，無法確定固定的變換關系，使得篩選效果不理想。針對非剛性形變，本文采用向量場一致性(VFC)算法，剔除誤匹配點，得到樣本圖像與轉(zhuǎn)動圖像之間正確匹配的特征點數(shù)n。

第四步 物體空間轉(zhuǎn)角檢測。首先標定物體轉(zhuǎn)角β與圖像相似度系數(shù)γ的線性關系，在此基礎上，利用前面得到的P以及n，由式(1)可以計算任意角度下圖像的相似度系數(shù)。然后，利用β與γ的標定關系可以得到物體轉(zhuǎn)角。

圖3 本文算法主要流程Fig.3 Main flow of the algorithm in this paper

2 基于向量場一致性的匹配篩選

向量場，又名矢量場(vector field)，是一個用向量函數(shù)定義的映射變換，該變換給場內(nèi)的每個位置分配了一個向量[7]。向量場一致性算法是從包含噪聲的稀疏位置的樣本集中魯棒的插值出整個向量場[7-8]。在圖像點集中區(qū)分外點(錯誤匹配點)和內(nèi)點(正確匹配點)，學習符合內(nèi)點的向量場函數(shù)，將特征點匹配問題轉(zhuǎn)化為魯棒的向量場插值問題[7-8]，從而將誤匹配點剔除。

向量場一致性算法的基本假設：

1) “光滑”的向量場產(chǎn)生正確的匹配，服從高斯分布；錯誤匹配服從均勻分布[7]；

2) 給每個特征點賦一個隱變量，作為該點是否屬于內(nèi)點的標志，內(nèi)點則zn=1，外點則zn=0[7]。

根據(jù)假設，正確匹配為高斯分布，其均值為0、標準差為σ；而錯誤匹配為均勻分布，其概率密度為1/a[7]，a為待匹配圖像面積的大小。γ為正確匹配點的比例，定義數(shù)集由樣本到待匹配圖像變換過程中間參數(shù)θ：

θ={f,σ2,γ}

(2)

通過求解似然函數(shù)L(X,Y|θ)，可估計出參數(shù)θ，即得到向量場f。由似然函數(shù)定義，L(X,Y|θ)=p(θ|X,Y)，即：似然函數(shù)在數(shù)值上等于給定參數(shù)θ后，變量為X、Y的概率；

向量場f的先驗概率可表示為：

(3)

式中，λ>0為正則化參數(shù)；‖·‖為H的范數(shù)。概率p(θ|X,Y)通過貝葉斯公式求解：

p(θ|X,Y)∝p(Y|X,θ)p(f)

(4)

賦隱變量zn∈{0,1}，zn=1為正確匹配的高斯分布，zn=0為錯誤匹配的均勻分布。

由正確、錯誤匹配分布組成的混合似然概率p(Y|X,θ)表示為：

(5)

式中，D為H的維度。

(6)

將式(5)代入式(6)，得似然函數(shù)的最大似然估計量：

(7)

對p(θ|X,Y)兩邊取自然對數(shù)，得能量函數(shù)E(θ)：

(8)

由式(5)和(8)，能量函數(shù)可表示為：

(9)

zn=1時正確點高斯分布的后驗概率為pn=p(zn=1|xn,yn,θ)，由貝葉斯分布得：

(10)

通過比較后驗概率pn是否超過正確點預設閾值，繼而得出正確點的點集。

3 實驗與結(jié)果分析

3.1 實驗場景介紹

本文實驗環(huán)境：中建施工現(xiàn)場。具體場景：對現(xiàn)場施工電梯安全門進行轉(zhuǎn)角識別[7]。施工電梯安全門，是嵌于建筑物主體墻面內(nèi)臨邊洞口處的安全屏障門。其通常處于關閉狀態(tài)，工作中，施工升降機到達指定樓層，要先打開該樓層安全門，工人、運輸?shù)墓ぞ呶锪喜诺靡詮纳禉C進出該樓層[7]；但當運輸完成后，為防止安全門未關閉導致的安全事故發(fā)生，在升降機離開前，需監(jiān)控安全門旋轉(zhuǎn)狀態(tài)。從節(jié)約成本角度考慮，本文選擇用機器視覺的方法對安全門狀態(tài)進行監(jiān)控。攝像頭安裝在施工升降機外部。圖4和圖5為施工升降機、樓層安全門、攝像頭之間的相對位置關系。由圖5可見，安全門回轉(zhuǎn)軸線與攝像機光軸線垂直，即獲取的圖像發(fā)生非剛性形變。圖6是中建公司常用的施工電梯安全門，門左右兩側(cè)有相同的中建標識。

圖4 位置關系側(cè)視圖Fig.4 Location relationship side view

圖5 位置關系俯視圖Fig.5 Top view of location relationship

圖6 中建公司施工升降機安全門Fig.6 China construction company construction elevator safety door

3.2 實驗流程

本文通過求解旋轉(zhuǎn)的左側(cè)門與轉(zhuǎn)角0°安全門樣本的相似度，識別安全門的轉(zhuǎn)角。根據(jù)圖3算法流程，首先，獲取安全門關閉圖像(門轉(zhuǎn)角為0°)為樣本，圖像大小120×160像素。用SIFT算子搜索生成尺度空間鄰域的極大值，通過三維二次函數(shù)擬合出穩(wěn)定特征點，每個特征點用32維特征向量描述；然后，建立k-d tree搜索策略，利用k-d tree搜索策略和歐氏距離(以下簡稱歐式k-d tree)建立初匹配關系；在此基礎上，利用向量一致性算法對匹配點進行篩選，得出正確匹配點；最后，利用正確匹配點計算圖像相似度系數(shù)γ值。

3.3 實驗結(jié)果分析

表1給出了左側(cè)門分別轉(zhuǎn)動5°、20°、30°、45°以及60° 5個典型位置時，不同轉(zhuǎn)角位置圖像與樣本圖像的匹配結(jié)果。表中第1列為門的實際轉(zhuǎn)角，第2列為歐式k-d tree匹配的結(jié)果(未篩選)，第3列為VFC算法篩選后的匹配結(jié)果，其中紅線表示圖像匹配點的對應關系。由表1可得：

1) 當安全門圖像轉(zhuǎn)角增大，匹配上的特征點紅色線數(shù)量逐漸減少，即隨著安全門轉(zhuǎn)角增大，匹配上的特征點數(shù)量減小，根據(jù)式(1)，也說明圖像的相似度越來越?。?/p>

表1 安全門的匹配效果對比

2) 對比表中第2、3兩列，觀察到第2列中每個轉(zhuǎn)角的圖像歐式k-d tree匹配都有交叉紅線，說明歐式k-d tree匹配存在誤匹配；而經(jīng)過VFC算法進行正確匹配點篩選后，匹配點的對應關系不存在交叉紅線，匹配線方向一直、光滑。

本文的安全門樣本圖像利用SIFT算法提取特征點總數(shù)P=89。表2給出了表1中不同角度下，歐式k-d tree匹配的匹配特征點數(shù)以及VFC篩選后的匹配特征點數(shù)n。通過數(shù)據(jù)對比可見，VFC算法有效剔除了歐式k-d tree初匹配的誤匹配特征點，錯誤匹配的特征點數(shù)明顯減少。

利用表2中歐式k-d tree初匹配點數(shù)與VFC篩選匹配點數(shù)，代入式(1)可以計算得到兩種算法在不同轉(zhuǎn)角下，圖像的相似度系數(shù)。圖7給出了k-d tree初匹配與VFC篩選匹配兩種算法的相似度系數(shù)與安全門實際空間轉(zhuǎn)角β的關系。由圖可見，歐式k-d tree初匹配對應的相似度系數(shù)值變化波動較大，不具有明顯的統(tǒng)計學規(guī)律；經(jīng)VFC算法篩選后的相似度系數(shù)值變化平滑，趨勢明顯，在10°～70°范圍內(nèi)VFC算法篩選后的相似度系數(shù)與安全門實際轉(zhuǎn)角β呈線性關系。

表2 歐式k-d tree匹配和向量一致性篩選的特征點數(shù)n

圖7 兩種算法的相似度系數(shù)γ與轉(zhuǎn)角β關系Fig.7 Relationship between similarity coefficient γ and angleβof two algorithms

利用簡單的兩點標定，可以得到VFC算法篩選后的相似度系數(shù)γ與安全門實際轉(zhuǎn)角β的關系：

β=81.56-1.1×γ

(11)

由此，在有效剔除誤匹配點后，根據(jù)匹配特征點的相似度系數(shù)γ，由式(11)可以在10°～70°范圍內(nèi)估計空間轉(zhuǎn)角，平均檢測誤差小于2°。

4 結(jié) 語

針對物體空間旋轉(zhuǎn)軸線與相機光軸線垂直情況下的機器視覺角度檢測問題，本文采用了圖像匹配相似度識別方法，定義了基于特征點的相似度系數(shù)?？紤]到圖像非剛性幾何形變導致的誤匹配，本文利用向量場一致性算法，解決特征點誤匹配問題，提高相似度系數(shù)計算的準確性。實驗證明，基于向量場一致性算法可以有效剔除誤匹配點，通過標定相似度系數(shù)與物體轉(zhuǎn)角的關系，在一定范圍內(nèi)可以利用相似度系數(shù)估計物體空間轉(zhuǎn)角。