基于非剛體的線性迭代相機自標定方法

彭亞麗,劉侍剛,賁晛燁,汪西莉,曹　菡

(1.現(xiàn)代教學技術教育部重點實驗室，陜西西安 710062； 2.陜西師范大學計算機科學學院，陜西西安 710062； 3.山東大學信息科學與工程學院，山東濟南 250100)

?

基于非剛體的線性迭代相機自標定方法

彭亞麗1,2,劉侍剛2,賁晛燁3,汪西莉2,曹菡2

(1.現(xiàn)代教學技術教育部重點實驗室，陜西西安 710062； 2.陜西師范大學計算機科學學院，陜西西安 710062； 3.山東大學信息科學與工程學院，山東濟南 250100)

為了實現(xiàn)相機標定，本文提出了一種基于非剛體的線性迭代相機自標定方法，該方法假定非剛體由若干個非剛性基線性組成，利用所有圖像點組成的圖像矩陣為一個低秩矩陣的特性，實現(xiàn)射影重建；利用相機的約束關系線性迭代地實現(xiàn)相機標定.該方法克服了現(xiàn)有自標定方法要求物體做剛體運動的缺點，模擬實驗和真實實驗數(shù)據(jù)結果表明，能夠有效地實現(xiàn)相機標定.

非剛體；自標定；因式分解

1　引言

三維重建是計算機視覺重點研究方向之一，而相機標定是三維重建過程中必不可少的步驟[1].傳統(tǒng)的相機標定方法通過結構尺寸已知的標定物，利用圖像中的投影計算相機的內參數(shù)[2,3]，這種方法需要一個高精度的定標物.

為了克服傳統(tǒng)相機標定方法的缺點，有些學者采用相機做特殊運動(如純旋轉、純平移等)的方法實現(xiàn)相機標定[4]，這種方法稱為主動視覺標定法.主動視覺標定法算法簡單，甚至能夠獲得線性解，因此魯棒性較高.但這種方法要求控制相機的運動，因此，需要昂貴的實驗設備，而且操作非常繁瑣.

傳統(tǒng)的相機標定方法和主動視覺標定法只能離線標定，即標定完成之后，相機就不能再調焦.為了實現(xiàn)相機的在線標定，F(xiàn)augeras[5]等人首先提出了相機自標定的概念.自從自標定概念提出之后，相機自標定得到了廣泛深入地研究，并提出了許多自標定方法[6,7].自標定方法是在物體和相機運動參數(shù)都未知的情況下，利用絕對二次曲線是一個歐氏不變量的特性，實現(xiàn)相機的標定.早前的自標定方法要求物體做剛體運動，但在現(xiàn)實生活中，有許多物體的運動不能當作剛體運動，因此，該方法的應用受到一定的限制.

目前有許多學者對非剛體進行三維重建，但大部分學者假設相機為正投影模型，這樣可避免對相機的標定[8,9]，但是正投影模型要求物體到相機的距離遠大于物體的景深，否則誤差比較大.為了克服這個缺點，Lladó等人在針孔模型下，利用非剛體物體中的運動包含有剛體運動成份的特性，對非剛體的運動進行分類，分成做剛體運動部分和非剛體運動部分，利用做剛體運動部分實現(xiàn)相機的標定[10,11]，但這些方法要求對物體的特征點進行分類，在實際應用過程中，很難實現(xiàn)特征點的分類.

為了克服上述方法的不足，本文提出了一種基于非剛體運動的相機自標定方法.該方法假定非剛體由若干個非剛性基線性組成，利用圖像矩陣為一個低秩矩陣的特性，實現(xiàn)射影重建，再利用相機內部之間的約束關系，線性迭代地實現(xiàn)相機自標定.

2　非剛體成像模型

假定相機為針孔模型，即成像過程為：

(1)

當物體做非剛體運動時，Xi可以認為由l個剛性基組成，即

(2)

式中βi,j權值，Bj為剛性基.

將式(2)代入式(1)，并整理得

(3)

若將所有的圖像點放在一起，則有

(4)

3　相機自標定

從式(4)可以看出，矩陣W3m×n是一個低秩矩陣，利用該特性，可以求解出深度因子Λi[12].若已知深度因子Λi，通過SVD分解可求到M3m×(3l+1)和B(3l+1)×n.同時，對于任何一個非奇異矩陣T，都有

W=MB=MT-1TB=M′B′

(5)

式中M′=MT-1，B′=TB.

由于相機在照相調焦過程中，改變的僅僅只有尺度因子fu和fv，而其它幾個內參數(shù)并不會改變[13]，利用這此約束信息，可以實現(xiàn)相機的自標定.

對于第i幅圖像，由式(3)可得

Mi=[βi,1KRiβi,2KRi…βi,lKRiKti]3×(3l+1)

(6)

(7)

(8)

將上式兩邊各乘以其轉置，則有

(9)

(10)

從式(10)可以看出，利用上式可以求解出Ω，對Ω進行Cholesky分解，可以求到相機的內參數(shù)K，實現(xiàn)相機的自標定.

總之，上述算法的偽代碼實現(xiàn)如下：

4　實驗

4.1仿真實驗

為了檢驗本文方法的收斂性能，本文在一個單位球內隨機產生100個空間點，并將這些空間點分別分成3個剛體基元，其中第一個剛體基元由前50個空間點組成，后面的點用0表示，構成一個3×100的基元，同理第二個和第三個基元分別由中間的30個和后面的20個空間點組成，構成第二個和第三個基元.模擬產生相機的內參數(shù)fx=fy=800，u0=320，v0=240，s=5，變化相機外參以產生100幅大小為640×480的圖像，并加入1個像素的圖像噪聲，用因式分解的方法實現(xiàn)射影重建，后用本文方法進行相機標定，算法收斂圖如圖1所示.

從圖1可以看出，本文方法迭代15次以內就能夠很好的收斂到理想值，所以該方法具有良好的收斂性.

為檢驗本文方法的精度，在圖像像素中加入高斯噪聲，在每種噪聲水平下各進行200次實驗，然后取均值，實驗結果如圖2所示.

從圖2可以看出，在4個像素的噪聲之內，本文方法求到相機內參矩陣中fu和fv的均值都在800±15范圍內，s、u0和v0的均值分別在5±1、320±15和240±15范圍內，即fu和fv的平均誤差小于2%，s的均值誤差小于20%，u0和v0的均值誤差小于8%，說明本文自標定方法具有較高的精度.

4.2真實實驗

為了驗證本文方法的正確性，本文獲得一個包括300幀的人體跳舞動作圖像序列，如圖3所示.通過圖像序列可以看出，該人體不能當作剛體，只能當作非剛體.在該圖像序列中，通過人工標志提取了75個特征點，如圖3中的(*)所示.利用這些特征點，用本文方法進行相機自標定，標定結果為：fu=623.42，fv=621.74，s=-1.26，u0=231.31，v0=313.55.同時，利用標定結果實現(xiàn)三維重建，重建結果如圖4所示.

從圖4可以看出，能夠較好的重建出該人體的三維結構及運動，說明本文提出的自標定方法能夠較好地實現(xiàn)相機自標定.

5　結束語

本文方法假定非剛體由若干個非剛性基線性組成，利用圖像矩陣為一個低秩矩陣，實現(xiàn)射影重建，再利用相機內部約束關系，線性迭代地求解相機內參數(shù)，實現(xiàn)相機自標定.該方法克服了現(xiàn)有自標定方法要求物體做剛體運動的缺點.實驗結果表明，該方法能夠有效地實現(xiàn)相機自標定.

[1]M Lee,C Choi.Real-time facial shape recovery from a single image under general,unknown lighting by rank relaxation[J].Computer Vision and Image Understanding,2014,120(3):59-69.

[2]R Tsai.An efficient and accurate camera calibration technique for 3D machine vision[A].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition[C].Miami Beach,1986:364-374.

[3]Z Zhang.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4]T Elamsy,A Habed,B Boufama.Self-calibration of stationary non-rotating zooming cameras[J].Image and Vision Computing,2014,32(3):212-226.

[5]O Faugras,Q Luong,S Maybank.Camera self-calibration:theory and experiments[A].Proceedings of the Second European Conference on Computer Vision[C].May 19-22,1992,Italy,321-334.

[6]F Wu,M Zhang,Z Hu.Self-calibration under the cayley framework[J].International Journal of Computer Vision,2013,103(3):372-398.

[7]N Akkad,M Merras,A Saaidi,K Satori.Camera self-calibration with varying intrinsic parameters by an unknown three-dimensional scene[J].The Visual Computer,2014,30(5):519-530.

[8]J Xiao,J Chai,T Kanade.A closed-form solution to non-rigid shape and motion recovery[J].International Journal of Computer Vision,2006,67(2):233-246.

[9]Y Dai,H Li,M He.A simple prior-free method for non-rigid structure-from-motion factorization[J].International Journal of Computer Vision,2014,107(2):101-122.

[10]X Lladó,A.Bueb,L Agapitoc.Non-rigid metric reconstruction from perspective cameras[J].Image and Vision Computing,2010,28(9):1339-1353.

[11]A Rehan,A Zaheer,et al.NRSfM using local rigidity[A].IEEE Conference on Applications of Computer Vision[C].March 24-26,2014,Colorado,69-74.

[12]彭亞麗，劉侍剛，裘國永.一種線性迭代非剛體射影重建方法[J].西安交通大學學報，2015，49(1):102-106.

Peng Yali,Liu Shigang,Qiu Guoyong.A linearly iterative method for non-rigid projective reconstruction[J].Journal of Xi’an Jiaotong University,2015,49(1):102-106.(in Chinese)

[13]M Pollefeys,R Koch,L Gool.Self-calibration and metric reconstruction in spite of varying and unknown internal camera parameters[J].International Journal of Computer Vision,1999,32(1):7-25.

彭亞麗女,1979年3月出生于陜西石泉，2005年在哈爾濱工程大學獲得碩士學位，2013年在西安電子科技大學獲得博士學位，現(xiàn)為陜西師范大學講師.從事圖像處理、智能計算等方面的有關研究.

E-mail：pengylxa@gmail.com

劉侍剛(通信作者)男,1973年11月出生于江西峽江，1997年和2001年在哈爾濱工程大學分別獲得學士學位和碩士學位，2005年在西安電子科技大學獲得博士學位，現(xiàn)為陜西師范大學副教授.從事計算機視覺、三維重建等方面的有關研究.

E-mail：shgliu@gmail.com

賁晛燁女,1983年12月出生于黑龍江省哈爾濱市，2006年和2010年在哈爾濱工程大學分別獲得學士學位和博士學位，現(xiàn)為山東大學副教授.從事圖像處理、模式識別等方面的研究.

E-mail：benxianyeye@163.com

汪西莉女,1969年6月出生于陜西西安，1991年在天津大學獲得學士學位，1994年和2004年在西安電子科技大學分別獲得碩士學位和博士學位，現(xiàn)為陜西師范大學教授.從事智能信息處理、圖像處理與分析等方面的研究.

E-mail：wangxili@snnu.edu.cn

曹菡女,1963年7月出生于陜西西安，1986年和1989年在西北大學分別獲得學士學位和碩士學位，2002年在武漢大學獲得博士學位，現(xiàn)為陜西師范大學教授.從事并行計算與大數(shù)據(jù)處理方面的研究.E-mail：caohan@snnu.edu.cn

Linear Iteration Camera Self-calibration Method Based on Non-rigid

PENG Ya-li1,2，LIU Shi-gang2，BEN Xian-ye3，WANG Xi-li2，CAO Han2

(1.KeyLaboratoryofModernTeachingTechnology,MinistryofEducation,Xi’an，Shaanxi710062,China; 2.SchoolofComputerScience,ShaanxiNormalUniversity,Xi’an，Shaanxi710062,China; 3.SchoolofInformationScienceandEngineering,ShandongUniversity,Jinan，Shandong250100,China)

To calibrate the camera,a linear iteration camera self-calibration method based on non-rigid is presented in this paper.Assumed that the non-rigid is a linear combination of some shape basis,the projective reconstruct can be obtained by using the fact that the image matrix which consists of all the image points and all the depth factors is low rank.Then,the camera calibration can be linear iteration realized based on the camera constraints.The presented method can overcame the shortcoming that the existing self-calibration method can only deal with the rigid.The experiment results with both simulate and real data show that the presented method can efficiently realize the camera self-calibration.

non-rigid;self-calibration;factorization

2014-08-31;

2015-05-22；責任編輯：馬蘭英

國家自然科學基金(No.61402274，No.61571275，No.41471280，No.41171338,No.41271387，No.61501286)；陜西省工業(yè)科技攻關項目(No.2016GY-081);陜西省重點科技創(chuàng)新團隊計劃項目(No.2014KTC-18)；陜西師范大學中央高?；究蒲袠I(yè)務費項目(No.GK201402040)；陜西師范大學學習科學交叉學科培育計劃資助

TP391.41P232

A

0372-2112 (2016)05-1051-04

電子學報URL:http://www.ejournal.org.cn10.3969/j.issn.0372-2112.2016.05.006