一種基于圖像單應(yīng)性矩陣的投影儀標(biāo)定方法

李寶順，顧春霞，包亞萍，李義豐

（南京工業(yè)大學(xué)電子與信息工程學(xué)院，江蘇南京 211816）

?

一種基于圖像單應(yīng)性矩陣的投影儀標(biāo)定方法

李寶順，顧春霞，包亞萍，李義豐

（南京工業(yè)大學(xué)電子與信息工程學(xué)院，江蘇南京 211816）

摘 要：投影儀標(biāo)定是計(jì)算機(jī)視覺(jué)的關(guān)鍵技術(shù)之一，針對(duì)實(shí)際應(yīng)用中攝像機(jī)和投影儀相對(duì)位置關(guān)系，提出一種基于攝像機(jī)和投影儀圖像單應(yīng)性矩陣的投影儀標(biāo)定方法.對(duì)捕獲的圖像進(jìn)行背景差分、特征點(diǎn)提取等操作得到投影圖像和攝像機(jī)圖像之間的單應(yīng)性矩陣，進(jìn)而獲得投影儀參數(shù)矩陣，完成投影儀標(biāo)定.經(jīng)實(shí)驗(yàn)論證，該方法操作簡(jiǎn)單，反投影像素誤差在0.3到1個(gè)像素之間，證明了該方法的有效性.

關(guān)鍵詞：投影儀標(biāo)定；相對(duì)位置關(guān)系；特征點(diǎn)提??；單應(yīng)性矩陣；反投影誤差

對(duì)投影儀進(jìn)行標(biāo)定獲取投影儀內(nèi)外參數(shù)是光柵投影研究領(lǐng)域關(guān)鍵技術(shù)之一［1-2］.傳統(tǒng)的投影儀標(biāo)定方法將投影儀標(biāo)定視為攝像機(jī)標(biāo)定逆過(guò)程，該類方法先對(duì)攝像機(jī)進(jìn)行標(biāo)定，然后利用標(biāo)定好的攝像機(jī)獲取投影圖像特征點(diǎn)的坐標(biāo)對(duì)投影儀進(jìn)行標(biāo)定，該類方法操作簡(jiǎn)單，但需要利用標(biāo)定好的攝像機(jī)獲取投影圖像特征點(diǎn)坐標(biāo)，因而在投影儀標(biāo)定過(guò)程中不可避免引入攝像機(jī)標(biāo)定的誤差［1］，使其標(biāo)定精度降低，難于應(yīng)用于精度要求高的場(chǎng)合.近年來(lái)有學(xué)者采用投射一定規(guī)律的結(jié)構(gòu)光［3-7］來(lái)標(biāo)定投影儀，該類方法核心思想是投影一定規(guī)律的結(jié)構(gòu)光到投影平面上，利用結(jié)構(gòu)光的已知信息對(duì)投影儀進(jìn)行標(biāo)定，該方法精確度可較高，但其精度受圖像特征點(diǎn)的提取影響，可使該類方法可靠性降低.針對(duì)上述問(wèn)題，作者提出一種基于攝像機(jī)和投影儀圖像單應(yīng)性矩陣的投影儀標(biāo)定方法，利用投影儀和攝像機(jī)之間的位置關(guān)系，得到攝像機(jī)圖像與投影儀圖像之間的確定關(guān)系，構(gòu)建由偽隨機(jī)編碼構(gòu)建的投影圖像.該圖像的特征點(diǎn)容易獲取，有效地標(biāo)定了投影儀，提高了投影儀標(biāo)定的精度.

1　投影儀標(biāo)定原理

攝像機(jī)和投影儀相互之間位置固定，投影儀圖像與攝像機(jī)圖像之間存在確定關(guān)系.攝像機(jī)投影儀系統(tǒng)如圖1所示.

圖1　攝像機(jī)投影儀系統(tǒng)Fig.1　Diagram of camera-projector system

1.1 投影儀單應(yīng)性矩陣獲取

小孔成像原理為公認(rèn)的攝像機(jī)成像模型，其光學(xué)模型為針孔模型.投影儀的功能與攝像機(jī)相反而光學(xué)結(jié)構(gòu)相同，故攝像機(jī)和投影儀均采用針孔模型.攝像機(jī)投影儀系統(tǒng)模型如圖2所示.

圖2　攝像機(jī)投影儀系統(tǒng)成像模型Fig.2　Camera-projector system imaging model

圖2中，世界坐標(biāo)系為XWYWZW，投影儀坐標(biāo)系為XPYPZP，攝像機(jī)坐標(biāo)為XcYcZc，以攝像機(jī)為列描述成像模型，空間某點(diǎn)世界坐標(biāo)為MW（X，Y，Z），齊次坐標(biāo)表示為M～W＝［X，Y，Z，1］，它在攝像機(jī)圖像平面上成像為點(diǎn)mc（u，v），記它的齊次坐標(biāo)為m～c＝［u，v，1］，則空間點(diǎn)世界坐標(biāo)到圖像像素點(diǎn)坐標(biāo)的齊次變換關(guān)系為

記Hc＝Ac［Rctc］，sc為比例因子，Rc和tc分別為世界坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矢量，Ac為攝像機(jī)內(nèi)部參數(shù)矩陣，可表示為

投影儀和攝像機(jī)光學(xué)模型一致，則投影儀圖像像素點(diǎn)坐標(biāo)和空間點(diǎn)世界坐標(biāo)之間有以下的齊次變換關(guān)系式

其中：HP＝AP［RPtP］，sP為比例因子，AP為投影儀內(nèi)部參數(shù)矩陣，RP和tP分別為世界坐標(biāo)系相對(duì)于投影儀坐標(biāo)系的旋轉(zhuǎn)矩陣和平移矢量，且αP＝f／dx，βP＝f／dy，f為投影儀焦距，dx為單位像素在水平的物理長(zhǎng)度，dy為單位像素在垂直方向的物理長(zhǎng)度，（x0，y0）為主點(diǎn)坐標(biāo)，s2為水平單位像素和垂直單位像素的傾斜因子.HP是可逆的，由式（2）變換可得

將式（3）代入式（1），則攝像機(jī)圖像像素點(diǎn)坐標(biāo)和投影儀圖像像素點(diǎn)坐標(biāo)之間的轉(zhuǎn)換關(guān)系如下式所示

將HcH-1P記為H，Hc和H-1P都為3×3的矩陣，由矩陣性質(zhì)可知H也為3×3矩陣，式（5）可以轉(zhuǎn)換為下式

H矩陣即為投影儀圖像和攝像機(jī)圖像之間的單應(yīng)性矩陣，則

分解HP可得到投影儀的內(nèi)參和外參.

1.2 H矩陣求解

式（6）的H矩陣即投影儀圖像和攝像機(jī)圖像之間的單應(yīng)性矩陣，把H表示為，由式（6）可得m～c和Hm～P是共線的，則

而

故（8）式可轉(zhuǎn)化為下式

式（10）中有兩個(gè)方程是線性相關(guān)的，取其中兩行將式（10）化為

若n對(duì)對(duì)應(yīng)點(diǎn)，則可以得到n對(duì)類似（11）的方程，對(duì)其進(jìn)行整理可得到以下方程組

令h33＝1，h的自由度為8，每對(duì)對(duì)應(yīng)點(diǎn)可以得到2個(gè)方程，可將4個(gè)點(diǎn)的坐標(biāo)對(duì)代入式（12）求得H.

2　投影儀標(biāo)定方法

對(duì)投影儀進(jìn)行標(biāo)定，需得到投影圖像特征點(diǎn)的坐標(biāo)來(lái)確定投影儀和攝像機(jī)的單應(yīng)性矩陣.投影由偽隨機(jī)編碼生成色塊圖案，該圖像色塊變化具有唯一性，容易識(shí)別，可以方便得到圖像特征點(diǎn)坐標(biāo).

2.1 偽隨機(jī)編碼投影圖案

投影圖案采用偽隨機(jī)編碼［8-9］產(chǎn)生投影模板.偽隨機(jī)編碼是一個(gè)預(yù)先確定并可重復(fù)實(shí)現(xiàn)的序列，產(chǎn)生的序列可表示成偽隨機(jī)陣列的形式.它有良好的窗口特性，用偽隨機(jī)編碼對(duì)投影儀圖像進(jìn)行編碼，可保證窗口獲得的每個(gè)色塊區(qū)域都是唯一的，可以容易判斷該色塊區(qū)域在整個(gè)投影圖像中的位置及識(shí)別特征點(diǎn).

偽隨機(jī)編碼采用離散方形編碼［10］，方形編碼每個(gè)色塊都有4個(gè)角點(diǎn)，較別的編碼圖像有更多的特征點(diǎn)，且每個(gè)色塊都是獨(dú)立的，方便特征點(diǎn)位置的確定.

論文采用q＝3，k1＝3，k2＝3的偽隨機(jī)序列，該偽隨機(jī)序列的周期為n＝qm-1＝19 682，本原多項(xiàng)式為x9＋x7＋x2＋x＋1，檢測(cè)窗口大小為3×3，該序列足以產(chǎn)生投影儀標(biāo)定圖像所需的色塊，選取其中一部分子陣列作為投影模板，記選取的陣列的3種基元分為0，1，ξ，指定0為綠色，1為紅色，ξ為藍(lán)色.每一個(gè)矩陣元素設(shè)置為20×20像素的正方形，每個(gè)正方形之間的間距設(shè)置為20像素.因?yàn)楹谏菀缀推渌伾珔^(qū)分，設(shè)置背景色為黑色，得到偽隨機(jī)編碼的投影圖案如圖3所示.

圖3　偽隨機(jī)編碼投影圖案Fig.3　Pseudo-random coding projection pattern

2.2 圖像背景差分和色塊顏色判斷

攝像機(jī)捕獲到的圖像因?yàn)橹車h(huán)境噪聲、投影面可能存在紋路之類的影響，對(duì)色塊中心坐標(biāo)提取有一定干擾，需要在提取中心坐標(biāo)前，對(duì)捕獲的圖像進(jìn)行處理，減小不必要的干擾.在投影偽隨機(jī)編碼圖案前，投影一副全黑的圖像，作為背景差分的背景圖案.將投影圖像和背景圖像分離開(kāi)，可以降低外部因素對(duì)投影圖像的影響.經(jīng)過(guò)背景差分后的圖像記為I′（u，v）（R，G，B），處理后的圖像可由下式表示

其中：I（u，v）（R，G，B）表示捕獲到的圖像，IB（u，v）（R，G，B）表示捕獲的背景圖像，（u，v）表示圖像上點(diǎn)的坐標(biāo).

由于實(shí)際捕獲的圖像會(huì)產(chǎn)生一定的顏色失真，會(huì)對(duì)色塊顏色的判斷產(chǎn)生影響.在實(shí)驗(yàn)時(shí)需設(shè)置每種顏色的閾值來(lái)判斷色塊顏色，減少顏色失真對(duì)色塊坐標(biāo)提取產(chǎn)生的影響.設(shè)置紅、綠、藍(lán)色3種顏色的閾值分別為（Rr，Grh，Brh），（Rgh，Gg，Bgh），（Rbh，Gbh，Bb），則提取到的色塊顏色判斷式為下式

其中：I（x，y）r，I（x，y）b，I（x，y）g表示顏色塊中的紅、藍(lán)、綠的顏色分量；IR（x，y），Ig（x，y），Ib（x，y）表示色塊的顏色分別為紅、綠、藍(lán).

2.3 色塊中心坐標(biāo)提取

實(shí)驗(yàn)采用色塊中心作為圖像的特征點(diǎn)，每一個(gè)色塊的4個(gè)角點(diǎn)的橫坐標(biāo)和縱坐標(biāo)的平均值即為色塊的中心坐標(biāo).

對(duì)色塊的中心坐標(biāo)進(jìn)行提取前，需選擇要利用的攝像機(jī)圖像色塊區(qū)域，再對(duì)采用的色塊區(qū)域進(jìn)行顏色解碼得到編碼序列.再利用偽隨機(jī)編碼的特性得到投影模板上變化一致的區(qū)域，該區(qū)域即為攝像機(jī)圖案選擇的同一色塊區(qū)域.最后分別提取選擇出來(lái)的投影圖像區(qū)域和攝像機(jī)圖像區(qū)域中每一個(gè)色塊的中心坐標(biāo)，經(jīng)過(guò)計(jì)算得到投影圖像和攝像機(jī)圖像的映射關(guān)系.

2.4 算法實(shí)現(xiàn)步驟

步驟1 投影儀依次投射全黑圖像I1和由偽隨機(jī)編碼的圖像I2；

步驟2 攝像機(jī)捕獲分別捕獲圖像I′1和I′2，圖像I′1為圖像I′2的差分背景；

步驟3 圖像I′2經(jīng)過(guò)背景差分后得到I＝I′2-I′1；

步驟4 選定I圖像中需要用的色塊區(qū)域S，并對(duì)S中的色塊解碼；

步驟5 根據(jù)圖像I中色塊區(qū)域S解碼得到的結(jié)果找尋到投影儀圖像同一區(qū)域；

步驟6 提取攝像機(jī)圖像I和投影儀圖像選定的色塊區(qū)域的色塊中心坐標(biāo)；

步驟7 根據(jù)圖像I和投影圖像提取的色塊中心坐標(biāo)完成單應(yīng)性矩陣H求解；

步驟8 最后利用攝像機(jī)圖像和投影儀圖像之間的單應(yīng)性矩陣H和已知的攝像機(jī)參數(shù)矩陣HC，得到投影儀參數(shù)矩陣HP，完成投影儀標(biāo)定.

3　實(shí) 驗(yàn)

該實(shí)驗(yàn)由投影儀依次投射出全黑圖和偽隨機(jī)彩色編碼圖案，同時(shí)由攝像機(jī)捕獲圖像，將捕獲的圖像背景差分，色塊區(qū)域選擇，色塊顏色判斷與解碼、投影圖案色塊陣列提取、投影圖案和攝像機(jī)圖案選擇的區(qū)域中每個(gè)色塊中心坐標(biāo)提取，求取單應(yīng)性矩陣等操作，利用傳統(tǒng)的方法對(duì)攝像機(jī)進(jìn)行標(biāo)定得到參數(shù)矩陣，最后完成投影儀標(biāo)定.

3.1 實(shí)驗(yàn)系統(tǒng)

實(shí)驗(yàn)系統(tǒng)如圖4所示.使用的投影儀為NEC公司的NP-L51W＋型投影儀，它的分辨率為1 280× 800；攝像機(jī)采用MVC5001F-S00型工業(yè)攝像機(jī)，圖像分辨率為2 048×1 024，2.2μm×2.2μm；投影的色塊19mm×19mm.

圖4　實(shí)驗(yàn)系統(tǒng)Fig.4　Experimental system

3.2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)時(shí)，投影儀依次投射全黑圖像和投影模板圖像，利用攝像機(jī)捕獲每一幅投影圖像.對(duì)捕獲的投影圖片進(jìn)行背景差分和色塊角點(diǎn)檢測(cè).每個(gè)色塊有4個(gè)角點(diǎn)，將色塊4個(gè)角點(diǎn)的縱橫坐標(biāo)的平均值作為色塊的中心坐標(biāo)，得到投影圖像和攝像機(jī)圖像之間的單應(yīng)性矩陣為

對(duì)攝像機(jī)采用經(jīng)典的張正友平面模板法進(jìn)行標(biāo)定，獲取攝像機(jī)的參數(shù)矩陣.最后利用式（7）的關(guān)系，得到投影儀參數(shù)矩陣如表1所示.

表1　論文投影儀標(biāo)定方法標(biāo)定結(jié)果Tab.1　Results of the proposed projector calibration method

為驗(yàn)證論文方法有效性，加入傳統(tǒng)投影儀標(biāo)定方法即將投影儀視為逆向的攝像機(jī)對(duì)投影儀進(jìn)行標(biāo)定，得到投影儀參數(shù)為表2所示.

表2　傳統(tǒng)投影儀標(biāo)定結(jié)果Tab.2　Results of the traditional projector calibration method

由表1、2可知，兩種投影儀標(biāo)定方法都有效標(biāo)定出了投影儀的內(nèi)外參數(shù)，主點(diǎn)坐標(biāo)接近圖像中心，α 和β在合理范圍內(nèi)，為評(píng)估兩種方法的精度，采用常見(jiàn)的反投影誤差衡量進(jìn)行比較，即從投影圖像提取到的特征點(diǎn)坐標(biāo)和按照投影模型得到的坐標(biāo)比較得到兩者間的誤差，誤差公式為

投影儀標(biāo)定的誤差如圖5所示.

圖5　投影儀標(biāo)定像素誤差Fig.5　Pixels error of projector calibration

實(shí)驗(yàn)結(jié)果表明，論文提出的方法誤差在0.3和1個(gè)像素內(nèi)，傳統(tǒng)投影儀像素誤差在0.5和1.2個(gè)像素內(nèi)，較傳統(tǒng)方法有較高的精度，驗(yàn)證了方法的有效性.

4　結(jié)束語(yǔ)

基于投影儀和攝像機(jī)的相對(duì)位置關(guān)系，得到投影圖案和攝像機(jī)圖案的確定關(guān)系，進(jìn)而獲得投影儀的參數(shù)矩陣.相比傳統(tǒng)方法，該方法無(wú)需利用攝像機(jī)來(lái)得到投影特征點(diǎn)的坐標(biāo)，且圖像特征點(diǎn)容易被捕獲，有一定實(shí)用價(jià)值.

參考文獻(xiàn)：

［1］ GABRIEL F，HURTOS N，MASSICH J.Plane-based calibration of a projector-camera system［J］.VIBOT Master，2008，9（1）：1-12.

［2］ MORENO D，TAUBIN G.Simple，accurate，and robust projector-camera calibration［C］／／IEEE International Conference on 3DImaging Modeling Processing Visualization and Transmission，2012：464-471.

［3］ MARTYNOV I，KAMARAINEN J K，LENSU L.Projector calibration by“inverse camera calibration”［M］. Berlin：Springer Berlin Heidelberg，2011：536-544.

［4］ YAMAZAKI S，MOCHIMARU M，KANADE T.Simultaneous self-calibration of a projector and a camera using structured light［C］／／IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops，2011：60-67.

［5］ 韋爭(zhēng)亮，鐘約先，袁朝龍，等.單攝像機(jī)單投影儀三維測(cè)量系統(tǒng)標(biāo)定技術(shù)［J］.清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2009 （2）：202-205.

［6］ LIAO J，CAI L.A calibration method for uncoupling projector and camera of a structured light system［C］／／IEEE International Conference on Advanced Intelligent Mechatronics，2008：770-774.

［7］ 陳會(huì)，密保秀，高志強(qiáng).基于畸變規(guī)律的三維結(jié)構(gòu)光測(cè)量系統(tǒng)標(biāo)定［J］.光學(xué)學(xué)報(bào)，2013（12）：162-170.

［8］ 傅凌進(jìn)，徐海松，鄒文海.一種投影儀相機(jī)系統(tǒng)幾何配準(zhǔn)的魯棒算法［J］.中國(guó)圖象圖形學(xué)報(bào)，2010，15（11）：1664-1669.

［9］ KAZANTSEV A，PETRIU E M.Robust pseudo-random coded colored structured light technique for 3D object model recovery［C］／／IEEE International Workshop on Robotic and Sensors Environments，2008：150-155.

［10］ 廖素引，吳先良，衛(wèi)敏，等.視覺(jué)測(cè)量中基于彩色偽隨機(jī)編碼照明模板的設(shè)計(jì)［J］.安徽大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，35（1）：69-73.

（責(zé)任編輯 朱夜明）

A calibration method of projector based on the homography between the images

LI Baoshun，GU Chunxia，BAO Yaping，LI Yifeng
（College of Electronics and Information Engineering，Nanjing Tech.University，Nanjing 211816，China）

Abstract：Projector calibration is one of the key technologies in computer vision.This paper presented a calibration method of projector based on the positional relationship between the camera and projector.The method established the relation which was one to one correspondence of pixels between the image of the camera and projector image.The projector calibration was completed when getting homography between the projected image and the camera image by a series of operations to the captured image such as background subtraction，feature points extraction and so on.The method was simple and the experimental results indicated the method was practical，since the back projection error was between 0.3to 1 pixel units.

Key words：projector calibration；relative position；feature points extraction；homography；back projection error

doi：10.3969／j.issn.1000-2162.2016.01.006

作者簡(jiǎn)介：李寶順（1974-），男，山東臨沭人，南京工業(yè)大學(xué)講師，博士.

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（11104142）

收稿日期：2015-04-16

中圖分類號(hào)：TP391

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1000-2162（2016）01-0030-07