基于瞳孔定位的單目測距系統(tǒng)

李賢輝 高錢 恭斌

摘 要針對人和機器人在協(xié)同工作的過程中，機器人需要對伙伴進行準確的目標定位這個問題，設計了一個以ARM Cotex-A9 i.MX6Q為微處理器處理模塊，USB攝像頭為采集模塊的嵌入式視覺測距系統(tǒng)，實現(xiàn)了單目視覺測距定位。該系統(tǒng)設計大體分為人眼瞳孔定位和單目測距兩部分。人眼瞳孔定位通過USB攝像頭采集人臉圖像，系統(tǒng)對人臉圖像進行處理，獲取人臉圖像中瞳孔的精確位置，獲取人臉圖像中瞳孔的位置采用Adboost人臉檢測算法和灰度投影人眼定位算法；測距采用小孔成像三角形相似原理，根據(jù)實際人眼瞳距和圖像中人眼瞳距信息計算出目標人物到攝像機鏡頭間的距離，其中攝像機的內(nèi)參數(shù)標定借助于Matlab工具箱來完成。實驗結果表明，該測距定位系統(tǒng)測距精度較高，系統(tǒng)魯棒性好，具有良好的應用前景。

關鍵詞單目視覺； 視覺定位； 嵌入式圖像處理； 人眼定位

中圖分類號：TP27 文獻標志碼：A 文章編號：2095-2163（2016）02-

Monocular vision measurement system based on eye location

LI Xianhui，GAO Ying，QIAN Gongbin

（College of Information Engineering，Shenzhen University，Shenzhen Guangdong China，518000）

Abstract：The target location problem of people-robot cooperation is discussed. A monocular vision measurement system with ARM Cotex-A9i.MX6Q microprocessor as the main processing module and the USB camera as the image capture module is presented. The system design includes two parts that eye location and measurement. The system capture the image of human face by USB camera ，and then process the image of human face by microprocessor to get eyes location in the image. The system use the Adboost and eye location based on gray projection to achieve the eye location， and the distance measurement according to the principle of small hole imaging. The intrinsic camera parameter calibration is performed with Matlab toolbox. The experiments show that the system is high in precision and robust.

Key words：monocular vision； visual localization； embedded image processing； eye location

0 引言

隨著機器人研究的興起，視覺測量作為嵌入式視覺系統(tǒng)的重要應用，受到了機器人領域的廣泛關注。在視覺測量中，機器人使用攝像頭采集目標物體的二維圖像信息，并通過處理器對信息進行處理，以獲取目標物體的位置等方位信息。按照視覺系統(tǒng)所使用攝像頭的數(shù)目，可分為單目、雙目和多個攝像頭視覺系統(tǒng)[1]。

總而言之，單目視覺系統(tǒng)使用單個攝像頭對目標物體進行圖像采集及測量，本系統(tǒng)使用的是單攝像頭視覺系統(tǒng)。雙目視覺系統(tǒng)使用2個攝像頭對目標進行測量，多攝像機視覺系統(tǒng)采用多臺攝像機來進行目標測量[1]。

本文中，設計系統(tǒng)基于嵌入式Linux實現(xiàn)了單攝像頭測距功能。系統(tǒng)控制攝像頭對目標通過人臉圖像采集，處理器再對采集到的人臉圖像施以處理，獲取人臉圖像中瞳距信息，結合實際瞳距以及攝像機內(nèi)部參數(shù)，達到對目標進行測距定位的目的[2]。系統(tǒng)采用被動測距，相對主動測距更具靈活性，并更顯實用性，經(jīng)測量數(shù)據(jù)驗證表明，該系統(tǒng)測量精度較高，魯棒性好。

1 硬件結構設計

本視覺系統(tǒng)，使用USB攝像機采集目標圖像，選用基于Cotex-A9 架構的i.MX6Q芯片作為嵌入式核心處理器來進行視覺圖像算法處理，用DDR3和Flash作為存儲器。系統(tǒng)具體構成如下：

1） 處理器采用飛思卡爾i.MX6Q芯片，穩(wěn)定運行時處理器主頻為1GHz，最高主頻可達到1.2GHz。

2） 容量為1GB的DDR3，2GB的Flash 存儲。

3） 攝像頭模塊：USB攝像頭，內(nèi)部由CMOS感光芯片構成，30萬像素，幀數(shù)為30fps。

4）SPI接口。

其中，攝像頭是通過USB接口連接到主板上，DDR3/EMMC FLASH 通過內(nèi)存控制把圖像數(shù)據(jù)輸送到微處理器進行處理。

2 算法設計

該視覺系統(tǒng)分為人眼瞳孔定位和攝像機標定測距2個模塊。人眼瞳孔定位所采用的算法有Adboost人臉檢測算法和灰度投影算法，攝像機內(nèi)部參數(shù)標定使用Matlab工具箱來完成，測距采用小孔成像中三角形相似原理，通過處理器處理采集圖像獲取的人眼瞳孔的像素距離，根據(jù)人眼的實際瞳距，以及攝像機標定參數(shù)計算出攝像機鏡頭到目標人物之間的距離。

2.1 Adboost人臉檢測算法

Viola[3]等提出了Adboost算法，能夠?qū)崟r地檢測出人臉，具體算法[4]如下：

1）給定訓練樣本（ ）， （ ），…（ ）， =1和0分別表示人臉和非人臉。

2）初始化權重，當 時， =1/（2m）；當 =1時， =1/（2l），m和l分別代表非人臉樣本和人臉樣本的個數(shù)。

3） t=1，2...T

歸一化權重： ；

對每一個特征j訓練一個分類器 （x），使得利用該分類器進行分類時，相應的錯誤率為： ；

選擇錯誤率 最小的分類器 ；

④更新權值 ，其中 =0，表示正確分類， =1，表示錯誤分類。并且 ，計算分類器的權值為 。

4）最后構建一種強的分類器：

2.2灰度投影人眼定位算法

目前在人眼檢測方面有很多成熟的算法，如邊緣特征提取法、模板匹配法、基于Hough變換的檢測方法，灰度積分投影法等。其中，灰度積分投影法是對人臉進行水平和垂直2個方向上的投影，根據(jù)波峰波谷的信息來定位人眼，這種方法實現(xiàn)簡單，定位速度快，但對人眼姿態(tài)有較高的要求，當人臉發(fā)生旋轉(zhuǎn)造成人眼有一定的傾斜角度時，傳統(tǒng)的灰度積分投影法就很難對人眼進行有效的定位[5]。本系統(tǒng)采用改進的灰度投影法[6]對人眼進行定位。

其中，x，y分別為圖像坐標水平方向和垂直方向上的坐標， 為像素值， ， 分別為水平方向和垂直方向上的投影積分值， ， 分別表示水平方向和垂直方向上的均值差分投影值。

假設人眼在幀存圖像中的坐標為：左眼 ，右眼 ，具體算法如下：

1）讀取檢測到的人臉灰度圖像數(shù)據(jù)，分別取人臉的左半臉和右半臉。

2）對左半臉在水平方向上進行均值差分投影，即公式（4），并存儲 的值及相對應的圖像坐標值y；

3）求出所有 值中的最大值，這個最大值對應的y值即是左眼瞳孔的垂直坐標值，記為 ；

4）根據(jù) 確定左眼垂直方向區(qū)域，記為H；

5）對左臉區(qū)域在垂直方向H范圍內(nèi)進行積分投影，即公式（3），并存儲 的值以及相對應圖像坐標值x；

6）求出 所有值中的最小值，這個最小值對應的x值即是左眼瞳孔的水平坐標值，記為 ；

7）則左眼坐標為 ；

8）同理可得右眼瞳孔坐標 ；

如圖3所示，系統(tǒng)對人臉部位進行人眼瞳孔定位，十字交叉點即為人眼的瞳孔位置。

2.3攝像機標定與目標定位

2.3.1 攝像機內(nèi)參數(shù)標定

本文使用7×5黑白交錯的棋盤網(wǎng)格作為標定模板對攝像機進行標定，標定板的網(wǎng)格規(guī)格為30mm×30mm。使用攝像頭模塊采集20幅不同放置角度的模板圖像，然后用Matlab標定工具箱對攝像機內(nèi)部參數(shù)進行標定。

軸任

（6）

為世界坐標， 為攝像機坐標，R為3×3旋轉(zhuǎn)矩陣，t為三維平移矩陣。

有如下關系[7]：

其中，M1為攝像機內(nèi)參數(shù)矩陣， ， ，f為攝像機內(nèi)部焦距。

2.3.2測距算法

假設人眼瞳孔在攝像機坐標系中的坐標為 ， ， ，在圖像平面中的投影分別為 ， ，在攝像機坐標中人眼瞳孔x軸方向上模值為Δx=| |，單位為毫米（mm），在圖像平面中人眼瞳孔u軸方向上的像素模值為Δu=| |，單位為像素（pixel）。根據(jù)攝像機針孔模型[7]，若O為光軸與針孔平面的交點，則Δ 與Δ 相似，令| |=R，根據(jù)三角形相似原理，可得：

3 系統(tǒng)測量結果及分析

本文采取兩個方面的數(shù)據(jù)測量來對系統(tǒng)進行驗證，一方面是對系統(tǒng)測量精度的驗證，另一方面是對系統(tǒng)測量魯棒性的驗證。系統(tǒng)精確度驗證，采集目標物體在不同位置的距離測量數(shù)據(jù)，并對這些數(shù)據(jù)進行分析比較。魯棒性驗證，多次采集目標物體在同一位置的距離測量數(shù)據(jù)，而且對這些數(shù)據(jù)通過比較對照，計算均值誤差。

3.1攝像機內(nèi)部參數(shù)標定結果

攝像機內(nèi)部參數(shù)標定結果：

3.2精確度驗證

3.3魯棒性驗證

其中，該項測量設置實際距離固定為300mm，計算輸出的測量距離的均值為312.85mm，由此可見系統(tǒng)的魯棒性較高，計算輸出的波動穩(wěn)定在1cm左右。

4 結束語

系統(tǒng)以ARM Cotex-A9i.MX6Q為微處理器，USB攝像頭為圖像采集模塊，設計了一個單目視覺測距系統(tǒng)，實現(xiàn)了測距功能。經(jīng)測量數(shù)據(jù)表明該系統(tǒng)測距精度較高，魯棒性好，基本能夠滿足機器人和人協(xié)同工作過程中機器人對伙伴進行實時定位的要求。當然，該系統(tǒng)功能比較簡單，系統(tǒng)測距的精度也有待提高，在后續(xù)研究中，將會進一步提高瞳孔定位精確度以及攝像機標定參數(shù)的準確度，以提高系統(tǒng)測距的精度。

參考文獻

[1] 鄒偉，喻俊志，徐德，等. 基于ARM處理器的單目視覺測距定位系統(tǒng)[J]. 控制工程，2010， 17（4）：509-512.

[2] 羅靜云.一種基于人眼定位的單目測距方法[D].深圳：深圳大學， 2015.

[3] VIOLA P， JONES M. Rapid object detection using a boosted cascade of simple features[C]// Proceedingsof the2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Kauai， Hawaii USA ：IEEE，2001：511-518.

[4] 楊定禮，趙正敏，白秋產(chǎn). 基于Adboost與空間支持向量域分類的人臉檢測[J]. 電路與系統(tǒng)學報， 2013， 18（2）：321-325.

[5] 修春波，盧少磊. 基于極坐標的改進灰度積分投影法的人眼檢測[J]. 計算機工程與應用，2015（12）：161-164，170.

[6] FANG J Y， LING Lu. Eye location based on gray projection[C]//Proceedingsof 2009 Third International Symposium on Intelligent Information Technology Application ， Nanchang ：IEEE ，2009：58-60

[7] 馬頌德，張正友.計算機視覺-計算機理論與算法基礎[M].北京：科學出版社，2003.

[8] ZHANG Zhengyou. A flexible new technique for cameracalibration[J].IEEE Transactions on Pattern Analysis & MachineIntelligence，2000，22（11）：1330-1334.