雙目攝像頭在識(shí)別物體大小方面的應(yīng)用

程子龍+蔣馥蔓+許峰

【摘要】 在機(jī)器視覺(jué)的應(yīng)用當(dāng)中，雙目攝像頭對(duì)物體距離和大小的感知模仿了人眼的功能，實(shí)現(xiàn)了對(duì)現(xiàn)實(shí)世界的感知。該算法基于ARM Cortex-A9嵌入式開(kāi)發(fā)平臺(tái)，在考慮了透鏡的徑向畸變和切向畸變影響的情況下，對(duì)雙目攝像頭進(jìn)行了立體標(biāo)定，給出了使用opencv雙目識(shí)別物體大小和距離的算法。其充分發(fā)揮了opencv圖像處理庫(kù)的實(shí)用性和雙目攝像頭的優(yōu)勢(shì)，具有較高的識(shí)別準(zhǔn)確性、跨平臺(tái)可移植性和實(shí)時(shí)性，可以滿足各個(gè)領(lǐng)域的需求。

【關(guān)鍵詞】 計(jì)算機(jī)視覺(jué) 嵌入式 雙目立體視覺(jué) 物體大小 opencv

引言

隨著計(jì)算機(jī)計(jì)算能力的提高，圖像分析越來(lái)越凸顯出其在各個(gè)領(lǐng)域的優(yōu)勢(shì)，而單攝像頭所得到的單張平面圖像已經(jīng)滿足不了人們?cè)诟鱾€(gè)領(lǐng)域內(nèi)對(duì)圖像處理的要求，雙攝像頭的圖像處理技術(shù)應(yīng)運(yùn)而生。人眼對(duì)世界的感知就是通過(guò)雙眼得到的，圖像工程領(lǐng)域模仿人眼的結(jié)構(gòu)，設(shè)計(jì)了雙目攝像頭，在二維圖像的基礎(chǔ)上將圖像拓展成為了三維。

本文基于OpenCV庫(kù)，OpenCV是一個(gè)開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上，它輕量級(jí)而且高效——由一系列 C 函數(shù)和少量 C++ 類(lèi)構(gòu)成，實(shí)驗(yàn)平臺(tái)為Exynos 4412開(kāi)發(fā)板，是一款基于ARM Cortex-A9架構(gòu)的嵌入式開(kāi)發(fā)平臺(tái)，從雙目測(cè)距的原理開(kāi)始，使用了canny算子等算法實(shí)現(xiàn)了對(duì)雙目攝像頭中物體的提取和識(shí)別，并通過(guò)輪廓檢測(cè)實(shí)時(shí)計(jì)算出物體的尺寸大小。經(jīng)實(shí)驗(yàn)驗(yàn)證，計(jì)算結(jié)果準(zhǔn)確，具有很高的實(shí)用價(jià)值。

一、雙目測(cè)距的原理

1.1基本原理

雙目測(cè)距是基于視差的原理，該模型是基于一套無(wú)畸變、對(duì)準(zhǔn)、已測(cè)量好的完美標(biāo)準(zhǔn)立體實(shí)驗(yàn)臺(tái)的數(shù)學(xué)模型，即兩攝像頭所得圖像無(wú)任何畸變，完全基于小孔成像原理，兩圖像平面完全在一個(gè)平面內(nèi)，每一行像素點(diǎn)平行且對(duì)其，兩攝像頭參數(shù)完全相同，如下圖。

深度與視差成反比，兩者是明顯的非線性關(guān)系，當(dāng)視差接近0時(shí)，微小的視差變化會(huì)導(dǎo)致很大的深度變化；當(dāng)視差較大時(shí)，微小的視差變化幾乎不會(huì)引起深度多大的變化。因此，立體視覺(jué)系統(tǒng)僅僅對(duì)于物體與攝像機(jī)相距較近時(shí)具有較高的深度精度。

1.2相機(jī)的標(biāo)定的基本原理

對(duì)攝像機(jī)進(jìn)行標(biāo)定，其實(shí)質(zhì)是求解攝像機(jī)成像模型中的相關(guān)參數(shù)。在眾多攝像機(jī)模型中，最簡(jiǎn)單的是針孔模型。但是攝像機(jī)鏡頭都是采用的透鏡成像，并不是理想的針孔模型，透鏡的使用帶來(lái)了透鏡畸變。[1]在opencv中，常用的攝像頭畸變模型為

其中，R為兩攝像頭間的旋轉(zhuǎn)矩陣，T為兩攝像頭間的平移矩陣。Rr為右攝像頭經(jīng)過(guò)張氏標(biāo)定得到的相對(duì)標(biāo)定物的旋轉(zhuǎn)矩陣，Tr為右攝像頭通過(guò)張氏標(biāo)定得到的相對(duì)標(biāo)定物的平移向量。Rl為左攝像頭經(jīng)過(guò)張氏標(biāo)定得到的相對(duì)相同標(biāo)定物的旋轉(zhuǎn)矩陣，Tl為左攝像頭經(jīng)過(guò)張氏標(biāo)定得到的相對(duì)相同標(biāo)定物的平移向量。

在opencv中，可以利用棋盤(pán)格標(biāo)定盤(pán)進(jìn)行標(biāo)定，使用FindChessboardCorners（）抓取角點(diǎn)。獲取亞像素角點(diǎn)坐標(biāo) FindCornerSubPix（），單目標(biāo)定，求取攝像機(jī)內(nèi)外參數(shù)ClibrateCamera2（）。雙目標(biāo)定，求取兩攝像機(jī)相對(duì)位置關(guān)系StereoClibrate（）。

圖為立體標(biāo)定后的修正圖。

二、物體識(shí)別

2.1物體識(shí)別的基本原理

首先對(duì)雙攝像頭得到的圖片進(jìn)行立體匹配，然后對(duì)原始圖片進(jìn)行二值化處理、高斯模糊、canny算子輪廓檢測(cè)，尋找物體輪廓并用最小四邊形將物體完整框出，通過(guò)計(jì)算四邊形四個(gè)頂點(diǎn)的坐標(biāo)得到物體的像素大小。

2.1物體識(shí)別的opencv的實(shí)現(xiàn)

Opencv提供了BM算法、SGBM算法、GC算法三種立體匹配算法，三種算法的匹配速度從高到低，匹配質(zhì)量從低到高，出于匹配速度和匹配質(zhì)量的考慮，在這里使用SGBM算法進(jìn)行計(jì)算，在opencv中提供了cv：：Ptr類(lèi)，運(yùn)行效果如圖。

三、物體實(shí)際大小的計(jì)算

3.1物體實(shí)際大小的計(jì)算原理

獲得景深圖后，對(duì)物體輪廓進(jìn)行檢測(cè)，并用最小四邊形框出物體的輪廓，通過(guò)計(jì)算四邊形四個(gè)頂點(diǎn)的坐標(biāo)得到物體中心點(diǎn)的像素坐標(biāo)，通過(guò)雙目測(cè)距的原理獲得物體中心點(diǎn)距離攝像頭的距離。根據(jù)三角形原理，可以計(jì)算出物體的寬度和高度，實(shí)現(xiàn)物體大小的測(cè)量。

3.1計(jì)算物體實(shí)際大小的實(shí)現(xiàn)

首先使用reprojectImageTo3D生成三維點(diǎn)云，使用findContours獲得物體輪廓，遍歷刪除最大最小的輪廓，使用minAreaRect獲得輪廓的最小矩形并得到矩形四個(gè)頂點(diǎn)的坐標(biāo)，通過(guò)三角函數(shù)計(jì)算出物體的大小，并通過(guò)雷達(dá)扇形圖顯示在屏幕上。

四、結(jié)束語(yǔ)

通過(guò)對(duì)opencv平臺(tái)的利用，可以將注意力完全集中到圖像識(shí)別的算法上去，本文基于Exynos 4412開(kāi)發(fā)板，所編寫(xiě)的程序具有很高的可移植性和運(yùn)行實(shí)時(shí)性。全文對(duì)雙目攝像頭物體大小識(shí)別的各個(gè)步驟進(jìn)行了概括性的介紹，包括雙目測(cè)距的原理、攝像頭的標(biāo)定、物體輪廓的識(shí)別等方面，并對(duì)各個(gè)步驟的原理做了簡(jiǎn)要介紹。本文基于算法的實(shí)時(shí)性和準(zhǔn)確性考慮，經(jīng)過(guò)多次實(shí)驗(yàn)選取了相對(duì)符合要求的算法，保證了實(shí)驗(yàn)結(jié)果的穩(wěn)定性。盡管如此，本套研究成果在算法的優(yōu)化上仍有提高的空間，后面會(huì)繼續(xù)完善算法從而擴(kuò)大算法使用的領(lǐng)域和準(zhǔn)確性。

參 考 文 獻(xiàn)

[1]（袁 利 劉海華 陸雪松. 基于 OpenCV 的雙目攝像機(jī)標(biāo)定. 現(xiàn)代科學(xué)儀器 2013.4）

[2]于仕琪，劉瑞禎. 學(xué)習(xí)opencv（中文版）[M]. 清華大學(xué)出版社2009.10

[3]（Heiko Hirschmuller的《Stereo Processing by Semi-global Matching and Mutual Information》）