基于OpenCV的機(jī)器視覺(jué)在智能手機(jī)中的應(yīng)用

何 鵬， 王連鵬， 楚艷紅

(齊齊哈爾大學(xué)通信與電子工程學(xué)院，黑龍江齊齊哈爾161006)

0 引 言

作為移動(dòng)通信終端產(chǎn)品的智能手機(jī)是實(shí)現(xiàn)三網(wǎng)融合業(yè)務(wù)的重要載體，在激烈的手機(jī)市場(chǎng)競(jìng)爭(zhēng)中，融合了計(jì)算機(jī)視覺(jué)技術(shù)的智能手機(jī)是提升競(jìng)爭(zhēng)力的主要途徑之一[1]。本文在基于Linux操作系統(tǒng)的智能手機(jī)上[2]，以Intel公司的開源計(jì)算機(jī)視覺(jué)庫(kù)(opensourcecomputervision，OpenCV)為基礎(chǔ)函數(shù)庫(kù)，開發(fā)了智能手機(jī)手勢(shì)識(shí)別控制應(yīng)用系統(tǒng)。對(duì)于決策部分的實(shí)現(xiàn)，本文以手機(jī)中音樂(lè)播放應(yīng)用程序?yàn)槔瑢?shí)現(xiàn)了通過(guò)手勢(shì)開啟音樂(lè)播放軟件的功能。本系統(tǒng)的基礎(chǔ)上還可以擴(kuò)展很多功能，如自拍功能，即通過(guò)手勢(shì)開啟手機(jī)的自拍功能，使用戶擺脫了限于規(guī)定時(shí)間啟動(dòng)拍攝的束縛等。本系統(tǒng)豐富智能手機(jī)的實(shí)用功能，將大大提高了在智能手機(jī)產(chǎn)品中的競(jìng)爭(zhēng)力。

1 機(jī)器視覺(jué)及OpenCV開發(fā)環(huán)境

1.1 機(jī)器視覺(jué)

隨著信號(hào)處理和計(jì)算機(jī)技術(shù)的發(fā)展，利用攝像機(jī)獲取數(shù)字圖像，再用計(jì)算機(jī)實(shí)現(xiàn)對(duì)視覺(jué)信息處理的過(guò)程就是計(jì)算機(jī)視覺(jué)[3]。機(jī)器視覺(jué)則是建立在計(jì)算機(jī)視覺(jué)的基礎(chǔ)之上，偏重于計(jì)算機(jī)視覺(jué)技術(shù)的工程化，重點(diǎn)在于感知環(huán)境中物體的形狀、位置、姿態(tài)和運(yùn)動(dòng)等幾何信息。一個(gè)機(jī)器視覺(jué)系統(tǒng)應(yīng)該能夠自動(dòng)獲得數(shù)字圖像，對(duì)圖像中的特征量進(jìn)行處理、分析和測(cè)量，從而得到對(duì)目標(biāo)物體的某種認(rèn)識(shí)并做出相應(yīng)的決策[4]。

1.2 OpenCV簡(jiǎn)介

OpenCV，即開放源代碼計(jì)算機(jī)視覺(jué)庫(kù)，是英特爾公司資助的兩大圖像處理利器之一，它內(nèi)嵌圖像處理、模式識(shí)別、三維重建、物體跟蹤、機(jī)器學(xué)習(xí)和線性代數(shù)，提供了各種各樣的算法。OpenCV采用C/C++語(yǔ)言編寫，可以運(yùn)行在Linux/Windows/Mac等操作系統(tǒng)上，OpenCV還提供了 Python、Ruby、MATLAB以及其他語(yǔ)言的接口。OpenCV的一個(gè)目標(biāo)是構(gòu)建一個(gè)簡(jiǎn)單易用的計(jì)算機(jī)視覺(jué)框架，以幫助開發(fā)人員更便捷地設(shè)計(jì)更復(fù)雜的計(jì)算機(jī)視覺(jué)相關(guān)應(yīng)用程序?；窘Y(jié)構(gòu)主要由CXCore模塊、CV模塊、HighGUI模塊和ML模塊構(gòu)成[5]。

由于OpenCV采用C/C++語(yǔ)言編寫而且都是經(jīng)過(guò)優(yōu)化的，所以基于OpenCV開發(fā)的程序有很高的運(yùn)行效率，將它應(yīng)用于機(jī)器視覺(jué)系統(tǒng)的開發(fā)會(huì)大幅提高系統(tǒng)的性能，非常適合智能手機(jī)這類嵌入式設(shè)備的性能需求[6]。

1.3 OpenCV開發(fā)環(huán)境的搭建

為了宿主機(jī)編譯出的程序能夠在目標(biāo)平臺(tái)ARM(advanced RISCmachines)上運(yùn)行，這里需要使用ARM的交叉編譯器armlinux-gcc重新編譯OpenCV源碼。本系統(tǒng)宿主機(jī)使用的Linux版本是Ubuntu 9.10，交叉編譯器版本為arm-linux-gcc 2.95.3。

(1)首先需要在Ubuntu系統(tǒng)中安裝所需的依賴庫(kù)

所需的依賴庫(kù)有manpages-dev、pkg-config和zlib1g-dev。

另外，還需要到http://downloads.sourceforge.net分別下載libpng、libjpeg和libz源碼包進(jìn)行編譯安裝。

(2)配置OpenCV安裝信息

在終端窗口進(jìn)入解壓后的OpenCV目錄下，運(yùn)行如下配置命令：

這里使用參數(shù)--enable-static--disable-shared來(lái)生成靜態(tài)庫(kù)。

(3)編譯、安裝

sudo make

sudo make install

2 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)開發(fā)測(cè)試使用ARM 9開發(fā)板，它采用Samsung公司的S3C2410微處理器，SDRAM 64MB，NAND Flash 64MB，NOR Flash 2MB，10/100M以太網(wǎng)口，USB接口等，系統(tǒng)相關(guān)的主要外設(shè)為TFT液晶屏和基于OV511芯片的USB攝像頭。系統(tǒng)軟件部分，系統(tǒng)引導(dǎo)程序Bootloader使用采用由德國(guó)DENX小組開發(fā)的U-Boot 1.1.4，Linux內(nèi)核版本為2.4.18，對(duì)于液晶屏和USB攝像頭的驅(qū)動(dòng)以動(dòng)態(tài)模塊方式加載。

系統(tǒng)上電后直接從0x00000000處開始執(zhí)行，此處是Nor Flash的起始地址，裝有Bootloader系統(tǒng)引導(dǎo)程序，由于Nor Flash具有芯片內(nèi)執(zhí)行(execute in place)的特點(diǎn)，所以U-Boot的第一階段代碼直接在NorFlash中執(zhí)行，首先對(duì)SDRAM、Flash大小自動(dòng)檢測(cè)，SDRAM的故障檢測(cè)，CPU型號(hào)檢測(cè)等。然后引導(dǎo)它的第二階段代碼到SDRAM執(zhí)行，它把Linux內(nèi)核引導(dǎo)到SDRAM執(zhí)行，Linux內(nèi)核程序完成自解壓與重定位，最后掛載根文件系統(tǒng)，執(zhí)行手機(jī)服務(wù)程序。系統(tǒng)架構(gòu)圖如圖1所示[7]。

3 手勢(shì)識(shí)別控制應(yīng)用程序的設(shè)計(jì)與實(shí)現(xiàn)

3.1 訓(xùn)練哈爾 (Haar)特征的分類器

利用OpenCV來(lái)訓(xùn)練一個(gè)Haar特征[8-10]的分類器，它是一個(gè)級(jí)聯(lián)的boosted分類器[11-13]。每一級(jí)的子分類器則由積分圖像計(jì)算得到許多Haar特征構(gòu)成，并且每個(gè)特征帶一個(gè)閾值和兩個(gè)分支值，每級(jí)子分類器帶一個(gè)總的閾值。訓(xùn)練一個(gè)Haar分類器分為準(zhǔn)備正負(fù)樣本、創(chuàng)建正樣本集和訓(xùn)練分類器得到訓(xùn)練模型。

圖1 系統(tǒng)架構(gòu)

3.1.1 樣本準(zhǔn)備

首先要建立所需的工作目錄，即在home/wlp/opencv/下建立hand-defect_control目錄，進(jìn)入此目錄，再建立img和_img目錄。

(1)正樣本圖片及其描述文件的建立

本次實(shí)驗(yàn)使用了100張不同人物的同一種手勢(shì)的圖片，將其用圖像編輯軟件剪裁成長(zhǎng)寬各20個(gè)像素大小的圖片，格式為JPEG，文件名分別為 img1.jpg、img2.jpg、…img100.jpg。將它們存于hand-defect_control/img目錄里。

在hand-defect_control目錄下建立文本格式的描述文件，命名為info.txt，并將100張樣本圖片的描述信息寫入此文件。其中每一個(gè)文本行對(duì)應(yīng)一個(gè)樣本圖片的信息，每行的第一個(gè)元素是圖片文件名(帶路徑信息)，第二個(gè)元素是對(duì)象實(shí)體的個(gè)數(shù)。后面緊跟著的是與之匹配的矩形框(x,y,寬度，高度)。例如img/img1.jpg 1 0 0 20 20。

(2)負(fù)樣本圖片及其描述文件的建立

這里使用了200張不含手勢(shì)特征的風(fēng)景照片，處理為長(zhǎng)寬各400像素大小圖片，負(fù)樣本圖片的尺寸大小只要大于等于正樣本圖片尺寸即可。格式為JPEG，文件名分別為bg1.jpg、bg2.jpg、… bg100.jpg。將它們存于hand-defect_control/_img目錄里。負(fù)樣本描述文件的創(chuàng)建方法同正樣本描述文件，在handdefect_control目錄下建立名為bg.txt文件，將200張負(fù)樣本圖片的描述信息寫入此文件，這里僅描述文件名即可。如_img/bg1.jpg。

3.1.2 正樣本創(chuàng)建

正樣本由opencv-createsamples程序來(lái)創(chuàng)建。它是OpenCV自帶的可執(zhí)行文件，編譯安裝完OpenCV后可在安裝路徑下bin目錄下找到它。在終端窗口進(jìn)入hand-defect_control目錄鍵入如下命令：

opencv-createsamples-vec hand.vec-info info.txt-bg bg.txtnum 8-w 20-h 20

在當(dāng)前目錄下便生成正樣本文件hand.vec，這是HaarTraining訓(xùn)練時(shí)所需輸入的vec文件。

3.1.3 訓(xùn)練分類器

樣本創(chuàng)建之后，接下來(lái)要訓(xùn)練分類器，這是由opencv-haartraining程序來(lái)創(chuàng)建，該程序同opencv-createsamples程序一樣也是由OpenCV給出，并且在相同的路徑下可以找到。終端命令行進(jìn)入hand-defect_control目錄鍵入如下命令：

opencv-haartraining-data/home/wlp/opencv-workshop/handdefect_control/data-vec hand.vec-bg bg.txt-npos 8-nneg 10-w 20-h 20

執(zhí)行完后分類器信息將保存到xml文件中，就是當(dāng)前目錄下生成的data.xml文件。下面的應(yīng)用程序中將調(diào)用這個(gè)分類器對(duì)輸入的圖像信息進(jìn)行識(shí)別。

3.2 手勢(shì)識(shí)別控制算法分析

當(dāng)用戶開啟本手勢(shì)識(shí)別控制應(yīng)用程序后，此應(yīng)用程序使用函數(shù) cvLoad載入上節(jié)訓(xùn)練的分類器文件 data.xml，再用cvCaptureFromCAM函數(shù)獲取攝像頭來(lái)采集視頻圖像，cvGrab-Frame函數(shù)可以從輸入的視頻流中抓取一幀圖像，由于Haar特征是基于灰度的，所以cvCvtColor函數(shù)將這幀圖像轉(zhuǎn)換為灰度圖像，這時(shí)調(diào)用cvHaarDetectObjects函數(shù)來(lái)檢測(cè)目標(biāo)圖像，此函數(shù)首先采用與訓(xùn)練時(shí)同樣大小的搜索窗口去遍歷整幅待檢測(cè)圖像，窗口每移動(dòng)到一個(gè)位置處，便調(diào)用一次cvRun-HaarClassifierCascade函數(shù)進(jìn)行檢測(cè)，計(jì)算窗口內(nèi)的Haar特征，加權(quán)后與分類器中的Haar特征的閥值進(jìn)行比較，由比較結(jié)果來(lái)確定是左還是右分支值，再將得到的所有分支值累加后與當(dāng)前級(jí)的閥值相比較，當(dāng)大于該閥值時(shí)才可以進(jìn)入下一級(jí)的篩選，當(dāng)通過(guò)所有級(jí)的時(shí)候即可認(rèn)為此目標(biāo)手勢(shì)以大概率情形被命中。然后，為了搜索待檢測(cè)圖像中不同大小的目標(biāo)手勢(shì)，還要按一定的比例擴(kuò)大搜索窗口(如本例采用比例系數(shù)為1.1，每次將搜索窗口擴(kuò)大10%)再對(duì)待檢測(cè)圖像進(jìn)行遍歷檢測(cè)。最后，當(dāng)檢測(cè)到目標(biāo)手勢(shì)時(shí)分類器輸出為1，啟動(dòng)音樂(lè)播放應(yīng)用程序或其它操作，否則進(jìn)行下一幀的圖像檢測(cè)。程序流程圖如圖2所示。

圖2 程序流程

3.3 編譯與移植

在shell下，用cd命令進(jìn)入手勢(shì)識(shí)別控制程序的源代碼hand-defect_control.c所在的目錄，鍵入如下交叉編譯的命令：

arm-linux-gcc hand-defect_control.c-static-L/usr/local/armopencv/lib-I/usr/local/arm-opencv/include-o hand-defect_control

在當(dāng)前目錄下便生成了 hand-defect_control.out可執(zhí)行文件。由于本系統(tǒng)的運(yùn)行環(huán)境是在嵌入式設(shè)備上，所以這里要加參數(shù)-static，用靜態(tài)庫(kù)鏈接的方式是在程序編譯時(shí)就將所需的庫(kù)一同編譯到目標(biāo)代碼中，這種方式在嵌入式設(shè)備上具有很多優(yōu)點(diǎn)，如運(yùn)行速度比動(dòng)態(tài)加載要快，減少對(duì)環(huán)境的依賴，使用簡(jiǎn)單等。將hand-defect_control.out加入根文件系統(tǒng)中，再將根文件系統(tǒng)下載到開發(fā)板中就可以運(yùn)行了[14]。

3.4 運(yùn)行結(jié)果分析

本程序運(yùn)行后抓取幀數(shù)據(jù)進(jìn)行識(shí)別，以當(dāng)前幀的灰度圖像為例，如圖3所示。圖3中人物的手勢(shì)即為訓(xùn)練Haar特征的分類器所能識(shí)別的目標(biāo)，所以此幀圖像應(yīng)該被本程序正確識(shí)別并執(zhí)行相應(yīng)的決策動(dòng)作。圖4中的Debug Message提示的內(nèi)容是為方便結(jié)果分析而在源程序中加入的若干調(diào)試信息，對(duì)這幀圖像處理后便在命令提示符下輸出如圖4所示的信息，可見已經(jīng)成功識(shí)別并啟動(dòng)了音樂(lè)播放程序Madplay，調(diào)試的語(yǔ)句使用了getpid函數(shù)獲取了hand_defect_control進(jìn)程及其啟動(dòng)的Madplay進(jìn)程的進(jìn)程號(hào)，分別為1752和1753。

圖3 抓取幀灰度圖像

圖4 調(diào)試信息輸出

Linux中的系統(tǒng)管理命令ps可以顯示當(dāng)前系統(tǒng)中的進(jìn)程列表，在列表中可以找到hand_defect_control和Madplay進(jìn)程的詳細(xì)信息如圖5所示，圖中第二列既為進(jìn)程的進(jìn)程號(hào)，可知這兩個(gè)進(jìn)程號(hào)分別為1752和1753，這也正是調(diào)試信息所顯示的進(jìn)程號(hào)。從而說(shuō)明手勢(shì)識(shí)別控制程序成功檢測(cè)并執(zhí)行了相應(yīng)的決策。

4 技術(shù)難點(diǎn)

4.1 Linux對(duì)攝像頭的支持

在Linux系統(tǒng)中能使用攝像頭，僅加載此外設(shè)的驅(qū)動(dòng)程序是不夠的，還需要V4L(video4linux)的支持，它是Linux內(nèi)核里支持影像設(shè)備的一組APIs，配合視頻采集設(shè)備的驅(qū)動(dòng)程序，實(shí)現(xiàn)影像采集、AM/FM無(wú)線廣播、影像CODEC、頻道切換等功能。而本系統(tǒng)所用OpenCV的cvCaptureFromCAM函數(shù)正是把V4L作為接口，從攝像頭讀取視頻流分配和初始化CvCapture結(jié)構(gòu)。

圖5 系統(tǒng)進(jìn)程列表輸出

V4L和OV511芯片的USB攝像頭驅(qū)動(dòng)都可以在進(jìn)入Linux源碼目錄進(jìn)行配置、編譯得到。從Linux2.4版本開始OV511驅(qū)動(dòng)程序就已經(jīng)是內(nèi)核代碼的一部分了。首先在終端運(yùn)行makemenuconfig命令打開MainMenu窗口，并進(jìn)入“Multimedia devices”菜單選項(xiàng)，將Video For Linux配置為模塊；返回Main Menu窗口，再進(jìn)入“USB support”菜單選項(xiàng)，將 USB OV511Camera support設(shè)置為模塊；保存退出后用使用 make modules命令編譯鏈接模塊。這樣就可以分別在Linux內(nèi)核源碼目錄/KernelCode/2410/drivers/media/video和/KernelCode/2410/drivers/usb/文件夾中生成videodev.o模塊和ov511.o模塊?？梢杂萌缦旅钫Z(yǔ)句進(jìn)行動(dòng)態(tài)加載這兩個(gè)模塊：

這樣程序中調(diào)用cvCaptureFromCAM函數(shù)便可以獲取攝像頭采集圖像，其中OpenCV程序中默認(rèn)設(shè)備為/dev/video0[15-16]。

4.2 進(jìn)程控制

一般是將程序的一次執(zhí)行過(guò)程稱為進(jìn)程。通過(guò)處于運(yùn)行態(tài)的手勢(shì)識(shí)別控制進(jìn)程來(lái)啟動(dòng)一個(gè)靜態(tài)的音樂(lè)播放程序使其變?yōu)檫M(jìn)程將涉及進(jìn)程控制技術(shù)。在Linux中有6個(gè)以exec開頭的函數(shù)提供了在一個(gè)進(jìn)程中啟動(dòng)另一個(gè)進(jìn)程的方法，它搜索文件系統(tǒng)中指定路徑的文件，并用它來(lái)取代原調(diào)用進(jìn)程的數(shù)據(jù)段、代碼段和堆棧段，這意味著原進(jìn)程已經(jīng)消亡了。但本系統(tǒng)的手勢(shì)識(shí)別控制程序在成功啟動(dòng)音樂(lè)播放程序后，需要返回并等待執(zhí)行其它擴(kuò)展功能的命令，所以它不能消亡，可以把exec函數(shù)與創(chuàng)建進(jìn)程的fork函數(shù)相結(jié)合來(lái)解決這個(gè)問(wèn)題。關(guān)鍵代碼如下：

由于fork函數(shù)得到的子進(jìn)程是父進(jìn)程hand_defect_control的一個(gè)復(fù)制，它復(fù)制了父進(jìn)程中的代碼段、數(shù)據(jù)段和堆棧段里的大部分內(nèi)容，對(duì)它的消亡不會(huì)影響到父進(jìn)程，所以在這個(gè)新創(chuàng)建的子進(jìn)程中使用exevp函數(shù)調(diào)用Madplay.out音樂(lè)播放程序取代這個(gè)子進(jìn)程，就不會(huì)破壞原手勢(shì)識(shí)別控制進(jìn)程的繼續(xù)執(zhí)行了[17]。

5 結(jié)束語(yǔ)

本文介紹了機(jī)器視覺(jué)技術(shù)在智能手機(jī)中應(yīng)用的方法并實(shí)現(xiàn)了手勢(shì)識(shí)別控制功能模塊。從性能角度來(lái)看，此模塊是基于OpenCV開發(fā)的，具有運(yùn)行效率高、算法成熟穩(wěn)定等優(yōu)點(diǎn)；從功能角度來(lái)看，此模塊使用手勢(shì)來(lái)控制手機(jī)，而且留有功能擴(kuò)展接口，滿足了用戶對(duì)手機(jī)多功能的需求。在激烈的智能手機(jī)市場(chǎng)競(jìng)爭(zhēng)中，這種既華麗又實(shí)用的非接觸式控制使用手機(jī)的方式使嵌入式Linux操作系統(tǒng)的智能手機(jī)大大提高了市場(chǎng)競(jìng)爭(zhēng)力，具有廣闊的發(fā)展前景。

[1]徐連霞.淺談智能手機(jī)(Smart Phone)的應(yīng)用與開發(fā)[J].電腦知識(shí)與技術(shù),2009,18(33):9304-9306.

[2]吳岳.Linux C程序設(shè)計(jì)大全[M].北京:清華大學(xué)出版社,2009:7-8.

[3]張梅,文靜華.淺談?dòng)?jì)算機(jī)視覺(jué)與數(shù)字?jǐn)z影測(cè)量[J].地理空間信息,2010,8(2):15-17.

[4]張廣軍.機(jī)器視覺(jué)[M].北京:科學(xué)出版社,2005:1-3.

[5]劉瑞禎,于仕琪.OpenCV教程-基礎(chǔ)篇[M].北京:北京航空航天大學(xué)出版社,2007.

[6]譚學(xué)科.基于ARM和OpenCV的增強(qiáng)現(xiàn)實(shí)平臺(tái)研究[D].大連:大連理工大學(xué),2009:46-60.

[7]邱毅凌.現(xiàn)代嵌入式系統(tǒng)開發(fā)專案實(shí)務(wù)[M].北京:電子工業(yè)出版社,2009:93-105.

[8]Andrzej Kasinski,Adam Schmidt.The architecture and performance of the face and eyes detection system based on the Haar cascade classifiers[J].Pattern Analysis&Applications,2010,13(2):197-211.

[9]Seemann E,Nickel K,Stiefelhagen R.Head pose estimation using stereo vision for human-robot interaction[C].Proc of IEEE International Conference on Automatic Face and Gesture Recognition,2004:626-631.

[10]Adam Schmidt,Andrzej Kasi ski.The performance of the Haar cascade classifiers applied to the face and eyes detection[J].Computer Recognition Systems 2,2007,45:816-823.

[11]李厚君,李玉鑑.基于AdaBoost的眉毛檢測(cè)與定位[J].計(jì)算機(jī)與數(shù)字工程,2010,38(8):175-177.

[12]郭磊,王秋光.Adaboost人臉檢測(cè)算法研究及OpenCV實(shí)現(xiàn)[J].哈爾濱理工大學(xué)學(xué)報(bào),2009,14(5):123-126.

[13]Milos Stojmenovic.Real time machine learning based car detection in images with fast training[J].Machine Vision and Applications,2006,17(3):163-172.

[14]曹志剛.基于LINUX+ARM的視頻系統(tǒng)的應(yīng)用和開發(fā)[D].北京:北方工業(yè)大學(xué),2010:25-26.

[15]宋麗華,高珂.嵌入式Linux下USB攝像頭驅(qū)動(dòng)實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2010,36(9):282-284.

[16]黃思華,杜其偉.基于MiniGUI和嵌入式Linux的PDA設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2009,29(12):207-209.

[17]胡術(shù).UNIX平臺(tái)下進(jìn)程定位與運(yùn)行監(jiān)控的實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用,2008,28(12):288-290.