一種基于計(jì)算機(jī)視覺的手指特征識(shí)別算法研究及其FPGA實(shí)現(xiàn)

馮清娟+何志寬

摘 要： 為了提高視頻圖像中手指特征識(shí)別的精度和速度，提出一種基于矩形模板的動(dòng)態(tài)閾值算法。該算法采用矩形模板平滑圖像，用灰度閾值法提取目標(biāo)邊緣，實(shí)現(xiàn)對(duì)手指特征的準(zhǔn)確識(shí)別。Matlab仿真結(jié)果表明，該算法受環(huán)境噪聲影響較小，能清晰準(zhǔn)確地分割出手指邊緣。在FPGA平臺(tái)上設(shè)計(jì)了一套基于計(jì)算機(jī)視覺的手指特征識(shí)別系統(tǒng)，并對(duì)該系統(tǒng)的實(shí)時(shí)性、手指識(shí)別精度等性能進(jìn)行了測(cè)試。測(cè)試結(jié)果表明，該系統(tǒng)的運(yùn)行速度與攝像頭攝取圖像的速度基本同步，可滿足系統(tǒng)對(duì)實(shí)時(shí)性要求。系統(tǒng)對(duì)手指位置識(shí)別的坐標(biāo)偏差約為3個(gè)像素，基本滿足系統(tǒng)對(duì)識(shí)別精度的要求。

關(guān)鍵詞： 計(jì)算機(jī)視覺； 手指特征識(shí)別； 動(dòng)態(tài)閾值算法； 矩形模版

中圖分類號(hào)： TN911?34； TP37 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）12?0113?04

Abstract： In order to improve the accuracy and speed of the finger feature recognition in video image， a dynamic threshold algorithm based on rectangle template is proposed. The rectangle template is used in the algorithm to smooth the image， and the gray threshold method is used to extract the edge of the target to recognize the finger feature accurately. The Matlab simulation results show that the algorithm is lightly influenced by environmental noise， and can segment the edge of the finger clearly and accurately. A finger feature recognition system based on computer vision was designed on FPGA platform. Its real?time performance， finger recognition accuracy and other performances were tested. The test results show that the running speed of the system is synchronous with the speed of capturing the image by camera， which can meet the real?time requirement of the system. The coordinates deviation of the finger position recognized by the system is about 3 pixels， which can basically meets the accuracy requirement of the system.

Keywords： computer vision； finger feature recognition； dynamic threshold algorithm； rectangle template

隨著科學(xué)技術(shù)的飛速發(fā)展，人與計(jì)算機(jī)之間的交互活動(dòng)越來越密切，并逐漸成為人們?nèi)粘Ｉ畹闹匾M成部分。傳統(tǒng)觸摸屏是現(xiàn)階段一種最常見，也是最重要的人機(jī)交互方式，其是通過一種附加在顯示器表面的透明介質(zhì)，依賴使用者的手指觸摸該介質(zhì)來實(shí)現(xiàn)對(duì)計(jì)算機(jī)的輸入控制[1?2]。目前，這種觸摸屏技術(shù)已經(jīng)相當(dāng)成熟，但是，技術(shù)上不容易做到大尺寸，且成本相對(duì)較高，也易于破損。為了突破傳統(tǒng)觸摸屏這種人機(jī)交互方式的局限，把任何成像平面變成可用手指進(jìn)行交互的系統(tǒng)，本文提出了一種基于計(jì)算機(jī)視覺的手指特征識(shí)別算法，并在FPGA平臺(tái)上建立了一套基于計(jì)算機(jī)視覺的手指特征識(shí)別硬件系統(tǒng)。這種基于計(jì)算機(jī)視覺的手指特征識(shí)別方法可為基于視覺的人機(jī)互動(dòng)提供一種新的技術(shù)解決途徑。其與傳統(tǒng)觸摸屏的區(qū)別在于，不需要在成像屏幕上安裝任何特殊介質(zhì)，使用壽命得到大幅延長(zhǎng)，應(yīng)用范圍有了很大擴(kuò)展。

1 圖像采集平臺(tái)

本文所采用的圖像采集平臺(tái)如圖1所示，在任何與計(jì)算機(jī)連接的顯示設(shè)備（如投影屏幕、等離子電視等）的左上角、右上角安裝兩個(gè)攝像頭，通過這兩個(gè)攝像頭便可確定手指在屏幕上的二維坐標(biāo)信息（x1，x2）。然后，將此坐標(biāo)點(diǎn)傳至計(jì)算機(jī)，并與Windows系統(tǒng)的鼠標(biāo)程序關(guān)聯(lián)即可實(shí)現(xiàn)人機(jī)交互功能。圖2是圖像采集平臺(tái)的側(cè)視圖。其中虛線框表示攝像頭視野中系統(tǒng)需要處理的區(qū)域，即手指出現(xiàn)的區(qū)域。

2 手指特征識(shí)別算法及仿真

在系統(tǒng)實(shí)現(xiàn)過程中，如何從攝像頭所拍攝的畫面中準(zhǔn)確地識(shí)別并提取出手指信息是其難點(diǎn)之一。在目前的圖像處理技術(shù)中，用于識(shí)別背景圖案中目標(biāo)物體的算法很多，本文在分析基于色彩聚類的膚色識(shí)別算法的基礎(chǔ)上，結(jié)合課題特殊需求，提出一種基于矩形模板的動(dòng)態(tài)閾值算法，并在Matlab中對(duì)上述算法的處理效果進(jìn)行了仿真。

從圖像采集平臺(tái)可以看出，本系統(tǒng)只關(guān)心距屏幕很近的小視野內(nèi)是否出現(xiàn)區(qū)別于背景的目標(biāo)物體。因此，只需從攝像頭拍攝的圖像當(dāng)中截取一部分，如圖3中的小矩形框所示。

2.1 基于色彩聚類的膚色識(shí)別算法

膚色是人體區(qū)別于其他物體的一個(gè)重要特征，人體膚色特征不受位置、角度、大小等因素影響，具有較強(qiáng)的穩(wěn)定性。因此，本文首先選定基于色彩聚類的膚色提取識(shí)別算法進(jìn)行研究。在色彩聚類方法中，Anil K.Jain的Cb，Cr橢圓聚類方法最為典型[3?4]。采用非線性分段膚色分割得到的膚色區(qū)域在Cb，Cr空間中近似于橢圓，如下：

由圖5可知，利用該算法分割手指信息的效果尚可，能從比較友好的環(huán)境中迅速準(zhǔn)確地識(shí)別出手指信息。圖6為利用橢圓聚類膚色分割算法對(duì)從圖像采集平臺(tái)讀取圖像的手指識(shí)別效果?？梢姡撍惴ㄔ谄胀ōh(huán)境下對(duì)手指的識(shí)別效果良好。但當(dāng)屏幕上的顏色影響手指膚色時(shí)，該算法的識(shí)別能力就會(huì)有所降低?？梢姡撍惴▽?duì)皮膚顏色的純度要求較高，適用范圍受限。圖7為屏幕出現(xiàn)大面積藍(lán)色時(shí)對(duì)手指識(shí)別造成的影響效果。

2.2 基于正方形模板的動(dòng)態(tài)閾值算法

基于正方形模板的動(dòng)態(tài)閾值算法，即采用灰度閾值法，用正方形模板平滑圖像[5?6]。圖8（a）是3×3模板動(dòng)態(tài)閾值算法平滑圖像的過程。

應(yīng)用基于3×3模板的動(dòng)態(tài)閾值算法對(duì)原圖4進(jìn)行邊緣提取的仿真效果如圖9（a）所示?？梢?，應(yīng)用3×3模板可以提取出目標(biāo)物體的邊緣，但不夠清晰。雖然可以通過增大模板取得比較理想的效果（圖9（b）為采用基于101×101模板的動(dòng)態(tài)閾值算法的處理效果），但會(huì)使計(jì)算量劇增，同時(shí)也縮小了模板所能完全覆蓋的范圍，使圖像邊緣產(chǎn)生無效的白色區(qū)域。

2.3 基于矩形模板的動(dòng)態(tài)閾值算法

根據(jù)課題實(shí)際需要，即所要處理的目標(biāo)區(qū)域?yàn)殚L(zhǎng)方形窄條區(qū)域（如圖3所示），本文提出一種基于矩形模板的動(dòng)態(tài)閾值算法。該算法與基于正方形模板算法的區(qū)別在于，平滑圖像時(shí)所用的模板為窄條形，如3×5模板，3×15模板，3×41模板等。圖8（b）是3×9模板動(dòng)態(tài)閾值算法平滑圖像的過程。

圖10給出了采用基于3×9模板、3×14模板、3×81模板、3×101模板動(dòng)態(tài)閾值算法對(duì)原圖4進(jìn)行手部邊緣提取的仿真效果。由仿真效果可知，基于矩形模板的動(dòng)態(tài)閾值算法在模板取值為3×9的情況下，便能夠清晰提取出目標(biāo)物體的邊緣。而且，隨著模板取值的增加，目標(biāo)物體邊緣的提取效果更加清晰準(zhǔn)確。與基于正方形模板的動(dòng)態(tài)閾值算法相比，基于矩形模板的動(dòng)態(tài)閾值算法計(jì)算量較小，節(jié)約了系統(tǒng)的計(jì)算資源。

3 基于FPGA的手指特征識(shí)別算法的系統(tǒng)測(cè)試

為了驗(yàn)證本文所提出的基于矩形模板的動(dòng)態(tài)閾值算法能否滿足屏幕交互系統(tǒng)的整體要求，本文通過編寫軟件程序在FPGA開發(fā)板上對(duì)這種算法進(jìn)行了硬件實(shí)現(xiàn)和系統(tǒng)測(cè)試。

3.1 硬件實(shí)現(xiàn)

本文所采用的硬件實(shí)現(xiàn)系統(tǒng)主要是基于美國(guó)Altera公司生產(chǎn)的型號(hào)為EFA?CY1C12的“紅色颶風(fēng)”（Red Cyclone）系列FPGA開發(fā)板，并另外集成了用Ommvison公司的型號(hào)為OV9655的CMOS數(shù)字?jǐn)z像頭，以及ISSI公司的型號(hào)為IS61LV25616AL的SRAM存儲(chǔ)器[7?10]。最終搭建的硬件系統(tǒng)如圖11所示。

3.2 系統(tǒng)測(cè)試

本文主要對(duì)系統(tǒng)的實(shí)時(shí)性、手指提取精度、資源占用情況等影響系統(tǒng)運(yùn)行的重要技術(shù)指標(biāo)進(jìn)行了測(cè)試。

（1） 實(shí)時(shí)性

OV9655攝像頭在1 280×1 024分辨率下，能提供15 f/s的圖像采集速率，課題所設(shè)計(jì)的軟件程序可以在一幀圖像的處理時(shí)間內(nèi)完成了數(shù)據(jù)的采集、手指邊緣的識(shí)別等運(yùn)算，實(shí)現(xiàn)了系統(tǒng)執(zhí)行速度與攝像頭拍攝速度的同步，達(dá)到了系統(tǒng)對(duì)實(shí)時(shí)性要求。

（2） 手指識(shí)別精度

由于課題在軟件設(shè)計(jì)過程中編入了圖像采集防抖動(dòng)處理程序，提高了圖像采集的穩(wěn)定性，也提高了手指識(shí)別的精度。經(jīng)過測(cè)試，本系統(tǒng)得到的手指位置信息的坐標(biāo)偏差為3個(gè)像素，基本滿足大屏幕交互系統(tǒng)對(duì)識(shí)別精度的需求。

（3） 資源占用情況

從Quartus Ⅱ的編譯報(bào)告中可以看出，本系統(tǒng)的軟件運(yùn)行已占用FPGA的9 702個(gè)邏輯單元，占邏輯單元總數(shù)的80%?？梢?，該硬件系統(tǒng)的FPGA運(yùn)算資源基本能滿足系統(tǒng)的實(shí)際需要。

4 結(jié) 語

本文通過對(duì)基于矩形模板的動(dòng)態(tài)閾值算法的研究和基于FPGA的手指特征識(shí)別硬件系統(tǒng)的實(shí)現(xiàn)，建立了一套基于計(jì)算機(jī)視覺的手指特征識(shí)別系統(tǒng)。該算法受環(huán)境噪聲影響較小，能清晰準(zhǔn)確地分割出手指邊緣，且隨著矩形模版取值的增大，算法的識(shí)別效果會(huì)更加良好。該系統(tǒng)的實(shí)時(shí)性、手指識(shí)別精度及資源占用情況均可滿足系統(tǒng)要求。這種基于計(jì)算機(jī)視覺的手指識(shí)別方法成本低、靈活性好，為基于視覺的人機(jī)交互提供了一種新的技術(shù)途徑。

參考文獻(xiàn)

[1] 呂明，呂延.觸摸屏的技術(shù)現(xiàn)狀、發(fā)展趨勢(shì)及市場(chǎng)前景[J].機(jī)床電器，2012，39（3）：4?7.

[2] 陳康才，李春茂.電阻式觸摸屏兩點(diǎn)觸摸原理[J].科學(xué)技術(shù)與工程，2012，12（18）：4525?4529.

[3] MAITRE H.現(xiàn)代數(shù)字圖像處理[M].北京：電子工業(yè)出版社，2006：79.

[4] 帕科爾，景麗.圖像處理與計(jì)算機(jī)視覺算法及應(yīng)用[M].2版.北京：清華大學(xué)出版社，2014：104.

[5] GONZALEZ R C，WOODS R E，EDDINS S L.數(shù)字圖像處理的Matlab實(shí)現(xiàn)[M].2版.北京：清華大學(xué)出版社，2013：301.

[6] RUSS J C.數(shù)字圖像處理[M].6版.北京：清華大學(xué)出版社，2014：216.

[7] 于楓.Altera可編程邏輯器件應(yīng)用技術(shù)[M].北京：科學(xué)出版社，2014：68.

[8] 姚智剛，付強(qiáng).基于低成本CMOS攝像頭智能監(jiān)控系統(tǒng)的設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2006，29（3）：126?128.

[9] 方彥軍，王運(yùn)濤.一種機(jī)器人視覺系統(tǒng)模塊的設(shè)計(jì)[J].微計(jì)算機(jī)信息，2005（14）：93?94.

[10] 劉彬，謝偉，谷京朝，等.SRAM型FPGA系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電子元器件應(yīng)用，2007（7）：43?46.