OpenCV耦合人機(jī)交互的手機(jī)表面目標(biāo)檢測(cè)定位研究*

張智豐，張亞榮，裴志利

（1.內(nèi)蒙古民族大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，內(nèi)蒙古通遼 028000；2.通遼職業(yè)學(xué)院信息技術(shù)系，內(nèi)蒙古通遼 028000）

OpenCV耦合人機(jī)交互的手機(jī)表面目標(biāo)檢測(cè)定位研究*

張智豐1，張亞榮2，裴志利1

（1.內(nèi)蒙古民族大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，內(nèi)蒙古通遼 028000；2.通遼職業(yè)學(xué)院信息技術(shù)系，內(nèi)蒙古通遼 028000）

在手機(jī)外殼組裝過(guò)程中，其表面易產(chǎn)生不良瑕疵，這些瑕疵存在于攝像頭、距離感應(yīng)器以及喇叭、logo目標(biāo)附近，直接影響手機(jī)質(zhì)量，因此對(duì)于這些目標(biāo)的檢測(cè)定位研究顯得尤為重要。而現(xiàn)有的圖像目標(biāo)定位機(jī)制不穩(wěn)定，當(dāng)目標(biāo)物很小，或發(fā)生旋轉(zhuǎn)時(shí)，其定位質(zhì)量不理想，存在較大的定位誤差。故文章設(shè)計(jì)了OpenCV耦合人機(jī)交互的手機(jī)表面圓目標(biāo)與矩形目標(biāo)定位機(jī)制。首先基于canny邊緣檢測(cè)算子與霍夫變換，實(shí)現(xiàn)手機(jī)圓目標(biāo)檢測(cè)；再利用閾值分割和形態(tài)學(xué)開運(yùn)算對(duì)其進(jìn)行處理，獲取矩形目標(biāo)的基本輪廓，通過(guò)輪廓匹配，計(jì)算該目標(biāo)的精確坐標(biāo)；最后引入人機(jī)交互機(jī)制，即可通過(guò)鼠標(biāo)測(cè)量圖像中目標(biāo)間距離，增強(qiáng)用戶體驗(yàn)。實(shí)驗(yàn)結(jié)果顯示：與當(dāng)前圖像目標(biāo)定位機(jī)制相比，在圖像目標(biāo)存在旋轉(zhuǎn)惰況中，本文機(jī)制的定位精度更高，顯著降低了定位偏差，可精確定位圖像目標(biāo)；且目標(biāo)檢測(cè)正確率更高。

目標(biāo)檢測(cè)定位；canny邊緣檢測(cè)；人機(jī)交互；霍夫變換；輪廓匹配

0 引言

隨著計(jì)算機(jī)技術(shù)與制造業(yè)技術(shù)的快速發(fā)展，機(jī)器視覺檢測(cè)在機(jī)械制造行業(yè)被廣泛應(yīng)用，大幅度提高了產(chǎn)品的生產(chǎn)制造效率［1］。機(jī)器視覺檢測(cè)主要應(yīng)用于制造業(yè)行業(yè)以下幾個(gè)方面：①目標(biāo)定位；②不良檢測(cè)；③對(duì)產(chǎn)品表面進(jìn)行距離測(cè)量。其中的目標(biāo)定位是視覺檢測(cè)的基礎(chǔ)，為了對(duì)了產(chǎn)品目標(biāo)實(shí)現(xiàn)精確識(shí)別，研究人員設(shè)計(jì)了相應(yīng)的目標(biāo)定位算法，大致分為兩類：基于靜態(tài)大差異特征識(shí)別定位算法與基于聚類直方圖的二次分類定位算法［2-4］。如周海峰［5］等人為了提高彩色圖像目標(biāo)定位精度，設(shè)計(jì)了改進(jìn)主動(dòng)形狀模型彩色圖像目標(biāo)定位算法，通過(guò)對(duì)灰度模型進(jìn)行改進(jìn)，構(gòu)造了一種主動(dòng)形狀模型和HSV顏色模型，仿真結(jié)果顯示其算法具有較高的定位精度與良好的定位效果。郗潤(rùn)平［6］等人提出了一種基于虛擬CCD相機(jī)耦合DEM數(shù)據(jù)的紅外圖像目標(biāo)定位算法，結(jié)果顯示其算法具有更優(yōu)異的定位性能，視覺效果好。

但是這些算法不穩(wěn)定，當(dāng)目標(biāo)物很小，有旋轉(zhuǎn)時(shí)影響目標(biāo)特征不明顯時(shí)，其功能有效，定位質(zhì)量不理想，存在較大的定位誤差。

對(duì)此，本文設(shè)計(jì)了OpenCV耦合人機(jī)交互的手機(jī)表面圓目標(biāo)與矩形目標(biāo)定位方案。并借助C#與MATLAB驗(yàn)證了本文定位機(jī)制與其他技術(shù)的性能。

1 本文手機(jī)表面目標(biāo)定位檢測(cè)機(jī)制的設(shè)計(jì)

通常，手機(jī)表面的待識(shí)別目標(biāo)有：喇叭、距離感應(yīng)器、攝像頭、logo，見圖1。這些目標(biāo)特征明顯，識(shí)別定位結(jié)果對(duì)手機(jī)外殼精確組裝有著重要影響。本文設(shè)計(jì)的手機(jī)表面目標(biāo)定位檢測(cè)機(jī)制主要分為：①圓目標(biāo)定位；②矩形目標(biāo)定位。整個(gè)手機(jī)表面目標(biāo)檢測(cè)定位機(jī)制見圖2。針對(duì)圓目標(biāo)的定位，本文首先采用canny邊緣檢測(cè)，分理出手機(jī)表面目標(biāo)的輪廓，從而減小計(jì)算量。然后用高斯濾波做圖像平滑，使目標(biāo)輪廓更為清晰，最后采用霍夫變換檢測(cè)出圓目標(biāo)。

圖1 手機(jī)原圖

針對(duì)矩形目標(biāo)的定位，本文首先采用閾值分割［7］。因?yàn)長(zhǎng)ogo、喇叭成灰色，分割出包含Logo、喇叭的大致區(qū)域。然后采用形態(tài)學(xué)開運(yùn)算濾除噪聲干擾。最后基于面積、周長(zhǎng)、長(zhǎng)寬比等特征進(jìn)行輪廓匹配，定位出矩形目標(biāo)。

以上算法采用C++平臺(tái)聯(lián)合OpenCV實(shí)現(xiàn)，最后引入人機(jī)交互機(jī)制，即可通過(guò)鼠標(biāo)測(cè)量圖像中目標(biāo)間距離，增強(qiáng)用戶體驗(yàn)。

圖2 本文定位機(jī)制架構(gòu)

1.1 手機(jī)表面圓目標(biāo)檢測(cè)

本定位機(jī)制利用邊緣檢測(cè)凸顯出手機(jī)表面目標(biāo)輪廓，如距離感應(yīng)器、攝像頭；然后用高斯濾波進(jìn)一步清晰化輪廓。最后霍夫變換圓檢測(cè)，定位出圓目標(biāo)。

經(jīng)過(guò)本文的邊緣檢測(cè)與高斯濾波相結(jié)合的方法，得到目標(biāo)清晰的輪廓，如圖3所示。經(jīng)過(guò)本文基于OpenCV的Hough變換圓檢測(cè)，得到準(zhǔn)確的圓目標(biāo)定位，如圖4所示。

圖3 本文邊緣檢測(cè)效果圖

圖4 本文圓目標(biāo)檢測(cè)效果圖

1.2 手機(jī)表面矩形目標(biāo)檢測(cè)

本定位機(jī)制利用閾值分割出手機(jī)表面矩形目標(biāo)大致區(qū)域；然后用形態(tài)學(xué)開運(yùn)算［8］進(jìn)一步去除噪聲；最后輪廓匹配，定位出矩形目標(biāo)。

輪廓匹配包含4方面：①面積；②周長(zhǎng)；③長(zhǎng)軸短軸比；④長(zhǎng)軸短軸差。由于檢測(cè)矩形目標(biāo)，因此目標(biāo)的面積、周長(zhǎng)、長(zhǎng)軸短軸比、長(zhǎng)軸短軸差具有區(qū)別性。依據(jù)如下公式計(jì)算其經(jīng)驗(yàn)值，繼而決策目標(biāo)真?zhèn)危?/p>

其中，L為周長(zhǎng)；S［n］為目標(biāo)輪廓邊緣像素點(diǎn)組成的數(shù)組；CDB為目標(biāo)輪廓長(zhǎng)軸與短軸的比例；axis代表長(zhǎng)軸；ayis代表短軸；CDC代表目標(biāo)輪廓長(zhǎng)、短軸之差。

經(jīng)過(guò)本文的閾值分割與形態(tài)學(xué)開運(yùn)算處理相結(jié)合的方法，獲取矩形目標(biāo)的二值區(qū)域，如圖5所示。經(jīng)過(guò)本文基于OpenCV的輪廓匹配，獲取準(zhǔn)確的矩形目標(biāo)定位，見圖6?？梢?，本文目標(biāo)檢測(cè)機(jī)制的定位效果良好，能準(zhǔn)確識(shí)別出手機(jī)表面的矩形目標(biāo)logo、喇叭。

部分關(guān)鍵代碼：

圖5 本文二值化效果圖

圖6 本文矩形目標(biāo)檢測(cè)效果圖

1.3 基于距離測(cè)量的人機(jī)交互

本文完成手機(jī)表面圓目標(biāo)與矩形目標(biāo)定位后，引入人機(jī)交互機(jī)制［9-10］?；贠penCV的鼠標(biāo)響應(yīng)函數(shù)，捕捉圖像表面的鼠標(biāo)響應(yīng)時(shí)事件，計(jì)算兩點(diǎn)距離，實(shí)現(xiàn)由用戶自主操作，自動(dòng)計(jì)算距離的功能，見圖7，在手機(jī)界面前后點(diǎn)擊2點(diǎn)的坐標(biāo)、以及坐標(biāo)間距離計(jì)算后清晰顯示；同時(shí)有Windows窗口提醒，這樣既增加了系統(tǒng)功能，又提高了用戶友好度。

關(guān)鍵代碼如下：

圖7 本文的人機(jī)交互距離測(cè)量效果圖

2 實(shí)驗(yàn)與討論

為了彰顯本文技術(shù)的先進(jìn)性，將傳統(tǒng)的圖像目標(biāo)定位算法視為對(duì)照組；利用DELL2.5 GHz，雙核CPU，8GB內(nèi)存，Windows Xp環(huán)境，輸入相關(guān)程序，借助MATLAB驗(yàn)證這些方案的定位性能。

表面矩形目標(biāo)的定位結(jié)果如圖8、圖9所示。從圖中可知，本文機(jī)制的定位性能很好，無(wú)偏差現(xiàn)象（見圖8）；而對(duì)照組機(jī)制的定位質(zhì)量較差，在目標(biāo)存在角度旋轉(zhuǎn)時(shí)，其定位不準(zhǔn)確，往往存在偏差（見圖9）。原因是對(duì)照組機(jī)制是基于靜態(tài)大差異特征識(shí)別定位方案，在目標(biāo)很小或旋轉(zhuǎn)時(shí)，其識(shí)別能力較差。

圓目標(biāo)定位結(jié)果見圖10、圖11。依圖中可知，本文技術(shù)的定位性能很好，可定位出微小目標(biāo)（見圖10）；而對(duì)照組機(jī)制的定位質(zhì)量較差，在目標(biāo)很小時(shí)，無(wú)法定位出圓目標(biāo)，（見圖11）。

圖8 本文的定位機(jī)制效果圖

圖9 傳統(tǒng)定位機(jī)制效果圖

圖10 本文的圓目標(biāo)定位機(jī)制效果圖

圖11 傳統(tǒng)定位機(jī)制效果圖

為了量化這些機(jī)制的定位精度，在手機(jī)表面擇取10個(gè)目標(biāo)特征，利用本文機(jī)制與對(duì)照組機(jī)制進(jìn)行識(shí)別檢測(cè)，結(jié)果見圖12。從圖中可知，本文算法的定位準(zhǔn)確性顯著高于對(duì)照組，準(zhǔn)確率高達(dá)97.35%。

圖12 各算法的定位精度

3 結(jié)論

為了解決手機(jī)外殼表面的特征目標(biāo)的定位問(wèn)題，如Logo、喇叭、距離感應(yīng)器、攝像頭，得到這些目標(biāo)的中心點(diǎn)坐標(biāo)。本文基于OpenCV實(shí)現(xiàn)手機(jī)表面圓目標(biāo)與矩形目標(biāo)的定位機(jī)制。首先采用canny邊緣檢測(cè)與霍夫變換實(shí)現(xiàn)圓目標(biāo)檢測(cè)；再利用閾值分割和形態(tài)學(xué)開運(yùn)算對(duì)其進(jìn)行處理，獲取矩形目標(biāo)的基本輪廓，通過(guò)輪廓匹配，計(jì)算該目標(biāo)的精確坐標(biāo)；最后引入人機(jī)交互機(jī)制，即可通過(guò)鼠標(biāo)測(cè)量圖像中目標(biāo)間距離，增強(qiáng)用戶體驗(yàn)。實(shí)驗(yàn)結(jié)果顯示：與當(dāng)前圖像目標(biāo)定位機(jī)制相比，在圖像目標(biāo)存在旋轉(zhuǎn)情況中，本文機(jī)制的定位精度更高，顯著降低了定位偏差，可精確定位圖像目標(biāo)；且目標(biāo)檢測(cè)正確率更高。

［1］梁海文，張文革.視覺導(dǎo)航中的圖像分割算法研究［J］.鑄造技術(shù)，2009，30（5）：682-685.

［2］趙大偉，陳剛.機(jī)載不定視覺下的圖像小目標(biāo)定位算法仿真［J］.計(jì)算機(jī)仿真，2013，30（10）：108-111.

［3］趙丹陽(yáng).火災(zāi)視頻圖像定位中特征點(diǎn)提取和匹配［J］.計(jì)算機(jī)工程與應(yīng)用，2013，36（4）：181-185.

［4］楊正得，謝亞楠，周星里.具有解析解的星載SAR圖像目標(biāo)定位方法［J］.電子測(cè)量技術(shù)，2010，33（6）：59-61.

［5］周海峰，朱云霞.改進(jìn)主動(dòng)形狀模型彩色圖像目標(biāo)定位研究［J］.計(jì)算機(jī)仿真，2013，30（10）：108-111.

［6］郗潤(rùn)平，張艷寧，胡伏原.一種紅外圖像目標(biāo)定位的方法［J］.計(jì)算機(jī)工程與應(yīng)用，2008，44（9）：242-244.

［7］Yong-sheng Wang.A New Image Threshold Segmentation based on Fuzzy Entropy and Improved Intelligent Optimization Algorithm［J］.Journal of Multimedia，2014，9（4）：499-505.

［8］GG Rajput，PN Patil，R Chavan.Automatic detection of microaneurysms from fundus images using morphological operations［J］.Signals&Systems and Networking，2013，256（35）：310-307.

［9］JP Zhuang，R Fang，X Feng.The impact of human-computer interaction-Based on compressive training on the cognitive functions of cognitive impairment elderly individuals in a nursing home［J］.Journal of Alzheimer＇s Disease，2013，36（2）：245-251.

［10］R Bhatt，N Fernandes，A Dhage.Vision Based Hand Gesture Recognition for Human Computer Interaction［J］.International Journal of Engineering Science and Innovative Technology，2013，2（3）：110-114.

（編輯 李秀敏）

The Location Research and Application on the Round and Rectangular Aim of Mobile Phone Surface Based on OPenCV and Human-Computer Interaction

ZHANG Zhi-feng1，ZHANG Ya-rong2，PEI Zhi-li1
（1.College of Computer Science and Technology，Inner Monggolia University of the Nationalities，Tongliao Inner Monggolia028000，China；2.Department of Information Technology，Tong Liao Vocation College，Tongliao Inner Monggolia 028000，China）

In the process of mobile phone shell assembly，adverse was easy to produced in its surface，such as stains，these bad flaws tend to be around camera，distance sensor，the horn，and logo，the appearance of these goals directly affects the quality of mobile phones，so for these target localization research is particularly important.And the current image target localization algorithm is not stable，when the target is very small；rotating which make characteristics not obvious，make poor quality of positioning.To solve this，this paper proposes a round and rectangular target positioning mechanism of mobile phone surface based on OpenCV. First of all，based on canny edge detection and hough transform to realize circular object detection；Then based on threshold segmentation and morphological processing of rectangular target area，roughly rectangular target precise coordinates is obtained by contour matching again，contour features of area，perimeter，aspect ratio，width is poor.Finally，human-computer interaction mechanism is introduced，then measuring the distance between the target in the image by mouse，enhance the user experience.Finally tested in this paper，the mechanism of performance，the results show that，compared with ordinary image target localization algorithm in the image of the case，the rotation mechanism in this paper has better positioning effect，pinpoint the outline of the image target.

objective detection orientation；canny edge detection；human-computer interaction；hough transforms；contour matching

TH166；TG659

A

1001-2265（2015）03-0067-04 DOI：10.13462/j.cnki.mmtamt.2015.03.018

2014-10-14；

2014-11-26

國(guó)家自然科學(xué)基金資助項(xiàng)目（61163034）；國(guó)家自然科學(xué)基金資助項(xiàng)目（61373067）；內(nèi)蒙古自然科學(xué)基金資助項(xiàng)目（2013MS0911）；內(nèi)蒙古民族大學(xué)科學(xué)研究項(xiàng)目（NMD1231）；內(nèi)蒙古自治區(qū)“草原英才工程”（2013）；內(nèi)蒙古自治區(qū)“青年科技領(lǐng)軍人才”（NJYT-14-A09）；內(nèi)蒙古自治區(qū)“321人才工程”二層次人選（2010）；內(nèi)蒙古民族大學(xué)科學(xué)研究基金資助項(xiàng)目（NMDYB1453）

張智豐（1972—），男，內(nèi)蒙古赤峰人，內(nèi)蒙古民族大學(xué)副教授，碩士，研究方向?yàn)橛?jì)算機(jī)輔助幾何設(shè)計(jì)、圖形圖像技術(shù)、數(shù)據(jù)挖掘，（E-mail）ZhangZfengNMG@163.com；通訊作者：裴志利（1968—），男，內(nèi)蒙古通遼人，內(nèi)蒙古民族大學(xué)教授，博士，碩士生導(dǎo)師，研究方向?yàn)橛?jì)算機(jī)圖形技術(shù)、模式識(shí)別。