基于視覺的LED燈絲點(diǎn)特征提取與匹配方法研究

曹鵬+黃豪杰

摘要：LED燈絲外輪廓點(diǎn)的精準(zhǔn)特征匹配是實(shí)現(xiàn)視覺定位LED燈絲的重要環(huán)節(jié)。該文為了解決燈絲外輪廓點(diǎn)的坐標(biāo)定位前期圖像處理問題，提出一種基于視覺的LED燈絲特征提取與匹配方法。該方法首先提取LED燈絲清晰的外部輪廓圖，然后采用Ransac-Surf角點(diǎn)特征匹配算法完成了匹配。實(shí)驗(yàn)表明該算法的立體匹配準(zhǔn)確率達(dá)到了93.9%，基本滿足匹配的實(shí)時性要求。該文算法能較好地應(yīng)用于該類型圖像的立體匹配。

關(guān)鍵詞：外輪廓點(diǎn)；特征提取；特征匹配；Ransac-Surf

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）34-0190-04

Abstract： Accurate matching of outer contour points is the significant way to realize the visual localization of LED filaments.In order to solve the coordinate location of the outer contour of the filament，this paper proposed a featrue extraction and stereo matching method for LED filament Based on machine vision.This image processing algorithms extract the cornors feature of the LED filaments，then the Ransac-Surf algorithm can effectively complete the cornor feature matching task.Experimental results show that method presented by this paper can improve the accuracy rate of stereo macthing to reach 93.9%，Basically meet the real-time requirements of the stereo matching.This algorithm can be applied to stereo matching of this kind of images.

Key words： outer contour points； featrue extraction； feature matching； Ransac-Surf

1 背景

據(jù)《2014-2020年中國廣東省LED產(chǎn)業(yè)發(fā)展趨勢研究報(bào)告》監(jiān)測數(shù)據(jù)顯示，2014年廣東省LED照明燈具總產(chǎn)值為772.29億元，產(chǎn)業(yè)規(guī)模穩(wěn)居全國之首，但是，LED 燈具生產(chǎn)裝配大多由熟練的操作人員手工完成，或由PLC程控半自動線完成，上述裝配加工方式增加了制造LED照明燈成本。LED照明產(chǎn)品元器件的尺寸一般偏小，裝配精度要求較高；隨著市場對LED產(chǎn)品性能與產(chǎn)量需求的不斷提升，手工裝配已難以適應(yīng)大批量生產(chǎn)，自動化裝配已成為必然趨勢。文獻(xiàn)[11]中飛利浦（中國）有限公司創(chuàng)新工廠設(shè)計(jì)、研制了LED燈具的自動裝配線，該生產(chǎn)線是傳統(tǒng)人工生產(chǎn)線的5倍，單個LED產(chǎn)品的通過率也超過80%，大大減小了生產(chǎn)制造成本，但仍存在LED燈具組裝產(chǎn)品檢測質(zhì)量不穩(wěn)定等不確定因素。在LED燈具裝配過程的前期包括在裝配的過程中，LED燈絲部分在受到外部觸碰，致使燈絲頂端部分發(fā)生偏移，甚至在一般環(huán)境下燈絲自身形狀也會發(fā)生偏移現(xiàn)象，給裝配的精度和效率上帶來了不小的挑戰(zhàn)。因此，研究一種LED燈絲定位精度較高的機(jī)器視覺算法對提高LED燈具產(chǎn)品的質(zhì)量和生產(chǎn)效率顯得非常重要。

為此本文針對LED燈絲外形的線狀特點(diǎn)，研究前期視覺檢測平臺采集到的圖像特征，并運(yùn)用相對應(yīng)機(jī)器視覺算法來提高識別精度，為后續(xù)的精確裝配提供保障。該平臺通過選擇合適的相機(jī)、鏡頭及光源等搭建立體視覺檢測系統(tǒng)，確保該系統(tǒng)能采集到高質(zhì)量LED燈絲圖像并對所采集的圖像進(jìn)行視覺算法處理用以研究解決視覺裝配LED燈具前期算法問題。

2 雙目視覺光學(xué)系統(tǒng)設(shè)計(jì)

2.1 光學(xué)系統(tǒng)設(shè)計(jì)

系統(tǒng)硬件設(shè)計(jì)[[1]]采用2個CCD相機(jī)采集目標(biāo)區(qū)域的圖像，運(yùn)用圖像處理技術(shù)實(shí)現(xiàn)了對目標(biāo)區(qū)域圖像的特征提取等操作。本文所要采集的圖像為LED燈絲區(qū)域圖像，通過采集多幅LED燈絲隨機(jī)形態(tài)圖像數(shù)據(jù)，并運(yùn)用視覺算法得到燈絲邊緣輪廓特征。圖1系統(tǒng)結(jié)構(gòu)圖顯示在測量LED燈絲對應(yīng)圖像時，需要用LED條形光源輔助CCD相機(jī)進(jìn)行采集清晰圖像操作，該系統(tǒng)主要是由2個CCD相機(jī)及1個條形光源組成。將2個CCD相機(jī)平行固定，相機(jī)之間距離為40mm，條形光源與CCD相機(jī)光軸方向成30[°]夾角且與LED燈座相距140mm；CCD相機(jī)與待檢測LED燈絲相距700mm；豎直方向上，2個CCD相機(jī)在同一水平高度上。CCD相機(jī)在一般室內(nèi)環(huán)境下再結(jié)合條形光源的輔助照明，LED燈絲上的每一點(diǎn)的光路（由如圖1中燈座與相機(jī)之間的兩條虛線表示）通過CCD相機(jī)鏡頭進(jìn)入相機(jī)的圖像采集芯片中，CCD相機(jī)采集到清晰的圖像后，運(yùn)用視覺算法將圖像中的LED燈絲邊緣提取出來，并對邊緣末端的特征角點(diǎn)進(jìn)行立體匹配。

2.2 成像原理

成像原理如圖2所示。假設(shè)本文的雙目視覺系統(tǒng)為標(biāo)準(zhǔn)平視雙目系統(tǒng)，即2個CCD相機(jī)的像平面精確的在同一水平面且在同一豎直高度上，光軸相互平行，并且是鏡頭無任何畸變因素的理想系統(tǒng)模型。在光源輔助照明下，2個CCD相機(jī)同時采集LED燈絲的圖像信息。其中CCD相機(jī)1與相機(jī)2平行放置，目的是為了使2個相機(jī)在光軸上也能平行。在豎直方向上2個CCD相機(jī)保持在相同高度水平面上。物體表面的任意一點(diǎn)P在2個CCD相機(jī)成像平面上投影點(diǎn)分別為[P1]與[P2]，稱他們?yōu)楣曹楛c(diǎn)。令[O1]、[O2]分別為左右2個相機(jī)的光學(xué)中心位置。[O1O2]為2個CCD相機(jī)光心間的距離，稱為基線距離T。2個相機(jī)的焦距均為f分別為[P1O1]和[P2O2]。稱平面[PO1O2]為極面，極面與左右CCD相機(jī)的兩個成像平面相交的兩條直線分別稱為左外極線[P1e1]和右極線[P2e2]。通過獲得兩幅圖像中相同物體的同一部分最終得到相同部分的三維坐標(biāo)。endprint

3 圖像法邊緣輪廓提取

3.1 二值化處理

為進(jìn)一步將目標(biāo)圖像輪廓從背景圖像中分割出來，并且針對圖像特點(diǎn)，對圖像進(jìn)行二值化處理。一般情況下，所采集的圖像信息中都包含有一定的噪聲，可使用適當(dāng)?shù)臑V波方法對含有噪聲的圖像進(jìn)行圖像預(yù)處理。常用的降噪濾波算法有均值、高斯及中值濾波等。本文實(shí)驗(yàn)采集的圖像在理想的背景條件下，故沒有進(jìn)行圖像預(yù)處理操作。本文采用迭代圖像二值化算法[[2]]對圖像進(jìn)行第一步處理，迭代圖像二值化算法步驟如下所述：

1） 求出圖像中的最小灰度值和最大灰度值，分別記為Zmin和Zmax，則閾值初值T0=（Zmin+Zmax）/2；

2） 根據(jù)閾值TK將圖像分割成目標(biāo)和背景兩部分，求出兩部分的平均灰度值Z0和Z1，平均灰度值等于=[Σ]（F（灰度值）*W（該灰度值的權(quán)重）/N（像素點(diǎn)的總數(shù)）；

3） 求出新閾值T1=（Z0+Z1）/2；

4） 如果T0=T1，則結(jié)束，否則將TI的值賦予T0，轉(zhuǎn)向步驟2），再按步驟進(jìn)行計(jì)算。

圖3（a）為實(shí)驗(yàn)時相機(jī)1采集到的原始圖像，圖3（b）為相機(jī)1采集到的原始圖經(jīng)過二值化處理后的圖像，圖3（c）為實(shí)驗(yàn)時相機(jī)2采集到的原始圖像，圖3（d）相機(jī)2采集到的原圖像經(jīng)過二值化處理后的圖像。

3.2 形態(tài)學(xué)處理

4 燈絲末端角點(diǎn)檢測與匹配

4.1 角點(diǎn)檢測

運(yùn)用Harris角點(diǎn)檢測算法[[9-10]]得到LED燈絲圖像的特征點(diǎn)的位置分布情況。Harris角點(diǎn)檢測算法描述為在圖像中找到一個局部窗口，分析局部窗口來處理整幅圖像，沿某個方向移動局部窗口，一定會引起圖像灰度變化。若改變化超過預(yù)先設(shè)定閥值時候，角點(diǎn)就是局部窗口的中心像素點(diǎn)。反之若沒有超過設(shè)定閥值，則繼續(xù)移動局部窗口。

本實(shí)驗(yàn)中只需得到圖像LED燈絲末端的2個角點(diǎn)（單幅圖像中燈絲線頂端左右各一個角點(diǎn)），結(jié)合左右2幅圖像共需要4個角點(diǎn)才能構(gòu)成1組完整的匹配圖像，本文提取到的角點(diǎn)特征分布為如下圖6（a）和圖6（b），圓圈部分即是圖6（a）為經(jīng)過對應(yīng)相機(jī)1圖像經(jīng)過邊緣提取后角點(diǎn)檢測的圖像，圖6（b）為對應(yīng)相機(jī)2圖像經(jīng)過角點(diǎn)檢測的圖像。從圖像中看出本文待匹配的角點(diǎn)特征也都分布在LED燈絲的末端，符合下一步實(shí)驗(yàn)的要求。

采用Surf算法得到如下圖7的匹配效果。

從圖7中看出LED燈絲頂端角點(diǎn)特征群存在匹配錯誤且匹配過多的問題，對此我們在Surf匹配算法中引入Ransac算法[[12-14]]篩選剔除部分不需要角點(diǎn)，Ransac算法與Surf算法相結(jié)合的組合算法步驟為：

（1） 從Surf 算法預(yù)匹配數(shù)據(jù)集中隨機(jī)取出一些匹配點(diǎn)對，計(jì)算出變換矩陣H，記為模型M。理論上只需要4對點(diǎn)。

（2） 計(jì)算數(shù)據(jù)集中所有數(shù)據(jù)與模型M的投影誤差，若誤差小于閾值，加入內(nèi)點(diǎn)集 I ；

（3） 如果當(dāng)前內(nèi)點(diǎn)集I元素個數(shù)大于最優(yōu)內(nèi)點(diǎn)集R， 則更新 R= I，同時更新迭代次數(shù)k ；

（4） 如果迭代次數(shù)大于k，則退出；否則迭代次數(shù)加1，并重復(fù)上述步驟；

基于上述思想，在MATLAB上進(jìn)行編程操作，提取特征點(diǎn)時調(diào)節(jié)Hessian矩陣閾值大小并且設(shè)置匹配值的最大最小值得到圖14的匹配效果圖。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 基于視覺的雙目相機(jī)LED燈絲檢測系統(tǒng)[[15]]

基于視覺的雙目相機(jī)LED燈絲檢測系統(tǒng)由2個CCD相機(jī)、鏡頭、條形光源及圖像采集系統(tǒng)等組成，系統(tǒng)硬件平臺如圖15所示。

圖9所示的檢測系統(tǒng)中，2個CCD相機(jī)、鏡頭、光源及光源控制器為廣東奧普特科技股份有限公司提供。鏡頭為奧普特科技公司的變焦鏡頭，其焦距為16mm。相機(jī)為法國basler公司型號為ACA130M-GE-D的相機(jī)，該相機(jī)是一種具有5百萬像素分辨率、單色、可選軟件觸發(fā)及多掃描模式的CCD相機(jī)，像元尺寸為8.8mm×6.6mm。此外該相機(jī)通過以太網(wǎng)接口與計(jì)算機(jī)相連，可實(shí)現(xiàn)圖像的自動存儲。該系統(tǒng)在采集不同形狀類型的LED燈絲圖像時，無需做任何試驗(yàn)設(shè)備的位置調(diào)整，就可以方便地進(jìn)行圖像采集。

5.2 結(jié)果與分析

實(shí)驗(yàn)時，為了驗(yàn)證本文的圖像算法，引入Surf算法對比Ransac結(jié)合Surf算法，本次實(shí)驗(yàn)的環(huán)境均在：CPU：Inter（R） Core（TM） 2 Quad，主頻2.50GHz，內(nèi)存4G，操作系統(tǒng)：Windows 7；運(yùn)行環(huán)境為MATLAB 2015B圖像處理函數(shù)和計(jì)算機(jī)視覺開源函數(shù)庫，所用采集到的圖像尺寸均為1280×960。表1為基于上述算法流程處理思想，本文CCD相機(jī)共采集6組隨機(jī)形態(tài)下LED燈絲的圖像，共12幅圖像。實(shí)驗(yàn)從匹配用時和匹配正確率2個方面對實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)，匹配的結(jié)果如表1所示。

從表1可以看到，算法Ransac-Surf匹配的準(zhǔn)確率為93.9%，相比Surf算法有較大的提高。算法Ransac-Surf平均用時1.12s，耗時略大于Surf算法，其原因算法Ransac-Surf相比較Surf算法在運(yùn)算中要進(jìn)行迭代計(jì)算，選擇最佳匹配點(diǎn)，這些算法步驟都增加了算法運(yùn)行時間。但從整體效果看，在本文實(shí)驗(yàn)環(huán)境下得到的LED燈絲圖像的邊緣輪廓角點(diǎn)特征，能夠被算法Ransac-Surf算法更好的檢測和匹配。因此，算法Ransac-Surf匹配性能相比較于Surf算法表現(xiàn)出更好的優(yōu)越性。

6 結(jié)束語

1） 系統(tǒng)采用雙目視覺的檢測方案，運(yùn)用迭代圖像二值化算法、形態(tài)學(xué)膨脹算法和Roberts算法等多種圖像處理技術(shù)，實(shí)現(xiàn)了有效的邊緣輪廓提取步驟方法，也為圖像的角點(diǎn)特征匹配的實(shí)施提供了理論。

2） 實(shí)驗(yàn)結(jié)果證明該套系統(tǒng)的算法實(shí)施流程具有可行性。在后期的改進(jìn)工作中，對應(yīng)LED燈絲圖像采集中引入噪聲，提出針對不同工作環(huán)境下相應(yīng)的圖像去噪算法，并測試在引入噪聲情況下的角點(diǎn)特征匹配效果，進(jìn)一步研究實(shí)驗(yàn)環(huán)境中如光照強(qiáng)度等對匹配準(zhǔn)確度的影響。endprint

參考文獻(xiàn)：

[1] 盧清華， 許重川， 王華， 等. 基于機(jī)器視覺的大幅面陶瓷地磚尺寸測量系統(tǒng)研究[J].光學(xué)學(xué)報(bào)， 2013， 33（3）：172-174.

[2] 童立靖， 張艷， 舒魏， 等. 幾種文本圖像二值化的對比分析[J]. 北方工業(yè)大學(xué)學(xué)報(bào)， 2011， 23（1）：27-32.

[3] 劉清， 林土勝. 基于數(shù)學(xué)形態(tài)學(xué)的圖像邊緣檢測算法[J]. 華南理工大學(xué)學(xué)報(bào)：自然科學(xué)版， 2008， 36（9）：113-116， 121.

[4] 申俊琦， 胡繩蓀， 馮勝強(qiáng)， 等. 基于數(shù)學(xué)形態(tài)學(xué)的焊縫圖像邊緣提取[J]. 天津大學(xué)學(xué)報(bào)， 2010（4）.

[5] 王征. 一種基于數(shù)學(xué)形態(tài)學(xué)的邊緣檢測方法[J]. 計(jì)算機(jī)與數(shù)學(xué)工程， 2012， 40（2）：102-104.

[6] 岡薩雷斯. 數(shù)字圖像處理[M]. 3版.北京： 電子出版社， 2011： 199-201.

[7] 于博， 牛錚， 王力. 抗噪形態(tài)學(xué)邊緣檢測新算子圖像邊緣檢測[J]. 信息技術(shù)， 2012， 36（3）：10-12.

[8] 王方超， 張旻， 宮麗美. 改進(jìn)的Roberts圖像邊緣檢測算法[J]. 探測與控制學(xué)報(bào)， 2016， 38（2）：88-92.

[9] Harris C， Stephens MJ. A combined corner and edge detector[C]. Processing of Fourth alvery Vision Conference， 1988： 147-151.

[10] Herbert Bay， Andreas Ess， Tuytelaars， et al.Speeded-up Robust Feature[J]. Computer Vision Understanding， 2008， 110（3）：346-359.

[11] 堯思遠(yuǎn)， 王曉明， 左帥. 基于Surf的特征點(diǎn)快速匹配算法[J]. 紅外與激光， 2014， 10（3）：347-350.

[12] 陳藝蝦， 孫權(quán)森， 徐煥宇， 等. SURF算法和RANSAC算法相結(jié)合的遙感圖像匹配方法[J]. 計(jì)算機(jī)科學(xué)與探索， 2012， 6（9）：822-828.

[13] 凌云， 尹海波， 王琪. SURF和RANSAC在圖像拼接中的應(yīng)用[J]. 電子測量技術(shù)， 2016， 39（4）：71-73.

[14] 紀(jì)利娥， 陳磊. 結(jié)合SURF特征和RANSAC算法的圖像配準(zhǔn)方法[J]. 研究動態(tài)， 2013， 10（9）：9-12.

[15] 褚樂添. 基于視覺的LED照明產(chǎn)品的自動裝配線[J]. 計(jì)算機(jī)光盤軟件與應(yīng)用， 2014（23）：127-129.endprint