基于多模板匹配的捆扎棒材計(jì)量方法

侯維巖 段政偉 趙 慧

(鄭州大學(xué)信息工程學(xué)院1，河南 鄭州 450001;上海大學(xué)機(jī)電工程與自動化學(xué)院2，上海 200072)

基于多模板匹配的捆扎棒材計(jì)量方法

侯維巖1，2段政偉1趙 慧1

(鄭州大學(xué)信息工程學(xué)院1，河南 鄭州 450001;上海大學(xué)機(jī)電工程與自動化學(xué)院2，上海 200072)

針對目前鋼鐵物流行業(yè)人工計(jì)數(shù)法存在勞動繁重、效率低下等問題，介紹了一種基于S3C2440硬件平臺和嵌入式WinCE操作系統(tǒng)的手持式捆扎棒材計(jì)數(shù)系統(tǒng)。該系統(tǒng)采用基于連通性和圓形度檢測的多模板匹配法來統(tǒng)計(jì)棒材根數(shù)，可以準(zhǔn)確地分辨出每根棒材并實(shí)現(xiàn)計(jì)數(shù);系統(tǒng)使用CMOS數(shù)字圖像傳感器獲得原始的捆扎棒材圖像，再由圖像處理程序?qū)D像數(shù)據(jù)進(jìn)行處理。試驗(yàn)結(jié)果表明，系統(tǒng)有效提高了計(jì)數(shù)準(zhǔn)確度，而區(qū)域標(biāo)識和人工修正相配合的方法，使得系統(tǒng)能夠在工業(yè)現(xiàn)場被廣泛應(yīng)用。

嵌入式 計(jì)數(shù) 圖像處理 模板匹配 連通性 圓形度

0 引言

目前，鋼鐵物流行業(yè)采用人工計(jì)數(shù)的方法統(tǒng)計(jì)捆扎棒材支數(shù)，勞動繁重且效率低下。隨著計(jì)算機(jī)技術(shù)和數(shù)字圖像處理技術(shù)的發(fā)展，人們開始研究捆扎棒材自動計(jì)數(shù)系統(tǒng)。

研究發(fā)現(xiàn)［1-2］，棒材斷面銹蝕、棒材斷面形狀不規(guī)則、捆扎整齊度較差等現(xiàn)象，會導(dǎo)致二值圖像中部分棒材斷面不完整且相鄰棒材嚴(yán)重粘連。針對這一問題，國內(nèi)很多學(xué)者提出了一些解決方法，如凹點(diǎn)分割法［3-4］、中心點(diǎn)法［5］、模板覆蓋法［6］、圖像距離變換法［7］等。這些方法雖取得了一定的成果，但并不具有普遍適應(yīng)性，都存在計(jì)數(shù)不準(zhǔn)確、攜帶不便利等問題。

為了使棒材計(jì)數(shù)員能夠隨時隨地對捆扎棒材進(jìn)行計(jì)數(shù)，并及時判斷計(jì)數(shù)結(jié)果的正確性，本文設(shè)計(jì)了一種手持移動式棒材計(jì)數(shù)系統(tǒng)。系統(tǒng)硬件平臺采用S3C2440作為核心控制芯片，通過CMOS數(shù)字圖像傳感器OV9650采集捆扎棒材圖像。同時，本文提出了一種基于連通性和圓形度檢測的多模板匹配算法來計(jì)數(shù)，并在原圖像上用紅色顯示模板覆蓋下的棒材，從而能夠方便地判斷計(jì)數(shù)結(jié)果是否準(zhǔn)確。

1 預(yù)處理

圖像預(yù)處理的方法包括感興趣區(qū)域提取、灰度化、二值化和形態(tài)學(xué)運(yùn)算。

捆扎棒材通常堆疊在一起存放，在采集某捆棒材斷面圖像時，其周圍的棒材斷面會對該捆棒材的識別計(jì)數(shù)帶來不可避免的干擾。因此，需要進(jìn)行感興趣區(qū)域提取，將該捆扎棒材斷面所在的多邊形區(qū)域從圖像中提取出來，作為圖像分析的原始圖像。

當(dāng)進(jìn)行感興趣區(qū)域提取時，用戶只需使用觸摸筆指定多邊形的頂點(diǎn)，應(yīng)用程序?qū)⑵聊蛔鴺?biāo)轉(zhuǎn)換為圖像坐標(biāo)，在圖像中形成封閉的多邊形區(qū)域;對多邊形區(qū)域進(jìn)行區(qū)域填充，再和原始圖像作與運(yùn)算，則用戶感興趣的多邊形區(qū)域便被提取出來。

考慮到棒材斷面的顏色特征不能作為辨識棒材的依據(jù)和嵌入式系統(tǒng)中內(nèi)存資源的稀缺性，采用加權(quán)平均值法將彩色圖像轉(zhuǎn)換為灰度圖像。

在灰度圖像中，棒材斷面和背景灰度有明顯的差異，通過閾值分割的方法能夠使棒材斷面和背景分離。然后利用Otsu方法自動計(jì)算全局閾值，并使用該閾值進(jìn)行分割，得到二值化圖像。最后為了消去孤立噪聲點(diǎn)和狹小粘連，采用平坦的octagon(八邊形)結(jié)構(gòu)元素執(zhí)行了一次開運(yùn)算操作。二值化圖像和開運(yùn)算圖像如圖1所示。

圖1 二值化圖像和開運(yùn)算圖像Fig.1 The binary image and the open operation image

2 識別計(jì)數(shù)

由于捆扎棒材堆疊在一起，相互間貼近的程度各不相同，導(dǎo)致二值化圖像中相鄰棒材斷面區(qū)域相互連通且連通的程度不同。鑒于棒材斷面區(qū)域具有一定面積的類圓形的性質(zhì)，本文采用模板匹配的方法來識別計(jì)數(shù)。傳統(tǒng)模板匹配算法采用逐點(diǎn)匹配的方法，該方法將大量的運(yùn)算時間浪費(fèi)在非匹配點(diǎn)上，實(shí)時性很差。為減少在非匹配點(diǎn)上的運(yùn)算時間，本文提出了一種基于多個模板的模板匹配算法來識別棒材斷面區(qū)域并進(jìn)行計(jì)數(shù)。

2.1 多模板匹配

多模板匹配掃描方式［8］如圖2所示，按照從左向右的順序，將二值化圖像以棒材直徑D為步長分割為若干個矩形區(qū)域。

圖2 多模板匹配掃描方式Fig.2 The scanning mode of multiple templates matching

水平模板長度為D，寬度為一個像素，始終沿分割線(包括圖像邊界)進(jìn)行掃描。小矩形長度為D、高度為D/2。十字形模板由兩個水平模板正交組成，在小矩形內(nèi)部掃描。正八邊形模板的直徑為D。

多模板匹配算法步驟如下。

①以圖像左上角為原點(diǎn)，用水平模板從上向下沿圖像左邊界進(jìn)行逐行掃描，并計(jì)算水平模板覆蓋下的像素個數(shù)。若像素個數(shù)大于閾值(通常取為水平模板長度的一半)，表明當(dāng)前行附近可能存在一根棒材，轉(zhuǎn)到步驟②;否則，轉(zhuǎn)到步驟③。

②在當(dāng)前位置創(chuàng)建小矩形區(qū)域，用十字模板在小矩形內(nèi)逐點(diǎn)掃描，并計(jì)算十字形模板覆蓋下的像素個數(shù)和相應(yīng)的十字形模板中心坐標(biāo)。掃描完成后，取最大的像素個數(shù)和閾值(通常取為水平模板的長度)作比較。若像素個數(shù)大于閾值，相應(yīng)的十字形模板中心坐標(biāo)即為可能的匹配點(diǎn)，轉(zhuǎn)到步驟③;否則，轉(zhuǎn)到步驟⑤。

③以步驟②中可能的匹配點(diǎn)為正八邊形模板的中心坐標(biāo)，計(jì)算模板覆蓋下的區(qū)域是否滿足相似度要求。滿足要求時表明一根棒材被識別，轉(zhuǎn)到步驟④;否則，轉(zhuǎn)到步驟⑤。

④計(jì)數(shù)器加1，并標(biāo)記模板覆蓋下的非零像素，轉(zhuǎn)到步驟⑤。

標(biāo)記過程分兩步執(zhí)行:第一步的目的是從二值化圖像上清除已識別區(qū)域，將二值化圖像中模板覆蓋下的像素置零;第二步是為了能夠直觀顯示計(jì)數(shù)結(jié)果，在原彩色圖像中用紅色標(biāo)記已識別區(qū)域。

⑤判斷是否掃描到圖像下邊界和右邊界。若已掃描到圖像下邊界，移動到下一分割線掃描;若已掃描到圖像右邊界，結(jié)束掃描。

由此可見，在多模板匹配過程中，大多數(shù)像素點(diǎn)采用水平和十字形模板匹配，僅在較少的點(diǎn)上用正八邊形模板匹配。由于水平模板和十字形模板的面積遠(yuǎn)小于正八邊形模板的面積，從而減少了運(yùn)算量，提高了運(yùn)算速度。

2.2 連通性和圓形度檢測

傳統(tǒng)的模板匹配算法利用模板和子圖像之間對應(yīng)像素點(diǎn)的一致程度來衡量相似度，在二值化圖像中表現(xiàn)為子圖像中前景像素數(shù)目，也稱為子圖像的面積。在模板匹配過程中，棒材被識別之后，已識別區(qū)域?qū)磺宄峭ǔＧ闆r下模板沒有完全覆蓋棒材斷面，導(dǎo)致清除已識別區(qū)域后仍存在屬于該支棒材的殘留像素。當(dāng)僅利用棒材斷面的面積特征衡量相似度時，殘留像素會干擾相鄰棒材的識別。這主要表現(xiàn)為以下兩種情況。

圖3 連通性檢測前后模板匹配示意圖Fig.3 Schematic diagram of the templates matching before and after the connectivity detection

第一種干擾情況是若不進(jìn)行連通性檢測，當(dāng)前模板覆蓋下的兩個區(qū)域會被誤認(rèn)為是一根棒材。因此，當(dāng)模板覆蓋下的像素不屬于同一個連通域，即連通域的數(shù)目大于1時，需要通過重新搜索匹配點(diǎn)來調(diào)整模板位置。連通性檢測前后模板匹配示意圖如圖3所示。第二種干擾情況是模板覆蓋下的像素屬于同一連通域，但圓形度較差，若不進(jìn)行圓形度檢測，可能會導(dǎo)致錯誤的覆蓋結(jié)果，從而不能準(zhǔn)確識別棒材斷面的位置。因此，為了使模板中心更接近棒材斷面區(qū)域的實(shí)際中心，需要調(diào)整模板位置。圓形度檢測前后模板匹配示意圖如圖4所示。在棒材數(shù)目較少時，上述干擾對計(jì)數(shù)結(jié)果影響尚不明顯;然而，當(dāng)棒材數(shù)目較多時，干擾的累積效應(yīng)將嚴(yán)重影響后續(xù)識別定位的準(zhǔn)確性，產(chǎn)生較大的計(jì)數(shù)誤差。因此，為消除上述干擾，本文在衡量相似度時綜合考慮了棒材斷面的面積、連通性和圓形度特征。

圖4 圓形度檢測前后模板匹配示意圖Fig.4 Schematic diagram of the templates matching before and after the degree of circularity detection

本文采用8連通圖像標(biāo)記算法［9］統(tǒng)計(jì)連通域的數(shù)目。圓形度計(jì)算公式為:

式中:L為連通區(qū)域的周長;A為連通區(qū)域的面積。面積A的值在模板覆蓋時已經(jīng)統(tǒng)計(jì)，因此這里只需統(tǒng)計(jì)連通域的周長L。本文采用邊界跟蹤［10］的方法提取二值圖像的8鄰接邊界，并計(jì)算周長。

3 試驗(yàn)結(jié)果分析

圖1采集圖像中的棒材實(shí)際數(shù)量為140，采用本文計(jì)算算法得到計(jì)數(shù)為140，結(jié)果完全正確，而采用傳統(tǒng)模板匹配算法的計(jì)數(shù)結(jié)果為176。引起計(jì)數(shù)誤差的原因是傳統(tǒng)算法僅利用了棒材斷面的面積特征，棒材被識別之后的殘留像素對后續(xù)模板覆蓋產(chǎn)生了嚴(yán)重的干擾，導(dǎo)致識別出的棒材位置誤差較大甚至失去意義。與傳統(tǒng)模板匹配算法相比，本文提出的連通性和圓形度檢測算法能夠有效克服上述干擾，從而正確識別每根棒材的實(shí)際位置，計(jì)數(shù)精度高。

為了驗(yàn)證算法的有效性，本文統(tǒng)計(jì)了多種型號捆扎棒材的計(jì)數(shù)結(jié)果，如表1所示。

表1 計(jì)數(shù)結(jié)果統(tǒng)計(jì)分析Tab.1 The statistical analysis of counting results

試驗(yàn)結(jié)果表明，對于捆扎整齊度較好且斷面無嚴(yán)重銹蝕、發(fā)藍(lán)的捆扎棒材，圖像預(yù)處理算法能夠比較可靠地分割出完整的棒材斷面，本文提出設(shè)計(jì)的捆扎棒材自動計(jì)數(shù)系統(tǒng)的計(jì)數(shù)準(zhǔn)確度達(dá)到97%左右。然而，由于工業(yè)現(xiàn)場環(huán)境的復(fù)雜性，品相較差的捆扎棒材中部分棒材仍不能夠被準(zhǔn)確識別，阻礙了自動計(jì)數(shù)系統(tǒng)的廣泛應(yīng)用。目前文獻(xiàn)表明，此問題很難用圖像處理方法自動解決。

為此，本文在軟件部分設(shè)計(jì)了“后處理-加”和“后處理-減”兩種人工修整措施。即在計(jì)數(shù)后，若用戶發(fā)現(xiàn)存在未被識別的棒材或被錯誤識別為棒材的區(qū)域，可使用“后處理-加”和“后處理-減”手動添加或去除一個紅色模板，同時計(jì)數(shù)結(jié)果加1或減1。

試驗(yàn)表明，采用紅色區(qū)域標(biāo)識和人工修正相配合的方法，計(jì)數(shù)準(zhǔn)確度可以達(dá)到100%，使得本系統(tǒng)被廣泛應(yīng)用于工業(yè)現(xiàn)場。

4 結(jié)束語

本文提出了一種手持移動式捆扎棒材計(jì)數(shù)系統(tǒng)，使用WinCE6.0作為嵌入式操作系統(tǒng)，在VS2005下完成了基于微軟基礎(chǔ)類(Microsoft foundation classes，MFC)的軟件設(shè)計(jì)，并通過圖像處理技術(shù)來統(tǒng)計(jì)棒材根數(shù)。試驗(yàn)結(jié)果表明，該系統(tǒng)能夠在工業(yè)現(xiàn)場被良好應(yīng)用，對改善棒材計(jì)數(shù)員枯燥繁重的工作方式、提高工作效率和計(jì)數(shù)準(zhǔn)確度、杜絕惡意虛假計(jì)數(shù)及管理自動化等方面都具有重要的意義。

［1］王培珍，楊維翰，杜培明.一種基于融合技術(shù)的成捆鋼筋端面圖象的分割方案［J］.中國圖象圖形學(xué)報，2003，8(11):1277-1280.

［2］張達(dá)，謝植，艾江山.棒材在線計(jì)數(shù)中斷面定位方法研究［J］.儀器儀表學(xué)報，2010，31(5):1173-1178.

［3］陳浩，王景中，姚光明.基于類圓分割的棒材計(jì)數(shù)圖像識別［J］.工程圖學(xué)學(xué)報，2004(4):98-103.

［4］齊國生，葉丹，洪強(qiáng)寧，等.基于圓形假設(shè)和多邊形近似的血細(xì)胞圖像分解［J］.計(jì)算機(jī)工程與應(yīng)用，2003(16):75-77.

［5］鄒應(yīng)國，康宜華.成捆鋼筋快速計(jì)數(shù)方法的研究［J］.機(jī)床與液壓，2006(2):176-178.

［6］周群，胡光銳.基于模板覆蓋法的鋼筋在線計(jì)數(shù)方法［J］.上海交通大學(xué)學(xué)報:自然科學(xué)版，1999，33(11):1462-1464.

［7］宋強(qiáng)，徐科，孫浩，等.基于圖象處理的棒材自動計(jì)數(shù)技術(shù)［J］.鋼鐵，2004，39(5):34-37.

［8］王衛(wèi)勇，朱玉泉.一種基于多模板覆蓋的鋼筋計(jì)數(shù)方法［J］.計(jì)算機(jī)與現(xiàn)代化，2005(5):25-27.

［9］高紅波，王衛(wèi)星.一種二值圖像連通域標(biāo)記的新算法［J］.計(jì)算機(jī)應(yīng)用，2007，27(11):2776-2777.

［10］郭健，劉斌，賴海燕.基于二值圖像的目標(biāo)邊界跟蹤算法及應(yīng)用［J］.紅外技術(shù)，2005，27(5):416-418.

Measurement Method for Binding Bar Based on Multiple Templates Matching

Aiming at the problems that heavy labor and low accuracy of manual counting in logistics of iron and steel industry，a handheld counting system based on S3C2440 hardware platform and embedded WinCE operating system for bundled steel bars is introduced.By adopting the multiple templates matching method based on connectivity and degree of circularity detection，each rod can be precisely identified and counted by the system.Original image of the bundled steel rod is acquired by using CMOS digital image sensor，the image data are processed with image processing program.The experimental result indicates that this method effectively enhances the counting accuracy，and the method combining regional identification and manual correction makes the system widely used in industrial fields.

Embedded Counting Image processing Template matching Connectivity Degree of circularity

TP274+.3

A

國家自然科學(xué)基金資助項(xiàng)目(編號:60974097、60904016)。

修改稿收到日期:2012-04-05。

侯維巖(1964-)，男，2004年畢業(yè)于上海大學(xué)控制理論與控制工程專業(yè)，獲博士學(xué)位，教授;主要研究方向?yàn)榉植际街悄芸刂?、WSN網(wǎng)絡(luò)、信號和圖像處理。

book=0,ebook=140