基于模板匹配的鋼包水口視覺(jué)識(shí)別定位研究

丁振華

摘?要：在闡述了機(jī)器視覺(jué)相關(guān)知識(shí)的基礎(chǔ)上，應(yīng)用模板的相關(guān)性匹配對(duì)鋼包水口安裝位置的識(shí)別定位進(jìn)行研究。通過(guò)程序?qū)崿F(xiàn)，驗(yàn)證了機(jī)器視覺(jué)在鋼鐵相關(guān)工位應(yīng)用的可行性。

關(guān)鍵詞：機(jī)器視覺(jué);模板匹配;識(shí)別定位

Research on Vision Recognition and Location

of Ladle Nozzle Based on model matching

Ding Zhenhua

Steelmaking Plant，Baoshan Iron & Steel Co.，Ltd.?Shanghai?201900

Abstract：Based on the knowledge of machine vision，the recognition and location of the installation position of ladle nozzle is researched by applying NCC model matching.By program implementation，the feasibility of machine vision application in related workshops of iron and steel company is verified.

Key words：Machine vision;Model matching;Recognition and location

1 緒論

近年來(lái)，隨著機(jī)器人、機(jī)器視覺(jué)、人工智能等技術(shù)的發(fā)展，鋼鐵冶金裝備朝著智能化、無(wú)人化方向快速發(fā)展。但是，對(duì)于高溫熔融態(tài)冶煉環(huán)節(jié)的車間，高智能化冶煉裝備的應(yīng)用還非常受限，因此，需要不斷的嘗試新技術(shù)，來(lái)適應(yīng)無(wú)人化和智能化冶煉的趨勢(shì)，不斷提高鋼鐵企業(yè)的生產(chǎn)效率和效益。

目前，就連鑄工序而言，澆鋼過(guò)程全部需要在認(rèn)為的干預(yù)下完成，而利用機(jī)器視覺(jué)來(lái)替代人的視覺(jué)進(jìn)行識(shí)別判斷，給機(jī)器人裝上的一雙“眼睛”，對(duì)于實(shí)現(xiàn)無(wú)人化、智能化澆鋼來(lái)說(shuō)是一個(gè)先進(jìn)、符合未來(lái)科技趨勢(shì)的最佳選擇。鋼包水口安裝作為連鑄澆鋼的重要環(huán)節(jié)，利用機(jī)器視覺(jué)協(xié)助系統(tǒng)實(shí)現(xiàn)無(wú)人化、智能化，提高水口安裝精度和準(zhǔn)確度，保證安全的重要手段。因此，鋼包水口的視覺(jué)識(shí)別定位的研究具有非常重要的現(xiàn)實(shí)意義。

2 機(jī)器視覺(jué)

視覺(jué)是人類生存不可或缺的重要器官，通過(guò)眼睛我們可以看到多彩的世界，與身體的其他部位配合完成復(fù)雜的工作。機(jī)器視覺(jué)是將人類從復(fù)雜的重復(fù)勞動(dòng)中解放出來(lái)的重要載體，也是在現(xiàn)代社會(huì)各行各業(yè)發(fā)展需求自然驅(qū)動(dòng)的結(jié)果，它的發(fā)展離不開(kāi)數(shù)學(xué)、光學(xué)、計(jì)算機(jī)及編程、圖像處理等多學(xué)科知識(shí)，是一門綜合的新興技術(shù)。

2.1 機(jī)器視覺(jué)概念

機(jī)器視覺(jué)，就是用一個(gè)或多個(gè)攝像機(jī)代替人的眼睛獲取場(chǎng)景圖像，對(duì)圖像進(jìn)行自動(dòng)處理，并根據(jù)邏輯運(yùn)算結(jié)果進(jìn)行識(shí)別判斷。美國(guó)制造工程師協(xié)會(huì)（SME Society of Manufacturing Engineers）機(jī)器視覺(jué)分會(huì)和美國(guó)機(jī)器人工業(yè)協(xié)會(huì)（RIA Robotic Industries Association）的自動(dòng)化視覺(jué)分會(huì)對(duì)機(jī)器視覺(jué)下的定義為：“機(jī)器視覺(jué)是通過(guò)光學(xué)的裝置和非接觸的傳感器自動(dòng)地接收和處理一個(gè)真實(shí)物體的圖像，以獲得所需信息或用于控制機(jī)器人運(yùn)動(dòng)的裝置”。具體來(lái)講，是指通過(guò)鏡頭將被測(cè)目標(biāo)轉(zhuǎn)化為圖像信號(hào)，投射至影像接受器件（一般為CCD元件）上再通過(guò)數(shù)字計(jì)算機(jī)進(jìn)行分析處理。

2.2 機(jī)器視覺(jué)硬件

典型的機(jī)器視覺(jué)系統(tǒng)一般包括：光源，鏡頭，相機(jī)，圖像采集卡，圖像處理計(jì)算機(jī)，通訊接口等組成的。機(jī)器視覺(jué)系統(tǒng)的構(gòu)成如圖1所示：

光源：在機(jī)器視覺(jué)應(yīng)用系統(tǒng)中，合適的光源與照明方案隊(duì)整個(gè)系統(tǒng)有決定性的影響，在確定方案時(shí)應(yīng)該結(jié)合被檢測(cè)物體的形狀、顏色、透明度等特征進(jìn)行選擇。目前主流的可見(jiàn)光源有熒光燈、鹵素?zé)艉蚅ED燈，其中LED光源壽命長(zhǎng)、節(jié)能、形狀多樣、光照穩(wěn)定可調(diào)，因此，LED光源的應(yīng)用較為普遍。

鏡頭：一般有光學(xué)元件和機(jī)械裝置兩部分組成，光學(xué)元件可能包含多個(gè)透鏡，以保證獲取正確清晰的圖像;機(jī)械裝置包含固定光學(xué)元件的零部件，如鏡筒、透鏡座、調(diào)節(jié)機(jī)構(gòu)、連接環(huán)等。鏡頭的主要參數(shù)包括：焦距、物距、視場(chǎng)范圍、光圈、景深等。

相機(jī)：相機(jī)的主要功能是將光信號(hào)轉(zhuǎn)換成相應(yīng)的電信號(hào)，以獲取場(chǎng)景的原始信息，主流的相機(jī)有CMOS和CCD兩種相機(jī)，相機(jī)不同，采集到的圖像質(zhì)量也不同。相機(jī)的主要指標(biāo)有：分辨率、像素深度、最大幀率、接口類型等。

圖像采集卡：又稱圖像捕捉卡，將采集到的圖像經(jīng)過(guò)A/D轉(zhuǎn)換變成數(shù)字圖像，完成圖像采集與數(shù)字化，然后按照相應(yīng)的格式進(jìn)行存儲(chǔ)。其技術(shù)參數(shù)有：輸入接口類型、灰度等級(jí)、分辨率、帶寬和傳輸速率等。

2.3 機(jī)器視覺(jué)軟件

專業(yè)的機(jī)器視覺(jué)算法軟件有Halcon，VisionPro，OpenCV、LabView等，集成開(kāi)發(fā)工具主要是Visual studio，支持VB，C#，C++等多種語(yǔ)言。這里主要闡述Halcon及其與C#的聯(lián)合編程。

Halcon是德國(guó)MVTec公司的專業(yè)圖像處理軟件，由一千多個(gè)各自獨(dú)立的函數(shù)，以及底層的數(shù)據(jù)管理核心構(gòu)成。其中包含了各類濾波、色彩分析以及幾何、數(shù)學(xué)變換、形態(tài)學(xué)計(jì)算分析、校正、分類、辨識(shí)、形狀搜索等等基本的幾何以及圖像計(jì)算功能，應(yīng)用前景廣闊。HALCON有一套交互式的程序設(shè)計(jì)接口HDevelop，可在其中直接編寫、修改、執(zhí)行程序，設(shè)計(jì)完成后，可以直接輸出C#、C++等程序代碼，以供開(kāi)發(fā)靈活多樣的應(yīng)用程序。

Halcon聯(lián)合C#編程，需要對(duì)Visual Studio進(jìn)行配置，主要包括halcondotnet.dll庫(kù)文件配置，并在窗體代碼中調(diào)用其命名空間。

3 識(shí)別定位原理

識(shí)別定位是通過(guò)圖像匹配完成的，圖像匹配是指將觀察到的圖像與模型進(jìn)行匹配，以及圖像之間的匹配，匹配的結(jié)果表示對(duì)景物的一種解釋。

3.1 模板匹配

模板是圖像（或其子圖）的一種表達(dá)方式，它本身仍然是一幅圖像。一般情況下，模板在目標(biāo)圖像中來(lái)回移動(dòng)，直到找到使某個(gè)匹配函數(shù)值達(dá)到最大的位置為止。圖像模板匹配流程如圖2所示：

圖像采集是通過(guò)光學(xué)裝置，由相機(jī)采集圖像，圖像轉(zhuǎn)換成數(shù)字格式式并傳入計(jì)算機(jī)存儲(chǔ)器。

圖像處理是運(yùn)用不同的算法來(lái)處理對(duì)決策有重要影響的圖像要素，如對(duì)圖像進(jìn)行顏色辨識(shí)，面積、長(zhǎng)度測(cè)量，圖像增強(qiáng)，邊緣銳化，降噪等處理。

特性提取是識(shí)別并量化圖像的關(guān)鍵特性，例如檢測(cè)出的物體顏色和雜質(zhì)的形狀等等。然后這些數(shù)據(jù)傳送到控制程序。

結(jié)果和控制是根據(jù)收到的數(shù)據(jù)進(jìn)行各種運(yùn)算做出結(jié)論。并根據(jù)這曲結(jié)論輸出相關(guān)的信號(hào)指令控制現(xiàn)場(chǎng)的設(shè)備或輸入輸出系統(tǒng)執(zhí)行相應(yīng)的動(dòng)作。

模板圖像和目標(biāo)圖像內(nèi)容的相似程度可以用如下函數(shù)來(lái)衡量：

SE（x，y）=∑Ni=1∑Nj=1f2（x-i，y-j）-2∑Ni=1∑Nj=1f（x-i，y-j）T（i，j）+∑Ni=1∑Nj=1T2（i，j）

式中第一項(xiàng)是目標(biāo)圖像中感興趣點(diǎn)（鄰域）亮度的平方和，它與匹配與否無(wú)關(guān);第三項(xiàng)是模板中元素平方和，是一個(gè)常數(shù)，與模板處在圖像什么位置無(wú)關(guān);第二項(xiàng)是匹配與否的重點(diǎn)，該項(xiàng)表示相關(guān)性的計(jì)算。

3.2 模板匹配的分類及特點(diǎn)

模板匹配主要有：基于灰度值、基于描述符、基于相關(guān)性、基于形狀、基于組件和基于可變形等幾種模板匹配。

基于灰度值的圖像模板匹配，通過(guò)比對(duì)模板圖像與目標(biāo)圖像的灰度值信息，但是灰度特征易受環(huán)境因素干擾，匹配結(jié)果不穩(wěn)定?；谛螤畹膱D像模板匹配是提取目標(biāo)的輪廓特征，生成形狀模板，該技術(shù)對(duì)環(huán)境、噪聲的抗干擾能力很強(qiáng)?；诮M件的圖像模板匹配是形狀匹配的升級(jí)，其工作原理與形狀匹配大致相同，其優(yōu)點(diǎn)表現(xiàn)在對(duì)于一個(gè)包含多個(gè)部件的目標(biāo)對(duì)象的檢測(cè)上，相對(duì)基于形狀的圖像模板匹配的多模板匹配，其匹配速度更快。基于相關(guān)性的模板匹配，它是采用歸一化交叉相關(guān)性Normalized cross correlation（NCC）用來(lái)比較兩幅圖像的相似程度已經(jīng)是一個(gè)常見(jiàn)的圖像處理手段。在工業(yè)生產(chǎn)環(huán)節(jié)檢測(cè)、監(jiān)控領(lǐng)域?qū)?duì)象檢測(cè)與識(shí)別均有應(yīng)用。

4 系統(tǒng)實(shí)現(xiàn)

4.1 主要算子

Halcon中用于NCC模板匹配的算子有兩個(gè)：create_ncc_model（）創(chuàng)建NCC模板算子和find_ncc_model（）尋找模板算子。

其部分主要參數(shù)包括：

NumLevels：金字塔的最大層級(jí)

AngleStart：模板的最小旋轉(zhuǎn)

AngleExtent：旋轉(zhuǎn)角度范圍

AngleStep：角度步長(zhǎng)

MinScore：被找到的模板最小分?jǐn)?shù)

NumMatches：被找到的模板個(gè)數(shù)

Row：被找到的模板實(shí)例行坐標(biāo)

Column：被找到的模板實(shí)例列坐標(biāo)

Angle：被找到的模板實(shí)例的旋轉(zhuǎn)角度

Score：被找到的模板實(shí)例的分?jǐn)?shù)

4.2 程序?qū)崿F(xiàn)

根據(jù)算法的流程，編寫程序?qū)崿F(xiàn)相關(guān)性匹配，部分主要程序段如下：

*創(chuàng)建ROI區(qū)域

draw_rectangle1（WindowHandle，Row1，Column1，Row2，Column2）

gen_rectangle1（Rectangle，Row1，Column1，Row2，Column2）

area_center（Rectangle，Area，Row，Column）

orientation_region（Rectangle，Phi）

reduce_domain（GrayImage，Rectangle，ImageReduced）

*創(chuàng)建模板

create_ncc_model（ImageReduced，0，rad（0），rad（360），'auto'，'use_polarity'，ModelID）

dev_set_draw（'margin'）

dev_set_color（'blue'）

*尋找模板

find_ncc_model（GrayImage1，ModelID，rad（0），rad（360），0.7，1，0.8，'true'，0，Row3，Column3，Angle，Score）

*判斷和仿射變換，結(jié)果輸出

if（|Score|>0）

vector_angle_to_rigid（Row，Column，0，Row3，Column3，Angle，HomMat2D）

affine_trans_region（Rectangle，RegionAffineTrans，HomMat2D，'nearest_neighbor'）

dev_display（GrayImage1）

dev_display（RegionAffineTrans）

4.3 匹配結(jié)果

在Halcon中通過(guò)程序的編寫實(shí)現(xiàn)，先在模板圖像中繪制感興趣的ROI區(qū)域，如圖3所示：

然后通過(guò)核心算子create_ncc_model（）和find_ncc_model（）以及相關(guān)參數(shù)的控制，按照算法的流程進(jìn)行尋找待匹配的目標(biāo)區(qū)域。如圖4所示：

從圖3和圖4可以看出，盡管模板圖像和目標(biāo)圖像存在角度的偏移和形狀變形，通過(guò)相關(guān)性匹配搜索，仍能找到感興趣的目標(biāo)區(qū)域，達(dá)到識(shí)別定位的目的。

5 結(jié)論

機(jī)器視覺(jué)具有非接觸識(shí)別定位，速度快，準(zhǔn)確度高的特點(diǎn)，不受人為視覺(jué)疲勞的影響，是大勢(shì)所趨，將來(lái)在各行各業(yè)的應(yīng)用一定會(huì)越來(lái)越廣，因此，鋼鐵業(yè)也不例外，本文將機(jī)器視覺(jué)引入鋼鐵生產(chǎn)的工藝流程之中，通過(guò)模擬實(shí)現(xiàn)，達(dá)到了目的，具備應(yīng)用的前景，對(duì)鋼鐵生產(chǎn)實(shí)現(xiàn)無(wú)人化、智能化具有重要意義。

參考文獻(xiàn)：

[1]劉慶宏.基于機(jī)器視覺(jué)的工件位置識(shí)別軟件開(kāi)發(fā)[D].大連：大連理工大學(xué)，2016.

[2]曹夢(mèng)柔.基于機(jī)器視覺(jué)的模板匹配系統(tǒng)的研究[J].企業(yè)導(dǎo)報(bào)，2015，12：92-93.

[3]候海燕.基于模板匹配的機(jī)器視覺(jué)話機(jī)檢測(cè)系統(tǒng)[J].開(kāi)發(fā)案例，2013，10：63-65.

[4]Halcon手冊(cè).MVTec Software GmbH，2007.