一種用于工件視覺測量的圖像拼接方法的研究

薛 真，項輝宇

（北京工商大學(xué) 材料與機械工程學(xué)院，北京 100048）

一種用于工件視覺測量的圖像拼接方法的研究

薛 真，項輝宇

（北京工商大學(xué) 材料與機械工程學(xué)院，北京 100048）

在工件的生產(chǎn)制造過程中，視覺測量技術(shù)以其具有的快速、準(zhǔn)確的特點發(fā)揮著越來越重要的作用，針對大尺寸物體的視覺測量，提出了圖像拼接技術(shù)。該方法基于視覺圖像處理軟件HALCON，利用經(jīng)過標(biāo)定的攝像機采集帶有一定特征信息的零件的序列圖像，對圖像進行坐標(biāo)變換、高斯濾波等預(yù)處理，在相鄰圖像之間的重疊區(qū)域使用Harris角點檢測算法進行特征點提取，將提取出的特征點進行匹配，根據(jù)特征點之間的匹配關(guān)系完成圖像配準(zhǔn)，實現(xiàn)由多幅圖像拼接成為一幅圖像。闡述了相關(guān)理論并進行了實驗，驗證了該方法的可行性。

攝像機標(biāo)定；HALCON；特征點提取；圖像匹配；圖像拼接

0　引言

目前，對于大尺寸工件的測量，可以采用大尺寸導(dǎo)軌或者標(biāo)準(zhǔn)件進行測量，但是這種方法操作不方便，精度較低，而且成本較高。也可以采用間接法，如高弦長法，這種方法存在原理誤差，結(jié)果的可靠性較差。隨著計算機視覺技術(shù)斷發(fā)展，采用視覺測量的方法可以解決上面兩種方法的不足[1]。但在一些大尺寸工件的測量中，由于攝像機視角、拍攝角度、攝像機的視場不足等因素的影響，不能一次性獲得一幅包含工件完整信息的圖像。這時就需要將不同時刻、不同角度拍攝的、存在一定重疊區(qū)域的圖像拼接融合，獲得一幅全景圖像，這就是圖像拼接技術(shù)。

本文提出了一種基于HALCON軟件的圖像拼接方法，該方法的基本流程如圖1所示。該方法基于計算機視覺技術(shù)，先建立攝像機模型，通過攝像機標(biāo)定確定物體圖像坐標(biāo)與世界坐標(biāo)之間的關(guān)系，利用該攝像機采集一系列待拼接的圖像，進行圖像處理。在處理后的圖像中提取特征點，根據(jù)這些點之間的關(guān)系完成圖像配準(zhǔn)工作，實現(xiàn)圖像拼接。

圖1　圖像拼接方法的流程

1　視覺測量與圖像拼接

圖像拼接的基本原理是利用幾幅圖像在時間或空間上的冗余或互補信息，根據(jù)一定的拼接算法合成一幅大視野、高分辨率的圖像[2]。在實現(xiàn)拼接的過程中，攝像機標(biāo)定是其中的關(guān)鍵步驟之一。

1.1攝像機標(biāo)定原理與過程

進行攝像機標(biāo)定可以確定二維圖像與世界坐標(biāo)系中物體的對應(yīng)關(guān)系，從而可以由圖像中物體的尺寸計算出物體的實際尺寸[3]。攝像機標(biāo)定過程就是確定攝像機內(nèi)參數(shù)和外參數(shù)的過程。內(nèi)參數(shù)包括攝像機的主距、畸變、縮放比例因子、主點等，外參數(shù)指攝像機坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系。進行攝像機標(biāo)定時，首先要建立攝像機模型，如圖2所示。在建立好的攝像機模型中將世界坐標(biāo)系中的點轉(zhuǎn)換到圖像坐標(biāo)系中，需要經(jīng)過以下三個步驟：

1）從世界坐標(biāo)系（WCS）變換到攝像機坐標(biāo)系（CCS）中。

這一變換屬于剛性變換，我們在世界坐標(biāo)系中取一點，設(shè)它在攝像機坐標(biāo)系中的對應(yīng)坐標(biāo)為，則它們之間有如下轉(zhuǎn)換關(guān)系：

2）從攝像機坐標(biāo)系投影到成像平面坐標(biāo)系（IPCS）中，若鏡頭沒有畸變，則該過程可以利用下式實現(xiàn)。

式中f是攝像機的主距，Zc是目標(biāo)物體與攝像機之間的距離。

但在實際應(yīng)用中，鏡頭往往會存在不同程度的畸變，在機器視覺的應(yīng)用中，可以將這種畸變近似為徑向畸變，并且可以用下式進行修正。

式中k表示徑向畸變的量級，k＞0表示枕形畸變，k＜0表示桶形畸變。是考慮鏡頭畸變后，在成像平面上的投影點的坐標(biāo)。

3）從成像平面坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系（ICS）中。

式中Sx和Sy是比例縮放因子，代表圖像傳感器上水平和垂直方向上相鄰像素之間的距離。點是光心在成像坐標(biāo)系中的投影點，即圖像的主點。

上述公式中的f、k、Sx、Sy、Cx和Cy就是攝像機的內(nèi)參數(shù)，它們確定了攝像機實現(xiàn)三維空間點到二維圖像點的投影的方法。至此，世界坐標(biāo)系中點Pw與圖像坐標(biāo)系中的對應(yīng)關(guān)系可由上述四個公式得出[4]。由此可知，要完成攝像機的標(biāo)定，需要知道足夠多的三維空間點的坐標(biāo)，并找到圖像中的對應(yīng)點，建立對應(yīng)關(guān)系。

圖2　攝像機模型

在HALCON系統(tǒng)下，實現(xiàn)攝像機標(biāo)定的過程如圖3所示。

圖3　攝像機標(biāo)定流程圖

實驗采用60mm×60mm的圓點型平面標(biāo)定板進行攝像機標(biāo)定。標(biāo)定板制作過程簡單，精度較高，便于操作[5]。用于攝像機標(biāo)定的標(biāo)定板的圖像數(shù)量是影響攝像機參數(shù)準(zhǔn)確度的重要因素。本實驗拍攝了標(biāo)定板在不同位置的20幅圖像，然后利用HALCON圖像處理軟件對這些圖像處理，得到相機的內(nèi)外參數(shù)。

HALCON是德國MVTec Software GmbH公司開發(fā)的圖像處理軟件，功能強大，內(nèi)部包含1600多個算子。在執(zhí)行標(biāo)定過程中利用算子set_calib_data_calib_object設(shè)置標(biāo)定模板句柄；find_caltab可以將標(biāo)定板內(nèi)部區(qū)域與背景分隔開，該算子對輸入圖像進行高斯濾波，再采用閾值分割的方法找到標(biāo)定板的內(nèi)部區(qū)域；find_marks_ and_pose找到每個圓心的中心并確定它們相應(yīng)的世界坐標(biāo)，并且可以粗略計算相機的外參數(shù)。最后通過算子calibrate_cameras和get_calib_data得到攝像機的參數(shù)，如表1所示。標(biāo)定誤差為0.143194個像素。

表1　攝像機初始參數(shù)及標(biāo)定結(jié)果

1.2圖像處理

在完成攝像機標(biāo)定后需要保持?jǐn)z像機的位置不變，通過標(biāo)定后的攝像機模型得到待拼接圖像的圖像坐標(biāo)與世界坐標(biāo)的關(guān)系。在實際應(yīng)用中，采集的圖像可能存在幾何失真或者受到噪聲的干擾，因此，在提取特征點之前要對圖像進行預(yù)處理，本文用到的圖像處理技術(shù)主要有圖像坐標(biāo)變換和圖像濾波。

1.3特征點的提取與圖像配準(zhǔn)

在本文中，特征點提取采用了Harris角點檢測算法。Harris角點檢測算子具有快速便捷的特點。它的原理是：首先選取圖像上的某一點，讓該點在任意方向發(fā)生一個小小的偏移f(x,y)，然后判斷該點的灰度是否發(fā)生很大的變化，如果是，就說明該點是角點。在使用該算法時，需要注意選取合適的梯度平滑值。

在完成特征點提取之后，再根據(jù)重疊區(qū)域的一致性求解圖像間的投影變換矩陣[6]。經(jīng)過初步匹配之后，采用RANSAC算法進行魯棒匹配，剔除錯誤的匹配點，完成圖像配準(zhǔn)。

在HALCON中，算子change_radial_distortion_ image( )用來校正圖像的畸變；tile_images_offset( )提供待拼接圖像的坐標(biāo)位置及排列方式；points_harris( )表示利用hariss角點檢測算法檢測關(guān)注點，并提取出特征點；proj_match_points_ransac( )通過找到兩幅圖像中點與點之間的映射計算一個投影變換矩陣；gen_ projective_mosaic( )把多重圖像合成一個馬賽克圖像，即完成圖像拼接過程。

2　實例驗證

基于上述原理，本文進行了拼接實驗。實驗采用DH-HV1302UM攝像機，通過HALCON中的算子open_ framegrabber( )打開該攝像機并進行圖像的采集工作。首先固定攝像機位置，采集標(biāo)定板圖像進行攝像機標(biāo)定，再利用標(biāo)定后的攝像機采集要拼接的圖像。

實驗采集了一個沖壓工件的九幅圖像，經(jīng)過圖像處理后，提取到的特征點及特征點之間的匹配關(guān)系如圖4所示，圖中綠色的點代表特征點，藍(lán)色的線代表特征點之間的匹配關(guān)系。

圖4　圖像特征點提取及匹配結(jié)果

圖像拼接結(jié)果如圖5所示。

圖5　圖像拼接結(jié)果

3　結(jié)束語

本文提出了基于HALCON的圖像拼接算法，即：用攝像機采集一系列具有重疊區(qū)域的待拼接的圖像，對圖像進行處理后，在每相鄰兩幅圖像之間提取特征點。根據(jù)這些點的對應(yīng)關(guān)系，完成圖像之間的配準(zhǔn)，將配準(zhǔn)后的圖像拼接成一幅完整的圖像。通過本文的實驗，驗證了這種基于HALCON的拼接算法的可行性。在現(xiàn)代化的制造業(yè)中，將圖像拼接技術(shù)應(yīng)用于視覺測量中，可以在一定程度上解決大尺寸物體的測量與檢測問題。因此，從提高精度和準(zhǔn)確度的角度出發(fā)，對圖像拼接技術(shù)進行研究很有必要。

[1] 白福忠.視覺測量技術(shù)基礎(chǔ)[M].北京:電子工業(yè)出版社,2013: 13-16.

[2] 韓九強.機器視覺技術(shù)及應(yīng)用[M].北京:高等教育出版社,2009: 10-11.

[3] 項輝宇,劉倩倩,韓寶安,冷崇杰.基于HALCON的單目視覺系統(tǒng)沖壓件的幾何特征檢測[J].制造業(yè)自動化,2014,12:48-50,63.

[4] 羅珍茜,薛雷,孫峰杰,陸士清,李長遠(yuǎn).基于HALCON的攝像機標(biāo)定[J].電視技術(shù),2010,04:100-102.

[5] C.Steger等著,楊少榮等譯.機器視覺算法與應(yīng)用[M].北京:清華大學(xué)出版社,2008:255-274.

[6] 王中任,全燕鳴.大尺寸工件在機視覺測量的圖像拼接方法[J].工具技術(shù),2010,01:95-98.

Study on image mosaic approach for workpiece vision measurement

XUE Zhen, XIANG Hui-yu

TH161

A

1009-0134(2016)02-0045-03

2015-10-28

薛真（1992 -），女，河北人，碩士研究生，研究方向為視覺測量與分析。