基于傾斜雙目相機(jī)的視覺對位技術(shù)研究

董永謙，王增琴

( 中國電子科技集團(tuán)公司第二研究所，山西 太原030024)

隨著工業(yè)4.0 時代的到來，全球工業(yè)制造行業(yè)迎來了智能制造時代[1]。智能制造的實(shí)質(zhì)是實(shí)現(xiàn)超越人腦智力的制造。這種超越所依賴的是新一代人工智能技術(shù)，其中包含了機(jī)器視覺技術(shù)[2]。因此隨著智能制造的不斷推進(jìn)，工業(yè)自動化中機(jī)器視覺技術(shù)的地位愈發(fā)重要。

機(jī)器視覺可實(shí)現(xiàn)非接觸測量，對于操作者與工件都不會產(chǎn)生任何損傷；具有較寬的光譜響應(yīng)范圍，擴(kuò)展了人眼的視覺范圍；可以長時間穩(wěn)定地測量、分析和識別，提高了系統(tǒng)的可靠性。因此，機(jī)器視覺系統(tǒng)的應(yīng)用領(lǐng)域越來越廣泛，分布于工業(yè)、農(nóng)業(yè)、國防、交通、醫(yī)療、金融甚至體育、娛樂等行業(yè)。

基于傾斜雙目相機(jī)的視覺對位技術(shù)是實(shí)現(xiàn)快速對位，精度達(dá)到0.01 mm 以下，實(shí)現(xiàn)人工無法滿足的生產(chǎn)需求。因此，開展基于傾斜雙目相機(jī)的視覺對位技術(shù)研究，通過傾斜圖像校正技術(shù)、標(biāo)定技術(shù)、模板匹配技術(shù)、對位計(jì)算的研究，實(shí)現(xiàn)快速準(zhǔn)確對位。

1 LTCC 熱切工藝

多層基板制造工藝流程包括打孔、印刷、疊片、層壓、熱切、燒結(jié)等工藝，熱切是多層基板制造中關(guān)鍵工序之一，是通過計(jì)算機(jī)編程，并自動精確控制伺服系統(tǒng)對層壓后帶有標(biāo)識的多層生瓷坯體在一定加熱溫度條件下快速、高精度的切割，使其成為單件。

由于多層生瓷坯體的材質(zhì)較軟而且有一定黏性，在多層生瓷坯體通過加熱的鎢鋼刀體進(jìn)行切割時，為了保證切割元件的精度和一致性，并且不損傷內(nèi)置元件，熱切過程需要實(shí)現(xiàn)高精度的控制，如圖1 所示。

圖1 多層生瓷坯體

熱切流程如圖2 所示，主要包含上料、運(yùn)動間隔、自動對位、熱切和下料等，其中移動間隔、自動對位、熱切是重要過程。

傾斜雙目相機(jī)的視覺對位主要是完成多層生瓷片坯體熱切前的自動對位，是保證多層生瓷坯體高精度高速熱切的基礎(chǔ)，直接關(guān)系著熱切結(jié)果好壞，是熱切機(jī)的關(guān)鍵技術(shù)之一。對位精度要求是Y 軸±0.01 mm，θ 軸±0.005°。

圖2 熱切機(jī)切割流程圖

2 傾斜雙目相機(jī)視覺對位系統(tǒng)設(shè)計(jì)

2.1 硬件設(shè)計(jì)

雙目相機(jī)視覺對位系統(tǒng)硬件主要有圖像采集卡、面陣相機(jī)、遠(yuǎn)心鏡頭、環(huán)形LED 光源、運(yùn)動控制單元、工控機(jī)等，如圖3 所示。面陣相機(jī)是數(shù)據(jù)采集、傳輸?shù)那岸嗽O(shè)備；千兆高速以太網(wǎng)傳輸接口，保證大量圖像數(shù)據(jù)的實(shí)時、快速傳送。依據(jù)圖像的對比度和清晰度調(diào)整環(huán)形LED 光源亮度，保證圖像檢測清晰、準(zhǔn)確、快速。

圖3 視覺系統(tǒng)結(jié)構(gòu)框圖

為保證視覺對位精度，選用200 萬像素相機(jī)。相機(jī)的像素尺寸是4.4 μm×4.4 μm，分辨率是1 600×1 200。由于標(biāo)記尺寸是0.2 mm×1 mm，如果選用1.2 倍的鏡頭，不僅縮小了視野，而且單個像素的尺寸減小為3.6 μm×3.6 μm，這樣圖像處理的精度達(dá)到10 μm，滿足對位精度要求。最終采集的熱切圖像效果如圖4 所示。

圖4 熱切圖像

雙目相機(jī)視覺對位系統(tǒng)安裝結(jié)構(gòu)如圖5 所示。由于每個多層生瓷坯體都有兩組對位標(biāo)記，熱切機(jī)采用兩套相機(jī)和兩套光源進(jìn)行采集圖像。由于受到刀架的影響，相機(jī)安裝在刀架兩側(cè)并偏離垂直方向一定角度，固定在由伺服電機(jī)驅(qū)動模組實(shí)現(xiàn)左右運(yùn)動的兩個獨(dú)立X 軸上。不同厚度的多層生瓷坯體可通過調(diào)節(jié)手動滑臺以達(dá)到調(diào)整物距的目的。多層生瓷坯體通過真空吸附固定于工作臺上。

圖5 視覺系統(tǒng)安裝結(jié)構(gòu)圖

2.2 軟件設(shè)計(jì)

由于相機(jī)傾斜了一定角度使得采集圖像存在傾斜，從而影響圖像處理的精度，造成對位成功率下降，因此圖像預(yù)處理時需要進(jìn)行圖像傾斜校正。本文采用了準(zhǔn)確度高、抗干擾能力比較強(qiáng)的投影變換。

為了獲得圖像坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系，獲取相機(jī)畸變參數(shù)進(jìn)一步提高對位精度，本研究采用9 宮格運(yùn)動和旋轉(zhuǎn)運(yùn)動進(jìn)行標(biāo)定，一鍵即可實(shí)現(xiàn)標(biāo)定流程，方便簡便。

對位過程中各相機(jī)采用模板匹配方法獲取標(biāo)記的中心點(diǎn)。為了提高對位精度，防止相機(jī)傾斜導(dǎo)致的圖像模糊參與模板匹配，對位時要求調(diào)整物距使得標(biāo)記所在位置必須清晰可見，并且設(shè)定模板區(qū)域?yàn)閳D像清晰可見位置。對位過程中，結(jié)合標(biāo)定結(jié)果，快速計(jì)算平移和旋轉(zhuǎn)的偏移量，并控制熱切機(jī)運(yùn)動，直到對位成功。對位流程如圖6 所示。

3 標(biāo)定

3.1 標(biāo)定原理

雙目視覺對位系統(tǒng)[3]是通過相機(jī)提取標(biāo)記中心坐標(biāo)，計(jì)算標(biāo)記偏移坐標(biāo)，最后轉(zhuǎn)換為運(yùn)動偏移量實(shí)現(xiàn)對位。在系統(tǒng)計(jì)算標(biāo)記偏移過程中，相機(jī)標(biāo)定[4]是圖像坐標(biāo)與世界坐標(biāo)的紐帶，所以相機(jī)標(biāo)定結(jié)果會影響系統(tǒng)對位精度。

圖6 圖像處理流程圖

世界坐標(biāo)系是一個三維直角坐標(biāo)系，以其為基準(zhǔn)可以描述相機(jī)和待測物體的空間位置，可以根據(jù)實(shí)際情況自由確定。

相機(jī)坐標(biāo)系也是一個三維直角坐標(biāo)系，原點(diǎn)位于鏡頭光心處，x、y軸分別與相面的兩邊平行，z軸為鏡頭光軸，與像平面垂直。

圖像坐標(biāo)系是以圖像中心為坐標(biāo)原點(diǎn)，x、y軸平行于圖像兩邊，可以用(x、y)表示物體P的坐標(biāo)值(單位是mm，代表該像素在圖像中的位置)。相機(jī)標(biāo)定采用了九宮格運(yùn)動和旋轉(zhuǎn)運(yùn)動，結(jié)合運(yùn)動控制，一鍵實(shí)現(xiàn)標(biāo)定過程，詳細(xì)標(biāo)定過程如圖7所示。

九宮格運(yùn)動是工作臺沿著田字格走9 個點(diǎn)，dx與dy均為1 mm，然后回到田字格中心，記錄每次移動的位置，同時相機(jī)進(jìn)行圖像采集、處理，對視野內(nèi)的同一個標(biāo)記點(diǎn)進(jìn)行記錄，從而計(jì)算出相機(jī)畸變；相機(jī)坐標(biāo)系與機(jī)械坐標(biāo)系間的角度關(guān)系θ，相機(jī)像素個數(shù)與實(shí)際距離間的對應(yīng)關(guān)系為K，如圖8 所示。

圖7 標(biāo)定流程圖

圖8 相機(jī)坐標(biāo)系與機(jī)械坐標(biāo)系間角度關(guān)系

畸變一般可以分為兩大類，包括徑向畸變和切向畸變。徑向畸變來自于透鏡形狀，切向畸變來自于相機(jī)的組裝過程。

由于標(biāo)記點(diǎn)間距離dx與dy的值已知，且為1 mm，而相機(jī)9 點(diǎn)標(biāo)定移動時相機(jī)可獲取標(biāo)記中間移動值為Di，那么相機(jī)像素個數(shù)與實(shí)際距離間的對應(yīng)關(guān)系K的計(jì)算公式為：

旋轉(zhuǎn)運(yùn)動是在相機(jī)坐標(biāo)系下，拍攝到正向與反向旋轉(zhuǎn)點(diǎn)，根據(jù)旋轉(zhuǎn)點(diǎn)位置關(guān)系，通過三點(diǎn)擬合圓，可以算出相機(jī)坐標(biāo)系與機(jī)械坐標(biāo)系之間的位置偏移量，如圖9 所示。

圖9 坐標(biāo)系間的位置偏移關(guān)系

3.2 目標(biāo)位置獲取

標(biāo)定完成后，為提高準(zhǔn)確性，保持多層生瓷坯體位置不動，此時切割一刀并獲得一條淺淺的刀痕。邊緣提取得到刀痕上下邊緣后，計(jì)算刀痕Y 向中心，如圖10 所示，記錄此位置并作為目標(biāo)位置。

圖10 刀痕圖像

4 對位

4.1 傾斜校正

由于相機(jī)的傾斜安裝使得圖像發(fā)生畸變，投影變換可實(shí)現(xiàn)圖像的傾斜校正。

投影變換是將圖片投影到一個新的平面。通用變換公式為：

u，v是原始圖片左邊，對應(yīng)得到變換后的圖片坐標(biāo)x，y，其中x=x'/w＇，y=y＇/w＇。

4.2 模板匹配

每個相機(jī)采用模板匹配方法獲得標(biāo)記的中心點(diǎn)。模板匹配包含模板創(chuàng)建和模板匹配。

模板創(chuàng)建和模板匹配均采用了圖像金子塔模型，圖像金字塔是一種以多分辨率來解釋圖像的結(jié)構(gòu)，如圖11 所示，通過對原始圖像進(jìn)行多尺度像素采樣的方式，生成N 個不同分辨率的圖像。把具有最高級別分辨率的圖像放在底部，以金字塔形狀排列，向上是一系列像素個數(shù)逐漸減少的圖像，一直到金字塔的頂部只包含一個像素點(diǎn)的圖像。

模板創(chuàng)建的流程如圖12 所示。由于相機(jī)傾斜安裝，景深只有不到1 mm，視場中圖像部分是模糊的，如圖4 所示。為了保證模板匹配的準(zhǔn)確度，模板區(qū)域選擇圖像清晰部分，如圖13 所示。模板創(chuàng)建時，要設(shè)置合適的金字塔層數(shù)，以保證最高層的金字塔至少有10～15 個像素，且模板的形狀依舊保存，這樣既可保證搜索速度，又可保證匹配的成功率。

圖11 圖像金字塔

圖12 創(chuàng)建模板流程圖

圖13 模板區(qū)域位置

模板匹配的流程如圖14 所示，為了保證匹配的成功率，模板匹配的搜索區(qū)域通常為整個視場，與模板創(chuàng)建的區(qū)域尺寸和位置是完全一樣的。模板匹配過程中，金字塔層級越小提取到的特征越多，對應(yīng)的識別時間越久，準(zhǔn)確度越高。

4.3 對位計(jì)算

每次對位開始時，要先獲取平臺的當(dāng)前位置，以便圖像處理后計(jì)算平臺的移動量。兩個相機(jī)采用模板匹配的方法進(jìn)行獲取對象輸出點(diǎn)，即對象中心。如圖15 所示，對象的兩個標(biāo)記中心連線的中點(diǎn)為m，目標(biāo)的中心連線的中點(diǎn)M，沿著X方向與Y方向平行移動，達(dá)到一致前的距離為Δx、Δy；以對象間的中點(diǎn)m為軸進(jìn)行旋轉(zhuǎn)，對象連線ab 與目標(biāo)連線AB 相平行時，所形成的角度即為Δθ。Δx、Δy、Δθ 就是對象與目標(biāo)的偏移量，由于相機(jī)固定于X軸上，X 軸進(jìn)行Δx偏移量運(yùn)動時，相機(jī)位置發(fā)生變化，從而影響標(biāo)定結(jié)果，降低對位精度，因此對位過程中只進(jìn)行Y 軸、θ 軸偏移量運(yùn)動。對位過程中，如果偏移量小于對位精度閾值（Y 軸：±0.01 mm，θ軸：±0.005°），則對位成功，否則對位失敗，繼續(xù)進(jìn)行對位。具體對位過程，如圖16 所示。

圖14 模板匹配流程圖

圖15 對象與目標(biāo)的偏移計(jì)算

圖16 對位流程圖

5 運(yùn)行結(jié)果及分析

該軟件在熱切中實(shí)際運(yùn)行，對位效果良好。對位的設(shè)置界面如圖17 所示。

經(jīng)過連續(xù)兩周的實(shí)際運(yùn)行，將軟件測量的對位結(jié)果與其他對位軟件的結(jié)果進(jìn)行對比，測量結(jié)果的誤差在2%以內(nèi)，達(dá)到了實(shí)際生產(chǎn)過程中的要求。

圖17 對位結(jié)果圖

6 結(jié)束語

基于傾斜雙目相機(jī)的視覺對位系統(tǒng)已經(jīng)在設(shè)備中得到推廣應(yīng)用，達(dá)到了用戶生產(chǎn)使用要求，實(shí)現(xiàn)了自動化視覺對位，而且其通用性強(qiáng)，可以拓展應(yīng)用到其他相關(guān)雙目視覺對位領(lǐng)域中。相信在未來的工業(yè)發(fā)展中，隨著視覺對位系統(tǒng)發(fā)展的進(jìn)一步完善，它將在實(shí)際應(yīng)用中扮演更加重要的角色。