精密視覺測(cè)量中的測(cè)量引導(dǎo)方法

夏瑞雪，陳 琳

(1.合肥工業(yè)大學(xué)，安徽合肥 230009；2.安徽新華學(xué)院，安徽合肥 230088)

?

精密視覺測(cè)量中的測(cè)量引導(dǎo)方法

夏瑞雪1，2，陳 琳1

(1.合肥工業(yè)大學(xué)，安徽合肥 230009；2.安徽新華學(xué)院，安徽合肥 230088)

在精密視覺測(cè)量系統(tǒng)中，針對(duì)測(cè)量過程引導(dǎo)問題，為實(shí)現(xiàn)所見即所得的運(yùn)動(dòng)控制目標(biāo)，根據(jù)應(yīng)用場(chǎng)合的不同，提出了圖像法和CAD模型法。圖像法適用于單個(gè)或小批量工件，采用光柵尺定位和數(shù)字圖像相關(guān)相結(jié)合的方法，可快速、高質(zhì)量地完成全景圖像拼接，獲取工件的鳥瞰影像位圖。CAD模型法則是利用工件CAD模型，在模型空間，通過點(diǎn)擊工件模型來引導(dǎo)測(cè)量。實(shí)驗(yàn)結(jié)果表明，這兩種測(cè)量引導(dǎo)方法均切實(shí)可行，適用于精密視覺測(cè)量。

視覺測(cè)量；測(cè)量引導(dǎo)；數(shù)字圖像相關(guān)

0 引言

測(cè)量是產(chǎn)品制造過程中的重要環(huán)節(jié)，隨著現(xiàn)代制造業(yè)對(duì)產(chǎn)品質(zhì)量的要求越來越高，測(cè)量的重要性日益凸顯[1]。其中，三坐標(biāo)測(cè)量機(jī)是三維坐標(biāo)測(cè)量?jī)x器中最典型的代表，以其自動(dòng)化程度高、通用性強(qiáng)的優(yōu)點(diǎn)被廣泛地用于零部件的幾何量測(cè)量。但由于受接觸式測(cè)量方法原理上的限制，傳統(tǒng)的使用接觸式觸發(fā)測(cè)頭的三坐標(biāo)測(cè)量機(jī)已不能適應(yīng)現(xiàn)代精密測(cè)量的需求。而視覺測(cè)量技術(shù)憑借其非接觸、高精度的特性為解決這一難題提供了一條有效的途徑[2]。目前，采用視覺測(cè)量技術(shù)的三維坐標(biāo)測(cè)量?jī)x器的典型代表有影像測(cè)量?jī)x、光學(xué)三坐標(biāo)測(cè)量機(jī)和便攜式光學(xué)三坐標(biāo)掃描儀等。

在三維坐標(biāo)測(cè)量?jī)x器中，簡(jiǎn)單、人性化的測(cè)量引導(dǎo)方法是儀器智能化的重要體現(xiàn)。目前，這方面的研究主要是針對(duì)傳統(tǒng)三坐標(biāo)測(cè)量機(jī)[3]，本文將以三維坐標(biāo)視覺測(cè)量?jī)x器為對(duì)象，研究相應(yīng)的測(cè)量引導(dǎo)方法。

1 精密視覺測(cè)量系統(tǒng)

基于影像測(cè)量技術(shù)的精密視覺測(cè)量系統(tǒng)主要由三維精密工作臺(tái)、視覺探頭、工控機(jī)和視覺測(cè)量軟件等組成，如圖1所示。

圖1 精密視覺測(cè)量系統(tǒng)

精密視覺測(cè)量系統(tǒng)的基本工作原理是利用三維精密工作臺(tái)的運(yùn)動(dòng)控制系統(tǒng)，驅(qū)動(dòng)視覺探頭在X和Y軸方向運(yùn)動(dòng)，進(jìn)行二維影像測(cè)量，再結(jié)合Z軸方向的定位，從而實(shí)現(xiàn)空間的三維坐標(biāo)視覺測(cè)量。

2 測(cè)量引導(dǎo)方法

相較于三坐標(biāo)測(cè)量機(jī)的探針式觸發(fā)測(cè)頭，精密視覺測(cè)量中的視覺探頭為非接觸光學(xué)測(cè)量，不與工件接觸，且由于其成像視場(chǎng)較小，操作人員難以根據(jù)實(shí)時(shí)影像信息來有效地引導(dǎo)測(cè)量。因此，本文將分別采用圖像法和CAD模型法來解決這一難題，具體如下所述。

2.1 圖像法

利用工件的鳥瞰影像位圖，實(shí)現(xiàn)“點(diǎn)哪、走哪、測(cè)哪”，即在鳥瞰影像位圖上點(diǎn)擊目標(biāo)位置，通過對(duì)點(diǎn)擊位置的捕獲，結(jié)合鳥瞰影像位圖的縮放比例，引導(dǎo)視覺探頭運(yùn)動(dòng)。

圖像拼接是圖像處理的一項(xiàng)重要內(nèi)容，主要用于匹配取自不同時(shí)間、不同傳感器或不同視點(diǎn)的2幅或多幅圖像[4]。本文中的圖像拼接問題的難點(diǎn)在于：

(1)需要拼接的圖像幅數(shù)較多；

(2)相鄰兩幅圖像的重疊部分可能沒有明顯的特征點(diǎn)和特征區(qū)域；

(3)不能人工干預(yù)，自動(dòng)進(jìn)行拼接；

(4)圖像拼接算法要速度快，性能穩(wěn)定。

綜上所述，結(jié)合精密視覺測(cè)量的特性，本文采用了基于數(shù)字圖像相關(guān)的圖像拼接方法。

2.1.1 全景圖像采集

如圖2所示，全景掃描采集樣本圖像的具體過程：

(1)根據(jù)工件的尺寸，調(diào)節(jié)顯微成像系統(tǒng)的放大倍率，規(guī)劃矩形掃描區(qū)域，然后驅(qū)動(dòng)視覺探頭，移動(dòng)至掃描的起點(diǎn)位置P0(x0,y0)和終點(diǎn)位置P1(x1,y1)，獲取它們的位置坐標(biāo)，通過計(jì)算可獲得在X和Y軸向的移動(dòng)距離分別為L(zhǎng)X和LY。

圖2 圖像拼接示意圖

(2)令X和Y軸向的采樣間距分別為DX和DY，已知每幅圖像的尺寸M×N，單位為像素，以及微成像系統(tǒng)的尺度因子a，通過計(jì)算可得在橫縱兩個(gè)方向所要采集的圖像數(shù)TX和TY。

(3)由上述步驟，生成自動(dòng)等間距采樣的運(yùn)動(dòng)控制程序。從P0開始，按S型線路驅(qū)動(dòng)視覺探頭至各采樣點(diǎn)，視覺探頭在采樣位置暫停3～5 s，待儀器停穩(wěn)后，拍攝被測(cè)工件該位置的圖像，直至采樣結(jié)束，從而獲取一組圖像集合Fi(x,y)(i=1,2,…,n)。

2.1.2 數(shù)字圖像相關(guān)

在三維精密工作臺(tái)運(yùn)動(dòng)過程中，不可避免地存在誤差，因此若僅簡(jiǎn)單地按采樣間距來計(jì)算圖像間的重疊位置，所拼接出的全景圖像會(huì)存有明顯的錯(cuò)位，故需對(duì)圖像間的理論重疊位置進(jìn)行修正，盡可能地消除錯(cuò)位現(xiàn)象。本文將采用數(shù)字圖像相關(guān)的方法來提高圖像間配準(zhǔn)的精度，提升全景圖像拼接的質(zhì)量。

數(shù)字圖像相關(guān)是一種實(shí)用高效的光學(xué)技術(shù)，主要被用于實(shí)驗(yàn)固體力學(xué)領(lǐng)域中的變形測(cè)量，其基本工作原理是比對(duì)變形前后兩幅圖像，在變形前的圖像中選定子區(qū)域，通過計(jì)算相關(guān)系數(shù)，在變形后的圖像中，尋找出與選定子區(qū)完全相關(guān)或相關(guān)性最大的子區(qū)域，其對(duì)應(yīng)的位移值即為該子區(qū)域?qū)?yīng)點(diǎn)的最大可能位移值[5-6]。相關(guān)系數(shù)C的表達(dá)式為

(1)

式中：f(x,y)為所選定的子區(qū)域；g(x*,y*)為變形后圖像上的子區(qū)域；C=1時(shí)，兩個(gè)子區(qū)域完全相關(guān)；C=0時(shí)，兩個(gè)子區(qū)域完全不相關(guān)。

數(shù)字圖像相關(guān)用于相鄰兩幅圖像間的拼接，根據(jù)圖像間排列的方式以及三維精密工作臺(tái)的精度是μm級(jí)的，將只在兩幅圖像的重疊區(qū)域附近進(jìn)行相關(guān)系數(shù)計(jì)算，并且為了進(jìn)一步減小運(yùn)算量和鏡頭畸變對(duì)成像的影響，僅選定后一幅圖像F2(x,y)中的一小塊子區(qū)域A作為模板，選定前一幅圖像F1(x,y)中包含A的一塊區(qū)域B作為搜索區(qū)域，通過計(jì)算可快速求得最佳匹配區(qū)域A′，并用求得的偏移量EX和EY來修正圖像間的理論重疊位置，從而實(shí)現(xiàn)高質(zhì)量的全景圖像拼接，如圖3所示。

圖3 數(shù)字圖像相關(guān)計(jì)算

2.1.3 快速NCC法

為加快計(jì)算速度，使開發(fā)的算法能夠符合工程實(shí)際應(yīng)用的需求，本文選用快速NCC法，即選擇歸一化互相關(guān)函數(shù)：

(2)

根據(jù)互相關(guān)頻域特性，CNCC的分子部分為

(3)

式中：F為FFT變換；F-1為FFT逆變換；F*為FFT變換后取復(fù)數(shù)共軛。

對(duì)于式(2)的分母部分，第二項(xiàng)為模板的方差能量，可以只預(yù)先計(jì)算一次；但是第一項(xiàng)f在u和v位置上與模板圖像同樣大小的區(qū)域方差能量必須隨著位置的改變而重新計(jì)算，這是制約空間域NCC計(jì)算的主要瓶頸之一。因此，定義累計(jì)和與累計(jì)平方和圖像如下：

s(u,v)=f(u,v)+s(u-1,v)+s(u,v-1)-s(u-1,v-1)

(4)

s2(u,v)=f2(u,v)+s2(u-1,v)+s2(u,v-1)-s2(u-1,v-1)

(5)

規(guī)定u,v≤ 0，當(dāng)s(u,v)、s2(u,v)均為0時(shí)，則f在u,v位置上與模板圖像同樣大小的區(qū)域的累計(jì)和與平方和的表示式為:

ef1(u,v)=s(u+N-1,v+N-1)+s(u-1,v+N-1)-

s(u+N-1,v-1)+s(u-1,v-1)

(6)

ef2(u,v)=s2(u+N-1,v+N-1)+s2(u-1,v+N-1)-

s2(u+N-1,v-1)+s2(u-1,v-1)

(7)

對(duì)式(2)分母第一項(xiàng)應(yīng)用式(6)、式(7)得到：

(8)

綜上所述，統(tǒng)計(jì)待匹配圖像M×M與模板圖像N×N在所有M×M個(gè)位置上的NCC計(jì)算，式(2)分母部分若直接空間域計(jì)算，則在每個(gè)位置上第一項(xiàng)大致需要3N2次加/減法與N2次乘法。按式(4)～式(8)優(yōu)化，一次性計(jì)算累計(jì)和大致需要3M2次加/減法，一次性計(jì)算累計(jì)平方和大致需要3M2次加/減法與M2次乘法，再計(jì)算式(2)分母部分第一項(xiàng)在每個(gè)位置上只需要7次加/減法與2次乘法，分子部分由式(2)若直接空間域計(jì)算，在每個(gè)位置上大約需要N2次乘法與N2次加法，求出所有位置上的相關(guān)系數(shù)大致需要M2N2次加法與M2N2次乘法。

2.2 CAD模型法

CAD模型法，即利用所提供的被測(cè)工件CAD模型來引導(dǎo)測(cè)量?jī)x器對(duì)工件進(jìn)行測(cè)量，同上述的圖像法，它是通過在工件模型上點(diǎn)擊實(shí)現(xiàn)“點(diǎn)哪、走哪、測(cè)哪”。

新一代的三維坐標(biāo)測(cè)量軟件的一個(gè)顯著標(biāo)志就是以三維CAD環(huán)境為中心，其中CAD模型將被用于工件找正、測(cè)量過程引導(dǎo)、測(cè)量程序圖形化編程、測(cè)量過程動(dòng)態(tài)仿真模擬和測(cè)量結(jié)果圖形化顯示等，貫穿于整個(gè)測(cè)量過程[7-8]。

本文針對(duì)測(cè)量引導(dǎo)，以.NET類庫CADability作為三維CAD開發(fā)平臺(tái)，在Visual Studio 2008集成開發(fā)環(huán)境下，使用C#編程語言開發(fā)相應(yīng)的應(yīng)用程序，其中，CADability的幾何內(nèi)核是Open CASCADE，通過SingleDocumentFrame類建立一個(gè)單文檔應(yīng)用程序，流程如圖4所示，具體實(shí)現(xiàn)步驟如下。

圖4 測(cè)量引導(dǎo)工作流程示意圖

2.2.1 CAD模型導(dǎo)入

目前，三維CAD軟件種類繁多，國內(nèi)外主流的產(chǎn)品有Solidworks、PRO/E、UG、CATIA和Inventor等，很難都提供直接的輸入接口，本文將采用中間格式文件的方式來解決這一問題，即首先將這些CAD系統(tǒng)的文件轉(zhuǎn)換成STEP格式文件輸出，然后再導(dǎo)入到測(cè)量引導(dǎo)應(yīng)用程序中，其中STEP是當(dāng)前國際公認(rèn)的CAD數(shù)據(jù)文件交換全球統(tǒng)一標(biāo)準(zhǔn)[9]。

STEP不是一項(xiàng)標(biāo)準(zhǔn)，而是一組標(biāo)準(zhǔn)的總稱，包括：描述方法、集成資源、應(yīng)用協(xié)議、實(shí)現(xiàn)方法、一致性測(cè)試及抽象測(cè)試套件，整個(gè)STEP系統(tǒng)又分為3個(gè)層次：應(yīng)用層、邏輯層和物理層。其中，CADability對(duì)STEP進(jìn)行了封裝，通過Project類的ReadFromFile方法即可讀取STEP格式文件，將其轉(zhuǎn)化為Model類的一個(gè)實(shí)例化對(duì)象，并在窗口界面顯示導(dǎo)入的CAD模型。

2.2.2 人工圖形交互

測(cè)量引導(dǎo)應(yīng)用程序需具有幾何元素選取功能和模型空間變換功能，即可通過鼠標(biāo)選取CAD模型上的點(diǎn)、直線、圓和面等基本幾何元素，并可對(duì)CAD模型進(jìn)行平移、旋轉(zhuǎn)和縮放等操作，實(shí)現(xiàn)人工圖形交互。

一方面，通過SelectObjectsAction類實(shí)現(xiàn)對(duì)象的選取；另一方面，通過ModOp結(jié)構(gòu)體中Transform、Rotate和Scale方法實(shí)現(xiàn)對(duì)CAD模型的空間變換操作。

2.2.3 工件找正

工件找正所需建立的測(cè)量坐標(biāo)系如圖5所示。

圖5 建立坐標(biāo)系

具體過程為：

(2)根據(jù)工件擺放在工作臺(tái)上的位姿，通過圖形交互操作，調(diào)整工件CAD模型在模型空間中的位姿，初步確定其位置。

具體是通過Axis結(jié)構(gòu)體來建立坐標(biāo)軸，并依據(jù)上述步驟，執(zhí)行圖形交互操作，從而實(shí)現(xiàn)工件找正。

2.2.4 引導(dǎo)測(cè)量

在上述步驟的基礎(chǔ)上，本文中的引導(dǎo)測(cè)量過程由如下幾步組成：

(1)同工件CAD模型的導(dǎo)入，導(dǎo)入視覺探頭CAD模型，假定均為等比例1∶1的尺寸模型。

(2)在模型空間中，依據(jù)視覺探頭相對(duì)于工件的實(shí)際位置，對(duì)工件CAD模型進(jìn)行定位。

(3)通過鼠標(biāo)在工件CAD模型上點(diǎn)擊，獲取該點(diǎn)擊位置P3D的三維坐標(biāo)值，響應(yīng)該事件，仿真移動(dòng)視覺探頭CAD模型至該目標(biāo)點(diǎn)P3D的測(cè)量位置。

(4)同時(shí)，通過相應(yīng)計(jì)算可獲取三維工作臺(tái)需移動(dòng)的距離(DX,DY,DZ)，并據(jù)此來控制電機(jī)的運(yùn)動(dòng)，驅(qū)動(dòng)視覺探頭至工件對(duì)應(yīng)鼠標(biāo)點(diǎn)擊處P3D的測(cè)量位置，從而實(shí)現(xiàn)基于CAD模型的測(cè)量引導(dǎo)。

如圖6所示，上述先捕獲鼠標(biāo)點(diǎn)擊位置P3D在窗口平面的二維坐標(biāo)值，再通過投影操作投射到點(diǎn)擊時(shí)所選取的表面Plane上，以此來求取點(diǎn)擊位置P3D的三維坐標(biāo)值的方法存在局限性，即要求投影平面必須與測(cè)量平面平行，否則，隨著當(dāng)前視圖投影方向的改變，即求得的結(jié)果是不正確的。

圖6 目標(biāo)點(diǎn)P3D的投影示意圖

此外，還有一種獲取鼠標(biāo)點(diǎn)擊位置P3D的三維坐標(biāo)值的方法：一方面，在模型空間中，將特征點(diǎn)的捕獲模式設(shè)置為SnapToFaceSurface，在鼠標(biāo)點(diǎn)擊位置畫點(diǎn)，從而對(duì)該位置進(jìn)行標(biāo)記，如圖6所示；另一方面，對(duì)所畫的點(diǎn)標(biāo)記進(jìn)行捕獲，從而精確地獲取該點(diǎn)P3D的三維坐標(biāo)值。該方法相較于先前的方法更加方便、準(zhǔn)確。

3 實(shí)驗(yàn)驗(yàn)證

本文以如圖7所示的工件為實(shí)例，在影像測(cè)量?jī)x上對(duì)上述兩種測(cè)量引導(dǎo)方法進(jìn)行校驗(yàn)，具體結(jié)果如下所述。

(a)實(shí)物圖

(b)CAD模型

3.1 圖像法實(shí)驗(yàn)

如圖8所示，分別采用光柵尺定位法和組合法對(duì)采樣圖像進(jìn)行全景圖像拼接操作，獲得工件的鳥瞰影像位圖。由兩圖對(duì)比可見，數(shù)字圖像相關(guān)法的引入能有效地提高圖像拼接的質(zhì)量，直觀地減小圖像間的錯(cuò)位現(xiàn)象，從而提高測(cè)量引導(dǎo)的精度。

(a)光柵尺定位法

(b)組合法

3.2 CAD模型法實(shí)驗(yàn)

在工件CAD模型的不同位置點(diǎn)擊，則對(duì)該位置進(jìn)行標(biāo)記，且將視覺探頭引導(dǎo)至相應(yīng)的測(cè)量位置。本文列舉了一個(gè)實(shí)例，在模型空間中，通過對(duì)鼠標(biāo)點(diǎn)擊命令的響應(yīng)，實(shí)現(xiàn)測(cè)量引導(dǎo)，所成的像如圖9所示。

圖9 CAD模型法實(shí)例

4 結(jié)束語

根據(jù)精密視覺測(cè)量的特性，為解決測(cè)量過程中的引導(dǎo)問題，針對(duì)不同的應(yīng)用場(chǎng)合，提出了圖像法和CAD模型法。圖像法中采用光柵尺定位和數(shù)字圖像相關(guān)相結(jié)合的策略來實(shí)現(xiàn)全景圖像拼接，具有計(jì)算量小，圖像拼接質(zhì)量較高的優(yōu)點(diǎn)。CAD模型的引入是現(xiàn)代測(cè)量設(shè)備發(fā)展的重要趨勢(shì)之一，在CAD模型法中，以STEP格式文件作為中性文件，將工件CAD模型與測(cè)量設(shè)備關(guān)聯(lián)起來，通過對(duì)CAD模型的操作，實(shí)現(xiàn)測(cè)量引導(dǎo)，具有形象直觀、效率高的優(yōu)點(diǎn)，且符合測(cè)量與CAD相集成的發(fā)展趨勢(shì)，是計(jì)算機(jī)輔助測(cè)量CAI(Computer Aided Inspection)的重要組成部分。

[1] BARREIRO J,MARTINEZ S,LABARGA J E,et al.Validation of an information model for inspectin with CMM.Internatinal Journal of Machine Tools & Manufacture,2005,45: 819-829.

[2] 張進(jìn)，王仲，李雅潔,等.高精度影像測(cè)量系統(tǒng)中圖像的超分辨率重建.光學(xué)精密工程，2011，19(1)：168-174.

[3] 吳永清，劉書桂，張國雄.智能三坐標(biāo)測(cè)量機(jī)檢測(cè)規(guī)劃問題的研究綜述.中國機(jī)械工程，2001，12(7)：828-832.

[4] 王娜，周權(quán).光學(xué)顯微鏡下微小物體的三維重構(gòu).光電工程，2010，37(11)：84-90.

[5] 方欽志，李慧敏，王鐵軍.數(shù)字圖像相關(guān)分析法增量位移場(chǎng)測(cè)試技術(shù).應(yīng)用力學(xué)學(xué)報(bào)，2007，24(4)：535-540.

[6] PAN B,ASUNDI A,XIE H M,et al.Digital image correlation using iterative least squares and pointwise least squares for displacement field and strain field measurements.Optics and Lasers in Engineering,2009,47: 865-874.

[7] CHO M W,SEO T I.Inspection planning strategy for the on-machine measurement process based on CAD/CAM/CAI integration.The International Journal of Advanced Manufacturing Technology,2002,19: 607-617.

[8] TRABAND M T,MEDERIROS D J.CAD-directed programming of a vision-based inspection system.Journal of Manufacturing Systems,1989,8(3): 215-223.

[9] ZHZO Y F,HABEEB S,XU X.Research into integrated design and manufacturing based on STEP.The International Journal of Advanced Manufacturing Technology,2009,44: 606-624.

Methods of Inspection Guidance for Precision Visual Inspection

XIA Rui-xue1,2,CHEN Lin1

(1. Hefei University of Technology,Hefei 230009,China;2. Anhui Xinhua University,Hefei 230088,China)

In precise visual measuring system，aiming at the problem in measuring process,to realize what you see is what you get,image method and CAD model method for inspection guidance at different occasions in precision visual inspection system was proposed. The image method was used for signal or small quantities of workpieces. It adopted the combination of grid grating location and digital image correlation to process panoramic image mosaic,which was fast and has high-quality,and the bird-eye view of workpiece was obtained. The CAD model method guided inspection by clicking the CAD model of workpiece in model space. The relevant examples are given to demonstrate the feasibility and efficiency of these two methods.

visual inspection;inspection guidance;digital image correlation

安徽省高等學(xué)校省級(jí)自然科學(xué)研究項(xiàng)目(KJ2014A097)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專項(xiàng)資金項(xiàng)目(102-4115103043)

2014-12-23 收修改稿日期：2015-06-28

TH741

A

1002-1841(2015)11-0097-04

夏瑞雪(1984—)，講師，博士，主要研究領(lǐng)域?yàn)榫軠y(cè)量和自動(dòng)光學(xué)檢測(cè)。E-mail：ruixuexia@163.com 陳琳(1983—)，博士研究生，主要研究領(lǐng)域?yàn)闄C(jī)器視覺。 E-mail：chenlin_hfut@163.com