一種基于單目定焦相機(jī)免標(biāo)定的尺寸測(cè)量方法

周明聰，樊慶文，裴宏亮，熊良胤，董香平，孫峰輝

一種基于單目定焦相機(jī)免標(biāo)定的尺寸測(cè)量方法

周明聰，樊慶文*，裴宏亮，熊良胤，董香平，孫峰輝

（四川大學(xué) 機(jī)械工程學(xué)院，四川 成都 610065）

機(jī)器視覺(jué)以其非接觸式測(cè)量、精度高、實(shí)時(shí)性好、成本低等優(yōu)點(diǎn)，越來(lái)越廣泛的被應(yīng)用于工件和產(chǎn)品的尺寸測(cè)量中，其中利用單目相機(jī)測(cè)量零件的幾何尺寸是機(jī)器視覺(jué)的重要部分。在利用單目相機(jī)測(cè)量時(shí)，當(dāng)被測(cè)物在相機(jī)光軸方向移動(dòng)后需要重新對(duì)焦，獲得被測(cè)物的清晰圖像，并重新標(biāo)定相機(jī)參數(shù)，再根據(jù)像素坐標(biāo)計(jì)算被測(cè)物體尺寸。針對(duì)單目定焦相機(jī)測(cè)量時(shí)需要頻繁對(duì)焦標(biāo)定的問(wèn)題，提出了一種直接根據(jù)相機(jī)對(duì)焦環(huán)刻度值計(jì)算被測(cè)物體尺寸的方法。在不同物距下，調(diào)整相機(jī)對(duì)焦環(huán)獲得清晰圖像，并記錄對(duì)焦環(huán)刻度值，計(jì)算不同物距下物體像素尺寸與實(shí)際尺寸的比值，擬合值與比值的函數(shù)關(guān)系，不需要重新標(biāo)定相機(jī)，即根據(jù)像素尺寸直接進(jìn)行物體尺寸測(cè)量。實(shí)驗(yàn)表明，該測(cè)量方法操作簡(jiǎn)單，避免了復(fù)雜的相機(jī)標(biāo)定，相對(duì)誤差小于2%。具有一定的實(shí)用價(jià)值。

單目視覺(jué)；尺寸測(cè)量；相機(jī)標(biāo)定；曲線擬合

機(jī)器視覺(jué)以其非接觸式測(cè)量、精度高、實(shí)時(shí)性好等特點(diǎn)被廣泛應(yīng)用于物體尺寸的測(cè)量中[1]，其中單目視覺(jué)測(cè)量技術(shù)是機(jī)器視覺(jué)領(lǐng)域的中的一個(gè)研究熱點(diǎn)。高莉平等[2]利用單目相機(jī)建立了相機(jī)與樹(shù)木水平距離和樹(shù)木高度的“立木高度測(cè)量公式”，在矯正圖像透視關(guān)系之后即可測(cè)量樹(shù)木高度。郭寶云等[3]利用單目相機(jī)根據(jù)與零件同一平面上的圓形標(biāo)志物標(biāo)定相機(jī)的外部參數(shù)，進(jìn)而測(cè)量零件上孔的直徑。丁寧[4]利用單目相機(jī)通過(guò)量條標(biāo)定卡對(duì)鏡頭標(biāo)定后測(cè)量墻面裂紋的長(zhǎng)寬。肖灑[5]同樣在待測(cè)物的表面上放置一個(gè)尺寸已知的圓形標(biāo)志物，根據(jù)標(biāo)志物的像素尺寸和實(shí)際尺寸的比例關(guān)系進(jìn)行尺寸測(cè)量。不管使用以上的哪種測(cè)量方式，當(dāng)被測(cè)物體物距變化時(shí)，必須重新調(diào)焦并標(biāo)定圖像平面上像素尺寸與測(cè)量平面上的實(shí)際尺寸的比例關(guān)系。

本文提出了一種直接根據(jù)像平面的像素坐標(biāo)計(jì)算出被測(cè)物尺寸的方法。先在不同物距下，調(diào)整相機(jī)對(duì)焦環(huán)獲得清晰圖像，并記錄對(duì)焦環(huán)刻度值，計(jì)算相應(yīng)物距下物體像素尺寸與實(shí)際尺寸的比值，擬合與的函數(shù)關(guān)系，在實(shí)際測(cè)量過(guò)程中不需要重新標(biāo)定相機(jī)，根據(jù)像素尺寸和的函數(shù)關(guān)系直接計(jì)算出被測(cè)物體的尺寸。實(shí)驗(yàn)表明，該方法操作簡(jiǎn)單、測(cè)量精度高。

1 定焦相機(jī)單目測(cè)距算法原理

定焦相機(jī)單目測(cè)距原理圖如圖1所示，O-XYZ為相機(jī)坐標(biāo)系，相機(jī)光心是坐標(biāo)原點(diǎn)，軸與相機(jī)光軸重合；O-XYX為世界坐標(biāo)系，坐標(biāo)原點(diǎn)可以任意設(shè)置。0-為像素坐標(biāo)系，其單位是像素，1-為圖像物理坐標(biāo)系；平面為成像平面，平面為被測(cè)物平面，被測(cè)平面上線段在成像平面上的投影為線段，設(shè)、在相機(jī)坐標(biāo)系上的坐標(biāo)值分別為（X1,Y1,Z1）、（X2,Y2,Z2），在世界坐標(biāo)系上的坐標(biāo)值分別為（X1,Y1,Z1）、（X2,Y2,Z2），、在像素坐標(biāo)系中的坐標(biāo)值為（1,1）、（2,2），在圖像物理坐標(biāo)系上的坐標(biāo)為（1,1）、（2,2）。

圖1 定焦相機(jī)單目測(cè)距原理示意圖

設(shè)被測(cè)點(diǎn)在世界坐標(biāo)系上的坐標(biāo)為（X,Y,Z），在相機(jī)坐標(biāo)系上的坐標(biāo)為（X,Y,Z），其世界坐標(biāo)系與相機(jī)坐標(biāo)系的轉(zhuǎn)化關(guān)系為[6]：

式中：為3×3的旋轉(zhuǎn)矩陣；為3×1的平移矩陣。

當(dāng)相機(jī)坐標(biāo)系和世界坐標(biāo)系重合時(shí)：

設(shè)在圖像物理坐標(biāo)系中的投影為（,），根據(jù)投影關(guān)系，相機(jī)坐標(biāo)系和圖像物理坐標(biāo)系的轉(zhuǎn)化關(guān)系為：

式中：為相機(jī)焦距，也是相機(jī)光心到成像平面的距離OO1，如圖1所示。

設(shè)在像素坐標(biāo)系中的坐標(biāo)為（,），圖像物理坐標(biāo)系與像素坐標(biāo)系的轉(zhuǎn)化關(guān)系為：

式中：0,0為圖像物理坐標(biāo)系原點(diǎn)處在像素坐標(biāo)系中的坐標(biāo)值；d、d為單個(gè)像素在、方向上的物理長(zhǎng)度，隨著相機(jī)生產(chǎn)制造水平的提高，可以認(rèn)為d＝d[7]。

令相機(jī)坐標(biāo)系與世界坐標(biāo)系重合，由式（1）～（3）可以推出點(diǎn)在像素坐標(biāo)系與相機(jī)坐標(biāo)系的關(guān)系，如式（4）所示，標(biāo)定相機(jī)的內(nèi)部參數(shù)a、a后，即可根據(jù)點(diǎn)的像素坐標(biāo)值可以計(jì)算其相機(jī)坐標(biāo)值。

在相機(jī)坐標(biāo)系中，線段L的長(zhǎng)度計(jì)算式為：

將式（4）展開(kāi)，并代入、點(diǎn)的坐標(biāo)信息，可得：

又因?yàn)?i>Z1＝Z2，令Z1＝Z2＝Z、＝Z/a可得：

同理可得：

將式（7）、式（8）代入式（5）中可得到線段用像素坐標(biāo)值求得的距離為：

由式（9）可知像平面的像素尺寸與物體的實(shí)際尺寸存在一個(gè)比值關(guān)系，影響這個(gè)比值的因素有兩個(gè)，分別是物距Z和相機(jī)內(nèi)參a，被測(cè)物體物距變化時(shí)，需要重新對(duì)焦，標(biāo)定相機(jī)內(nèi)參。為了能測(cè)量不同物距下物體的尺寸，減少被測(cè)物體物距變化時(shí)相機(jī)的標(biāo)定次數(shù)，可以通過(guò)試驗(yàn)事先建立不同物距下與的函數(shù)關(guān)系。實(shí)際測(cè)量時(shí)，僅需要調(diào)整相機(jī)值（保證被測(cè)物清晰成像），通過(guò)函數(shù)關(guān)系即可得到值，不需要已知物距，也不需要重新標(biāo)定相機(jī)，通過(guò)被測(cè)物在像素坐標(biāo)系中的像素坐標(biāo)可計(jì)算其實(shí)際尺寸。

2 確定對(duì)焦刻度t和比值k關(guān)系曲線

實(shí)驗(yàn)?zāi)康氖峭ㄟ^(guò)確定不同物距下、的關(guān)系，擬合、曲線。

2.1 試驗(yàn)設(shè)備

主要試驗(yàn)器件包括光學(xué)平臺(tái)、圖像采集設(shè)備、標(biāo)定板和固定裝置。圖像采集設(shè)備由德國(guó)Allied Vision公司的Mako G-503B COMS和日本Computar公司的M1214-MPW2工業(yè)相機(jī)鏡頭組成，鏡頭可以對(duì)焦并能記錄對(duì)焦環(huán)刻度。相機(jī)通過(guò)相機(jī)支架固定在光學(xué)平臺(tái)上，經(jīng)GigE接口向PC傳遞圖像信息，被測(cè)物是一塊高精度標(biāo)定板（板面分布著6 mm×6 mm的黑白相間的棋盤(pán)格，板面中心有一個(gè)用于定位的黑色圓形區(qū)域），通過(guò)支架固定在滑塊上，標(biāo)定板平面與相機(jī)光軸垂直，并可通過(guò)滑塊沿著導(dǎo)軌在相機(jī)光軸方向前后移動(dòng)，試驗(yàn)現(xiàn)場(chǎng)如圖2所示。

圖2 試驗(yàn)現(xiàn)場(chǎng)圖

主要的軟件包括圖像采集軟件，圖像處理程序和數(shù)據(jù)處理軟件。圖像采集軟件是Allied Vision的Vimba Viewer，實(shí)現(xiàn)圖像的實(shí)時(shí)顯示，采集和儲(chǔ)存，并可以調(diào)節(jié)相機(jī)的曝光度、增益等特性；圖像處理程序是在VisualStudio2017上編寫(xiě)的C++程序，該程序主要有圖像讀取、圖像預(yù)處理、角點(diǎn)檢測(cè)、尺寸測(cè)量等功能，圖像讀取用于圖像的讀取和顯示，圖像預(yù)處理主要是對(duì)圖像進(jìn)行濾波操作，減少噪聲對(duì)后續(xù)操作的影響，用Harris角點(diǎn)檢測(cè)對(duì)被測(cè)物進(jìn)行角點(diǎn)檢測(cè)，獲得被測(cè)物特征點(diǎn)及其像素坐標(biāo)值，最后進(jìn)行尺寸測(cè)量。實(shí)驗(yàn)數(shù)據(jù)處理程序是MATLAB軟件中的CurveFitting APP，用于對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行曲線擬合，獲得高精度的擬合曲線。

2.2 試驗(yàn)步驟

試驗(yàn)流程如圖3所示，在某物距下拍攝尺寸已知的物體，先對(duì)焦，使被測(cè)物成像清晰，從鏡頭的對(duì)焦環(huán)上直接讀取對(duì)焦刻度值，然后算出此值對(duì)應(yīng)的比值，重復(fù)試驗(yàn)獲取多組不同物距下的、值，然后擬合、曲線。

實(shí)驗(yàn)具體步驟如下：

（1）記錄對(duì)焦環(huán)刻度值。首先將相機(jī)光圈調(diào)節(jié)到合適位置，保證圖像亮度適當(dāng)，在之后的試驗(yàn)過(guò)程中將其固定。當(dāng)標(biāo)定板（被測(cè)物）位于導(dǎo)軌上某一位置時(shí)，調(diào)節(jié)鏡頭對(duì)焦環(huán)使被測(cè)物成像清晰，本文采用的是手動(dòng)對(duì)焦鏡頭，需要不斷調(diào)節(jié)對(duì)焦環(huán)連續(xù)拍攝多張圖像，找出其中最清晰的圖像并記錄對(duì)應(yīng)的對(duì)焦刻度值。圖像成像清晰與否僅靠肉眼很難判斷，為了統(tǒng)一試驗(yàn)過(guò)程中圖像清晰度的判別標(biāo)準(zhǔn)，采用Laplace算子作為圖像清晰度評(píng)價(jià)函數(shù)[8]，該評(píng)價(jià)函數(shù)精度高，但是對(duì)噪聲比較敏感，所以需要對(duì)圖形進(jìn)行降噪處理。清晰度評(píng)價(jià)函數(shù)是在VisualStudio2017上利用OpenCV庫(kù)編寫(xiě)的C++程序，程序先讀取圖像，然后進(jìn)行中值濾波降噪，再采用霍夫圓檢測(cè)算法[9]識(shí)別標(biāo)定板上圓形標(biāo)志物的圓心，識(shí)別結(jié)果如圖4黃色圓點(diǎn)所示，建立以圓心為中心，邊長(zhǎng)為500像素的正方形ROI（region of interest），如圖4中藍(lán)色方框所示，最后計(jì)算正方形ROI內(nèi)的清晰度值，并以此代替整張圖像的清晰度值，程序處理的最終結(jié)果如圖4所示，圖中顯示的數(shù)值就是求得的該張圖像的清晰度值。對(duì)拍攝的一系列圖像進(jìn)行處理，清晰度值最大的那張圖像對(duì)應(yīng)的值即為此物距下的對(duì)焦環(huán)刻度值。

圖3 試驗(yàn)流程圖

圖4 清晰度評(píng)價(jià)函數(shù)處理后的圖片

（2）獲取比值。對(duì)圖像進(jìn)行Harris角點(diǎn)檢測(cè)，效果圖如圖5所示，獲取標(biāo)定板棋盤(pán)格頂點(diǎn)的像素坐標(biāo)，計(jì)算圖像上兩個(gè)頂點(diǎn)的像素距離與棋盤(pán)格上兩頂點(diǎn)實(shí)際距離（棋盤(pán)格尺寸已知）的比值。為減少隨機(jī)誤差，每次計(jì)算時(shí)選取如圖6所示的五條線段，計(jì)算比值后取其平均值。

圖5 Harris角點(diǎn)檢測(cè)效果圖

圖6 所選線段示意圖

表1是為20.0時(shí)的試驗(yàn)數(shù)據(jù)。像素坐標(biāo)對(duì)是被選取線段的起始坐標(biāo)和終止坐標(biāo)，實(shí)際距離為6 mm，平均值為20.47 pixel·mm-1。

由歐氏距離公式[5]可知像素距離為：

因?yàn)槠灞P(pán)格尺寸已知，所以線段實(shí)際長(zhǎng)度為6 mm。為了減少隨機(jī)誤差，選取如圖6所示的五條線段，分別計(jì)算每條線段的比值并取其平均值。

（3）重復(fù)試驗(yàn)。移動(dòng)滑塊，依次改變標(biāo)定板的位置，重復(fù)步驟（1）（2）獲取多組、值，實(shí)驗(yàn)數(shù)據(jù)如表2所示。

（4）曲線擬合。用MATLAB軟件中的Curve Fitting[10]應(yīng)用對(duì)表二中的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行曲線擬合，在APP參數(shù)設(shè)置中選擇有理數(shù)擬合模型，將其分子階數(shù)設(shè)為0，分母階數(shù)設(shè)為2，可得到、的擬合曲線，結(jié)果如圖7所示，擬合方程如式（11）所示。由MATLAB給出的評(píng)價(jià)參數(shù)可知，該擬合曲線的R-aquare為0.9949，說(shuō)明有理數(shù)模型和實(shí)驗(yàn)數(shù)據(jù)擬合的很好[11]。

表1 t值為20.0時(shí)的試驗(yàn)數(shù)據(jù)

表2 試驗(yàn)所得的t、k值

圖7 模擬結(jié)果曲線

至此、曲線擬合完成。在實(shí)際測(cè)量物體尺寸的過(guò)程中，先對(duì)焦，使被測(cè)物成像清晰，從鏡頭的對(duì)焦環(huán)上直接讀取值，由式（11）求出，最后通過(guò)被測(cè)物在像平面上的像素長(zhǎng)度即可求出其實(shí)際尺寸。

3 結(jié)果驗(yàn)證及誤差分析

驗(yàn)證實(shí)驗(yàn)是測(cè)量不同物距處標(biāo)定板上棋盤(pán)格的邊長(zhǎng)。任意調(diào)節(jié)標(biāo)定板位置，調(diào)節(jié)鏡頭調(diào)焦環(huán)獲得清晰圖像，讀取并記錄此時(shí)的值。由式（11）計(jì)算，任意選取兩個(gè)棋盤(pán)格的頂點(diǎn)，將兩頂點(diǎn)的像素距離除以可以求得兩頂點(diǎn)距離的測(cè)量值。

圖8是標(biāo)定板在不同位置處拍得的圖像，讀取其值分別為19.0、23.0、25.7，代入式（11）求得分別為21.13、16.14、13.44。任意選取被測(cè)標(biāo)定板上棋盤(pán)格的四條邊（圖8黃色線段所示）進(jìn)行測(cè)量。實(shí)驗(yàn)數(shù)據(jù)如表3所示，真實(shí)距離為6 mm。由表3可知，對(duì)焦刻度值越大（被測(cè)物體離相機(jī)越遠(yuǎn)），測(cè)量值越偏大，因?yàn)楸粶y(cè)物體離相機(jī)越遠(yuǎn)，物體在像平面上的像素個(gè)數(shù)越少，但圖像上每一個(gè)像素值所代表的真實(shí)尺寸卻變大。該方法測(cè)量誤差可控制在1.5%左右，測(cè)量誤差主要為被測(cè)物像素坐標(biāo)的選取誤差，鏡頭對(duì)焦環(huán)刻度的讀取誤差，、曲線的擬合誤差等。使用自動(dòng)對(duì)焦鏡頭可進(jìn)一步提高測(cè)量精度。

圖8 某不同位置處拍攝的清晰圖片

表3 驗(yàn)證試驗(yàn)測(cè)量數(shù)據(jù)

4 結(jié)語(yǔ)

針對(duì)單目視覺(jué)測(cè)量中物距改變后需要重新對(duì)焦并標(biāo)定相機(jī)內(nèi)參的問(wèn)題，提出了一種利用相機(jī)對(duì)焦環(huán)刻度值描述不同物距下物體像平面的像素尺寸與實(shí)際尺寸的比值，直接根據(jù)像素坐標(biāo)計(jì)算被測(cè)物尺寸的方法。首先建立不同物距下對(duì)焦刻度值和比值的函數(shù)關(guān)系，測(cè)量時(shí)僅需要調(diào)整鏡頭對(duì)焦環(huán)，保證被測(cè)物清晰成像，記錄值，計(jì)算該物距下的值，通過(guò)被測(cè)物在像素坐標(biāo)系中的像素坐標(biāo)算出其像素距離除以值即可計(jì)算其實(shí)際尺寸，實(shí)驗(yàn)表明該方法的測(cè)量誤差可以控制在1.5%左右。該方法不需要已知物距，也不需要重新標(biāo)定相機(jī)，操作簡(jiǎn)單，可實(shí)現(xiàn)實(shí)時(shí)測(cè)量。

[1]吳上生，范振輝，楊琪. 基于單目視覺(jué)的Z軸位置自適應(yīng)識(shí)別定位系統(tǒng)研究[J]. 機(jī)床與液壓，2021，49（9）：1－5.

[2]高茉平，徐愛(ài)俊. 應(yīng)用智能終端的立木高度測(cè)量方法[J]. 東北林業(yè)大學(xué)學(xué)報(bào)，2018，46（11）：28-34.

[3]郭寶云，李彩林. 一種平面薄片零件單目視覺(jué)測(cè)量方法[J]. 測(cè)繪科學(xué)，2017，42（2）：712-176.

[4]丁寧. 基于單目視覺(jué)測(cè)距的裂紋長(zhǎng)度測(cè)量[D]. 杭州：中國(guó)計(jì)量大學(xué)，2018.

[5]肖灑. 基于機(jī)器視覺(jué)的圖像測(cè)量系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 西安：西安電子科技大學(xué)，2019.

[6]王文波，基于單目視覺(jué)的實(shí)時(shí)測(cè)距方法研究[D]. 大連：大連理工大學(xué)，2014.

[7]盧莉莎，變焦相機(jī)的實(shí)時(shí)標(biāo)定及在線視頻測(cè)量應(yīng)用研究[D]. 武漢：華中科技大學(xué)，2016.

[8]金哲彥，徐之海，馮華君，等. 基于對(duì)焦清晰度的雙分辨率相機(jī)變焦算法研究[J]. 紅外與激光工程，2020，49（5）：36-45.

[9]劉晶，吳昊，麥曉明，等. 基于霍夫變換及相似度檢測(cè)的圓形表計(jì)檢測(cè)方法[J]. 電測(cè)與儀表，2021，58（3）：195-200.

[10]田健飛. 一種基于曲線擬合的柱面圖像匹配算法[J]. 電子測(cè)量技術(shù)，2016，39（2）：61-63.

[11]屈文星. 基于MATLAB傅里葉曲線擬合的天線跟蹤精度評(píng)估方法[J]. 電子測(cè)量技術(shù)，2020，43（12）：91-95.

A Calibration-free Size Measurement Method Based on Monocular Cameras

ZHOU Mingcong，F(xiàn)AN Qingwen，PEI Hongliang，XIONG Liangyin，DONG Xiangping，SUN Fenghui

( School of Mechanical Engineering, Sichuan University, Chengdu 610065,China )

Machine vision is widely used in the dimensional measurement of workpieces and products for the advantages of non-contact measurement, high precision, good real-time performance and low cost. And measuring the geometric dimension of the parts with monocular cameras is an important part of machine vision. In the measurement with a monocular camera, when the measured object moves in the direction of the camera optical axis, it’s necessary to refocus to obtain a clear image of the object, recalibrate the camera parameters, and then calculate the size of the measured object according to the pixel coordinates. For the problem of frequent focus and calibration in the measurement with monocular cameras, a method to calculate the size of the measured object directly according to the scale value of the camera's focus ring is proposed. At different object distances, the focus ring of the camera is adjusted to obtain a clear image, the scale valueof the focus ring is recorded, the ratiobetween the pixel size and the actual size of the object are calculated , and the functional relationship between thevalue and the ratiois fitted. The size of the object is calculated directly according to the pixel size without the recalibration of the camera. The experiment shows that the measurement method is simple without complex camera calibration, and the relative error is less than 2%, which provides certain practical value.

monocular vision；size measurement；camera calibration；curve fitting

TP242

A

10.3969/j.issn.1006-0316.2022.04.010

1006-0316 (2022) 04-0057-06

2021-09-09

四川省苗子工程項(xiàng)目（2020JDRC0029）；四川省重點(diǎn)研發(fā)項(xiàng)目（22ZDYF2983）

周明聰（1995－），男，湖北隨州人，碩士研究生，主要研究方向?yàn)闄C(jī)器視覺(jué)，E-mail：1594678615@qq.com。*通訊作者：樊慶文（1966－），男，山東濟(jì)寧人，研究員，主要研究方向?yàn)槿藱C(jī)工程、機(jī)電工程，E-mail：fanqingwen@scu.edu.cn。