三維數(shù)字圖像相關(guān)法的初值估計和仿真圖研究

程百順,毛建國，沈 峘，梁中漢，王 瑩

(南京航空航天大學(xué) 能源與動力學(xué)院，南京 210016)

三維數(shù)字圖像相關(guān)法的初值估計和仿真圖研究

程百順,毛建國，沈 峘，梁中漢，王 瑩

(南京航空航天大學(xué) 能源與動力學(xué)院，南京 210016)

三維數(shù)字圖像相關(guān)法主要用來測量物體表面的三維形貌和變形，其關(guān)鍵技術(shù)主要包括相機(jī)標(biāo)定、圖像匹配、三維重建和三維位移場和應(yīng)變場的計算等。針對現(xiàn)有的初值估計方法在計算速度和精度上的局限性，提出基于sift的形函數(shù)和線性插值的初值估計方法，有效地提高了計算的速度和精度。傳統(tǒng)的三維算法精度分析只能借助于高精度的儀器測量對比，為此提出了基于反向映射法的三維仿真散斑圖分析方法。仿真結(jié)果表明：在小變形情況下z方向的誤差在2×10-4%左右，面內(nèi)位移測量誤差在8 μm以內(nèi)。驗證了三維仿真散斑圖的有效性和三維初值估計策略的可行性。

三維數(shù)字圖像相關(guān)法；初值估計；仿真散斑圖

在現(xiàn)代的科學(xué)研究、工程實踐及工業(yè)生產(chǎn)中，獲取材料的位移和應(yīng)變信息并對材料的變形及力學(xué)性能進(jìn)行深入研究具有重要的意義。傳統(tǒng)的接觸式測量方法和光學(xué)測量方法[1]由于自身的局限性不能滿足現(xiàn)在的測量要求。隨著計算機(jī)技術(shù)和相機(jī)產(chǎn)業(yè)的發(fā)展，在力學(xué)測量領(lǐng)域出現(xiàn)了新的測量方法，其中數(shù)字圖像相關(guān)法[2-3]是一種基于現(xiàn)代數(shù)字圖像和分析技術(shù)的新型光測技術(shù)，通過分析變形前后物體表面的數(shù)字圖像獲得被測物體的變形信息，已經(jīng)成為現(xiàn)代光測力學(xué)領(lǐng)域中一個重要的方法。

數(shù)字圖像相關(guān)法是由日本學(xué)者Yamaguchi[4]與美國學(xué)者Peters[5]等在20世紀(jì)80年代幾乎同時獨立提出的。在數(shù)字圖像相關(guān)法中相關(guān)匹配運算一直是該算法的核心，其重要的進(jìn)展是1989年Bruck[6]等提出的Newton-Rapshon優(yōu)化算法，該方法不僅精度高，而且只要變形初值估計合理，算法會迅速收斂，現(xiàn)在的大多數(shù)研究都采用此種算法。但是二維數(shù)字圖像相關(guān)法只能測量平面物體的面內(nèi)位移，所以引進(jìn)三維數(shù)字圖像相關(guān)法。在實驗力學(xué)領(lǐng)域，Luo和Sutton等[7]利用2個攝像機(jī)從不同角度對被測物體表面進(jìn)行成像，首先對雙目立體視覺模型進(jìn)行標(biāo)定獲得2個攝像機(jī)的內(nèi)外參數(shù)，然后直接利用二維數(shù)字圖像相關(guān)法中的相關(guān)匹配算法得到左右兩幅圖像中對應(yīng)點的視差，從各點的視差數(shù)據(jù)和預(yù)先獲得的標(biāo)定參數(shù)恢復(fù)物體表面的三維形貌，從而得到全場的位移分布。

隨著現(xiàn)代數(shù)學(xué)和光學(xué)技術(shù)的發(fā)展，越來越多的國內(nèi)外學(xué)者在數(shù)字圖像相關(guān)法的基礎(chǔ)理論[8-9]、匹配精度[10]和計算精度[11]上作出巨大的貢獻(xiàn)。其中初值估計是三維數(shù)字圖像相關(guān)法(3D-DIC)中的基礎(chǔ)環(huán)節(jié)，目前主要方法有整像素估計法[12]和種子點法[13-14]，但其在計算精度和速度上有缺陷。本文基于sift[15]的初值估計方法，得到精度較高的匹配點，然后利用形函數(shù)和線性插值得到所有關(guān)心點的估計點。本文在二維數(shù)字圖像相關(guān)法的散斑技術(shù)[16]基礎(chǔ)上，提出建立三維仿真散斑圖的方法，解決現(xiàn)有的利用仿真實驗驗證算法的問題。

1 三維數(shù)字圖像相關(guān)法

三維數(shù)字圖像相關(guān)法的主要技術(shù)包括相機(jī)標(biāo)定、圖像匹配、位移場和應(yīng)變場的計算，其中圖像匹配包括粗匹配和細(xì)匹配。粗匹配是指感興趣點的初值估計，細(xì)匹配是指相關(guān)函數(shù)的迭代收斂計算。應(yīng)變場的計算采用將文獻(xiàn)[17]中的三維應(yīng)變計算和潘兵最小二乘[18]計算相結(jié)合的方法。

1.1 相機(jī)標(biāo)定

相機(jī)標(biāo)定是3D-DIC的基礎(chǔ)。本文采用的張正友[19]的標(biāo)定方法。利用采集平面標(biāo)定板上的標(biāo)記點在空間中的不同位置反向計算出相機(jī)的內(nèi)參數(shù)和外參數(shù)。其中的小孔成像模型公式為：

(1)

式中：s為任意的比例系數(shù)；R和t為外部參數(shù)，分別為從世界坐標(biāo)系到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量；A為攝像機(jī)的內(nèi)部參數(shù)。由于簡單的針孔模型不能準(zhǔn)確描述鏡頭的成像關(guān)系，本文采用tsai兩步標(biāo)定法[20]，公式如下：

(2)

其中：k1、k2分別為1階、2階徑向畸變系數(shù)；r為像素點到主點(u,v)的距離。

1.2 圖像匹配

圖像匹配現(xiàn)在的主流方法是基于NR迭代的相關(guān)函數(shù)方法。物體表面在發(fā)生變形，左相機(jī)所采的系列圖像相當(dāng)于在二維平面上的變形，而對應(yīng)的右相機(jī)所采圖像就是因為視差所導(dǎo)致的類變形圖像，如圖1所示。

圖1 物體變形前后示意圖

圖1中：p點是計算中心點；(x,y)是p點的圖像坐標(biāo)；(x′,y′)是變形后的對應(yīng)點。(x,y)就是所要計算的位移。采用歸一化最小平方距離相關(guān)函數(shù)評價子區(qū)的相似度。由于圖像整體存在變形，因此采用形函數(shù)來描述這種變形，用于同一組相機(jī)所采圖像的匹配和兩個相機(jī)之間的匹配。

(1)

其中：Δx=x′-x0,Δy=y′-y0；ξ0、η0是參考圖像子區(qū)中心點P(x0,y0)的視差；ξx、ξy、ηx、ηy為圖像子區(qū)內(nèi)視差的1階導(dǎo)數(shù)；ξxx、ξxy、ξyy、ηxx、ηxy、ηyy為圖像子區(qū)內(nèi)視差的2階導(dǎo)數(shù)。

2 初值估計

2.1 初值估計基本理論

初值估計在數(shù)學(xué)上的意義是給上述形函數(shù)初值的過程，在實驗中是要賦予計算的點的初始位置。由于sift可能不會提取所有的特征點，此時應(yīng)用形函數(shù)和線性插值可以解決此類問題。網(wǎng)格點只是從所有的像素點中提取的一部分，而且是整像素的網(wǎng)格點，此時就要提取精度較高的sift匹配點，同時去除誤匹配點。

圖2中：p點是參考圖像中的計算點；p′是p點在目標(biāo)圖像中的初值估計點；p1,…,p5是以p點為中心，寬W、高H范圍內(nèi)的sift提取的特征點；p1′,…,p5′是p1,…,p5在目標(biāo)圖像中的對應(yīng)sift特征點。

圖2 設(shè)定區(qū)域內(nèi)sift匹配結(jié)果

1) 若在計算點周圍存在大于k(k=3)個sift特征點，那么就認(rèn)為p點可以被估計。

2) 計算sift特征點到p0點的距離d。sift的匹配有一定的不確定性，取di為中值的點作為計算參考點。

3) 利用線性插值公式

(2)

計算得到p0點的估計點p′0 的坐標(biāo)(xp0′,yp0′)。但并不是每個計算點都能滿足sift估計的要求，所以引進(jìn)形函數(shù)初值估計。在將已經(jīng)估計出來的計算點進(jìn)行N-R迭代計算，若是收斂成功，則利用式(3)將其周圍某一點的初值計算出來了。若某一估值點計算不收斂，就會導(dǎo)致其某一側(cè)的值不能通過形函數(shù)來估計，此時引入線性插值式(4)來計算，如圖3所示。其中，“+”為N-R計算收斂點，“△”為計算不收斂的點，“o”是利用線性插值計算的點。

圖3

2.2 實驗分析

現(xiàn)在常用的初值估計方法有2種：一種是基于人機(jī)交互的種子點法；一種是結(jié)合模板匹配的整像素法?；谌藱C(jī)交互種子點法是在目標(biāo)圖像中，利用人工選取點作為初值估計點，然后進(jìn)行匹配計算，通過這一點的收斂結(jié)果估計其周圍點的初值，然后幅散開來，完成整張圖像的匹配工作。結(jié)合模板匹配的整像素估計是利用參考圖像子區(qū)和目標(biāo)圖像子區(qū)進(jìn)行模板匹配，找到初值估計點，然后進(jìn)行匹配計算，這是一種由粗匹配到細(xì)匹配的過程。

本實驗是利用仿真實驗完成，硬件配置如下：采用Intel(R) Core(TM) i7-6700 CPU，內(nèi)存為16G。軟件采用Matlab。仿真圖為旋轉(zhuǎn)5°、15°、30°的散斑圖。其中計算點為336個，網(wǎng)格間距20個像素，計算子區(qū)半徑20個像素。如圖4所示，其中第1列是二維仿真圖，第2列是三維仿真散斑圖的左相機(jī)圖像，第3列是三維仿真散斑圖的右相機(jī)圖像，生成圖像具體參數(shù)參考本文第4節(jié)。

實驗結(jié)果如表1、2所示，其中sift的插值方法在計算時間上比種子點法和整像素法要少，而且在大旋轉(zhuǎn)的情況下，種子點法和整像素法會因為無法完成初值估計導(dǎo)致計算不能收斂，而基于sift的插值計算方法使得每個點計算的都收斂。

種子點法的缺陷是:即使在選對第一個點作為種子點的情況下，若該點不收斂那么無法進(jìn)行進(jìn)一步的計算，而且是靠人工選取，時間較長。整像素法初值估計主要用基于模版匹配的方法，其抗旋轉(zhuǎn)能力較差，所以在大變形的情況下不能滿足計算要求。

旋轉(zhuǎn)角度角度/(°)51530sift法收斂點數(shù)336336301計算時間/s19.3023.71137.54種子點法收斂點數(shù)336336不收斂計算時間/s37.0078.45不收斂整像素法收斂點數(shù)336336不收斂計算時間/s63.16111.12不收斂

表2 右相機(jī)圖片計算結(jié)果

3 基于反向映射法的三維仿真散斑圖

3.1 散斑圖生成原理

散斑圖生成公式如下：

(3)

式中:k表示散斑顆粒的數(shù)目；(xk,yk)為散斑顆粒的中心位置，隨機(jī)產(chǎn)生；R為散斑顆粒的半徑；Ik為隨機(jī)生成的散斑中心的亮度，范圍為0～255， 圖像大小為M×N。當(dāng)生成變形圖像時，散斑顆粒的中心點發(fā)生偏移，滿足式(6)中的變形模式。

(4)

其中(u0,v0,ux,vx,uy,vy)為變形參數(shù)。由(xk,yk)可求得(xk′,yk′)，代入式(4)可得到變形散斑圖的灰度分布。

3.2 三維反向映射法

本文生成三維仿真圖的方法如下：

物體是一個平面，ZW=1 200 mm，物體沿x反向平移0.2個像素：

1) 設(shè)定相機(jī)標(biāo)定參數(shù)，主要是設(shè)定每個相機(jī)的內(nèi)參數(shù)A和左右相機(jī)之間的外參數(shù)(R|T)，設(shè)定左相機(jī)的相機(jī)坐標(biāo)為世界坐標(biāo)。

2) 利用式(5)生成散斑圖，作為左相機(jī)的第1張圖像及參考圖像，利用反向映射法生成沿x方向平移0.2個像素的目標(biāo)圖像，作為左相機(jī)的第2幅圖像。

3) 利用先前的相機(jī)內(nèi)外參數(shù)和左相機(jī)第1幅圖中的像素點的位置(UL,VL)，結(jié)合式(1)，得到左相機(jī)中的像素點在右相機(jī)圖像中的坐標(biāo)位置(UR,VR)，將左相機(jī)中對應(yīng)像素點的灰度值賦給右相機(jī)圖像中的對應(yīng)點。

4 實驗驗證

參考圖像為隨機(jī)生成的散斑圖像，分辨率為700像素×700 像素，散斑顆粒數(shù)為19 600，散斑顆粒半徑為3。假設(shè)物體是一個ZW=1 200 mm的平面。其中左右相機(jī)的內(nèi)外參數(shù)為：

4.1 位移測試

沿x向生成間隔為0.05像素的平移圖像，共20張，在三維空間里對應(yīng)的實際位移從0到0.12 mm，間隔為0.006 mm。實驗結(jié)果如圖5～7所示。

圖5 x方向的位移場誤差

圖6 y反向位移場誤差

如圖5和6所示，模擬0～0.12 mm的位移測量中測量誤差在8 μm以內(nèi)。如圖7所示，在z方向的距離測量誤差在1 μm以內(nèi)，相對誤差為2×10-4%。結(jié)果表明：在小變形的情況下，三維仿真散斑圖的生成是有效的，而且精度較高，滿足測試三維形貌重建的算法測試標(biāo)準(zhǔn)。

圖7 z方向距離測量誤差

4.1 應(yīng)變測試

沿x方向有應(yīng)變2 000 με。參考圖像和目標(biāo)圖像如圖8所示。(a)和(b)是左右相機(jī)采集的第1對圖像，(c)和(d)左右相機(jī)采集的第2對圖像。

圖8 參考圖像和目標(biāo)圖像

如圖9所示，x方向的應(yīng)變場計算結(jié)果為1 960 με，方差為58 με。如圖10所示，z反向的距離測量誤差均值為0.2 μm，最大值為2 μm。因此，三維仿真散斑圖可用于三維重建和應(yīng)變的精度分析，驗證應(yīng)變和重建算法的可行性。

圖9 x方向應(yīng)變場

圖10 z方向尺寸測量誤差

5 結(jié)束語

根據(jù)實驗結(jié)果可知：本文采用的三維仿真散斑圖可以有效驗證立體匹配、三維重建和應(yīng)變算法的精度和有效性，同時本文的三維初值估計及其插值算法滿足三維數(shù)字圖像相關(guān)法的精度要求。

[1] 金觀昌.計算機(jī)輔助光學(xué)測量[M].北京：清華大學(xué)出版社,2007.

JIN Guanchang.Computer aided optical measurement[M].Beijing:Tsinghua University Press,2007.

[2] 王懷文,亢一瀾,謝和平.數(shù)字散斑相關(guān)方法與應(yīng)用研究進(jìn)展[J].力學(xué)進(jìn)展,2005(2):195-203.

WANG Huaiwen,KANG Yilan,XIE Heping.Advance in digital speckle correlation method and its application[J].Advances in Mechanics,2005(2):195-203.

[3] HUNG P C,VOLOSHIN A S.In-plane strain measurement by digital image correlation[J].Journal of the Brazilian Society of Mechanical Sciences & Engineering,2003,25(3):215-221.

[4] YAMAGUCHI I.A laser-speckle strain gauge[J].Phys E:Sci Instrum.1981,14(11):1270-1273.

[5] PETERS W H,RANSON W F.Digital imaging techniques on experimental stress analysis[J].Optical Engineering 1982,21(3):427-431.

[6] BRUCK H A,MCNEILL S R,SUTTON M A,et al.Digital image correlation using Newton-Raphson method of partial differential correction[J].Experimental Mechanics,1989,29(29):261-267.

[7] LUO P F,CHAO Y J,SUTTON M A.Application of stereo vision to three-dimensional deformation analyses in fracture experiments[J].Optical Engineering,1994,33(3):990.

[8] SUTTON M A,TURNER J L,BRUCK H A,et al.Full-field representation of discretely sampled surface deformation for displacement and strain analysis[J].Experimental Mechanics,1991,31(31):168-177.

[9] ORTEU J J.3-D computer vision in experimental mechanics[J].Optics & Lasers in Engineering,2009,47(3/4):282-291.

[10]SCHREIER H,ORTEU J J,SUTTON M A.Image Correlation for Shape,Motion and Deformation Measurements[M].[S.l.]:Basic Concepts,Theory and Applications,2009:565-600.

[11]PAN B,YUAN J,XIA Y.Strain field denoising for digital image correlation using a regularized cost-function[J].Optics & Lasers in Engineering,2015,65:9-17.

[12]GAO Y,CHENG T,SU Y,et al.High-efficiency and high-accuracy digital image correlation for three-dimensional measurement[J].Optics & Lasers in Engineering,2015,65:73-80.

[13]PAN B,ASUNDI A,XIE H,et al.Digital image correlation using iterative least squares and pointwise least squares for displacement field and strain field measurements[J].Optics & Lasers in Engineering,2009,47(7/8):865-874.

[14]HELM J D,MCNEILL S R,SUTTON M A.Improved three‐dimensional image correlation for surface displacement measurement[J].Proceedings of SPIE-The International Society for Optical Engineering,1994,35(7):1911-1920.

[15]ZHOU Y,CHEN Y Q.Feature matching for automated and reliable initialization in three-dimensional digital image correlation[J].Optics & Lasers in Engineering,2013,51(3):213-223.

[16]MAO Jianguo,ZHANG Peize,SHEN Huan,et al,Reverse Mapping for Generating Simulated Deformed Speckle Patterns[J].Journal of Optoelectronics.Laser,2015(4):2433-2439.

[17]高越.三維數(shù)字圖像相關(guān)法的關(guān)鍵技術(shù)及應(yīng)用研究[D].合肥：中國科學(xué)技術(shù)大學(xué),2014.

GAO Yue.Research on key technologies and applications of three-dimensional digital image correlation[D].Hefei:University of science and Technology of China,2014.

[18]潘兵,謝惠民.數(shù)字圖像相關(guān)中基于位移場局部最小二乘擬合的全場應(yīng)變測量[J].光學(xué)學(xué)報,2007,27(11):1980-1986.

PAN Bing,XIE Huimin.Full-Filed strain measurement based on Least-Square fitting of displacement for digital image correlation[J].Acta Optica Sinica,2007,27(11):1980-1986.

[19]ZHANG.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2000,22(11):1330-1334.

[20]TSAI R.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].Robotics & Automation IEEE Journal,1987,3(4):323-344.

(責(zé)任編輯 楊黎麗)

Study on the Initialization for Feature Matching and Simulation Speckles in Three-Dimensional Digital Image Correlation

CHENG Bai-shun, MAO Jian-guo, SHEN Huan, LIANG Zhong-han, WANG Ying

(Energy and Power College, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Three-dimensional digital image correlation (3D-DIC) method has been increasingly employed to measure 3D surface profile and displacement. The key technologies applied in this method include stereo camera calibration, digital image correlation, reconstruction, and 3D displacement/strain field computation. This paper mainly studies on an initial guess technique based on SIFT matching and linear interpolation to improve the accuracy of 3D-DIC. Additionally, a new method based on reverse mapping is proposed to generate the 3D simulated speckles for testing the accuracy of the initial guess and digital image correlation technique. The numerical simulations reveal that the error in Z-direction is about 2×10-4% of the object distance. Test and analysis of the in-plane displacement error is within 8 μm under small displacement. Results show that the 3D simulated speckles are useful and effective for the verification of 3D-DIC method and show that the initial guess technique can achieve high accuracy.Key words: three-dimensional digital image correlation; initial guess technique; 3D simulated speckles

2016-11-03 基金項目：航空科學(xué)基金資助項目(111111)

程百順(1991—)，江蘇徐州人，碩士研究生，主要從事機(jī)器視覺，數(shù)字圖像相關(guān)法在力學(xué)方向的研究,E-mail:cbs_1012@163.com。

程百順,毛建國，沈峘，等.三維數(shù)字圖像相關(guān)法的初值估計和仿真圖研究[J].重慶理工大學(xué)學(xué)報(自然科學(xué))，2017(3):116-122.

format：CHENG Bai-shun, MAO Jian-guo, SHEN Huan, et al.Study on the Initialization for Feature Matching and Simulation Speckles in Three-Dimensional Digital Image Correlation[J].Journal of Chongqing University of Technology(Natural Science)，2017(3):116-122.

10.3969/j.issn.1674-8425(z).2017.03.017

TP391.41

A

1674-8425(2017)03-0116-07