利用圖像拼接實(shí)現(xiàn)微結(jié)構(gòu)的大視場(chǎng)測(cè)量

陳至坤　郭蕊　張博倫　曾凱　王福斌

摘要：為實(shí)現(xiàn)基于圖像的飛秒激光燒蝕硅晶片光斑陣列的完整測(cè)量，對(duì)采集的多幅光斑陣列圖像拼接，得到完整的飛秒激光燒蝕光斑陣列圖像。首先，對(duì)飛秒激光燒蝕光斑圖像進(jìn)行增強(qiáng)處理，對(duì)光斑進(jìn)行方形擬合提取中心點(diǎn)，獲取每兩個(gè)中心點(diǎn)間的像素值，運(yùn)用線紋對(duì)微視覺測(cè)量系統(tǒng)標(biāo)定，獲得像素尺寸與幾何尺寸之間的比例系數(shù)，根據(jù)比例系數(shù)對(duì)像素尺寸與幾何尺寸進(jìn)行換算，得到對(duì)光斑陣列的視覺測(cè)量值;最后，用拼接后的光斑陣列進(jìn)行圖像測(cè)量，得到測(cè)量尺寸與實(shí)際尺寸間的誤差平均值為3.00%。經(jīng)實(shí)驗(yàn)驗(yàn)證，利用圖像拼接對(duì)微視覺系統(tǒng)大視場(chǎng)微結(jié)構(gòu)進(jìn)行圖像測(cè)量是可行的。

關(guān)鍵詞：圖像拼接;方形擬合;圖像測(cè)量;微結(jié)構(gòu)

中圖分類號(hào)：TN247

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1674–5124（2019）03–0007–05

Large field of view measurement of microstructure using image stitching

CHEN Zhikun， GUO Rui， ZHANG Bolun， ZENG Kai， WANG Fubin（College of Electrical Engineering， North China University of Science and Technology， Tangshan 063210， China）

Abstract： In order to realize the complete measurement of the image-based femtosecond laser ablation spot array， the images of the collected multiple speckle array are spliced together to obtain the complete image of femtosecond laser ablation array. First of all， the image of femtosecond laser ablation spot should be enhanced， and the spot should be square fitted to extract the center point， so as to obtain the pixel value between each two center points. With the line pattern to calibrate the micro vision measurement system， the scale factor between the pixel size and the geometric size are obtained ， and the pixel size and the geometric size are converted according to the scale factor， obtaining the visual measurement value of spot array . Finally， the average error between the measured dimension and the actual size is 3.00% by using the image measurement of the spliced spot array. It is proved by experiments that it is feasible to measure the microstructure of large field of view in micro vision system by using image stitching.

Keywords： image stitching; square fitting; image measurement; microstructure

0 引言

計(jì)算機(jī)微視覺系統(tǒng)是由遠(yuǎn)心鏡頭或顯微鏡頭組成的視覺系統(tǒng)，是由光學(xué)顯微鏡、視覺成像和計(jì)算機(jī)視覺技術(shù)整合在一起的可實(shí)現(xiàn)視化檢測(cè)的測(cè)量平臺(tái)[1]。飛秒激光微加工被不斷應(yīng)用于各類研究和工程領(lǐng)域。利用飛秒激光微加工精度高、質(zhì)量好以及可實(shí)現(xiàn)三維加工等獨(dú)特優(yōu)點(diǎn)，被廣泛應(yīng)用于各種材料的加工處理，可對(duì)硅晶片、石英玻璃及光纖材料等材料表面或內(nèi)部進(jìn)行新穎的微加工[2]。微視覺系統(tǒng)在微觀測(cè)量、成像等領(lǐng)域有著廣泛的應(yīng)用，使人們對(duì)微觀世界的研究已進(jìn)入微米級(jí)、亞微米級(jí)到納米級(jí)，光學(xué)分辨率極限的局限性逐漸顯現(xiàn)[3-4]。對(duì)單目微視覺系統(tǒng)，利用圖像的空間距離與笛卡兒空間距離之間的的比例系數(shù)的測(cè)量方式，根據(jù)圖像中的兩特征點(diǎn)之間的圖像距離，測(cè)量出其在笛卡兒空間的距離，余金棟對(duì)計(jì)算機(jī)微視覺的亞微米特征尺寸測(cè)量研究[5]，李智對(duì)幾何量的測(cè)試[6]，但他們都不能對(duì)微尺寸結(jié)構(gòu)大視場(chǎng)進(jìn)行準(zhǔn)確測(cè)量。

為實(shí)現(xiàn)對(duì)大視場(chǎng)微尺寸結(jié)構(gòu)圖像的準(zhǔn)確測(cè)量，本文對(duì)采集的多幅飛秒激光燒蝕的光斑陣列圖像進(jìn)行拼接，對(duì)飛秒激光燒蝕光斑圖像進(jìn)行圖像取反，將每個(gè)光斑進(jìn)行方形擬合提取中心點(diǎn)，獲得每兩個(gè)中心點(diǎn)間的像素值，用所得的像素值與實(shí)際尺寸大小的比值進(jìn)行換算，得到一個(gè)對(duì)光斑陣列的測(cè)量值，用拼接測(cè)量的尺寸與實(shí)際尺寸進(jìn)行誤差對(duì)比，能較為準(zhǔn)確地對(duì)大視場(chǎng)微結(jié)構(gòu)圖像進(jìn)行測(cè)量。

1 圖像拼接

由于加工物體的結(jié)構(gòu)大多為微米或納米尺度，所以不僅加工尺寸小，而且激光加工系統(tǒng)的視場(chǎng)也有限，因此很難看到斑痕列陣，所以這種飛秒激光的微加工需要后期進(jìn)行采集與測(cè)量。人們對(duì)微觀世界的研究已進(jìn)入微米、亞微米和納米尺度階段，使微視覺系統(tǒng)已廣泛應(yīng)用于微測(cè)量、成像等領(lǐng)域。但由于微視覺系統(tǒng)的市場(chǎng)范圍也有限，所以想要得完整的微結(jié)構(gòu)圖像，必須要進(jìn)行圖像拼接。高精度遠(yuǎn)心鏡頭視場(chǎng)大小為

視場(chǎng)大小=CCD靶面尺寸/光學(xué)放大倍率 （1）

CCD相機(jī)的靶面尺寸為8.8mm×6.6mm，遠(yuǎn)心鏡頭的最大放大倍率為4.5倍，則微視覺系統(tǒng)的最大視場(chǎng)尺寸為1.955mm×1.466mm。

本文在微視覺系統(tǒng)條件下對(duì)飛秒激光燒蝕在硅晶片上的斑痕列陣圖像采集，該系統(tǒng)包括分辨率為2448×2050的微型視覺相機(jī)GC2450和高精度遠(yuǎn)心鏡頭NAVITARZ6000，如圖1所示。

實(shí)驗(yàn)使用的硅晶片上含有3個(gè)飛秒激光燒蝕光斑陣列，每個(gè)陣列的大小約為1mm×2mm，在每個(gè)陣列中含有50個(gè)燒蝕光斑，呈現(xiàn)5×10的點(diǎn)陣分布，如圖2所示;實(shí)驗(yàn)中，將硅晶片水平放置于精密定位載物臺(tái)中心處，與遠(yuǎn)心鏡頭相互垂直，如圖3所示。

實(shí)現(xiàn)微尺寸結(jié)構(gòu)圖像的拼接，并不改變?cè)瓐D像的結(jié)構(gòu)特性，采用Harris算法對(duì)圖像中的特征點(diǎn)進(jìn)行檢測(cè)，對(duì)特征點(diǎn)進(jìn)行ANMS自適應(yīng)非極大值抑制，使特征點(diǎn)能均勻分布在整個(gè)圖像，再運(yùn)用歐氏距離和RANSAC算法對(duì)圖像進(jìn)行篩選。并將橫向位移采集到的兩幅圖像進(jìn)行拼接，再將拼接好的圖像再次拼接，如圖4所示。圖5為拼接后的完整的飛秒激光燒蝕的硅晶片光斑陣列。

2 圖像預(yù)處理

2.1 圖像取反

將圖像進(jìn)行二值化處理[7-8]，將整個(gè)圖像呈現(xiàn)出明顯的黑白效果，通過改變灰度圖像中的各個(gè)像素的灰度可以達(dá)到圖像的增強(qiáng)，設(shè)原始圖像在（x，y）處的灰度為I1（x，y），而改變后的圖像在（x，y）處的灰度為I2（x，y），將在（x，y）處的灰度閾值設(shè)為g，則對(duì)圖像增強(qiáng)的方法表述如下式[9]所示：

再將原圖像灰度值翻轉(zhuǎn)，原來具有較大灰度的像素在變換后其灰度接近0，而原來較暗的像素變換后成為較亮的像素，如圖6所示。

2.2 中心點(diǎn)提取

用迭代法進(jìn)行選取閾值，初始閾值選取為圖像的平均灰度T0，然后用T0將圖像的像素點(diǎn)分作兩部分，分別計(jì)算各部分的平均灰度，將小于T0的部分設(shè)為TA，大于T0的部分設(shè)為TB，計(jì)算出TA和TB的平均值T1，將T1作為新的全局閾值代替T0，進(jìn)行不斷迭代，直至T收斂[10-11]。

利用所產(chǎn)生的圖像二值化對(duì)飛秒激光燒蝕在硅晶片的有效區(qū)域進(jìn)行正方形擬合，對(duì)有效區(qū)域進(jìn)行中心點(diǎn)提取，如圖7所示。

3線紋標(biāo)定

為了獲取精確的亞微米特征尺寸，必須對(duì)微視覺測(cè)量系統(tǒng)進(jìn)行標(biāo)定，這是決定測(cè)量精度的關(guān)鍵環(huán)節(jié)[12]。由于亞微米級(jí)線條在高精度遠(yuǎn)心鏡頭下成像特殊，而且測(cè)量視場(chǎng)的大小只有幾百個(gè)微米，因此計(jì)算機(jī)微視覺測(cè)量系統(tǒng)的標(biāo)定在技術(shù)實(shí)現(xiàn)上存在一定的困難。

建立成像系統(tǒng)的投影模型及其參數(shù)的過程為圖像的標(biāo)定。主要標(biāo)定的參數(shù)包括顯微鏡的放大倍數(shù)、相機(jī)水平和垂直方向上像素的間距[13]。像素當(dāng)量（pixel representing distance，PRD）就是用像素所代表的實(shí)際尺寸可表示標(biāo)定的這些參數(shù)。像素當(dāng)量標(biāo)定方法分為標(biāo)準(zhǔn)件法和自主運(yùn)動(dòng)標(biāo)定法。標(biāo)準(zhǔn)件法運(yùn)用圖像處理技術(shù)從標(biāo)準(zhǔn)件的顯微圖像上找到代表己知標(biāo)準(zhǔn)尺寸的像素距離，然后用實(shí)際距離除以該像素距離得到PRD。運(yùn)用間距為10μm的正方形硅條陣對(duì)微小視場(chǎng)進(jìn)行標(biāo)定。本文所研究的微視覺測(cè)量系統(tǒng)的視場(chǎng)只有二、三百個(gè)微米，需要采用微米級(jí)尺寸的標(biāo)準(zhǔn)件。運(yùn)用最小刻度為10μm的鏡臺(tái)測(cè)微尺的線紋實(shí)現(xiàn)對(duì)200μm的視場(chǎng)標(biāo)定。測(cè)試標(biāo)準(zhǔn)板具有微米級(jí)標(biāo)準(zhǔn)線對(duì)，每組圖元包括十對(duì)相對(duì)位置己知的線紋，具備作為標(biāo)定標(biāo)準(zhǔn)件的條件。但是由于可利用的線紋對(duì)數(shù)較少，因此需要采用簡(jiǎn)化的微視覺成像模型進(jìn)行標(biāo)定，如圖8所示。

將選取的10對(duì)線紋的實(shí)際距離ds與像素距離dc作比，得到實(shí)際距離與像素距離的比例參數(shù)為0.160μm/Pixel。

4 圖像的測(cè)量

計(jì)算平面空間上的兩個(gè)中心點(diǎn)的距離，運(yùn)用歐氏距離兩點(diǎn)間的像素距離計(jì)算，歐氏距離的二維空間的公式為

其中，ρ為點(diǎn)（x2，y2）與點(diǎn)（x1，y1）之間的歐氏距離。實(shí)驗(yàn)所用的飛秒激光燒蝕的硅晶片光斑陣列每相鄰兩點(diǎn)之間的加工距離約為100μm，利用奧林巴斯CKX41型生物顯微鏡對(duì)飛秒激光燒蝕的硅晶片光斑陣列進(jìn)行圖像的采集，利用ISCapture軟件對(duì)采集的飛秒激光燒蝕的硅晶片光斑陣列的圖像進(jìn)行測(cè)量，如圖9所示;將此測(cè)量結(jié)果作為實(shí)驗(yàn)的原始數(shù)據(jù)。

在二值化后的提取中心點(diǎn)照片上，根據(jù)像素到微米的比例系數(shù)，得到每個(gè)像素值與實(shí)際距離的比例參數(shù)，用得到的每兩點(diǎn)間的像素距離通過比例參數(shù)得到他們之間的實(shí)際距離。用獲得的中心點(diǎn)提取圖像運(yùn)用歐式距離，得到兩個(gè)中心點(diǎn)之間的像素距離，然后，用所獲得的像素距離根據(jù)比例參數(shù)得到每兩點(diǎn)間的實(shí)際距離，如表1所示。

5 與實(shí)際圖像的測(cè)量的對(duì)比

本文所測(cè)量的飛秒激光燒蝕的硅晶片光斑陣列每相鄰兩點(diǎn)之間的加工距離約為100μm，用測(cè)量的尺寸進(jìn)行與實(shí)際尺寸進(jìn)行對(duì)比。本文采用微視覺系統(tǒng)GC2450的微型視覺相機(jī)和NAVITARZ6000高精度遠(yuǎn)心鏡頭所測(cè)量的結(jié)果與實(shí)際尺寸進(jìn)行對(duì)比，從而進(jìn)行誤差分析。

在對(duì)飛秒激光燒蝕的硅晶片光斑陣列圖像進(jìn)行實(shí)際尺寸的測(cè)量，如圖10所示;表2為測(cè)量尺寸與實(shí)際尺寸的對(duì)比。對(duì)比前后測(cè)量的平均誤差為2.04%。圖11為測(cè)量數(shù)據(jù)與標(biāo)準(zhǔn)數(shù)據(jù)尺寸對(duì)比的折線圖。

分別測(cè)量每列兩端光斑中心點(diǎn)的距離，如圖12所示;并將測(cè)量的結(jié)果與標(biāo)準(zhǔn)距離做對(duì)比，如表3所示;對(duì)比前后的平均誤差為2.84%。

分別測(cè)量每行中左右兩端光斑中心點(diǎn)的距離，如圖13所示;并將測(cè)量的結(jié)果與標(biāo)準(zhǔn)距離做對(duì)比，如表4所示;對(duì)比前后的平均誤差為3.00%。

6 誤差分析

在實(shí)現(xiàn)對(duì)飛秒激光燒蝕硅晶片光斑陣列的完整測(cè)量過程中，存在著光學(xué)平臺(tái)的水平性、鏡頭與測(cè)量平臺(tái)的垂直性、對(duì)圖像所造成的畸變導(dǎo)致拼接效果不能達(dá)到最好等復(fù)雜因素，這些因素都會(huì)對(duì)實(shí)驗(yàn)結(jié)果造成測(cè)量的不精確。若能做到鏡頭與測(cè)量平臺(tái)的垂直性減小圖像畸變，提高圖像拼接后的復(fù)原程度，能進(jìn)一步的減小誤差。

7 結(jié)束語

實(shí)現(xiàn)了基于圖像的飛秒激光燒蝕硅晶片光斑陣列的完整測(cè)量，通過對(duì)飛秒激光燒蝕的硅晶片光斑陣列圖像拼接后，對(duì)飛秒激光燒蝕的光斑陣列圖像進(jìn)行較為準(zhǔn)確的測(cè)量。對(duì)飛秒激光燒蝕光斑進(jìn)行圖像預(yù)處理，進(jìn)行圖像取反，將光斑進(jìn)行方形擬合提去中心點(diǎn)，并選取中心點(diǎn)間的像素距離，用所值的像素值與實(shí)際尺寸大小的比值進(jìn)行實(shí)際距離的換算，得到一個(gè)對(duì)光斑陣列的測(cè)量值;用拼接測(cè)量的尺寸與實(shí)際測(cè)量的尺寸進(jìn)行誤差對(duì)比，每相鄰兩點(diǎn)間距離的平均誤差為2.04%，每列兩端光斑中心點(diǎn)間距離的平均誤差為2.84%，每行兩端光斑中心點(diǎn)間距離的平均誤差為3.00%。經(jīng)實(shí)驗(yàn)驗(yàn)證，利用圖像拼接對(duì)微視覺系統(tǒng)大視場(chǎng)微結(jié)構(gòu)進(jìn)行圖像測(cè)量是可行的。

參考文獻(xiàn)

[1] WANG F B， TU P， WU C， et al. Multi-image mosaic with SIFT and vision measurement for microscale structures processed by femtosecond laser[J]. Optics & Lasers in Engineering， 2018， 100： 124-130.

[2]張五一，趙強(qiáng)松，王東云.機(jī)器視覺的現(xiàn)狀及發(fā)展趨勢(shì)[J].中原工學(xué)院學(xué)報(bào)，2008，19（1）：9-12.

[3]朱錚濤，黎紹發(fā).視覺測(cè)量技術(shù)及其在現(xiàn)代制造業(yè)中的應(yīng)用[J].現(xiàn)代制造工程，2004（4）：59-61.

[4]楊曉京，王思琪.基于顯微機(jī)器視覺的微納米級(jí)構(gòu)件的精密檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（5）：227-230.

[5]余金棟，張憲民.用于線紋顯微圖像的邊緣檢測(cè)算法[J].光學(xué)精密工程，2015，23（1）：271-281.

[6]李智，王向軍.MEMS中幾何量的測(cè)試方法[J].微細(xì)加工技術(shù)，2003（1）：51-56.

[7]吳梅，王瑞，李琦，等.基于總體最小二乘法的表盤圖像中心點(diǎn)提取[J].自動(dòng)化與儀表，2013，28（10）：53-56.

[8]史珂，鄭鑫毅，湯春明，等.近紅外圖像增強(qiáng)與彩色化算法[J].科技與創(chuàng)新，2018（2）：24-27.

[9]李建國.空間長方形平面的擬合計(jì)算[J].硅谷，2012（14）：2-3.

[10]趙磊，姜小奇，蔣澎濤，等.基于二值化指紋圖像細(xì)節(jié)點(diǎn)提取的改進(jìn)算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2012，21（3）：232-236.

[11]田敬波.基于模板算子邊緣檢測(cè)的圖像二值化算法[J].信息技術(shù)與信息化，2017（9）：98-101.

[12]王文強(qiáng).顯微視覺定位系統(tǒng)中的攝像機(jī)標(biāo)定技術(shù)研究[D].大連：大連理工大學(xué)，2013.

[13]陳開志，胡愛群.基于二值化圖像的指紋細(xì)節(jié)點(diǎn)精確提取方法[J].東南大學(xué)學(xué)報(bào)（自然科學(xué)版），2010，40（3）：471-475.

（編輯：徐柳）