微型相機(jī)模組貼裝過(guò)程畫(huà)膠表面三維測(cè)量方法

吳福培，余冠霖，樂(lè)聰，葉瑋琳，朱樹(shù)鍇

（1 汕頭大學(xué) 工學(xué)院 機(jī)械工程系，廣東 汕頭 515063）

（2 廣東奧普特科技股份有限公司，廣東 東莞 523860）

0 引言

作為一種便攜式視頻圖像輸入器件，微型相機(jī)模組已被廣泛應(yīng)用于視頻會(huì)議、實(shí)時(shí)監(jiān)控、遠(yuǎn)程醫(yī)療、智能手機(jī)等領(lǐng)域。微型相機(jī)模組的生產(chǎn)工藝包括洗板、烘板、畫(huà)膠、貼晶、邦定、烘膠、檢測(cè)等。其中，畫(huà)膠質(zhì)量對(duì)微型相機(jī)模組的貼裝性能具有重要影響。當(dāng)前常采用自動(dòng)畫(huà)膠機(jī)進(jìn)行畫(huà)膠。然而，受畫(huà)膠機(jī)工藝水平限制和畫(huà)膠質(zhì)量影響，易產(chǎn)生溢膠、少膠、刮膠、斷膠、偏移等畫(huà)膠缺陷，從而導(dǎo)致相機(jī)模組功能的缺失。雖然當(dāng)前已發(fā)展的二維視覺(jué)檢測(cè)方法可區(qū)分良品和缺陷品，但無(wú)法給出畫(huà)膠的用量信息，且難以準(zhǔn)確辨識(shí)相似缺陷的細(xì)微差異，易導(dǎo)致誤判［1］。因此，如何發(fā)展針對(duì)畫(huà)膠表面的三維檢測(cè)方法是當(dāng)前畫(huà)膠工藝亟需解決的關(guān)鍵問(wèn)題。

三維檢測(cè)法可分為接觸式檢測(cè)和非接觸式檢測(cè)［2-4］。接觸式檢測(cè)法，如三坐標(biāo)測(cè)量機(jī)，其穩(wěn)定性強(qiáng)，測(cè)量精度可達(dá)納米級(jí)，但測(cè)量速度慢，測(cè)量范圍有限，并且測(cè)量時(shí)其探頭直接接觸物體表面而對(duì)物體產(chǎn)生擠壓，不適用于畫(huà)膠等柔軟物體的表面三維測(cè)量［5-8］。非接觸檢測(cè)法又可分為主動(dòng)檢測(cè)法和被動(dòng)檢測(cè)法［8-9］。主動(dòng)檢測(cè)法通過(guò)向待測(cè)物體表面投射光信息，并經(jīng)物體表面反射、調(diào)制與解調(diào)后可得待測(cè)物體三維信息。主動(dòng)檢測(cè)法為非接觸式測(cè)量，其測(cè)量精度高，但光學(xué)成像過(guò)程復(fù)雜，易受外部環(huán)境影響，難以滿足畫(huà)膠的連續(xù)測(cè)量需求［10-13］。被動(dòng)檢測(cè)法主要包括雙目立體視覺(jué)法、單目視覺(jué)法。雙目立體視覺(jué)法通過(guò)兩幅圖像間像素點(diǎn)的對(duì)應(yīng)關(guān)系，獲得待測(cè)物體的深度信息［14］，其特征匹配過(guò)程復(fù)雜，難以精確匹配特征點(diǎn)是其面臨的主要問(wèn)題［15］。而單目視覺(jué)法因其測(cè)量速度快和非接觸性，成為畫(huà)膠表面三維測(cè)量的最佳選擇［16］。

針對(duì)畫(huà)膠表面三維測(cè)量需求，基于單幅圖像提出一種畫(huà)膠表面三維測(cè)量方法。首先，建立單目視覺(jué)系統(tǒng)下的畫(huà)膠表面光照反射模型。其次，通過(guò)分析與揭示反射模型中圖像灰度值與光照強(qiáng)度、畫(huà)膠表面傾角、漫反射系數(shù)、畫(huà)膠表面反射光偏角之間的關(guān)系，建立高度信息映射模型。然后，給出高度映射模型中畫(huà)膠表面高度值的求解方法以恢復(fù)待測(cè)畫(huà)膠表面三維形貌。最后，通過(guò)實(shí)驗(yàn)驗(yàn)證所提方法的有效性。

1 單目視覺(jué)系統(tǒng)的三維信息表征

圖1 為用于采集畫(huà)膠樣品圖像的單目視覺(jué)系統(tǒng)示意圖。其中，三色CCD 圖像傳感器通過(guò)光電效應(yīng)映像畫(huà)膠的真實(shí)顏色，紅、綠、藍(lán)色LED 光源組成三色環(huán)形結(jié)構(gòu)光源。該光源的三色光以不同角度、不同高度照射被測(cè)對(duì)象，因而所獲圖像將包含畫(huà)膠樣品的表面三維信息［17］。

圖1 單目視覺(jué)系統(tǒng)Fig.1 The monocular vision system

相機(jī)采集的畫(huà)膠圖像包含豐富的背景信息，為減少背景信息的干擾及提高三維檢測(cè)的速度，需要對(duì)圖2（a）中的畫(huà)膠圖像進(jìn)行分割處理。根據(jù)圖像中畫(huà)膠區(qū)域的分布規(guī)律，結(jié)合模板匹配方法分割出圖2（b）中的芯片特征。在圖2（b）中，畫(huà)膠表面在環(huán)形結(jié)構(gòu)光源照射下具有豐富的紅、綠、藍(lán)三種顏色信息。因此，采用基于顏色閾值的圖像分割方法可分割出如圖2（c）所示的畫(huà)膠特征。

圖2 微型相機(jī)模組Fig.2 Miniature camera module

照射在畫(huà)膠表面的三色光經(jīng)反射后進(jìn)入相機(jī)，聚焦于CCD 圖像傳感器成像面。由于畫(huà)膠表面各點(diǎn)所處的高度和表面形狀差異、以及其對(duì)紅、綠、藍(lán)三色光照強(qiáng)度及入射角不同，畫(huà)膠圖像上的各像素點(diǎn)將響應(yīng)相應(yīng)的灰度值。系統(tǒng)分析該圖像灰度值的分布規(guī)律將有助于重建畫(huà)膠表面三維形貌［18］。因此，擬通過(guò)系統(tǒng)地分析單目成像系統(tǒng)的成像規(guī)律建立圖像灰度與物體高度的映射模型，從而求解待測(cè)畫(huà)膠表面各點(diǎn)的高度信息，實(shí)現(xiàn)表面三維測(cè)量。

2 基于單幅圖像的三維重建模型

2.1 可見(jiàn)光聚焦成像的影響因素分析

入射光線經(jīng)被測(cè)表面反射后，部分反射光通過(guò)鏡頭聚焦于相機(jī)成像面。理想條件下，入射光照射到介質(zhì)均勻分布的表面時(shí)，由于待測(cè)物體表面各向輻射均勻，可視其為入射光的輻射源。假設(shè)視場(chǎng)中待測(cè)物體表面面積為dB0，圖像中其對(duì)應(yīng)的像素面積為dBp。設(shè)dB0的光輻射度為L(zhǎng)r，dBp的光輻射度為L(zhǎng)i，其關(guān)系可表示為

式中，d表示透鏡直徑，f為相機(jī)光心至圖像傳感器成像面中心的距離，α與攝像機(jī)視角相關(guān)，且一般情況下cosα可近似為1。實(shí)際條件下，入射光照射至介質(zhì)不均勻分布的被測(cè)表面時(shí)，受待測(cè)表面材料性質(zhì)和幾何形狀的影響［19］，一部分光被待測(cè)物體吸收，另一部分光經(jīng)物體內(nèi)部不均勻介質(zhì)多次反射和折射后反射出曲面，成為新的輻射源。被測(cè)表面區(qū)域dB0上的光輻射度和漫反射光輻射度Ld的關(guān)系為

式中，fd為漫反射系數(shù)，與物體的材料性質(zhì)相關(guān)，一般情況下fd<1。圖像感光像元將接收到的光能強(qiáng)弱轉(zhuǎn)換為電荷量的大小，并最終將電荷量按其量化準(zhǔn)則以圖像灰度值顯示，即相機(jī)接收到的光輻射強(qiáng)度越大，其圖像灰度值越大。待測(cè)物體表面凹凸不平的形狀引起的漫反射光向各個(gè)方向均勻輻射，該輻射是相機(jī)成像時(shí)光量的主要來(lái)源。由此分析可知，圖像灰度值G與漫反射光輻射度Ld成正比。環(huán)形結(jié)構(gòu)光源可視作由若干個(gè)點(diǎn)光源匯合而成，其輻射效應(yīng)等同于若干個(gè)點(diǎn)光源輻射之和。單個(gè)點(diǎn)光源的輻射特性分析同樣適用于環(huán)形結(jié)構(gòu)光源，而對(duì)單個(gè)點(diǎn)光源而言，可將其視作以S為圓心的光輻射球，其輻射模型如圖3。

圖3 點(diǎn)光源輻射模型Fig.3 The point source radiation model

如圖3 所示，來(lái)自光輻射球S的光輻射于面積為dS的物體表面區(qū)域，由S發(fā)出的入射光線和輻射區(qū)域dS組成的密閉錐面內(nèi)的空間為光立體角dw0，則來(lái)自輻射球的輻射強(qiáng)度，即點(diǎn)光源的光強(qiáng)I可表示為

式中，dΦ表示點(diǎn)光源S發(fā)出的能量流，光立體角dw0可表示為

式中，r表示輻射球球心距輻射區(qū)域中心的距離，θ為平面法線與輻射方向的夾角。由式（3）和（4）可得

在圖像成像面上，單位面積接收到的待測(cè)物體表面輻射的能量流d?對(duì)輻射區(qū)域dS求導(dǎo)可得輻照度Li

因此，被測(cè)表面區(qū)域的光輻射度Li與點(diǎn)光源光強(qiáng)I為線性關(guān)系，圖像灰度值G與被測(cè)表面區(qū)域的光輻射度Li成正比。因此，圖像灰度值G與點(diǎn)光源光強(qiáng)I和物體表面傾角余弦值cosθ均為線性關(guān)系。由圖3 可知，理論上鏡面反射光線與實(shí)際的鏡面反射光線之間存在夾角γ。將該夾角定義為反射光偏角，由物體表面粗糙度引起。物體表面粗糙度可視為微尺度上的物體表面傾角。因此，圖像灰度值G與反射光偏角γ成正比。

2.2 單色光照模型

在光學(xué)成像系統(tǒng)中，圖像中每一個(gè)像素點(diǎn)均對(duì)應(yīng)圖像傳感器上一個(gè)微小的感光元，像素點(diǎn)的灰度值反映進(jìn)入相機(jī)光線的強(qiáng)度信息。因此，采用單個(gè)光源可建立被測(cè)表面的單色光照模型（如圖4）。

圖4 中，直線L1L2表示透鏡，f表示透鏡焦距，直線M1M2表示圖像傳感器成像面，d表示透鏡光心OL至圖像傳感器成像面M1M2的距離，曲線AWB表示待測(cè)物體表面。來(lái)自光源S的光線經(jīng)表面傾角為θ的待測(cè)點(diǎn)W反射后，其理論反射光線為WR，而實(shí)際反射光線為WOL，且反射光偏角為γ，圖像中像素點(diǎn)M對(duì)應(yīng)的圖像灰度值為G。光源光照強(qiáng)度為I。光源入射光線與X軸的夾角為β，可表示為

圖4 單色光照模型Fig.4 The monochrome lighting model

反射光偏角γ可表示為

在單目視覺(jué)成像系統(tǒng)中，待測(cè)物體表面傾角θ的大小固定，且相機(jī)的透鏡光心位置固定，則φ的大小也固定。因此，反射光偏角γ與β成線性關(guān)系。由于圖像灰度值G與反射光偏角γ成線性關(guān)系，進(jìn)而可分析出圖像灰度值G與cosβ亦成線性關(guān)系。又已知圖像灰度值G與體表面傾角余弦值cosθ、點(diǎn)光源光強(qiáng)I均為線性關(guān)系，由此可建立其表面高度信息的映射模型

式（9）中包含兩個(gè)未知量，分別為θ和zW。該式中的其它參數(shù)可通過(guò)系統(tǒng)標(biāo)定或?qū)嶒?yàn)標(biāo)定獲得。若要求解θ和zW，仍需建立新的約束方程，以完善所提的表面高度信息映射模型。

2.3 三色光照模型

采用的環(huán)形結(jié)構(gòu)光源由紅色、綠色和藍(lán)色LED 共同組成，并由此建立如圖5 所示的三色光照模型。

圖5 三色光照模型Fig.5 The trichrome lighting model

圖5 中，環(huán)形結(jié)構(gòu)光源中的紅色、綠色和藍(lán)色光源分別被簡(jiǎn)化為紅色、綠色和藍(lán)色發(fā)光點(diǎn)：Sr(xr，zr)、Sg(xg，zg)、Sb(xb，zb)，且其光照強(qiáng)度分別為Ir、Ig、Ib。三色光入射光線與X軸的夾角分別為βr、βg、βb。其大小可表示為

將式（9）拓展至三色光照的表面高度信息映射模型，并結(jié)合式（10）可得

式中，Gr、Gg和Gb分別表示彩色圖像中紅色灰度值、綠色灰度值和藍(lán)色灰度值，Ir、Ig和Ib分別表示紅、綠、藍(lán)色光源的光照強(qiáng)度。fr、fg和fb分別表示待測(cè)物體表面對(duì)紅、綠、藍(lán)光的漫反射系數(shù)。

2.4 三維重建算法

在已標(biāo)定光源位置的單目視覺(jué)系統(tǒng)中，已知發(fā)光點(diǎn)Sr、Sg和Sb在世界坐標(biāo)系下的坐標(biāo)(xr，zr)、(xg，zg)和(xb，zb)，其圖像坐標(biāo)系下的坐標(biāo)值可通過(guò)坐標(biāo)系轉(zhuǎn)換獲得，且光照強(qiáng)度Ir、Ig和Ib可通過(guò)照度計(jì)標(biāo)定。待測(cè)點(diǎn)W坐標(biāo)(xW，zW)中的xW可通過(guò)其像點(diǎn)M的位置確定，zW為待測(cè)點(diǎn)W的高度。點(diǎn)W對(duì)光的漫反射系數(shù)fr、fg和fb可通過(guò)標(biāo)定實(shí)驗(yàn)求解。此外，像素點(diǎn)M的圖像灰度值Gr、Gg和Gb可從圖像中獲取。因此，式（11）中僅包含θ和zW兩個(gè)未知量，任意選取其中兩組等式建立方程組即可求解出未知量θ和zW。由于單目視覺(jué)系統(tǒng)的對(duì)稱性，圖像中待測(cè)物體所有檢測(cè)區(qū)域均可采用相同的方法求取相應(yīng)的高度信息，從而完成被測(cè)表面的三維重建。

3 實(shí)驗(yàn)結(jié)果與分析

為檢驗(yàn)所提方法的有效性，使用圖6 所示的單目視覺(jué)系統(tǒng)對(duì)現(xiàn)有的畫(huà)膠樣品進(jìn)行三維測(cè)量實(shí)驗(yàn)。實(shí)驗(yàn)所用芯片的尺寸為8.5 mm×8.5 mm，相機(jī)成像視場(chǎng)為15 mm×11.25 mm（可對(duì)現(xiàn)有的畫(huà)膠樣本進(jìn)行檢測(cè)），相機(jī)分辨率為640 pixel×480 pixel。檢測(cè)前，標(biāo)定環(huán)形結(jié)構(gòu)光源焦點(diǎn)處的光強(qiáng)，分別為Ir=950 cd，Ig=1 262 cd，Ib=197.5 cd。為獲取漫反射系數(shù)，采用與畫(huà)膠相似材質(zhì)且已知高度及表面傾角的標(biāo)定物進(jìn)行實(shí)驗(yàn)，結(jié)合式（11）可得漫反射系數(shù)。實(shí)驗(yàn)結(jié)果分別為fr=0.784 9，fb=0.898 5。

圖6 單目視覺(jué)系統(tǒng)Fig.6 The monocular vision system

畫(huà)膠尺寸小且易產(chǎn)生形變，普通接觸測(cè)量難以準(zhǔn)確獲得膠水的三維形貌，因此采用激光三角法所得的測(cè)量結(jié)果作為實(shí)際高度進(jìn)行誤差分析。采用所提方法對(duì)圖2 所示的畫(huà)膠進(jìn)行三維測(cè)量，結(jié)果如圖7（a）。為檢驗(yàn)實(shí)驗(yàn)結(jié)果的有效性，采用基于單目視覺(jué)的灰度迭加法［20］和基于單目視覺(jué)的方程計(jì)算法［21］對(duì)同一畫(huà)膠進(jìn)行三維測(cè)量和結(jié)果對(duì)比。相應(yīng)的重建結(jié)果分別如圖7（b）、圖7（c）。

圖7 畫(huà)膠重建結(jié)果對(duì)比Fig.7 Comparison of reconstruction results of glue

如圖7（a）、圖7（c）所示，畫(huà)膠表面的較高位置位于畫(huà)膠輪廓骨架處，與實(shí)際畫(huà)膠形狀相符。圖7（b）中，畫(huà)膠表面的較高位置亦位于畫(huà)膠輪廓骨架處，且具有明顯的高度轉(zhuǎn)折處，不符合畫(huà)膠時(shí)膠水的實(shí)際流動(dòng)情況。以所提方法與其它兩種方法進(jìn)行實(shí)驗(yàn)，檢驗(yàn)各方法的測(cè)量精度，分別取圖7 中y軸總高度1/4、1/2、3/4的截面（畫(huà)膠截面如圖8）為截面1、截面2、截面3，將其所測(cè)的畫(huà)膠三維重建結(jié)果與畫(huà)膠樣品的實(shí)際高度進(jìn)行對(duì)比。

圖8 畫(huà)膠截面圖Fig.8 The cross-section of the glue

在所選畫(huà)膠截面中，分別對(duì)每個(gè)截面的所有點(diǎn)與相對(duì)應(yīng)的點(diǎn)的實(shí)際高度進(jìn)行對(duì)比。其結(jié)果如表1（表中數(shù)據(jù)的單位均為mm）。

表1 三種重建方法的檢測(cè)結(jié)果比較Table 1 Comparison of measurement results based on three reconstruction methods

從表1 可知，論文方法的平均誤差、最大誤差在三種方法中均最小。論文方法的重建誤差比文獻(xiàn)［21］方法小，主要原因在于文獻(xiàn)［21］所建立的高度信息映射模型中存在冗余未知量，而論文對(duì)其模型進(jìn)行優(yōu)化并減少該冗余量，導(dǎo)致此兩種方法的重建誤差區(qū)別明顯；文獻(xiàn)［20］方法利用像素間的關(guān)聯(lián)性，采用梯度迭加的方式，從已知高度的起點(diǎn)處迭加高度分量獲得下一點(diǎn)的高度。在高度分量存在誤差時(shí)，隨著迭加的進(jìn)行，誤差逐漸增加，從而導(dǎo)致該方法的誤差范圍較大；而論文所提方法基于建立的高度信息映射模型直接求解被測(cè)表面高度，無(wú)需迭加，因而誤差較小，進(jìn)一步驗(yàn)證了所提方法的有效性。

為檢測(cè)所提方法的實(shí)時(shí)性，選取相同尺寸的10 張畫(huà)膠樣品圖像進(jìn)行連續(xù)檢測(cè)，并與文獻(xiàn)［20］和文獻(xiàn)［21］方法的檢測(cè)時(shí)長(zhǎng)進(jìn)行對(duì)比。其檢測(cè)結(jié)果如圖9。實(shí)驗(yàn)結(jié)果表明，所提方法、文獻(xiàn)［20］方法和文獻(xiàn)［21］方法對(duì)單張圖像的平均檢測(cè)時(shí)長(zhǎng)分別為0.130 s、0.105 s 和0.168 s。與文獻(xiàn)［20］方法相比，本文方法的檢測(cè)時(shí)間略長(zhǎng)，主要原因在于論文方法比文獻(xiàn)［20］方法具有更高的算法復(fù)雜度；與文獻(xiàn)［21］方法相比，本文方法的檢測(cè)時(shí)間略短，主要原因在于該方法比文獻(xiàn)［21］方法少一個(gè)未知量，在物體表面區(qū)域所有像素點(diǎn)高度計(jì)算中明顯減少了計(jì)算量，說(shuō)明所提方法的實(shí)時(shí)性有較明顯的提升；且本文所提方法的檢測(cè)時(shí)長(zhǎng)在0.2 s 內(nèi)，可用于高速生產(chǎn)過(guò)程的畫(huà)膠表面三維測(cè)量。

圖9 三種重建方法的檢測(cè)時(shí)長(zhǎng)對(duì)比Fig.9 Comparison of detection time based on three reconstruction methods

4 結(jié)論

基于單目視覺(jué)系統(tǒng)建立物體表面的高度信息映射模型，提出了恢復(fù)待測(cè)物體表面形貌的三維測(cè)量方法。在建立物體表面光照模型中揭示了模型參數(shù)對(duì)圖像灰度值的映射規(guī)律：在小范圍內(nèi)，圖像灰度值與光源光強(qiáng)、物體表面傾角、漫反射系數(shù)及反射光偏角可分別近似為線性關(guān)系?；诮⒌母叨刃畔⒂成淠Ｐ徒o出了被測(cè)表面高度信息的求解方法，該方法可準(zhǔn)確恢復(fù)微型相機(jī)模組芯片上的畫(huà)膠表面三維形貌。實(shí)驗(yàn)結(jié)果表明：本文方法的測(cè)量結(jié)果與實(shí)際高度的平均誤差小于10 μm，且單張圖像的檢測(cè)時(shí)間小于0.2 s，驗(yàn)證了該方法的有效性和實(shí)時(shí)性。在該模型中，當(dāng)實(shí)際測(cè)量中物體表面傾角過(guò)大時(shí)對(duì)光線會(huì)產(chǎn)生遮擋，某傾斜表面可能會(huì)出現(xiàn)不同待測(cè)點(diǎn)投影至相同像素點(diǎn)，從而影響灰度值的大小，因此該方法適合于較為平緩的被測(cè)表面。