一種攝像模組位姿精確測量的方法

劉祚時(shí) 韓鑫 陳三風(fēng) 胡濤

摘 ?要： 位姿偏差是影響攝像模組質(zhì)量的重要因素。受限于成本和工藝流程，國內(nèi)中低端攝像模組的生產(chǎn)過程通常只做清晰度檢測，沒有進(jìn)行攝像模組位姿測量，基于此，文中提出一種攝像模組位姿精確測量的方法。首先，通過一個(gè)制具將位姿測量轉(zhuǎn)化為相機(jī)標(biāo)定問題;再基于自主設(shè)計(jì)的圓形陣列和MTF組合標(biāo)靶實(shí)現(xiàn)圖像清晰度和位姿的一站式測量。所提方法在不提高制造成本和不改變工藝流程的前提下，實(shí)現(xiàn)了對攝像模組位姿精確測量;最后，設(shè)計(jì)了一個(gè)三維旋轉(zhuǎn)臺對所提方法進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，所提方法平均誤差值小于0.05°，檢測時(shí)間小于100 ms，完全滿足相關(guān)產(chǎn)業(yè)的檢測要求。

關(guān)鍵詞： 位姿測量; 攝像模組; 平行標(biāo)定; MTF計(jì)算; 組合標(biāo)靶; 三維轉(zhuǎn)臺

中圖分類號： TN911.1?34; TH165 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）07?0057?05

A method of accurate pose measurement for camera module

LIU Zuoshi1， HAN Xin1， 2， CHEN Sanfeng2， HU Tao2

（1. School of Mechanical and Electrical Engineering， Jiangxi University of Science and Technology， Ganzhou 341000， China;

2. Shenzhen Institute of Information Technology， Shenzhen 518029， China）

Abstract： The pose deviation is the key factor affecting the quality of the camera module. For the limitation of cost and process flow， in general， there is only definition detection but no pose measurement of camera modules in the production process of low?and middle?end camera modules in China. A method of accurate pose measurement for camera module is proposed on the basis of the above. Firstly， the pose measurement is converted into the camera calibration by a tool， and then one?stop measurement of the image clarity and pose are realized based on the autonomously?designed circular array and MTF combined target. The accurate pose measurement of the camera module is realized without any increase of the manufacturing cost and change of the process flow. A 3D rotating table is designed to verify the method. The experimental results show that the average error value of the method is less than 0.05° and the detection duration is less than 100 ms， which fully meets the testing requirements of relevant industries.

Keywords： pose measurement; camera module; parallel calibration; MTF calculation; combined target; 3D rotating table

0 ?引 ?言

近年來，小型攝像模組（Compact Camera Module，CCM）被廣泛應(yīng)用于各類電子產(chǎn)品，其市場需求量逐年遞增[1]。目前，高端攝像模組大多采用主動對準(zhǔn)技術(shù)（AA制程）完成組裝，組裝精度高，但是AA制程設(shè)備價(jià)格高昂[2]，中低端攝像模組受限于成本和工藝等因素主要由人工完成組裝[2?3]，此類攝像模組在組裝后通常采用成像清晰度檢測設(shè)備進(jìn)行品控管理[4?6]。隨著消費(fèi)者對產(chǎn)品質(zhì)量要求的日益提高，攝像模組的品控要求也逐漸提高，單一的成像清晰度檢測已不再滿足要求，攝像模組的組裝位姿偏差檢測也因此被納入到品控管理中。

對此，本文首先將攝像模組的組裝位姿偏差檢測問題轉(zhuǎn)化為相機(jī)標(biāo)定問題，然后將用于實(shí)現(xiàn)相機(jī)標(biāo)定的圓形陣列標(biāo)靶與MTF標(biāo)靶進(jìn)行有機(jī)組合，設(shè)計(jì)了一種新的組合標(biāo)靶，并基于此組標(biāo)靶提出了一種攝像模組組裝位姿偏差估計(jì)算法，此算法可在不增加檢測工位的前提下，同時(shí)實(shí)現(xiàn)攝像模組成像清晰度測量和攝像模組位姿的精確測量。

1 ?攝像頭模組位姿估計(jì)

1.1 ?位姿估計(jì)問題的建模

攝像模組組裝偏差就是攝像模組感光芯片及鏡頭組相對于基底的角度偏移，即tilt角（[xtilt]，[ytilt]）和旋轉(zhuǎn)角（rotation），如圖1所示。其中，[xtilt]是攝像模組感光芯片及鏡頭組相對于基底的豎直方向角度偏移;[ytilt]是攝像模組感光芯片及鏡頭組相對于基底的水平方向角度偏移。

通過制具將攝像模組基底底面與標(biāo)靶保持平行，制具的中心對準(zhǔn)標(biāo)靶中心標(biāo)志圓的圓心，制具的四條邊與標(biāo)靶對應(yīng)的四條邊平行且距離相等，如圖2所示。因此，位姿偏差角便轉(zhuǎn)化為模組與標(biāo)靶的相對偏移，即模組相對于標(biāo)靶的空間位姿值，而空間位姿值可由相機(jī)標(biāo)定技術(shù)進(jìn)行求解，因此位姿估計(jì)問題被轉(zhuǎn)化為相機(jī)標(biāo)定問題。

相機(jī)標(biāo)定主要就是實(shí)現(xiàn)相機(jī)內(nèi)參和外參的計(jì)算，依據(jù)相機(jī)標(biāo)定成像模型，借助圓形陣列標(biāo)定板及所成像圖像特征點(diǎn)的映射限定（即（[Xw]，[Yw]，[Zw]）到（[XI]，[YI]）的映射），如圖3所示，對成像系統(tǒng)模型[f]的內(nèi)參、外參進(jìn)行優(yōu)化估計(jì)，其中，外參中的空間位姿[α，β，γ]估計(jì)值分別對應(yīng)于[xtilt]，[ytilt]，rotation三個(gè)組裝偏差角。

1.2 ?基于平行標(biāo)定的三維位姿估計(jì)

國內(nèi)外很多學(xué)者提出了許多經(jīng)典的相機(jī)標(biāo)定方法，文獻(xiàn)[7]提出的基于徑向排列約束（RAC）的二步法標(biāo)定方法，其標(biāo)定精度較高，文獻(xiàn)[8]提出平面標(biāo)靶的相機(jī)標(biāo)定方法，操作簡便，上述方法均需要不同角度、不同位置的多幅圖像。受限于實(shí)際產(chǎn)線空間狹小且CCM的組裝偏差角通常比較小，一般在5°以內(nèi)，因此可采用相機(jī)平行標(biāo)定算法[9?12]?；谙鄼C(jī)平行標(biāo)定算法僅采集一幅標(biāo)靶圖，就能夠較為快速而準(zhǔn)確地計(jì)算出攝像模組相對于標(biāo)靶的三維位姿值，以此評估攝像模組位姿偏轉(zhuǎn)。在已有的平行標(biāo)定算法中，文獻(xiàn)[12]基于高斯成像模型提出了一種只使用線性優(yōu)化策略的高精度平行標(biāo)定算法，非常具有實(shí)用價(jià)值。

然而，文獻(xiàn)[12]所述方法與其他的平行標(biāo)定算法一樣仍需預(yù)標(biāo)定光軸與圖像平面交點(diǎn)坐標(biāo)[（u0，v0）]和焦距[f]等參數(shù)的初值，其提及的預(yù)標(biāo)定算法的標(biāo)定過程比較繁瑣，不易于在產(chǎn)線上實(shí)現(xiàn)。

針對[u0，v0]等參數(shù)的預(yù)標(biāo)定問題，本文通過設(shè)計(jì)一種制具使攝像模組基底中心對準(zhǔn)組合標(biāo)靶中心圓的圓心，當(dāng)光軸不存在偏移時(shí)，圖像中心與圖像中的標(biāo)靶中心圓的中心重合;當(dāng)二者存在偏差時(shí)，圖像中心與圖像中標(biāo)靶中心圓中心將存在偏差。因此，可以將圖像標(biāo)靶中心圓中心作為[（u0，v0）]的初值，另外，從模組生產(chǎn)商獲得準(zhǔn)確的[f]值，大大簡化預(yù)標(biāo)定問題。

因此，在通過制具簡便地得到[u0]，[v0]等參數(shù)初值的基礎(chǔ)上，采用文獻(xiàn)[12]的平行標(biāo)定算法對相機(jī)成像模型進(jìn)行估計(jì)，得到相機(jī)內(nèi)外參的估計(jì)值。其中，[α，β，γ]值用于攝像模組位姿偏差估計(jì)。本文所采用的平行標(biāo)定流程大致由以下四個(gè)步驟組成：

1） 通過制具保證了標(biāo)靶中心與模組基底中心對準(zhǔn)，將標(biāo)靶中心圓中心作為[（u0，v0）]的初值，另外，從模組生產(chǎn)商獲得準(zhǔn)確的[f]值。

2） 根據(jù)圓形陣列標(biāo)靶設(shè)計(jì)值計(jì)算得到標(biāo)靶上各圓心的世界坐標(biāo)值，由于是平面標(biāo)靶，可以人為地令[Zw=0]。

3） 提取標(biāo)靶圖像中各圓心在圖像坐標(biāo)系中的坐標(biāo)值[（XI，YI）]。

4） 基于文獻(xiàn)[12]所述方法，借助（[Xw]，[Yw]，[Zw]）與（[XI]，[YI]）之間的映射關(guān)系，對成像模型的內(nèi)參、外參進(jìn)行優(yōu)化估計(jì)，得到相機(jī)內(nèi)外參數(shù)的估計(jì)值。

2 ?基于組合標(biāo)靶的清晰度測量和位姿估計(jì)

2.1 ?組合標(biāo)靶的設(shè)計(jì)

使用圓形陣列標(biāo)靶可以進(jìn)行組裝偏差估計(jì)，但需要增加一個(gè)檢測工位，從而加大了檢測成本。為了盡可能降低成本，本文創(chuàng)新性地設(shè)計(jì)一種平面組合標(biāo)靶，將經(jīng)典的圓形陣列標(biāo)靶圖案疊加在棋盤格MTF標(biāo)靶圖案上，同時(shí)，為了方便判定標(biāo)靶中心，將標(biāo)靶中心圓半徑設(shè)計(jì)為稍大于其他圓半徑，如圖4所示。

通過組合標(biāo)靶的黑白棋盤格能夠準(zhǔn)確測量出攝像模組成像清晰度值，進(jìn)而評估攝像模組的成像質(zhì)量。在棋盤格標(biāo)靶上添加圓形陣列，借助標(biāo)靶的圓形陣列與所成圖像特征點(diǎn)的映射限定關(guān)系，進(jìn)而對成像模型的各參數(shù)進(jìn)行估計(jì)和優(yōu)化，從而能夠得到攝像模組相對于標(biāo)靶的三維位姿值。因此本文僅需采集一幅組合標(biāo)靶圖就能夠在保證實(shí)現(xiàn)攝像模組成像清晰度測量的前提下在同一個(gè)工位精確測量攝像模組位姿。

為了提高成像清晰度值計(jì)算的魯棒性，通常在采集得到的組合標(biāo)靶圖上設(shè)定如圖4所示的五塊矩形檢測區(qū)域，并根據(jù)式（1）計(jì)算出每個(gè)區(qū)域的MTF值[13]，以此來全面地評估攝像模組的成像質(zhì)量。

[M=Imax-IminImax+Imin] （1）

2.2 ?基于組合標(biāo)靶的位姿估計(jì)

組合標(biāo)靶上不僅有圓形陣列圖案，還有棋盤格圖案，但在進(jìn)行位姿估計(jì)時(shí)，只需要圓形陣列坐標(biāo)值，因此需要將棋盤格圖案排除掉。

本文采集一幅組合標(biāo)靶圖，首先對標(biāo)靶圖進(jìn)行亞像素精度閾值分割提取輪廓[14]，再以設(shè)定圓度、半徑長篩選出圓形目標(biāo)輪廓，最后對輪廓進(jìn)行橢圓擬合等圖像處理步驟，得到圓形陣列的圓心坐標(biāo)，其大致流程如圖5所示。

提取標(biāo)靶圖像中各圓心在圖像坐標(biāo)系中的坐標(biāo)值[（XI，YI）]，參照1.2節(jié)步驟對成像系統(tǒng)模型各參數(shù)進(jìn)行優(yōu)化估計(jì)，其中，空間位姿[α，β，γ]估計(jì)值分別對應(yīng)于[xtilt]，[ytilt]，rotation三個(gè)組裝偏差角，并以此評估攝像模組位姿。

2.3 ?基于組合標(biāo)靶的圖像清晰度計(jì)算

對采集的標(biāo)靶圖MTF計(jì)算時(shí)，單一的矩形檢測區(qū)域如圖6所示，由于圓形區(qū)域內(nèi)黑白區(qū)域?qū)Ρ榷缺绕灞P格區(qū)域的對比度高，會影響MTF計(jì)算的準(zhǔn)確性，因此需要將圓形黑白區(qū)域排除，只提取棋盤格區(qū)域。針對這一問題，本文設(shè)計(jì)了一種圖像清晰度計(jì)算方法，其主要包括四個(gè)部分：

1） 對采集的標(biāo)靶圖像設(shè)定五塊矩形檢測區(qū)域（ROI），如圖6所示。

2） 對檢測區(qū)域內(nèi)的標(biāo)靶圖像進(jìn)行二值化、連通域分析、邊緣提取，將圓（圓弧）的輪廓擬合成圓，得到其圓心和半徑，按半徑1.1[∶]1得到其同心圓區(qū)域（見圖6圓形輪廓區(qū)域）。

3） 將這些同心圓區(qū)域與設(shè)定的矩形區(qū)域求交集，再將交集區(qū)域與矩形檢測區(qū)域求差集（見圖6區(qū)域）。

4） 設(shè)五塊差集區(qū)域內(nèi)灰度值累計(jì)頻率最高灰度值的最大值和最小值分別作為[Imax]，[Imin]，根據(jù)式（1）計(jì)算出五個(gè)區(qū)域的MTF值，以此評估攝像模組的成像質(zhì)量。

3 ?實(shí)驗(yàn)與分析

基于本文所提方法研制了一站式成像質(zhì)量和組裝偏差估計(jì)檢測設(shè)備，設(shè)備整體外觀如圖7a）所示，主要由組合標(biāo)靶、攝像模組裝載制具和攝像模組圖像采集控制盒等組成。

圖7b）所示的組合標(biāo)靶由透射式玻璃材質(zhì)制成（采用6 500 K色溫平行背光源），尺寸為293 mm×252 mm，由大小為1.444 mm棋盤格和15×13個(gè)圓形標(biāo)定塊構(gòu)成，圓形標(biāo)定塊的直徑為6.8 mm，間距為19.8 mm。

攝像模組主要參數(shù)：芯片像元大小為2.25 μm，分辨率為640×480像素，鏡頭焦距為1.87 mm。

圖7c）所示為攝像模組裝載制具。

本文所提算法基于VS2010開發(fā)環(huán)境，采用C++編碼實(shí)現(xiàn)了攝像頭模組圖像采集控制。

3.1 ?位姿估計(jì)值計(jì)算精度分析

借助Tsai提出的標(biāo)定精度分析方法，通過計(jì)算重投影誤差和標(biāo)準(zhǔn)差分析標(biāo)定精度[9]。成像平面上的坐標(biāo)點(diǎn)（[xR]，[yR]）是通過標(biāo)定得到的攝像機(jī)模型求得的理論圖像坐標(biāo)點(diǎn)，計(jì)算理論圖像坐標(biāo)點(diǎn)（[xR]，[yR]）與實(shí)際圖像坐標(biāo)點(diǎn)（[x]，[y]）之間的差值，用[N]表示點(diǎn)數(shù)，則：

重投影誤差為：

[mean=1Ni=1N（（xRi-xi）2+（yRi-yi）2）12] （2）

標(biāo)準(zhǔn)差為：

[std=1N-1i=1N[（xRi-xi）2+（yRi-yi）2]-N?mean212] （3）

實(shí)驗(yàn)結(jié)果如表1所示，重投影誤差皆小于0.16像素，標(biāo)準(zhǔn)差皆小于0.08，標(biāo)定精度較高。

3.2 ?位姿估計(jì)值計(jì)算準(zhǔn)確度分析

為了驗(yàn)證本文所提位姿估計(jì)方法的估計(jì)值的計(jì)算準(zhǔn)確度，本文進(jìn)一步設(shè)計(jì)并搭建了一個(gè)精度較高的三維旋轉(zhuǎn)臺，如圖8所示。

控制轉(zhuǎn)臺的各旋轉(zhuǎn)軸做等步長運(yùn)動，模擬攝像模組在不同的組裝位置，將各相鄰位置的相對偏轉(zhuǎn)作為實(shí)際偏轉(zhuǎn)值，將本文方法計(jì)算得到的偏轉(zhuǎn)值作為理論偏轉(zhuǎn)值，然后計(jì)算理論偏轉(zhuǎn)值與實(shí)際偏轉(zhuǎn)值之間的誤差和相關(guān)性系數(shù)，驗(yàn)證本文三維位姿估計(jì)方法的準(zhǔn)確度。

在對比實(shí)驗(yàn)中，借助OpenCV中Zhang的相機(jī)標(biāo)定方法，將標(biāo)定出的平均重投影誤差作為標(biāo)定參考結(jié)果，以此評估本文算法的準(zhǔn)確度。

具體實(shí)驗(yàn)步驟如下：首先將標(biāo)靶按照平行于工作臺平面的方位進(jìn)行放置，然后通過運(yùn)動控制程序控制三維轉(zhuǎn)臺以0.625°（對應(yīng)電機(jī)脈沖數(shù)為1 000）為步長自動在[Y]方向轉(zhuǎn)動，圖像采集程序控制攝像模組在每次轉(zhuǎn)動停止的位置采集一幅標(biāo)靶圖像，并通過三維位姿估計(jì)方法對采集的標(biāo)靶圖像計(jì)算得到攝像模組相對于標(biāo)靶的三維位姿值。

表1中列出攝像模組位于不同位置時(shí)的計(jì)算結(jié)果，其中，[α，β，γ]分別對應(yīng)于[xtilt]，[ytilt]，rotation，圖9則為理論偏轉(zhuǎn)值與實(shí)際偏轉(zhuǎn)值之間的一致性計(jì)算結(jié)果。

在對比實(shí)驗(yàn)中，使用標(biāo)定板在不同位置，不同角度拍攝14幅圖像，標(biāo)定出的平均重投影誤差為0.095 pixel。

表1和圖9計(jì)算結(jié)果表明：

1） 理論偏轉(zhuǎn)值比實(shí)際偏轉(zhuǎn)值總體要小，但二者偏差均小于0.03°。

2） 理論偏轉(zhuǎn)值與實(shí)際偏轉(zhuǎn)值的相關(guān)系數(shù)達(dá)到0.999 9，說明二者一致性越好，理論偏轉(zhuǎn)值與實(shí)際偏轉(zhuǎn)值存在高度一致性，具有較高的可信度。

3） 本文算法僅需采集一幅圖像，就能夠得到較為準(zhǔn)確的標(biāo)定精度，更適用于工業(yè)生產(chǎn)領(lǐng)域。

上述計(jì)算精度和準(zhǔn)確度實(shí)驗(yàn)結(jié)果表明，本文所提位姿估計(jì)方法具有高的標(biāo)定精度且能夠準(zhǔn)確地估計(jì)攝像模組相對于標(biāo)靶的三維位姿。

4 ?結(jié) ?語

本文提出一種基于圓形陣列和MTF組合標(biāo)靶的攝像模組位姿精確測量方法，在實(shí)現(xiàn)攝像模組成像清晰度測量的前提下，在同一個(gè)工位精確測量攝像模組位姿，有效減少了工位，提高了檢測效率，并有效地提高了出廠模組的品質(zhì)。實(shí)驗(yàn)和生產(chǎn)線運(yùn)行結(jié)果表明，本文算法穩(wěn)定可靠，不但能夠避免人工檢測攝像模組主觀性強(qiáng)且效率低等眾多弊端，還能提高攝像模組的檢測精度和速度，滿足攝像模組位姿測量的功能要求，對保證攝像模組產(chǎn)品質(zhì)量具有重大的現(xiàn)實(shí)意義。

參考文獻(xiàn)

[1] 佚名.2016—2022年中國攝像頭行業(yè)發(fā)展調(diào)研及代表企業(yè)發(fā)展分析報(bào)告[R/OL]. [2016?11?07]. http：//www.cninfo360.com/yjbg/dzhy/qt/20161107/499250.html.

[2] 胡昌軍，魯大鵬，魯謙，等.高像素CMOS手機(jī)攝像模組關(guān)鍵技術(shù)研究[J].池州學(xué)院學(xué)報(bào)，2016，30（3）：60?63.

[3] 全世紅.攝像模組解析力和臟污檢測的研究與應(yīng)用[D].深圳：深圳大學(xué)，2016.

[4] 孫首雷.高像素CMOS攝像頭模組檢測技術(shù)研究[D].廣州：廣東工業(yè)大學(xué)，2014.

[5] 張戈，李定珍.CMOS攝像模組缺陷的自動檢測系統(tǒng)研究[J].光電工程，2012，39（3）：52?56.

[6] 馬建設(shè)，李合銀，程雪岷，等.嵌入式自動聚焦攝像模組控制系統(tǒng)的設(shè)計(jì)[J].光學(xué)精密工程，2012，20（10）：2222?2228.

[7] TSAI R. A versatile camera calibration technique for high?accuracy 3D machine vision metrology using off?the?shelf TV cameras and lenses [J]. IEEE journal on robotics and automation， 1987， 3（4）， 323?344.

[8] ZHANG Z. A flexible new technique for camera calibration [J]. IEEE transactions on pattern analysis and machine intelligence， 2000， 22（11）： 1330?1334.

[9] 趙雪峰，仲曉敏，蘭義華.標(biāo)定靶面平行成像平面時(shí)Tsai算法的改進(jìn)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（3）：1019?1022.

[10] ZHUANG H， WU W C. Camera calibration with a near?parallel （ill?conditioned） calibration board configuration [J]. IEEE transactions on robotics & automation， 1996， 12（6）： 918?921.

[11] 羅晨，朱利民，丁漢.標(biāo)定模板與圖像平面平行時(shí)的攝像機(jī)標(biāo)定方法[J].中國機(jī)械工程，2005，16（17）：1558?1560.

[12] LUO H G， ZHU L M， DING H. Camera calibration with coplanar calibration board near parallel to the imaging plane [J]. Sensors & actuators A： physical， 2006， 132（2）： 480?486.

[13] 鄢天川.攝像模組的解像力檢測方法研究[D].西安：西安理工大學(xué)，2017.

[14] 胡濤，任仙怡，蔡鐵，等.高分辨力PCB裸板圖像輪廓快速圓弧探測[J].光電工程，2014，41（7）：88?94.