線掃描相機標(biāo)定及畸變矯正方法

朱瑤 王治樂 賀磊 周程灝

?

線掃描相機標(biāo)定及畸變矯正方法

朱瑤 王治樂 賀磊 周程灝

（哈爾濱工業(yè)大學(xué)航天學(xué)院，哈爾濱 150001）

線掃描相機由于其高分辨率以及高數(shù)據(jù)處理效率的優(yōu)勢，使得其在測量領(lǐng)域的應(yīng)用越來越廣泛。但線掃描相機也會因光學(xué)系統(tǒng)畸變的存在影響成像的幾何位置精度，造成圖像的失真。文章面向線掃描相機標(biāo)定及畸變矯正的應(yīng)用需求，提出一種將一維數(shù)據(jù)映射到二維數(shù)據(jù)而不改變原始數(shù)據(jù)的方法，以利用面陣相機的標(biāo)定方法來標(biāo)定線掃描相機。在標(biāo)定過程中，采用新型的標(biāo)定板來創(chuàng)建世界坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系。文章利用數(shù)字圖像處理的方法，對光學(xué)鏡頭自身畸變進(jìn)行標(biāo)定和矯正，基本消除了由于圖像變形而產(chǎn)生的測量誤差，有效解決了由于鏡頭畸變而降低圖像中物體的幾何位置精度的問題。

圖像處理 相機標(biāo)定 畸變矯正 線掃描相機

0 引言

由于線掃描相機具有獲取數(shù)據(jù)準(zhǔn)確性好、效率高等優(yōu)點，因此，其用于測量的應(yīng)用變得越來越重要，尤其當(dāng)物體較大、連續(xù)移動或需高分辨率成像時，線掃描相機有著不可替代的優(yōu)勢[1-5]。為了對大型零件的變形和大空間內(nèi)物體的運動狀態(tài)進(jìn)行實時監(jiān)控，大視場高精度的線掃描相機應(yīng)運而生。該類相機可以應(yīng)用于航天飛行器試驗、飛機結(jié)構(gòu)強度靜力/疲勞試驗、大型雷達(dá)測量等領(lǐng)域，并且滿足高精度動態(tài)測量的需求，還可以推廣到造船、電力、建筑、交通等領(lǐng)域的大型零件測量應(yīng)用中[6]。

然而，由于光學(xué)系統(tǒng)設(shè)計、光學(xué)鏡頭的制造誤差和裝調(diào)誤差等因素，造成物體在經(jīng)過光學(xué)系統(tǒng)后實際所成的像與理想像之間存在不同程度的非線性幾何畸變[7-10]。而且，光學(xué)鏡頭不同視場的畸變也不同，邊緣視場的畸變最大?；兊拇嬖谥苯佑绊懗上竦膸缀挝恢镁?，在視場比較小的光學(xué)系統(tǒng)中畸變不顯著，但大視場的光學(xué)系統(tǒng)就必須采取措施來消除畸變帶來的影響[11]。

要想對光學(xué)系統(tǒng)進(jìn)行畸變矯正，首先需要對光學(xué)系統(tǒng)進(jìn)行標(biāo)定。目前基于面陣相機的標(biāo)定方法已有很多，如：文獻(xiàn)[12]提出了一種用于機器視覺測量的相機標(biāo)定技術(shù)，采用兩步法獲取攝像機的外部參數(shù)、焦距、徑向畸變以及圖像掃描參數(shù)；文獻(xiàn)[13]提出了一種靈活的方法來標(biāo)定相機，此方法僅需要相機獲取幾個（至少兩個）不同方向的平面圖案，并使用基于最大似然準(zhǔn)則的非線性優(yōu)化技術(shù)，得到解析解，方法靈活且容易實施，測試數(shù)據(jù)也非常好。目前對于線掃描相機的畸變校正方法很少被提及。線掃描相機獲得的是一維圖像信息，通常比二維面陣相機測量更精確有效，并且可以更簡單方便地對獲取圖像進(jìn)行處理。面陣相機是基于二維圖像進(jìn)行標(biāo)定的，而線掃描相機只能獲得一維圖像，因此，面陣相機的標(biāo)定方法并不適用于線掃描相機。本文所述的線掃描相機標(biāo)定方法實現(xiàn)了一維到二維圖像數(shù)據(jù)的轉(zhuǎn)換，能夠通過坐標(biāo)轉(zhuǎn)換建立世界坐標(biāo)系與圖像坐標(biāo)系的關(guān)系，從而實現(xiàn)線掃描相機的標(biāo)定以及畸變矯正。

1 線掃描相機圖像采集系統(tǒng)

線掃描相機其CCD/CMOS傳感器由單線感光元件構(gòu)成，與拍攝二維圖像的面陣傳感器相機不同，如圖1所示。雖然傳感器只有一個像素高，但可以足夠?qū)挘砸欢ㄋ俣纫苿游矬w或相機逐行獲取圖像，最終獲得一幅二維圖像。線掃描相機具有比面陣傳感器相機更好的測量精度，且線性傳感器通常具有比面陣相機高的分辨率。當(dāng)物體較大，連續(xù)移動或高分辨率成像時，線掃描相機通常是比面陣相機更好的選擇[13]。

圖1 面陣相機與線掃描相機

圖2 光學(xué)系統(tǒng)結(jié)構(gòu)

圖2為光學(xué)系統(tǒng)結(jié)構(gòu)示意圖，是由低畸變廣角成像光學(xué)鏡頭、線掃描CMOS探測器組成的光機電一體化產(chǎn)品。線掃描CMOS探測器組件與低畸變廣角成像光學(xué)鏡頭固定在一起，光學(xué)鏡頭將搜集到的可見光圖像清晰成像在探測器焦面上。探測器通過光電轉(zhuǎn)換，生成相應(yīng)強度的電信號輸出，生成可見光圖像，供后續(xù)圖像處理，從而實現(xiàn)大視場、高清晰、遠(yuǎn)距離目標(biāo)觀測及圖像采集功能。

具體的光學(xué)系統(tǒng)技術(shù)指標(biāo)如下：

1）工作波段：480～650nm；

2）視場角：≥90o；

3）光學(xué)畸變：≤5%；

4）工作距離：3～100m；

5）MTF≥0.4（0視場，100線對/mm），MTF≥0.3（0.7視場，100線對/mm）；

6）工作溫度：–10℃～＋70℃；

2 相機標(biāo)定

2.1 制備標(biāo)定板

圖3 標(biāo)定板

2.2 采集圖像

將線掃描相機、光源以及標(biāo)定板固定好，使線掃描相機對準(zhǔn)標(biāo)定板，對標(biāo)定板進(jìn)行拍照，由于相機是靜止不動的，所以可以在相機視線上得到一維數(shù)據(jù)，視線與標(biāo)定板圖樣的線條相交有13個點（特征點），因此在線掃描相機像面上得到這13個點的一維信息，并且可以推算各個特征點的位置信息。圖4為標(biāo)定板成像圖。

視線與標(biāo)定板圖樣的交點為0，1，2，···，12，同一視線拍數(shù)幅圖，可以拼接成一幅圖，但依舊是一維信息，在這幅圖像上獲得與0，1，2，···，12相對應(yīng)的像點0，1，2，···，12，如圖4中13條黑豎線，并且可以得到

式中為正整數(shù)。

結(jié)合式（1），由此可以得到標(biāo)定點的橫坐標(biāo)與縱坐標(biāo)，對于1，3，5，…，2n-1特征點，其橫縱坐標(biāo)分別為

同理，可以計算2，4，6，…，2n的橫縱坐標(biāo)，分別為

2.3 創(chuàng)建二維圖像數(shù)據(jù)

得到標(biāo)定板的特征點和它們在圖像坐標(biāo)系下的相關(guān)位置后，開始相機標(biāo)定。文獻(xiàn)[12]和文獻(xiàn)[13]提出的標(biāo)定方法都是針對面陣相機，在這種情況下，本文提出了一種新方法，即創(chuàng)建一組數(shù)據(jù)既適用于面陣相機標(biāo)定，并且不會改變線掃描相機獲得的信息。

用線掃描相機對靜止物體進(jìn)行拍照，只能獲得水平方向上的有效數(shù)據(jù)，此水平方向的數(shù)據(jù)為線掃描相機探測器獲得的一維數(shù)據(jù)，而垂直方向的數(shù)據(jù)只是時間累積的結(jié)果，即重復(fù)水平方向的一維數(shù)據(jù)。雖然采集圖像時可以得到特征點的二維位置信息，但是這些特征點都位于同一視線上，也就是說，這些來自物方的特征點都是線性相關(guān)的。然而，當(dāng)前基于面陣探測器相機的標(biāo)定方法無法接受線性相關(guān)的輸入數(shù)據(jù)。因此，將一維數(shù)據(jù)變?yōu)槎S數(shù)據(jù)并且線性獨立，同時與線掃描相機標(biāo)定的結(jié)果保持一致。本文提出的解決方案是創(chuàng)建一個二維圖像坐標(biāo)，即在垂直維度上添加另一組與原始一維數(shù)據(jù)完全相同的圖像數(shù)據(jù)。這意味著在水平方向上存在的透鏡畸變將對垂直方向施加相同的效果。

根據(jù)鏡頭畸變的相關(guān)原理[14]，徑向畸變是像點沿徑向方向移動，其數(shù)學(xué)模型為

圖5 二維圖像數(shù)據(jù)的創(chuàng)建

2.4 參數(shù)計算

考慮到平面的單應(yīng)性[16]，即二維平面上的點映射到相機的成像平面上，那么，三維點到像面上的點的映射可以用矩陣相乘的方式表示，且點與點空間位置關(guān)系如圖6所示，圖6描述了世界坐標(biāo)系、相機坐標(biāo)系、成像平面坐標(biāo)系與圖像坐標(biāo)系之間的關(guān)系[17-19]，三維點到二維像點的數(shù)學(xué)表達(dá)式可以表述為

式中 Q是世界坐標(biāo)系中的一點，；q是像面坐標(biāo)系的一點，；s是一個任意尺度比列；是外部參數(shù)，表示旋轉(zhuǎn)矩陣和平移矩陣；M是內(nèi)部參數(shù)；是主點坐標(biāo)；分別對應(yīng)在u軸和v軸上的焦距。

根據(jù)式（9），不難得到關(guān)于像點與物點的關(guān)系[20]。

而旋轉(zhuǎn)向量在構(gòu)造中是相互正交的，即

參考文獻(xiàn)[12]提出的最大似然估計方法，給出關(guān)于標(biāo)定板平面的幅圖像和個特征點，并考慮到采集的圖像像點因鏡頭畸變和噪音而失真，那么，可以通過最小化下面的函數(shù)得到最大似然估計

3 畸變矯正

對于線掃描相機，方向的畸變量可以忽略，因此，由式（7）和式（12）可以得到

通過計算，可以得到矯正后的點

由于計算的非失真點并不是整數(shù)像素點，使用KR插值算法[22]獲得均勻分布的亞像素點灰度信息，然后應(yīng)用1/10細(xì)分技術(shù)來選出圖像點，最后將這些點擬合到所需的未失真圖像坐標(biāo)。

通過上述的相機標(biāo)定方法，用本光學(xué)系統(tǒng)對標(biāo)定板進(jìn)行拍攝，計算相機各個參數(shù)，得出=26mm線掃描相機的標(biāo)定結(jié)果，見表1。

表1 相機參數(shù)

Tab.1 Camera parameters

圖7 畸變矯正結(jié)果

為了驗證畸變矯正算法的準(zhǔn)確性，對5幅標(biāo)定板試驗參與的情況下進(jìn)行畸變矯正，試驗圖像的畸變矯正結(jié)果如表2所示，從表2中可以看出，畸變平均矯正精度優(yōu)于1個像素。

表2 畸變矯正精度

Tab.2 The accuracy of distortion correction

4 結(jié)束語

本文對線掃描相機的原理進(jìn)行了簡單的介紹，詳細(xì)闡述了如何將線掃描相機采集的一維數(shù)據(jù)映射成二維圖像數(shù)據(jù)以適用于現(xiàn)有的面陣相機的標(biāo)定方法。在制備新型標(biāo)定板的情況下，建立世界坐標(biāo)系和圖像坐標(biāo)系之間的關(guān)系，以求解相機的內(nèi)外參數(shù)以及畸變系數(shù)。而對于線掃描相機的畸變，只需要矯正水平方向即可。該相機標(biāo)定以及畸變矯正方法操作簡單，標(biāo)定板制備容易，并且能夠?qū)崿F(xiàn)較好的畸變矯正效果，畸變平均矯正精度均優(yōu)于1個像素。

[1] LUNA C A, MAZO M, LáZARO J L, et al. Calibration of Line-scan Cameras[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(8): 2185-2190.

[2] KATAOKA K, OSAWA T, OZAWA S, et al. 3D Building Fa?ade Model Reconstruction Using Parallel Images Acquired by Line Scan Cameras[C]//IEEE International Conference on Image Processing, Genova, 2005, 1: I-1009.

[3] LI Y S, YOUNG T Y, MAGERL J A. Subpixel Edge Detection and Estimation with A Microprocessor- controlled Line Scan Camera [J]. IEEE Transactions on Industrial Electronics, 1988, 35(1): 105-112.

[4] DOUXCHAMPS D, MACQ B, CHIHARA K. High Accuracy Traffic Monitoring Using Road-Side Line-Scan Cameras[C]// IEEE Intelligent Transportation Systems Conference, Toronto, 2006: 875-878.

[5] CHRISTENSEN H I, F?RSTNER W. Editorial Performance Characteristics of Vision Algorithms[J]. Machine Vision & Applications, 1997, 9(5): 215-218.

[6] FANG S, XIA X, XIAO Y. A Calibration Method of Lens Distortion for Line Scan Cameras[J]. Optik-international Journal for Light and Electron Optics, 2013, 124(24): 6749-6751.

[7] 李晉惠, 韓黃璞. CCD 光學(xué)系統(tǒng)成像畸變量與視場角的標(biāo)定[J]. 西安工業(yè)大學(xué)學(xué)報, 2012, 32(2): 99-102. LI Jinhui, HAN Huangpu. Calibrating Aberrations and Visual Angles in the CCD Imaging Optical System[J]. Journal of Xi’an Technological University, 2012, 32(2): 99-102. (in Chinese)

[8] WENG J, COHEN P, HERNIOU M. Camera Calibration with Distortion Models and Accuracy Evaluation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(10): 965-980.

[9] PER? J, KOVACIC S. Nonparametric, Model-based Radial Lens Distortion Correction Using Tilted Camera Assumption[C]// Proceedings of the Computer Vision Winter Workshop, 2002, 1: 286-295.

[10] PRESCOTT B, MCLEAN G F. Line-based Correction of Radial Lens Distortion[J]. Graphical Models and Image Processing, 1997, 59(1): 39-47.

[11] 羅紅娥, 陳平, 顧金良, 等. 線陣 CCD 測量系統(tǒng)的鏡頭畸變校正新方法[J]. 半導(dǎo)體光電, 2009, 30(3): 441-443. LUO Honge, CHEN Ping, GU Jinliang, et al. A New Method of Lens Distortion Calibration of Linear CCD Measurement System[J]. Semiconductor Optoelectronics, 2009, 30(3): 441-443. (in Chinese)

[12] ZHANG Z. Camera Calibration with One-dimensional Objects[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(7): 892-899.

[13] LIU H, YANG L, GUO Y, et al. Precise Calibration of Linear Camera Equipped with Cylindrical Lenses Using a Radial Basis Function-based Mapping Technique[J]. Optics Express, 2015, 23(3): 3412-3426.

[14] 劉金國. 大視場光電測量系統(tǒng)的精密幾何標(biāo)定和畸變校正的研究[J]. 光學(xué)精密工程, 1994, 2(4): 109-120. LIU Jinguo. Study on High Accurate Geometric Calibration of Precision Photo-electronic Measuring System with Large Field of View and Distortion Correcting[J]. Optics and Precision Engineering, 1994, 2(4): 109-120. (in Chinese)

[15] 張蔚, 李恩普, 陳建明. 大視場光學(xué)系統(tǒng)畸變曲線擬合[J]. 電光與控制, 2004, 11(4): 57-59. ZHANG Wei, LI Enpu, CHEN Jianming. Curved-fitting Methods for Distortion Correction of Large-FOV Optical System[J]. Electronics Optics & Control, 2004, 11(4): 57-59. (in Chinese)

[16] ZHANG Z. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[17] TSAI R. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344.

[18] LIU Y, HUANG T S, FAUGERAS O D. Determination of Camera Location from 2-D to 3-D Line and Point Correspondences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(1): 28-37.

[19] HEIKKILA J, SILVEN O. A Four-step Camera Calibration Procedure with Implicit Image Correction [C]//Computer Vision and Pattern Recognition, 1997 Proceedings, 1997 IEEE Computer Society Conference on. IEEE, 1997: 1106-1112.

[20] 李立春, 許穎慧, 孟彥鵬, 等. 月面探測中的單目相機成像測量方法[J]. 航天返回與遙感, 2015, 36(5): 36-43. LI Lichun, XU Yinghui, MENG Yanpeng, et al. Measurement Method Based on Image of Mono-view in Lunar Exploration[J]. Spacecraft Recovery and Remote Sensing, 2015, 36(5): 36-43. (in Chinese)

[21] MORé J J. The Levenberg-marquardt Algorithm: Implementation and Theory[M]//Numerical Analysis. Berlin: Springer Berlin Heidelberg, 1978: 105-116.

[22] TAKEDA H, FARSIU S, MILANFAR P. Kernel Regression for Image Processing and Reconstruction[J]. IEEE Transactions on Image Processing, 2007, 16(2): 349-366.

（編輯：王麗霞）

Calibration and Distortion Correction Method of Line Scan Camera

ZHU Yao WANG Zhile HE Lei ZHOU Chenghao

（School of Astronautics, Harbin Institute of Technology, Harbin 150001, China）

Line scan cameras are more and more widely used in measurement filed owning to their high resolution and high data-processing efficiency. However, optical distortion of the line scan camera can have direct impact on the accuracy of geometric position, and even results in a failure to image. In this paper, a method mapping data from one dimension to two dimension without changing the original ones is proposed to calibrate the line scan camera using the existing area-based calibration method. During the calibration, a new calibration pattern is used to correlate the world coordinate system and the image coordinate system. The digital image processing method is used to calibrate and correct the distortion of the optical lens, which basically eliminates the measurement error caused by the image deformation and effectively solves the problem of reducing the accuracy of geometric position due to the lens distortion.

image processing; camera calibration; distortion correction; line scan camera

V557+.1

A

1009-8518(2017)06-0046-08

10.3969/j.issn.1009-8518.2017.06.006

朱瑤，男，1991年生，2016年獲哈爾濱工業(yè)大學(xué)光學(xué)工程專業(yè)工程碩士學(xué)位，現(xiàn)在哈爾濱工業(yè)大學(xué)光學(xué)工程專業(yè)攻讀博士學(xué)位。研究方向為光學(xué)圖像處理技術(shù)和光電系統(tǒng)半實物仿真技術(shù)。E-mail：yuzhimingren@163.com。

2017-04-12

國家重大科學(xué)儀器設(shè)備開發(fā)專項（2013YQ350747）