一種動態(tài)雙模態(tài)線陣相機(jī)的聯(lián)合標(biāo)定方法

摘" 要： 在實(shí)際工業(yè)應(yīng)用中，線陣相機(jī)在被測物體運(yùn)動速度快、拍攝視場范圍廣以及精度要求高的場景下比面陣相機(jī)更具優(yōu)勢，并且將二維圖像數(shù)據(jù)與三維點(diǎn)云數(shù)據(jù)相結(jié)合能使信息量更豐富，能更好地還原真實(shí)場景。為提高在工業(yè)應(yīng)用場景下的雙模態(tài)數(shù)據(jù)的結(jié)合精度，提出一種動態(tài)雙模態(tài)線陣相機(jī)的聯(lián)合標(biāo)定方法，該方法能實(shí)現(xiàn)簡便快捷的2D線掃相機(jī)與3D線掃相機(jī)之間的聯(lián)合標(biāo)定。實(shí)驗(yàn)結(jié)果表明，該算法能以較小計算量實(shí)現(xiàn)高精度雙模態(tài)雙線掃相機(jī)的聯(lián)合標(biāo)定。

關(guān)鍵詞： 線陣相機(jī)； 聯(lián)合標(biāo)定； 雙模態(tài)數(shù)據(jù)； 畸變校正； 二維圖像； 三維點(diǎn)云

中圖分類號： TN98?34； TH74" " " " " " " " " " " " 文獻(xiàn)標(biāo)識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）05?0148?07

Joint calibration method for dynamic bimodal line array cameras

WANG Ling， LI Jinlong， LUO Lin， GAO Xiaorong

（School of Physical Science and Technology， Southwest Jiaotong University， Chengdu 610031， China）

Abstract： In view of the actual industrial applications， line array cameras have more advantages than area?array cameras in the scenes of fast motion of the objects under test， wide shooting field of view and high accuracy requirements. In addition， the combination of 2D image data and 3D point cloud data can make the information richer and restore the real scene better. Therefore， a joint calibration method for dynamic bimodal line array cameras is proposed to improve the accuracy of the combination of bimodal data in industrial application scenarios. This method can realize simple and fast joint calibration between 2D line scan camera and 3D line scan camera. The experimental results show that the proposed algorithm can realize the joint calibration of high?precision bimodal dual?line?scan cameras with a small amount of computation.

Keywords： line array camera; joint calibration; bimodal data; aberration correction; 2D image; 3D point cloud

0" 引" 言

相機(jī)標(biāo)定是機(jī)器視覺中的重要步驟，聯(lián)合標(biāo)定更是目標(biāo)檢測等計算機(jī)視覺領(lǐng)域中的關(guān)鍵問題之一。對不同模態(tài)的數(shù)據(jù)進(jìn)行聯(lián)合標(biāo)定，利用計算機(jī)對多模態(tài)數(shù)據(jù)進(jìn)行綜合處理從而執(zhí)行目標(biāo)檢測，能使獲取的數(shù)據(jù)形式更豐富[1]。在某些被測物體運(yùn)動速度快、拍攝視場范圍大以及精度要求高的工業(yè)場景中，線陣相機(jī)的各項(xiàng)指標(biāo)相較于面陣相機(jī)更具優(yōu)勢[2]。但線陣相機(jī)的標(biāo)定原理較復(fù)雜，其相關(guān)研究內(nèi)容相對面陣相機(jī)較少，且目前絕大多數(shù)有關(guān)線陣相機(jī)標(biāo)定的理論研究都著眼于單線陣相機(jī)，或是二維雙線陣相機(jī)的標(biāo)定，主要用于提高精度以達(dá)到后續(xù)三維重建中圖像匹配的要求。

隨著現(xiàn)代工業(yè)技術(shù)的發(fā)展，二維數(shù)據(jù)與三維數(shù)據(jù)的融合技術(shù)能更充分地結(jié)合顏色數(shù)據(jù)以及幾何信息，在實(shí)際場景中應(yīng)用非常廣泛。對于相機(jī)拍攝得到的數(shù)據(jù)而言，相機(jī)之間的標(biāo)定精度很大程度上決定了最終拍攝到的圖像數(shù)據(jù)與三維數(shù)據(jù)能實(shí)現(xiàn)的融合精度[3]，所以實(shí)現(xiàn)相機(jī)之間的高精度聯(lián)合標(biāo)定很有必要。

國內(nèi)外對不同模態(tài)數(shù)據(jù)的相機(jī)間聯(lián)合標(biāo)定進(jìn)行了很多嘗試。針對雙模態(tài)相機(jī)之間的聯(lián)合標(biāo)定而言，目前大多數(shù)的研究著眼于相機(jī)與激光雷達(dá)之間的標(biāo)定。文獻(xiàn)[4]在2010年提出了一種利用全向相機(jī)系統(tǒng)對三維激光掃描儀進(jìn)行外部校準(zhǔn)的方法。文獻(xiàn)[5]利用棋盤格的邊緣檢測對相機(jī)以及三維激光雷達(dá)進(jìn)行了外參標(biāo)定。文獻(xiàn)[6]通過擬合三維點(diǎn)云中棋盤的4個角，將兩相機(jī)之間的標(biāo)定轉(zhuǎn)換為三維到二維的匹配問題，也就是未校準(zhǔn)透視n點(diǎn)（Uncalibrated Perspective?n?Point， UPnP）算法完成聯(lián)合標(biāo)定。文獻(xiàn)[7]采用普通的盒子，分別從圖像以及點(diǎn)云中提取盒子角點(diǎn)，建立點(diǎn)到點(diǎn)的約束關(guān)系完成標(biāo)定。文獻(xiàn)[8]提出采用一種同時提取球體中心的標(biāo)定方法實(shí)現(xiàn)聯(lián)合標(biāo)定。上述方法在多模態(tài)的聯(lián)合標(biāo)定內(nèi)容上已經(jīng)取得了很好的成效，但是仍然存在一些不足，如標(biāo)定過程中需要人工手動操作對某些特征點(diǎn)進(jìn)行篩選，自動化程度不夠，標(biāo)定步驟較為復(fù)雜，且上述多模態(tài)聯(lián)合標(biāo)定針對的是面陣2D相機(jī)獲取的圖像與三維點(diǎn)云數(shù)據(jù)之間的校準(zhǔn)，在適用線陣2D的工業(yè)檢測場景下，靈活度不夠高。

針對該問題，本文設(shè)計了一種由Apriltag[9]二維碼組合而成的三維標(biāo)定靶標(biāo)，并提出了一種針對線陣2D相機(jī)與線陣3D相機(jī)的標(biāo)定方法，通過搭建2Damp;3D視覺模組來實(shí)現(xiàn)動態(tài)雙模態(tài)線陣相機(jī)的高精度聯(lián)合標(biāo)定。該方法不需要制作精密復(fù)雜的標(biāo)定板，也不需要高精度移動平臺，且實(shí)施方便、操作性強(qiáng)，為工業(yè)雙模態(tài)線陣相機(jī)的采集應(yīng)用場景提供了一種有效方法。

1" 基本原理

1.1" 線陣2D相機(jī)成像原理

線陣2D相機(jī)的成像幾何模型可以由面陣相機(jī)的成像過程推導(dǎo)而來，其成像模型可以看作是世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像坐標(biāo)系以及像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系[10]。面陣相機(jī)在成像過程中的坐標(biāo)系如圖1所示。

圖1中：[p]點(diǎn)的像素坐標(biāo)點(diǎn)[（u，v）]與其對應(yīng)世界坐標(biāo)系物點(diǎn)[P（Xw，Yw，Zw）]之間的變換關(guān)系可以表達(dá)為式（1）：

[Zcuv1=fx0u000fyv0000" 10R3×3T3×101×311×1XwYwZw1=m11m12m13m14m21m22m23m24m31m32m33m34XwYwZw1] （1）

式中：（[Xw，Yw，Zw]）表示世界坐標(biāo)系下的[P]點(diǎn)坐標(biāo)；[R]表示世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)矩陣；[T]是世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的平移向量，統(tǒng)稱為相機(jī)外參；[fx=fdx]，[fy=fdy]，[f]為該相機(jī)的焦距；[u0]、[v0]稱為相機(jī)內(nèi)參；3×4矩陣[m11～m34]表示相機(jī)成像矩陣。公式（1）可以概述為面陣相機(jī)的成像幾何模型。

線陣相機(jī)相對于面陣相機(jī)來說，捕獲圖像的傳感器只有一行或者幾行，相當(dāng)于公式（1）中的[v]行可簡化為0，得到簡化后的表達(dá)式（2）：

[Zcu01=fx0u000fy000010R3×3T3×101×311×1XwYwZw1=m11m12m13m14m21m22m23m24m31m32m33m34XwYwZw1] （2）

公式（2）就是典型的線陣2D相機(jī)的成像幾何模型，其中[fy≠0]不需要標(biāo)定。

1.2" 線陣3D相機(jī)成像原理

本文采用的西克Ranger相機(jī)，是一種基于激光線掃原理的線掃3D相機(jī)，其掃描成像系統(tǒng)如圖2所示。

激光線掃3D相機(jī)主要采用激光三角法[11]來獲得待測物深度信息，激光發(fā)生器發(fā)射激光到被測物體表面，形成激光條紋，由相機(jī)對圖像進(jìn)行采集，通過連續(xù)移動將分別采集到的圖像通過處理器對激光條紋的中心線進(jìn)行提取，提取出中心線坐標(biāo)數(shù)據(jù)，再轉(zhuǎn)換成含有深度信息的三維點(diǎn)云數(shù)據(jù)。

激光三角法主要分為直射式和斜射式，本實(shí)驗(yàn)中采用的線掃3D相機(jī)主要基于直射式激光三角法，其原理如圖3所示。

將相機(jī)靶面上的成像點(diǎn)到基準(zhǔn)點(diǎn)之間的距離表示為[z']，被測物體表面到基準(zhǔn)面之間的高度差為[z]，其關(guān)系式為：

[z=l×z'×sinβd×sinα-z'×sin （α+β）] （3）

式中：[α]表示入射到基準(zhǔn)面的激光線與其反射光線的夾角；[β]表示相機(jī)靶面與從基準(zhǔn)面反射到相機(jī)中的激光線之間的夾角；[l]、[d]分別代表成像物距和像距。

西客Ranger相機(jī)內(nèi)部集成了從掃描的剖面生成對應(yīng)3D數(shù)據(jù)的算法，能夠直接輸出高精度的3D數(shù)據(jù)。

1.3" 線陣2D與線陣3D相機(jī)聯(lián)合標(biāo)定原理

不論是面陣相機(jī)還是線陣相機(jī)，由于鏡頭的制作裝配等流程不會是百分百理想的，也就是從世界坐標(biāo)系物點(diǎn)[P]到其對應(yīng)[p]點(diǎn)之間不能視作完全理想化的投影過程，真實(shí)的[p'（x'，y'）]點(diǎn)相對于理想成像點(diǎn)[p]之間是存在誤差的。由于本文針對線陣相機(jī)進(jìn)行畸變校正，而線陣相機(jī)僅存在一行或幾行成像單元，所以只考慮[x]軸方向的畸變，將[p（x，y）]與[p'（x'，y'）]之間的位置關(guān)系表達(dá)為：

[x'=x+δxx，y] （4）

式中[δx]表示[x]軸方向上的鏡頭畸變量。

非線性鏡頭畸變[12]主要存在三種類型：徑向畸變、離心畸變以及薄棱鏡畸變。徑向畸變主要是由鏡頭中各透鏡存在的曲面誤差導(dǎo)致的；離心畸變主要由鏡頭光軸和相機(jī)光軸之間不同軸而導(dǎo)致；薄棱鏡畸變則主要由鏡頭加工裝配安裝等問題引起。文獻(xiàn)[13]指出，鏡頭畸變建模時可以舍棄高階分量，有時考慮過多高階分量反而會造成測量結(jié)果的不穩(wěn)定。因此，將線陣相機(jī)的畸變模型簡化為：

[x'=xd+k1+k2xd+k3x2d+k4x3d] （5）

式中：[k1]、[k2]、[k3]、[k4]代表畸變校正系數(shù)；[xd]=[xf]=[XcZc]。公式（5）中的畸變校正可以對線陣相機(jī)拍攝圖像中的每一個像素點(diǎn)進(jìn)行計算，且只考慮[x]軸方向上的畸變校正，最終可以根據(jù)公式（5）算出二維圖像每一個像素列的標(biāo)定值完成畸變校正。而在實(shí)驗(yàn)中設(shè)置的線掃相機(jī)拍攝圖像的像素列的個數(shù)應(yīng)當(dāng)與畸變校正數(shù)據(jù)值的個數(shù)相一致。

本實(shí)驗(yàn)采用的線掃3D相機(jī)是Ranger相機(jī)，對于輸出的三維點(diǎn)云數(shù)據(jù)以及強(qiáng)度圖是自動標(biāo)定完成的，所以兩臺相機(jī)中只針對線陣2D相機(jī)完成上述圖像去畸變操作。

本實(shí)驗(yàn)以公式（2）為出發(fā)點(diǎn)設(shè)計聯(lián)合標(biāo)定實(shí)驗(yàn)方案，公式（2）表示線陣相機(jī)標(biāo)定中世界坐標(biāo)系的物點(diǎn)對應(yīng)像素坐標(biāo)系中的像素點(diǎn)之間的轉(zhuǎn)換關(guān)系。通過搭建由線陣2D相機(jī)以及線陣3D相機(jī)組合而成的2Damp;3D視覺模組，兩個相機(jī)的行方向在搭建時采用機(jī)械對齊，將公式（2）轉(zhuǎn)換為更為簡潔的單維度標(biāo)定法[14]，從而極大地減少該算法計算量。用于聯(lián)合標(biāo)定中，世界坐標(biāo)系的物點(diǎn)由線陣3D相機(jī)輸出的被測物真實(shí)點(diǎn)云值替代，像素坐標(biāo)系中的像素點(diǎn)則直接對應(yīng)線陣2D相機(jī)拍攝得到的二維圖像像素點(diǎn)。使用該2Damp;3D視覺模組對靶標(biāo)進(jìn)行掃描采集，分別提取特征點(diǎn)對應(yīng)像素坐標(biāo)以及真實(shí)世界坐標(biāo)，通過多組對應(yīng)特征點(diǎn)對解析得到兩相機(jī)之間的轉(zhuǎn)換關(guān)系式。

首先是針對聯(lián)合標(biāo)定中靶標(biāo)的設(shè)計，相機(jī)的標(biāo)定精度與合適靶標(biāo)的選擇息息相關(guān)?？紤]到標(biāo)定對于特征點(diǎn)對提取的準(zhǔn)確性要求，本實(shí)驗(yàn)選取了二維碼AprilTag作為靶標(biāo)圖案，AprilTag是由密歇根大學(xué)的APRIL機(jī)器人實(shí)驗(yàn)室提出的。官方對AprilTag的描述是視覺基準(zhǔn)系統(tǒng)（Visual Fiducial System）[15]，其應(yīng)用領(lǐng)域包括AR、機(jī)器人、相機(jī)校正等，本實(shí)驗(yàn)標(biāo)定采用的系列為tag36h11。由于要解析二維圖像特征點(diǎn)像素坐標(biāo)與世界坐標(biāo)之間的對應(yīng)關(guān)系，特征點(diǎn)在三維空間中的深度信息參與公式計算，所以本文采用的是三維立體靶標(biāo)。于是設(shè)計出一種由多組二維碼圖案相結(jié)合的三維立體靶標(biāo)，將tag36h11系列中不同序列二維碼圖案打印下來，粘貼在H形的長桿兩側(cè)，中間的連接桿空出以方便移動靶標(biāo)時進(jìn)行抓取，每張二維碼平面與H形長桿平面形成30°左右的夾角，不同二維碼之間相互平行，使得在相機(jī)以二維碼平面平行于相機(jī)移動掃描時，能在H形長桿兩側(cè)形成前后的空間距離差，也就是靶標(biāo)圖案所呈現(xiàn)出來的3D狀。相較于平面維度的靶標(biāo)，立體形態(tài)的靶標(biāo)結(jié)構(gòu)能夠增加一個維度的約束，有效提高了標(biāo)定的穩(wěn)定性[16]。

線陣2D相機(jī)與線陣3D相機(jī)之間的聯(lián)合標(biāo)定流程如圖4所示。

待設(shè)置好兩個相機(jī)的采集幀率后，以適當(dāng)?shù)囊苿铀俣纫苿影袠?biāo)，使線陣2D相機(jī)與線陣3D相機(jī)都能同時采集到H形靶標(biāo)兩側(cè)相對完整的二維碼圖案，以此作為聯(lián)合標(biāo)定的數(shù)據(jù)。線陣2D相機(jī)分辨率設(shè)置為4 096×2 000，利用公式（5）計算出每一個像素列的標(biāo)定值，對應(yīng)4 096個2D線陣去畸變校正數(shù)據(jù)。

線掃3D相機(jī)掃描靶標(biāo)除了能夠采集到被測物點(diǎn)云數(shù)據(jù)，還能輸出對應(yīng)強(qiáng)度圖數(shù)據(jù)。由于上述2Damp;3D視覺模組的兩個相機(jī)行方向在搭建時就采用了機(jī)械對齊的光學(xué)搭建形式，其掃描的[Yw]以及[v]值在聯(lián)合標(biāo)定中并不重要，因此能減少一個維度在標(biāo)定中的限制。對式（2）進(jìn)行簡化，得到化簡后的聯(lián)合標(biāo)定轉(zhuǎn)換關(guān)系式，見式（6）：

[Zcu1=m′11m′12m′13m′21m′22m′23XwZw1] （6）

將式（6）展開可得：

[Zc×u=m′11×Xw+m′12×Zw+m′13Zc=m′21×Xw+m′22×Zw+m′23] （7）

對式（7）進(jìn)行化簡，即：

[u=m′11×Xw+m′12×Zw+m′13m′21×Xw+m′22×Zw+m′23] （8）

又因?yàn)槿S點(diǎn)云無法直觀體現(xiàn)出靶標(biāo)的紋理圖案信息，所以本實(shí)驗(yàn)通過處理強(qiáng)度圖來反推特征點(diǎn)的三維點(diǎn)云坐標(biāo)，從強(qiáng)度圖中找出各個特征角點(diǎn)的像素坐標(biāo)后，代入點(diǎn)云數(shù)據(jù)中相對應(yīng)的[Xw]與[Zw]，輸出各個特征點(diǎn)相對應(yīng)的三維物理坐標(biāo)[（Xw，Zw）]值。最后利用最小二乘法求解公式（6）中的轉(zhuǎn)換矩陣，完成線陣2D相機(jī)與線陣3D相機(jī)之間的聯(lián)合標(biāo)定。

2" 實(shí)驗(yàn)結(jié)果及分析

2.1" 實(shí)驗(yàn)數(shù)據(jù)分析

首先由線陣2D相機(jī)采集靶標(biāo)得到的二維圖像以及二維畸變矯正圖像數(shù)據(jù)，如圖5、圖6所示。

由線陣3D相機(jī)采集得到的三維數(shù)據(jù)的強(qiáng)度圖如圖7所示。

該強(qiáng)度圖對應(yīng)的點(diǎn)云數(shù)據(jù)如圖8所示。

二維圖像的分辨率為4 096×2 000，強(qiáng)度圖的分辨率為2 560×2 000。

該線陣3D相機(jī)拍攝到的強(qiáng)度圖需要先進(jìn)行水平的鏡像反轉(zhuǎn)，才能從中檢測到相應(yīng)二維碼序列以及在強(qiáng)度圖上對應(yīng)特征角點(diǎn)的像素坐標(biāo)。而后同時輸入畸變矯正后的二維圖像以及鏡像翻轉(zhuǎn)后的強(qiáng)度圖進(jìn)行特征點(diǎn)提取，首先篩選出兩張圖像都能檢測到的二維碼，對比各個二維碼的序列號，序列號相同的特征角點(diǎn)同時輸出，一一對應(yīng)。分別檢測到的二維碼序號以及角點(diǎn)如圖9、圖10所示。

二維圖檢測到的特征點(diǎn)數(shù)據(jù)可直接代入公式（8）計算，但是強(qiáng)度圖檢測到的特征點(diǎn)是針對強(qiáng)度圖像素坐標(biāo)而言的，需代入由3D線陣相機(jī)拍攝輸出的點(diǎn)云數(shù)據(jù)反推出各個特征點(diǎn)對應(yīng)的[Xw]、[Zw]值。由于在利用強(qiáng)度圖找二維碼角點(diǎn)時進(jìn)行了鏡像翻轉(zhuǎn)處理，所以在求真實(shí)三維[（Xw，Zw）]坐標(biāo)時需要處理強(qiáng)度圖鏡像翻轉(zhuǎn)帶來的影響。計算所得部分[u]、[Xw]、[Zw]數(shù)據(jù)如表1所示，其中檢測到的特征點(diǎn)對共計44組。

得到檢測特征點(diǎn)對應(yīng)的[u]、[Xw]、[Zw]值，將公式（8）變換為[u=m11m23x+m12m23z+m13m23-m21m23xu-m22m23zu]，通過最小二乘法求解，得到2D線陣相機(jī)與線陣3D相機(jī)之間的轉(zhuǎn)換矩陣，也稱幾何模型[m11m23m12m23m13m23m21m23m22m231]的值。計算結(jié)果如表2所示。

2.2" 驗(yàn)證實(shí)驗(yàn)及分析

上述實(shí)驗(yàn)已經(jīng)完成了線陣2D相機(jī)和線陣3D相機(jī)之間的多模態(tài)聯(lián)合標(biāo)定，得到了兩相機(jī)之間的轉(zhuǎn)換矩陣，但該計算結(jié)果可靠與否還需要由更多組數(shù)據(jù)進(jìn)行驗(yàn)證。本實(shí)驗(yàn)的驗(yàn)證方法是：采用另外一組同樣類型的數(shù)據(jù)對強(qiáng)度圖進(jìn)行鏡像翻轉(zhuǎn)，識別其中的特征角點(diǎn)，推出對應(yīng)特征角點(diǎn)的三維空間[Xw]、[Zw]值，將找到的特征點(diǎn)的[Xw]、[Zw]值代入公式（8），得到“重投影”后的像素值[u]，相當(dāng)于采用重投影誤差對實(shí)驗(yàn)所得的轉(zhuǎn)換矩陣進(jìn)行精度評估。驗(yàn)證實(shí)驗(yàn)第一組數(shù)據(jù)如表3所示。

第一組驗(yàn)證數(shù)據(jù)重投影后最大像素誤差約為4.7個像素。

驗(yàn)證實(shí)驗(yàn)第一組數(shù)據(jù)重投影后在相應(yīng)去畸變后二維靶標(biāo)圖上的特征點(diǎn)數(shù)據(jù)如圖11所示。

圖上并非所有的二維碼角點(diǎn)都存在紅點(diǎn)標(biāo)注，原因是由于存在反光等噪聲對實(shí)拍數(shù)據(jù)的影響，并非所有的二維碼圖標(biāo)都能同時被相應(yīng)圖像和強(qiáng)度圖檢測出來。

驗(yàn)證實(shí)驗(yàn)第二組數(shù)據(jù)如表4所示。

第二組驗(yàn)證數(shù)據(jù)重投影后最大像素誤差約為4.3個像素。

驗(yàn)證實(shí)驗(yàn)第二組數(shù)據(jù)重投影后在相應(yīng)去畸變后二維靶標(biāo)圖上的特征點(diǎn)數(shù)據(jù)如圖12所示。

以上兩組不同的驗(yàn)證數(shù)據(jù)組都分別包含了60組特征點(diǎn)對。

從驗(yàn)證實(shí)驗(yàn)結(jié)果可知，采用本實(shí)驗(yàn)對線陣2D相機(jī)以及線陣3D相機(jī)所做的聯(lián)合標(biāo)定實(shí)驗(yàn)，反映在兩組驗(yàn)證數(shù)據(jù)組的結(jié)果上，最大誤差不超過4.7個像素值。

從主觀上對該聯(lián)合標(biāo)定的質(zhì)量進(jìn)行判斷，根據(jù)兩組驗(yàn)證實(shí)驗(yàn)的數(shù)據(jù)圖像來看，重投影后的特征角點(diǎn)觀察上幾乎都處于對應(yīng)的正確二維碼角點(diǎn)位置。從客觀上評價，本實(shí)驗(yàn)采用了另外兩組同類型數(shù)據(jù)對實(shí)驗(yàn)所得的聯(lián)合標(biāo)定轉(zhuǎn)換矩陣進(jìn)行重投影驗(yàn)證，用三維點(diǎn)云數(shù)據(jù)得到的世界坐標(biāo)系下的特征角點(diǎn)對應(yīng)[Xw]、[Zw]值，通過轉(zhuǎn)換矩陣投影到線陣2D相機(jī)所得的二維圖像上，比較投影點(diǎn)和真實(shí)點(diǎn)之間的像素差，得到像素誤差，由驗(yàn)證實(shí)驗(yàn)結(jié)果可知，最大像素誤差不超過4.7個像素值。驗(yàn)證了本文線陣2D相機(jī)與線陣3D相機(jī)聯(lián)合標(biāo)定算法的有效性，能夠?qū)崿F(xiàn)雙模態(tài)雙線陣相機(jī)之間的高精度標(biāo)定。同時，采用便捷的靶標(biāo)，無需借助精密的移動平臺，僅需手動以合適的角度進(jìn)行數(shù)據(jù)采集就能實(shí)現(xiàn)高精度的聯(lián)合標(biāo)定，能夠滿足如采集各型動車組車頂、車側(cè)、車底（走行部）高品質(zhì)二維和三維圖像等工業(yè)場景的實(shí)際應(yīng)用要求，具有可觀的應(yīng)用前景。

3" 結(jié)" 論

線陣2D相機(jī)作為圖像信息采集傳感器，具有采集頻率高、拍攝視場范圍廣等優(yōu)點(diǎn)，能克服傳統(tǒng)面陣相機(jī)幀幅率受限、難以達(dá)到應(yīng)用現(xiàn)場測量需求的缺點(diǎn)。線掃3D相機(jī)能獲取待測物體的三維點(diǎn)云以及強(qiáng)度圖信息，具有豐富的空間信息，但是分辨率低，且缺少真實(shí)的色彩紋理信息。因此，采用一種聯(lián)合標(biāo)定算法，將線陣2D相機(jī)拍攝到的二維圖像與線掃3D相機(jī)獲得的點(diǎn)云數(shù)據(jù)進(jìn)行聯(lián)合標(biāo)定，得到兩相機(jī)之間的轉(zhuǎn)換關(guān)系，就能夠保留兩種數(shù)據(jù)模式的優(yōu)勢，豐富數(shù)據(jù)的信息量，從而提高后續(xù)應(yīng)用的整體性能。

本文在總結(jié)了單線陣相機(jī)以及多線陣相機(jī)現(xiàn)有標(biāo)定算法的基礎(chǔ)上，提出了一種動態(tài)雙模態(tài)線陣相機(jī)的聯(lián)合標(biāo)定方法。通過線陣2D相機(jī)與線陣3D相機(jī)某一方向機(jī)械對齊的光學(xué)布局搭建形式，組成了2Damp;3D視覺模組，完成了圖像模態(tài)與三維點(diǎn)云數(shù)據(jù)模態(tài)數(shù)據(jù)之間的高質(zhì)量、高精度聯(lián)合標(biāo)定，使得兩相機(jī)于運(yùn)動垂直方向的偏差在4.7個像素以內(nèi)，取得了良好的實(shí)驗(yàn)測試效果。為后續(xù)2Damp;3D視覺模組在實(shí)際工業(yè)中的高品質(zhì)二維和三維圖像的采集應(yīng)用奠定了基礎(chǔ)。

注：本文通訊作者為李金龍。

參考文獻(xiàn)

[1] 韓義波，楊新鋒，滕書華，等.激光與紅外融合目標(biāo)檢測[J].紅外與激光工程，2018，47（8）：204?210.

[2] 王艷，袁峰，姜宏，等.基于三線陣CCD空間目標(biāo)的高精度位姿解算[J].光學(xué)學(xué)報，2018，38（5）：207?215.

[3] 張佳，唐義，卞子煜，等.三維點(diǎn)云與可見光圖像融合方法及可視化[J].激光與光電子學(xué)進(jìn)展，2023，60（6）：416?422.

[4] PANDEY G， MCBRIDE J， SAVARESE S， et al. Extrinsic calibration of a 3D laser scanner and an omnidirectional camera [J]. IFAC proceedings volumes， 2010， 43（16）： 336?341.

[5] ZHOU L， LI Z， KAESS M. Automatic extrinsic calibration of a camera and a 3D LiDAR using line and plane correspondences [C]// 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）. New York： IEEE， 2018： 5562?5569.

[6] WANG W， SAKURADA K， KAWAGUCHI N. Reflectance intensity assisted automatic and accurate extrinsic calibration of 3D LiDAR and panoramic camera using a printed chessboard [J]. Remote sensing， 2017， 9（8）： 851.

[7] PUSZTAI Z， EICHHARDT I， HAJDER L. Accurate calibration of Multi?LiDAR?Multi?Camera systems [J]. Sensors， 2018， 18（7）： 2139.

[8] TóTH T， PUSZTAI Z， HAJDER L. Automatic LiDAR?camera calibration of extrinsic parameters using a spherical target [C]// 2020 IEEE International Conference on Robotics and Automation （ICRA）. New York： IEEE， 2020： 8580?8586.

[9] TANG D Q， HU T J， SHEN L C， et al. AprilTag array?aided extrinsic calibration of camera?laser multi?sensor system [J]. Robotics and biomimetics， 2016， 3： 59.

[10] 王國琿，錢克矛.線陣相機(jī)標(biāo)定方法綜述[J].光學(xué)學(xué)報，2020，40（1）：181?193.

[11] 劉源，沈小燕，陳愛軍，等.基于線激光三角法的圓孔尺寸測量研究[J].應(yīng)用激光，2020，40（2）：308?314.

[12] WANG J H， SHI F H， ZHANG J， et al. A new calibration model of camera lens distortion [J]. Pattern recognition， 2007， 41（2）： 607?615.

[13] TSAI R. A versatile camera calibration technique for high?accuracy 3D machine vision metrology using off?the?shelf TV cameras and lenses [J]. IEEE journal on robotics and automation， 1987， 3（4）： 323?344.

[14] 劉懷廣，王迪，楊金堂，等.鋰電池涂布在線測量中的線陣相機(jī)標(biāo)定方法[J].激光與光電子學(xué)進(jìn)展，2019，56（11）：184?189.

[15] MUHAMMAD S A， SALMAN A， KARSTEN B， et al. Analysis and improvements in AprilTag based state estimation [J]. Sensors （Basel， Switzerland）， 2019， 19（24）： 5480.

[16] 王慶，譚镕軒，馮悠揚(yáng)，等.基于三維標(biāo)定板的相機(jī)?激光雷達(dá)聯(lián)合標(biāo)定方法[J].中國慣性技術(shù)學(xué)報，2023，31（1）：100?106.