基于灰狼粒子群混合算法的相機(jī)標(biāo)定優(yōu)化方法

王道累， 柴萍萍*， 孫 昊， 胡 松， 韓 洋

(1.上海電力大學(xué)能源與機(jī)械工程學(xué)院， 上海 200090； 2.中國(guó)電建集團(tuán)江西省電力設(shè)計(jì)院有限公司， 南昌 330096)

日新月異的計(jì)算機(jī)技術(shù)和傳感器技術(shù)也推動(dòng)了無(wú)人駕駛、機(jī)器人定位導(dǎo)航、三維重建等相關(guān)領(lǐng)域的發(fā)展[1-3]。其中，標(biāo)定是一個(gè)基礎(chǔ)而重要的環(huán)節(jié)，提高標(biāo)定的精度是非常有必要的。目前，廣泛應(yīng)用并接受的標(biāo)定方法有兩種：傳統(tǒng)校準(zhǔn)法和自校準(zhǔn)方法。根據(jù)計(jì)算方法不同，傳統(tǒng)標(biāo)定法主要包括直接線(xiàn)性方法[4]、基于徑向排列約束(radial alignment constraint, RAC)的兩步標(biāo)定法[5]和張正友標(biāo)定法[6]等。直接線(xiàn)性變換法是將攝像機(jī)模型看作是線(xiàn)性的，這和實(shí)際情況不符，后經(jīng)過(guò)改進(jìn)引入非線(xiàn)性畸變因素。基于RAC 的兩步標(biāo)定法利用相機(jī)成像模型中的一部分內(nèi)在性質(zhì)和關(guān)系先求解出一些參數(shù)， 然后利用這些已求出的參數(shù)增加相機(jī)非線(xiàn)性畸變等因素對(duì)模型進(jìn)行優(yōu)化，這使得求解過(guò)程中大多是線(xiàn)性方程，計(jì)算簡(jiǎn)單，結(jié)果準(zhǔn)確。在2000年，一種里程碑式的方法由張正友提出，基于二維的棋盤(pán)格進(jìn)行標(biāo)定。該方法在兩步標(biāo)定法的基礎(chǔ)上改進(jìn)標(biāo)定物，用最大似然法求解各個(gè)參數(shù)。由于借助的外物成本低廉、易操作、標(biāo)定精度較高等優(yōu)點(diǎn)，這種方法被廣泛使用，但對(duì)精度的提高仍有局限性。

為了彌補(bǔ)這些方法的不足，中外學(xué)者在優(yōu)化求解算法和標(biāo)定物改進(jìn)兩個(gè)方向做了各種研究。傅思勇等[7]提出一種新的兩步標(biāo)定法，首先求解初始參數(shù)，后綜合考慮前二階徑向畸變、前二階切向畸變和薄棱鏡畸變，建立多畸變模型后迭代逼近求解，在噪聲的情況下仍能保持較小的誤差。向鵬等[8]提出基于深度學(xué)習(xí)的標(biāo)定方法，利用改進(jìn)DNN網(wǎng)絡(luò)逼近能力，輸入原始圖像的坐標(biāo)即能實(shí)現(xiàn)標(biāo)定，在大范圍、多拍攝角度等復(fù)雜環(huán)境都適用，但深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練需要GPU加速，對(duì)電腦配置要求高，且訓(xùn)練需要時(shí)間，不能快速標(biāo)定。雷陽(yáng)等[9]將粒子群算法和模擬退火算法結(jié)合得到混合算法，先用最小二乘法求得初始參數(shù)，再用混合算法優(yōu)化，此法有提高標(biāo)定的精度。Jiang等[10]改進(jìn)標(biāo)定物，利用液晶板進(jìn)行操作，在液晶板上生成一系列不同角度的標(biāo)定圖像，無(wú)需人工操作，結(jié)果精度高，但相對(duì)于棋盤(pán)格而言，液晶板增加了成本。

沿用棋盤(pán)格標(biāo)定，改進(jìn)優(yōu)化算法，提出一種基于灰狼和粒子群優(yōu)化的混合算法，改善粒子群算法易早熟的缺點(diǎn)，將該方法首次應(yīng)用到攝像機(jī)標(biāo)定上，與幾種方法比較后明顯看出提高了標(biāo)定的精度，且標(biāo)定的結(jié)果穩(wěn)定可靠。

1 攝像機(jī)成像模型

攝像機(jī)成像模型主要反映相機(jī)把真實(shí)3D世界拍攝成圖片的過(guò)程，其可簡(jiǎn)單看作是小孔成像模型[11]。即其是一個(gè)線(xiàn)性模型，如圖1所示。成像涉及4個(gè)坐標(biāo)系，即世界、相機(jī)、圖像和像素坐標(biāo)系之間按一定規(guī)律進(jìn)行變換。

(XW,YW,ZW)為世界坐標(biāo)系；(XC,YC,ZW)為相機(jī)坐標(biāo)系；(x,y)為圖像坐標(biāo)系;(u,v)為像素坐標(biāo)圖1 單目攝像機(jī)模型Fig. 1 Monocular camera model

(1)世界坐標(biāo)系(XW,YW,ZW)：或者可以稱(chēng)作測(cè)量坐標(biāo)系，是一個(gè)正交的三維3D直角坐標(biāo)系，以現(xiàn)實(shí)中存在的某一物體為標(biāo)準(zhǔn)建立。

(2)相機(jī)坐標(biāo)系(XC,YC,ZC)：同樣是一個(gè)3D直角正交坐標(biāo)系，原點(diǎn)在鏡頭光心，鏡頭光軸即是Z軸。

假設(shè)現(xiàn)實(shí)中三維空間中有一點(diǎn)A，其在世界坐標(biāo)系中坐標(biāo)為(XWA,YWA,ZWA),那通過(guò)式(1)可以得到點(diǎn)A在相機(jī)坐標(biāo)系中的坐標(biāo)(XCA,YCA,ZCA)：

(1)

式(1)中：R和T分別為旋轉(zhuǎn)矩陣和平移向量。

(3)圖像坐標(biāo)系(x,y)：建立在成像平面上的一個(gè)2D直角坐標(biāo)系，和上一個(gè)坐標(biāo)系之間的轉(zhuǎn)換被叫作透視變換，用幾何中的相似三角形知識(shí)就能求解，求解公式為

(2)

式(2)中：f為相機(jī)的焦距；XCA、YCA、ZCA分別為相機(jī)坐標(biāo)系下點(diǎn)A的X、Y、Z軸方向上的坐標(biāo)。

(4)像素坐標(biāo)系(u,v)：和圖像坐標(biāo)系建立在同一平面上，但區(qū)別在兩者的原點(diǎn)位置不一樣。之間的變換關(guān)系，可以描述為

(3)

式(3)中：(u0,v0)為兩坐標(biāo)軸交點(diǎn)即原點(diǎn)O的坐標(biāo)；dx、dy表示兩坐標(biāo)軸上單位像素的物理大小。

實(shí)際的應(yīng)用場(chǎng)景中，由于生產(chǎn)制造技術(shù)限制、安裝位置不理想等因素影響，硬件攝像機(jī)拍攝結(jié)果會(huì)存在非線(xiàn)性的畸變，這也是誤差的主要來(lái)源[12]。文獻(xiàn)[13]指出主要畸變分為偏心、徑向、薄棱鏡畸變3種。綜合作用下，在徑向和切向兩個(gè)方向上都會(huì)存在誤差，誤差計(jì)算公式為

(4)

式(4)中：k1、k2、p1、p2、k35個(gè)變量就是在兩個(gè)方向上與誤差相關(guān)的因數(shù)。

2 灰狼粒子群混合算法

2.1 標(biāo)準(zhǔn)粒子群算法

粒子群算法(particle swarm optimization，PSO)是1995年提出的一種仿生算法，來(lái)源于鳥(niǎo)群捕食[14]。每個(gè)粒子在尋優(yōu)過(guò)程中如同鳥(niǎo)群中的一只鳥(niǎo)，既可互相交換信息，又有記憶。從每個(gè)粒子位置中選出pbest(個(gè)體最優(yōu)位置)，并將每次搜索出的pbest作為gbest(全局最優(yōu)位置)更新的基礎(chǔ)。假設(shè)粒子i在dim維空間內(nèi)搜索求解，它的飛行位置xi=(xi,1,xi,2，…，xi,dim),速度vi=(vi,1,vi,2，…，vi,dim)。 該算法的位置和速度計(jì)算公式為

(5)

式(5)中：k表示目前是第k次迭代；w為慣性因數(shù)；c1、c2分別為個(gè)人和社會(huì)學(xué)習(xí)系數(shù)；r1、r2為一對(duì)(0,1)范圍內(nèi)互不干擾的隨機(jī)數(shù)。

2.2 灰狼算法

灰狼優(yōu)化(grey wolf optimization，GWO)算法是一種新的仿生算法，提出時(shí)間較晚，由Mirjalili在2014年給出，靈感來(lái)自狼群捕食活動(dòng)。狼群中的社會(huì)支配關(guān)系猶如金字塔形，被劃分成4個(gè)等級(jí)。在金字塔頂端的是α狼，擁有絕對(duì)的領(lǐng)導(dǎo)權(quán)，次之是β狼，在β狼下面的是δ狼，最低的是ω狼。其中，β狼服從α狼，δ狼服從于α狼和β狼，在金字塔底端的ω狼受其余3種狼的支配。在頭狼α的領(lǐng)導(dǎo)下，狼群分工合作，搜尋、圍捕和攻擊獵物[15]。類(lèi)似于灰狼的社會(huì)形態(tài)組成，將求解得到的最優(yōu)解、次優(yōu)解、季優(yōu)解和一般解看作狼群中的4個(gè)等級(jí)。尋優(yōu)過(guò)程可看作是狼群追捕獵物過(guò)程。

包圍的具體公式為

(6)

式(6)中：Xp(k)、X(k)分別表示在第k次尋優(yōu)后獵物和灰狼的位置；a為控制系數(shù)；A、B、D為系數(shù)因子；r1、r2為(0,1)范圍內(nèi)互不干擾的隨機(jī)數(shù)。

包圍獵物后，狼群在頭狼帶領(lǐng)下追捕獵物，獵物的位置隨著逃跑也會(huì)改變，此時(shí)，狼群的位置隨之改變，計(jì)算公式為

(7)

(8)

(9)

(10)

式中：Bα、Bβ、Bδ分別表示α狼、β狼、δ狼和其余狼之間的距離。

2.3 灰狼粒子群混合算法

粒子群收斂快但魯棒性弱，而灰狼算法正好相反，將兩個(gè)算法的優(yōu)點(diǎn)融合到一起即為灰狼粒子群混合算法[16]?；依橇Ｗ尤夯旌纤惴ㄖ饕莾蓚€(gè)算法嵌套使用，主循環(huán)為粒子群算法，次循環(huán)為灰狼算法，在每次主循環(huán)完成一次，將得到的gbest引導(dǎo)次循環(huán)中的頭狼追捕獵物，公式為

Xα(k+1)=gbest(k)

(11)

為了防止主循環(huán)中的粒子群陷入局部收斂，對(duì)其速度公式進(jìn)行優(yōu)化，將次循環(huán)后得到的頭狼位置Xi,dim(α)也參與速度的計(jì)算，速度公式更新為

(12)

式(12)中：w采用的非線(xiàn)性變化策略，初始的階段w值大，搜索能力強(qiáng)，到接近最優(yōu)解附近，w值縮小，開(kāi)啟細(xì)致小步長(zhǎng)搜索，w的更新公式為

(13)

式(13)中：w1、w2分別為慣性因數(shù)最大和小值；k為當(dāng)前迭代系數(shù)；itermax為最大迭代次數(shù)。

具體描述如下：

(1)在上下限范圍內(nèi)隨機(jī)生成種群位置X，初始化速度v，并給定最大迭代次數(shù)itermax，種群維度dim，種群數(shù)量n，學(xué)習(xí)率c1、c2、c3和慣性因數(shù)等參數(shù)。

(2)為了使適應(yīng)度函數(shù)最小(或最大)，根據(jù)灰狼算法產(chǎn)生最優(yōu)解、次優(yōu)解和季優(yōu)解，迭代L次后，返回最優(yōu)解的位置并跳出該循環(huán)。

(3)使適應(yīng)度函數(shù)最小(或最大)，分別根據(jù)式(13)、式(12)和式(5)重新計(jì)算速度和位置，每次循環(huán)后更新pbest和gbest的值，最后返回gbest的相關(guān)參數(shù)。

(4)如果在沒(méi)達(dá)到迭代停止條件的情況下，根據(jù)式(11)更新頭狼位置，然后從第2步開(kāi)始計(jì)算，完成次循環(huán)后進(jìn)行第3步。直到達(dá)到終止條件，此時(shí)，輸出內(nèi)外參數(shù)和最小誤差值。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 標(biāo)定實(shí)驗(yàn)

實(shí)驗(yàn)的硬件平臺(tái)是一臺(tái)采用索尼ICX445傳感器的數(shù)字?jǐn)z像機(jī)，來(lái)自德國(guó)AVT公司。在全分辨率1 624×1 234下，該Manta工業(yè)數(shù)字?jǐn)z像機(jī)幀率可達(dá)30 fps。采用8行11列的激光打印的標(biāo)定板，單個(gè)格子的尺寸為20 mm×20 mm，以棋盤(pán)格角點(diǎn)作為標(biāo)定點(diǎn)，共計(jì)88個(gè)角點(diǎn)。軟件平臺(tái)是在PYTHON上進(jìn)行數(shù)據(jù)處理。一共拍攝16張照片，部分圖片如圖2所示。

圖2 攝像機(jī)標(biāo)定拍攝的部分圖片F(xiàn)ig.2 Pictures of camera calibration

具體步驟如下：

步驟1用PYTHON-OPENCV可以得到圖像中的實(shí)際的像素坐標(biāo)(x,y)。

步驟2根據(jù)張正友方法得到的參數(shù)為基礎(chǔ)，確定迭代上下界。為了避免尋優(yōu)范圍太大造成收斂慢，將得到的內(nèi)參數(shù)(fx,fy,u0,v0)±80，畸變系數(shù)(k1,k2,p1,p2,k3)±10作為尋優(yōu)的上界和下界。設(shè)置粒子群粒子數(shù)量為80，w1為1.4，w2為0.3，學(xué)習(xí)率c1、c2、c3分別為1.9、1.3、0.3，次循環(huán)的灰狼算法中灰狼數(shù)量是25，運(yùn)行20次，主循環(huán)是運(yùn)行400次。建立目標(biāo)函數(shù)δ，即實(shí)際坐標(biāo)(x,y)，與優(yōu)化后反投影得到的(x′,y′)之間誤差的平均值，公式為

(14)

式(14)中；N表示標(biāo)定的角點(diǎn)個(gè)數(shù)；pj代表角點(diǎn)j的實(shí)際像素坐標(biāo)；p′j代表角點(diǎn)j的反投影坐標(biāo)；A表示攝像機(jī)內(nèi)參矩陣。

步驟3在上下界之間隨機(jī)生成初始值，初始值為9維。

步驟4先在次循環(huán)中用灰狼算法尋優(yōu)，經(jīng)過(guò)20次迭代以獲得頭狼的最佳位置，緊接著更新粒子群粒子的速度和位置，計(jì)算pbest_δ。

步驟5更新pbest_δ，判斷當(dāng)前得到的pbest_δ是否小于上一次迭代得到的pbest_δ，若是，就更新pbest_δ。否則，保留上一次迭代結(jié)果。

步驟6更新gbest，使得gbest_δ=min(pbest_δ)，并回到步驟3繼續(xù)執(zhí)行，直到迭代結(jié)束。

步驟7輸出全局最優(yōu)解。

3.2 實(shí)驗(yàn)結(jié)果與分析

圖3給出了基于灰狼粒子群混合算法在400次循環(huán)迭代過(guò)程中目標(biāo)函數(shù)的變化情況。從圖3可知，初始目標(biāo)函數(shù)值達(dá)到1.38左右。這是因?yàn)槌跏嘉恢檬窃诮o定的上下界隨機(jī)生成的，所以此時(shí)誤差會(huì)較大。在開(kāi)始到50次，曲線(xiàn)肉眼可見(jiàn)地下降很快。這是由于大的慣性因數(shù)帶來(lái)非常強(qiáng)的尋優(yōu)能力，收斂非?？臁Ｔ?0～150次，下降變得非常平緩，目標(biāo)函數(shù)值仍在減小。這個(gè)階段是在前期已獲得較優(yōu)解附近，更細(xì)致小范圍地尋找最優(yōu)解，即局部尋優(yōu)。在約200次后圖像基本不動(dòng)，說(shuō)明此時(shí)已經(jīng)求解到最優(yōu)目標(biāo)值。進(jìn)一步提取詳細(xì)參數(shù)和結(jié)果進(jìn)行分析。

圖3 目標(biāo)函數(shù)曲線(xiàn)Fig.3 Curve graph of objective function value

表1所示為基于混合算法求解出的相機(jī)標(biāo)定內(nèi)部參數(shù)和畸變系數(shù)以及目標(biāo)函數(shù)值，分別給出了迭代50、100、150、200、300、400次后的結(jié)果。從表1可知，在初始階段，算法快速收斂，目標(biāo)函數(shù)值從剛開(kāi)始的1.378像素值下降到了0.073像素值，下降了1.305像素值。在50次到150次時(shí)，下降了0.054像素值。在循環(huán)了150次但未到達(dá)200次時(shí)，反投影平均誤差略有減小。達(dá)到200次后，目標(biāo)函數(shù)值穩(wěn)定不變。

表1 基于混合粒子群算法標(biāo)定算法的結(jié)果

為了驗(yàn)證混合算法的精準(zhǔn)性，分別計(jì)算了張正友方法、標(biāo)準(zhǔn)粒子群算法、標(biāo)準(zhǔn)灰狼算法和本文算法標(biāo)定后的各參數(shù)和重投影平均誤差。表2給出來(lái)了4種計(jì)算方法的標(biāo)定結(jié)果。其中，本文算法攝像機(jī)標(biāo)定的平均誤差是0.017 86像素值，優(yōu)于張正友方法的0.211 34像素值，同樣小于粒子群算法的0.085 15像素值和灰狼算法的0.062 12像素值。

通過(guò)兩個(gè)試驗(yàn)對(duì)比，來(lái)檢驗(yàn)本文算法是否穩(wěn)定。每個(gè)試驗(yàn)會(huì)采用不一樣的標(biāo)定板，除此之外，其他條件都相同。第1個(gè)試驗(yàn)使用前文的標(biāo)定板(board1)采集圖片，分為3組，每組圖片數(shù)量依次為10、20、30張。第2個(gè)試驗(yàn)換規(guī)格為11×8，格子大小為15 mm×15 mm的標(biāo)定板(board2)重復(fù)上述操作。采用前面提到的4種方法進(jìn)行實(shí)驗(yàn)，即每個(gè)標(biāo)定方法都會(huì)進(jìn)行標(biāo)定板1(board1)和標(biāo)定板2(board2)的共計(jì)6組標(biāo)定試驗(yàn)。記錄每組的反投影平均誤差，最后計(jì)算3組實(shí)驗(yàn)反投影誤差的平均值，試驗(yàn)結(jié)果如表3所示。

從表3可看出，在第1個(gè)實(shí)驗(yàn)中，即標(biāo)定板用的是前文提到的board1的情況下,張正友標(biāo)定法得到誤差的平均值是0.210 88像素值，標(biāo)準(zhǔn)粒子群算法得到誤差的平均值是0.081 42像素值，灰狼算法得到誤差的平均值是0.061 19像素值，本文算法得到誤差的平均值是0.017 75像素值，優(yōu)于其他3種方法。在第2個(gè)試驗(yàn)中，將標(biāo)定板換為board2，同樣每種方法進(jìn)行3組試驗(yàn)。張正友標(biāo)定法得到誤差的平均值是0.163 12像素值，標(biāo)定標(biāo)準(zhǔn)粒子群和灰狼算法的誤差平均值分別為0.031 24像素值和0.059 73像素值，本文算法是0.015 90像素值，本文算法得到的誤差更小。綜合兩個(gè)試驗(yàn)來(lái)看，本文算法不管是在標(biāo)定板改變的情況下還是圖片數(shù)量改變的情況下，目標(biāo)函數(shù)值依然是4種方法里面最小，且數(shù)值波動(dòng)不大。綜上可看出，本文算法魯棒性強(qiáng)，可重復(fù)使用。

表2 不同算法結(jié)果

表3 可重復(fù)性試驗(yàn)結(jié)果

4 結(jié)論

以粒子群和灰狼算法為基礎(chǔ)進(jìn)行研究，將標(biāo)準(zhǔn)粒子群算法部分進(jìn)行改進(jìn)，引入非線(xiàn)性慣性系數(shù)，再與標(biāo)準(zhǔn)灰狼算法按一定機(jī)制融合兩者到一個(gè)框架中，有效提高標(biāo)定的精確度。將本文算法與其他同類(lèi)方法比較，經(jīng)試驗(yàn)驗(yàn)證，該標(biāo)定方法可重復(fù)使用，具有良好的穩(wěn)定性和準(zhǔn)確性。在求解過(guò)程中，首先建立非線(xiàn)性標(biāo)定模型，通過(guò)張正友方法獲得標(biāo)定的上下限范圍，初始迭代時(shí)在上下限范圍內(nèi)隨機(jī)生成粒子位置，以目標(biāo)函數(shù)最小為目的進(jìn)行迭代計(jì)算。該算法可以與實(shí)際工程案例結(jié)合，能準(zhǔn)確、有效地用于多維非線(xiàn)性問(wèn)題優(yōu)化求解。