AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法

萬安, 朱婉儀, 樂年華, 胡皓月, 王超

(1.國網(wǎng)江西省電力物資有限公司,江西,南昌 330077;2.國網(wǎng)江西建設(shè)公司,江西,南昌 330001; 3.安徽繼遠(yuǎn)軟件有限公司,安徽,合肥 230088)

0 引言

機(jī)器人技術(shù)在中國機(jī)械領(lǐng)域處于領(lǐng)先地位,是中國高技術(shù)水平的重要體現(xiàn)[1]。其中,AGV機(jī)器人是一種具有一定感知功能和行為自主性的機(jī)器人[2],它可以自行處理靜態(tài)圖像或拼接圖像。然而,由于技術(shù)的不完善,AGV機(jī)器人容易出現(xiàn)故障,導(dǎo)致拼接圖像不完整。為了解決這一問題,需要對AGV機(jī)器人多角度靜態(tài)識別圖像的智能拼接方法進(jìn)行有效地研究。文獻(xiàn)[3]提出一種隧洞探測性自主式水下機(jī)器人及其圖像拼接方法,利用AUV機(jī)器人對隧洞進(jìn)行探查和拍攝,采用基于加速穩(wěn)健特征算法的AUV水下圖像拼接方法對拍攝的圖像進(jìn)行處理,以此解決圖像噪聲嚴(yán)重和對比度低的情況,同時(shí)將上述算法與RANSAC算法相結(jié)合,應(yīng)用于圖像中,對圖像中的特征點(diǎn)進(jìn)行匹配。文獻(xiàn)[4]提出基于網(wǎng)格運(yùn)動統(tǒng)計(jì)算法和最佳縫合線的密集重復(fù)結(jié)構(gòu)圖像快速拼接方法,提取了重疊圖像的匹配點(diǎn),利用GMS算法估算變換模型拼接圖像。文獻(xiàn)[5]提出基于改進(jìn)SIFT的時(shí)間序列圖像拼接方法,簡化了圖像特征構(gòu)造方法,從而產(chǎn)生特征描述符,增強(qiáng)了該算法的運(yùn)算速度,在特征點(diǎn)配準(zhǔn)的過程中引用BBF技術(shù),再通過RANSAC算法對已經(jīng)配準(zhǔn)的特征點(diǎn)實(shí)行二次處理并對其拼接。

本文整合以往研究經(jīng)驗(yàn),提出AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法。首先對中心矩進(jìn)行了歸一化處理獲得不變矩,利用不變矩提取靜態(tài)圖像特征;然后采用對數(shù)幾率回歸分類算法對圖像提取特征數(shù)據(jù)進(jìn)行分類;采用最大似然法和梯度下降法完成圖像識別;最后通過AGV機(jī)器人將識別結(jié)果投影到矩陣中,將矩陣中的重疊圖像劃分成3個(gè)部分;通過多分辨率圖像融合算法和加權(quán)平均圖像融合算法對其進(jìn)行融合,實(shí)現(xiàn)靜態(tài)圖像的智能拼接。

1 AGV機(jī)器人多角度靜態(tài)圖像特征提取

1.1 提取多角度靜態(tài)圖像特征

AGV機(jī)器人在運(yùn)行過程中需要從多個(gè)角度采集靜態(tài)圖像,通過特征提取和圖像分類實(shí)現(xiàn)圖像識別。由于特征提取是圖像識別的核心,利用矩陣提取圖像特征。這是因?yàn)閳D像在矩陣中進(jìn)行位移、旋轉(zhuǎn)、展開等操作,仍能保持像素頻度平衡,特征不變[6]。

(1) 矩變換和不變矩

在各個(gè)圖像特征提取方法中,矩具有強(qiáng)大的不變性特點(diǎn),即比例不變性、旋轉(zhuǎn)不變性等,因此,設(shè)f(x,y)為二維連續(xù)圖像函數(shù),那么p+q階的原點(diǎn)矩陣方程定義如下:

(1)

式(1)中,mpq表示f(x,y)函數(shù)在單項(xiàng)式中的投影,xp表示p階的原始圖像,yq表示q階的去噪圖像,d表示常數(shù)。由此可見,mpq的值取決于f(x,y)函數(shù)。因?yàn)橥队癿pq并不存在圖像平移不變性,此時(shí)的p+q階的中心矩μpq定義如下:

(2)

在靜態(tài)圖像中,存在離散化像素點(diǎn),對其求和,代替原有像素點(diǎn),則投影mpq和中心矩μpq變換為

(3)

在靜態(tài)圖像區(qū)域R中,其灰度可以通過中心矩μpq來反映,其中,靜態(tài)圖像灰度是灰度重心的分布度量。此時(shí),中心矩只有平移不變性的特點(diǎn)[7],為了獲取到其他不變性優(yōu)點(diǎn),需要?dú)w一化處理中心矩,即ηpq=μpq/μ00,ηpq表示歸一化中心矩,γ表示度量。

歸一化中心矩ηpq可以構(gòu)造出不變矩,且符合其余不變性的特點(diǎn),同時(shí),靜態(tài)圖像在不變矩中經(jīng)過任何操作都可以保持原始圖像狀態(tài)。根據(jù)上述分析,導(dǎo)出p+q≤3的七個(gè)不變矩φ1-φ7,定義如下:

(4)

式(4)中的7個(gè)不變矩滿足任意圖像修改操作及多角度靜態(tài)圖像特征提取,具有較強(qiáng)的多角度不變性,同時(shí)也對離散圖像存在較好的魯棒性。

(2) 不變矩提取圖像總體特征

在上述不變矩公式中,不變矩的方程量巨大,需要計(jì)算的次數(shù)較多,導(dǎo)致在提取圖像的過程中應(yīng)用時(shí)間較長,為了避免這種情況,采用Mk=|lgφk|作為不變矩,k=1,2,…,7,φk表示第k個(gè)不變矩。

1.2 圖像特征數(shù)據(jù)分類

通過對圖像特征數(shù)據(jù)進(jìn)行提取后,需要對圖像特征數(shù)據(jù)進(jìn)行分類,實(shí)現(xiàn)AGV機(jī)器人多角度靜態(tài)圖像的識別。

X=[C,O,S,C]=[C1,C2,…,CN,O1,O2,…ON,S1,S2,…,Sq,Ct1,Ct2,…,Ctq]

(5)

式(5)中,C表示圖像預(yù)判向量,O表示圖像靜態(tài)向量,S表示原型信度向量。

圖像特征數(shù)據(jù)訓(xùn)練集N采用極大似然法對各類圖像中的參數(shù)rc進(jìn)行估算,利用梯度下降法求取參數(shù)最小值,即

(6)

那么其最終識別圖像判定結(jié)果為

(7)

式(7)中,hLR(x)表示圖像最大置信度的類別標(biāo)記,即圖像識別結(jié)果。

從圖像特征數(shù)據(jù)中提取樣本數(shù)據(jù)并進(jìn)行訓(xùn)練,獲取圖像特征向量,用最大似然法估計(jì)圖像中的參數(shù),用梯度下降法得到參數(shù)的最小值,確定參數(shù)的最小值,得到圖像最大置信度的類別標(biāo)記,從而完成圖像識別。

2 AGV機(jī)器人多角度靜態(tài)圖像智能拼接

2.1 多分辨率圖像拼接

通過AGV機(jī)器人,將上節(jié)圖像識別匹配結(jié)果中的圖像投影到變換矩陣中,矩陣內(nèi)的重疊區(qū)域?yàn)榇幚韴D像,對其進(jìn)行計(jì)算。對待處理圖像進(jìn)行映射,并拓展重疊圖像,將其分成三部分,分別為一個(gè)縫合部分及兩個(gè)過渡部分,在縫合區(qū)域中找出最佳縫合線,對其進(jìn)行融合,具體過程如下所示。

假設(shè)H表示兩幅圖像間的投影變換矩陣,對投影變換矩陣H進(jìn)行計(jì)算,從中取得像素量,并對像素量進(jìn)行歸一化處理,將其坐標(biāo)系放到單位坐標(biāo)系中,同時(shí),利用差分運(yùn)算法對圖形的重疊部分進(jìn)行計(jì)算[9],通過動態(tài)規(guī)劃思想獲取圖像內(nèi)的最佳縫合線,使用多分辨率融合算法對最佳縫合線進(jìn)行拼接[10]:

(1) 首先,構(gòu)建一個(gè)與AGV機(jī)器人多角度靜態(tài)識別圖像大小尺寸相同、且經(jīng)過完整拼接后的模板圖像M,用0表示圖像縫合線左側(cè)區(qū)域,255表示縫合線右側(cè)區(qū)域,從而建立一個(gè)黑白圖像。

(2) 設(shè)置A和B分別表示待拼接圖像,首先對A、B兩個(gè)圖像進(jìn)行擴(kuò)展,擴(kuò)展到與拼接后的圖像尺寸相同即可,而0表示擴(kuò)展部分。

(3) 構(gòu)建一個(gè)以高斯圖像GR為主的模板圖像R和待拼接圖像擴(kuò)展后的拉普拉斯圖像LA、LB。

(4) 在每層對圖像進(jìn)行融合,此時(shí),融合圖像處理后的拉普拉斯圖像Lfusion的方程定義如下:

Lfusion=(GRl(i,j)Ll(i,j)+[255-GRl(i,j)]LBl(i,j))/255

(8)

式(8)中,l表示第幾層,(i,j)表示像素點(diǎn)坐標(biāo)。

(5) 對拉普拉斯圖像Lfusion進(jìn)行融合處理后,從最頂層對其進(jìn)行差值擴(kuò)展,同時(shí),與下層圖像相加,重復(fù)此步驟,直到相加處理到最后一個(gè)層次的圖像,從而取得最終融合成功的圖像。

靜態(tài)圖像識別完成后,利用AGV機(jī)器人將圖像識別匹配結(jié)果投影到變換矩陣中,出現(xiàn)的重疊圖像可以劃分為縫合部分和過渡部分,采用多分辨率圖像融合算法和加權(quán)平均圖像融合算法分別對縫合部分和過渡部分進(jìn)行融合,最終取得融合圖像,完成對靜態(tài)圖像的智能拼接。

3 實(shí)例測試與分析

為了驗(yàn)證基于AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法的整體有效性,需要對AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法進(jìn)行實(shí)例測試。

以TMR500-HB復(fù)合式AGV機(jī)器人為實(shí)例測試對象,其集移動平臺和機(jī)械臂于一體,可適配主流的機(jī)械臂,最大速度為0.8 m/s,導(dǎo)航精度為±10 mm,重復(fù)精度為±5 mm,且配置急停按鈕,如圖1所示。

圖1 TMR500-HB復(fù)合式AGV機(jī)器人

基于圖1,采用AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法作為方法1(本文方法)、基于網(wǎng)格運(yùn)動統(tǒng)計(jì)算法和最佳縫合線的密集重復(fù)結(jié)構(gòu)圖像快速拼接方法作為方法2(文獻(xiàn)[4]方法)和基于改進(jìn)SIFT的時(shí)間序列圖像拼接方法研究作為方法3(文獻(xiàn)[5]方法)進(jìn)行有效測試。

(1) 為了驗(yàn)證AGV機(jī)器人多角度靜態(tài)圖像拼接的精準(zhǔn)度,采用方法1、方法2和方法3對不完整圖像進(jìn)行拼接,拼接效果如圖2所示。

(a) 原始圖像

根據(jù)圖2可知,原始圖像A中的網(wǎng)格出現(xiàn)彎曲、網(wǎng)格線路不在同一條直線的情況,圖像不完整,所以利用3個(gè)方法分別對原始圖像A的彎曲網(wǎng)格進(jìn)行拼接。其中,方法1應(yīng)用后,其網(wǎng)格形狀恢復(fù)正常,網(wǎng)格彎曲情況消失;方法2和方法3應(yīng)用后,兩種方法的拼接效果相同,沒有將彎曲的網(wǎng)格修正,由此可知,方法1的拼接效果要高于方法2和方法3,拼接圖像的精準(zhǔn)度較優(yōu)。

這是因?yàn)榉椒?采用不變矩對靜態(tài)圖像的特征進(jìn)行提取,使圖像特征數(shù)據(jù)具有多角度不變性的特點(diǎn),提升了靜態(tài)圖像的拼接效果。

(2) 選取100個(gè)靜態(tài)圖像,分別采用方法1、方法2和方法3對此類圖像進(jìn)行有效識別,具體識別結(jié)果如圖3所示。

圖3 靜態(tài)圖像識別準(zhǔn)確率對比

分析圖3可知,受到圖像增加的影響,方法2在測試后期出現(xiàn)波動軌跡不穩(wěn)定的情況,其識別準(zhǔn)確率時(shí)而上升時(shí)而下降,而方法3因圖像數(shù)量的增加,波動軌跡逐漸下降,識別準(zhǔn)確率要低于方法1和方法2,方法1在測試期間并沒有因?yàn)殪o態(tài)圖像數(shù)量的增加而降低識別準(zhǔn)確率,反而呈現(xiàn)出緩慢上升趨勢,識別準(zhǔn)確率始終在80%以上,可見方法1的識別準(zhǔn)確率要優(yōu)于方法2和方法3。

(3) 利用方法1、方法2和方法3對AGV機(jī)器人多角度靜態(tài)圖像進(jìn)行兩個(gè)階段測試,分別為拼接時(shí)間測試和識別時(shí)間測試,設(shè)置時(shí)間限制為60 s,那么第一階段拼接時(shí)間測試如表1所示。

表1 3種方法的拼接時(shí)間對比

根據(jù)表1中的數(shù)據(jù)可知,在測試期間,方法1的拼接時(shí)間始終低于方法2和方法3,可見方法1的拼接速度是3個(gè)方法中最快的,最高僅為36 s;方法1和方法2在測試期間,拼接時(shí)間會隨著靜態(tài)圖像數(shù)量的增加而上升,反之方法3測試過程中,拼接時(shí)間不夠穩(wěn)定,可見方法3的拼接速度低于方法1。

(4) 3種方法在第二階段對靜態(tài)圖像識別時(shí)間測試如圖4所示。

由圖4可知,三種方法在識別過程中,識別時(shí)間都在持續(xù)上升,但從總體上看,方法1的識別時(shí)間最低,始終低于20 s。同時(shí),方法2的波動軌跡與方法1的波動軌跡差距小于方法3,方法2的識別時(shí)間僅次于方法1。

4 總結(jié)

為了提高多角度靜態(tài)圖像識別和拼接精準(zhǔn)度,減少拼接和識別時(shí)間,本文提出AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法。對AGV機(jī)器人多角度靜態(tài)采集圖像進(jìn)行特征提取,采用對數(shù)幾率回歸分類算法分類提取的特征,完成對靜態(tài)圖像多角度識別;利用AGV機(jī)器人,將圖像識別結(jié)果投影到變換矩陣中,在變換矩陣中,對重疊圖像進(jìn)行融合,取得最終融合圖像,實(shí)現(xiàn)對靜態(tài)圖像的智能拼接,解決了圖像拼接精度低、識別準(zhǔn)確率差、拼接時(shí)間和識別時(shí)間長的問題,提升了AGV機(jī)器人多角度靜態(tài)識別圖像智能拼接方法的有效性、實(shí)用性。

但由于條件所限,該方法的圖像拼接時(shí)間降低得不夠明顯,如何進(jìn)一步縮短拼接時(shí)間,實(shí)現(xiàn)實(shí)時(shí)拼接,可以作為未來的研究方向。