基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配算法

李曉峰, 任 杰, 李 東

(1.黑龍江外國(guó)語(yǔ)學(xué)院 信息工程系, 哈爾濱 150025; 2.哈爾濱體育學(xué)院 體育教育訓(xùn)練學(xué)院, 哈爾濱 150008; 3.哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 哈爾濱 150001)

移動(dòng)機(jī)器人可在多種環(huán)境中采集相關(guān)信息, 具有采集速度快、精度高等特點(diǎn)[1-3], 但其在圖像采集過(guò)程中易受噪聲干擾, 使視覺(jué)圖像質(zhì)量降低[4-6], 后續(xù)圖像分析過(guò)程中無(wú)法獲取有效的信息, 導(dǎo)致出現(xiàn)信息漏檢和誤檢等情況.為此, 需研究圖像匹配算法[7-10], 以提升圖像的清晰度[11-12], 豐富圖像的細(xì)節(jié)信息.

目前, 移動(dòng)機(jī)器人視覺(jué)圖像匹配的相關(guān)研究已有許多成果.例如: 王斐等[13]針對(duì)圖像匹配精度低的問(wèn)題, 研究圖像匹配算法, 先將圖像匹配問(wèn)題變?yōu)榻M合優(yōu)化問(wèn)題, 再利用樽海鞘群算法求解該問(wèn)題, 通過(guò)方向梯度直方圖特征提取特征塊并求解相似度, 完成特征匹配, 但該算法易受尺度變化的影響, 魯棒性較差, 只能完成圖像粗匹配；朱成德等[14]利用快速旋轉(zhuǎn)不變特征(oriented fast and rotated brief, ORB)算法預(yù)匹配圖像, 再通過(guò)隨機(jī)抽樣一致性剔除無(wú)關(guān)性特征點(diǎn), 篩選出正確匹配點(diǎn), 提升匹配效率, 但該算法中ORB特征為灰度特征, 并未考慮具有較高價(jià)值的顏色信息, 匹配精度較低；武玉坤等[15]通過(guò)回歸學(xué)重建圖像, 并優(yōu)化重建圖像, 再提取特征進(jìn)行匹配, 提升匹配效果, 但該算法同樣易受尺度變化的影響, 匹配穩(wěn)定性較差, 不能實(shí)現(xiàn)圖像精匹配；Singh等[16]提出了一種新的事件觸發(fā)指數(shù)超扭轉(zhuǎn)算法, 針對(duì)移動(dòng)機(jī)器人路徑跟蹤進(jìn)行了研究, 但該方法對(duì)跟蹤過(guò)程圖像匹配分析不詳細(xì)；Chae等[17]設(shè)計(jì)了非完整移動(dòng)機(jī)器人的穩(wěn)健自主立體視覺(jué)慣性導(dǎo)航系統(tǒng), 通過(guò)向側(cè)面移動(dòng)攝像機(jī)執(zhí)行精確的視覺(jué)特征初始化, 以確保圖像視差退化, 該方法將帶有消失點(diǎn)修正的線特征觀測(cè)模型應(yīng)用于視覺(jué)慣性測(cè)速法, 使移動(dòng)機(jī)器人在自主導(dǎo)航過(guò)程中能進(jìn)行魯棒的姿態(tài)估計(jì), 該系統(tǒng)匹配誤差較小, 但計(jì)算過(guò)程復(fù)雜導(dǎo)致耗時(shí)較長(zhǎng)；Wang等[18]從分析力學(xué)的角度探討了網(wǎng)絡(luò)化多移動(dòng)機(jī)器人系統(tǒng)的同步控制問(wèn)題, 利用該算法, 網(wǎng)絡(luò)移動(dòng)機(jī)器人系統(tǒng)可在無(wú)領(lǐng)導(dǎo)情況下從任意初始條件實(shí)現(xiàn)同步, 并在明確給出路徑的情況下實(shí)現(xiàn)精確軌跡跟蹤, 但在非明確給出路徑的條件下僅能完成粗跟蹤.

為解決上述研究存在的不足, 本文設(shè)計(jì)一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配算法, 通過(guò)融合深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力, 分層次進(jìn)行圖像粗匹配和細(xì)匹配, 有效提高了移動(dòng)機(jī)器人視覺(jué)圖像匹配精度, 降低了圖像匹配耗時(shí).本文算法具有如下優(yōu)點(diǎn)： 首先, 深度強(qiáng)化學(xué)習(xí)融合了深度學(xué)習(xí)的感知能力和強(qiáng)化學(xué)習(xí)的決策能力, 能直接處理輸入圖像, 提升圖像處理效果；其次, 利用深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)中的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)共同指導(dǎo)浮動(dòng)圖像按正確方向移至參考圖像, 并在粗匹配過(guò)程中通過(guò)設(shè)計(jì)獎(jiǎng)賞函數(shù), 實(shí)現(xiàn)顏色特征粗匹配, 提升了圖像匹配效率；最后, 在圖像粗匹配的基礎(chǔ)上, 利用改進(jìn)尺度不變特征變換算法提取待匹配的圖像局部特征, 按相似度進(jìn)行移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配, 提升了匹配精度.

1 移動(dòng)機(jī)器人視覺(jué)圖像粗匹配

1.1 深度強(qiáng)化學(xué)習(xí)

將多線程異步強(qiáng)化學(xué)習(xí)(reinforcement learning, RL)算法內(nèi)的策略函數(shù)π(ut|ct;θ)視為一個(gè)智能體, 其中ut表示動(dòng)作,ct表示狀態(tài),θ是策略網(wǎng)絡(luò)參數(shù)；智能體按目前π(ut|ct;θ)執(zhí)行動(dòng)作.假設(shè)價(jià)值網(wǎng)絡(luò)參數(shù)為θv, 利用目前策略π下ct的價(jià)值函數(shù)V(ct;θv), 衡量已知ct情形下策略網(wǎng)絡(luò)中ut的優(yōu)劣.利用優(yōu)勢(shì)函數(shù)F建立策略梯度可減少策略梯度的方差, 提升優(yōu)秀動(dòng)作出現(xiàn)的概率[19-20].在狀態(tài)和動(dòng)作為ct,ut時(shí),F的計(jì)算公式為

F(ut;ct)=Rt-V(ct;θv),

(1)

其中Rt為未來(lái)時(shí)間步長(zhǎng)T的獎(jiǎng)勵(lì)總和.折扣因子為γ時(shí)Rt的計(jì)算公式為

(2)

其中τ表示學(xué)習(xí)速率[21],γ∈(0,1].假設(shè)F(ut;ct), 則θ和θv的更新公式為

為提升移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配效果, 將強(qiáng)化學(xué)習(xí)[22-23]與深度學(xué)習(xí)網(wǎng)絡(luò)[24-25]相結(jié)合, 構(gòu)建輕量級(jí)的深度RL(deep RL, DRL)框架, DRL框架根據(jù)異步的梯度下降法優(yōu)化網(wǎng)絡(luò)控制器參數(shù), 可提升匹配速度和穩(wěn)定性.網(wǎng)絡(luò)參數(shù)利用線程交互, 令各線程利用式(3)和式(4)在t時(shí)異步更新網(wǎng)絡(luò)參數(shù).

假設(shè)(C,U,ot,λ)表示RL框架, 其中C為狀態(tài),U為移動(dòng)動(dòng)作,ot表示參考圖像.后續(xù)需利用該框架中的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)共同指導(dǎo)浮動(dòng)圖像按正確方向移至參考圖像, 從而為圖像粗匹配奠定基礎(chǔ).

1.2 圖像粗匹配

令移動(dòng)機(jī)器人視覺(jué)浮動(dòng)圖像為Xm,Xf為參考圖像, 移動(dòng)機(jī)器人視覺(jué)圖像粗匹配的目標(biāo)為估計(jì)至最優(yōu)的空間變換B.在只參考近似變換時(shí),B由平移參數(shù)bx和by、旋轉(zhuǎn)參數(shù)α、縮放參數(shù)z組成, 表達(dá)式為

(5)

其中tx和ty表示圖像的原始位置參數(shù).

圖1 深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)體系結(jié)構(gòu)Fig.1 Architecture of deep reinforcement learning network

深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)體系結(jié)構(gòu)由兩個(gè)通道構(gòu)成, 每個(gè)通道都包含卷積神經(jīng)網(wǎng)絡(luò)(CNN)[26-27]、全連接層和長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)[28-29], 其中全連接層負(fù)責(zé)對(duì)卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶網(wǎng)絡(luò)建立連接, 三者相結(jié)合構(gòu)成深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的重要運(yùn)算結(jié)構(gòu).在輸入不同狀態(tài)后通過(guò)深度強(qiáng)化學(xué)習(xí)結(jié)構(gòu)運(yùn)算生成新的全連接層, 再基于新的全連接層實(shí)現(xiàn)價(jià)值和圖像匹配策略的更新.深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)體系結(jié)構(gòu)如圖1所示.

該網(wǎng)絡(luò)的輸入是Xm與Xf構(gòu)建的雙通道圖像, 經(jīng)LSTM后存在兩個(gè)全連接層(FC), 分別輸出π(ct;θ)和V(ct;θv)；在t時(shí), 智能體使用ut后, 將Bt+1轉(zhuǎn)換為ut°Bt, “°”為在Bt+1的參數(shù)(tx,ty,z,α)中展開(kāi)一次轉(zhuǎn)換,t時(shí)刻僅可轉(zhuǎn)換一個(gè)參數(shù).

(6)

在智能體各部分網(wǎng)絡(luò)內(nèi), 利用CNN提取粗匹配圖像st特征, 獲取各時(shí)間步的狀態(tài)特征, 并依次與環(huán)境進(jìn)行交互, 得到狀態(tài)特征序列, 輸入LSTM網(wǎng)絡(luò)進(jìn)行粗匹配.粗匹配中環(huán)境與at交互時(shí), 智能體均是利用V(ct;θv)求解目前狀態(tài)下的狀態(tài)值v, 并將其作為衡量目前Xm和Xf粗匹配狀態(tài)的標(biāo)準(zhǔn),v與粗匹配效果成正比；測(cè)試階段, 利用ot決定粗匹配是否完成, 直至ot達(dá)到設(shè)置閾值, 則粗匹配完成.

1.3 移動(dòng)機(jī)器人視覺(jué)圖像精匹配

利用改進(jìn)尺度不變特征變換(scale invariant feature transform, SIFT)[30]算法在移動(dòng)機(jī)器人視覺(jué)圖像粗匹配的基礎(chǔ)上進(jìn)行精匹配.利用減法聚類減去多余的特征點(diǎn), 完成SIFT改進(jìn).令改進(jìn)SIFT檢測(cè)粗匹配圖像后獲取n個(gè)特征點(diǎn), 特征點(diǎn)集合為{x1,x2,…,xn}, 特征點(diǎn)檢測(cè)步驟如下：

1) 求解特征點(diǎn)集合內(nèi)各特征點(diǎn)的密度, 獲取密度指標(biāo)M(xi), 用公式表示為

(7)

其中λ表示初始聚類中心,ζ1表示鄰域半徑,D′(xy-xi)表示xy和xi的歐氏距離;

2) 令搜索獲取的最大M(xi)特征點(diǎn)是第一個(gè)聚類中心, 并與該特征點(diǎn)的密度相除, 求解剩余特征點(diǎn)的My(xi), 用公式表示為

(8)

其中μ表示當(dāng)前聚類中心,ζ2=1.5ζ1；

3) 根據(jù)步驟1)和步驟2)再次搜索最大的M(xi), 將該特征點(diǎn)視為聚類中心, 以未產(chǎn)生新的聚類中心為止, 完成迭代.

改進(jìn)SIFT算法利用二值化處理特征描述子b, 縮減數(shù)據(jù)量, 以確保b的全部信息不丟失.令l維特征向量Q=(Q0,Q1,…,Ql), 二值化處理b的步驟如下：

1) 求解同一向量中Qj與Qj+1(j∈l)差的絕對(duì)值, 用公式表示為

(9)

2) 根據(jù)Pj值求解二進(jìn)制特征向量?jī)?nèi)各位數(shù)值bj, 獲取二值化的b={b0,b1,…,bl-1}, 用公式表示為

(10)

其中W為差值閾值, 用于平衡式(9)求解差值的兩個(gè)部分.

將Hash值作為索引, 利用Hamming距離獲取b間的相似度, 提升移動(dòng)機(jī)器人視覺(jué)圖像精匹配速度.按照Hash函數(shù)求解表示特征點(diǎn)的二進(jìn)制字符串的Hash值, 即

Nj=bj×8×20+bj×8×21+…+bj×8×27,

其中j=0,1,…,15,N16=N0, 且

(11)

Hash函數(shù)定義為

Hash(Hash0,Hash1,…,Hash15)=Hash0×20+Hash1×21+…+Hash15×27,

(12)

利用式(12)可獲取Hash值.

移動(dòng)機(jī)器人視覺(jué)圖像精匹配步驟如下：

輸入： 移動(dòng)機(jī)器人視覺(jué)圖像;

輸出： 移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配結(jié)果;

步驟1) 檢測(cè)粗匹配移動(dòng)機(jī)器人視覺(jué)圖像特征點(diǎn), 獲取b；

步驟2) 利用式(12)求解二值化b的Hash值, 在Hash庫(kù)內(nèi)進(jìn)行檢索；

步驟3) 假設(shè)ni是圖像i與查詢圖像間類似b的數(shù)量, 求解兩個(gè)b間的Hamming距離, 如果該值未超過(guò)閾值, 則ni←ni+1, 說(shuō)明具備匹配成功的特征；在Hash庫(kù)內(nèi)檢索待匹配圖像全部特征, 按ni匹配圖像, 完成移動(dòng)機(jī)器人視覺(jué)圖像精匹配.

基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配算法流程如圖2所示.

圖2 移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配算法流程Fig.2 Flow chart of hierarchical matching algorithm of vision image for mobile robot

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集

本文實(shí)驗(yàn)采用PyTorch框架實(shí)現(xiàn)移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配, 基于Windows10 64操作系統(tǒng), GPU為Nvidia GeForce RTX 3060 6 GB.

實(shí)驗(yàn)所用的數(shù)據(jù)集如下：

1) 數(shù)據(jù)集Robot@Home是來(lái)自家庭環(huán)境的原始和經(jīng)過(guò)處理的感官數(shù)據(jù)集合, 包含87 000多個(gè)帶時(shí)間戳的觀測(cè)值, 為與其他研究方法進(jìn)行比較, 本文實(shí)驗(yàn)將該數(shù)據(jù)集劃分為20類訓(xùn)練集, 10類驗(yàn)證集和10類測(cè)試集;

2) 數(shù)據(jù)集MRPT中包含移動(dòng)機(jī)器人數(shù)據(jù)集的所在地, 還包含一系列場(chǎng)景數(shù)據(jù)集, 類別層次豐富, 本文實(shí)驗(yàn)選取該數(shù)據(jù)集中的移動(dòng)機(jī)器人軌跡數(shù)據(jù)集, 將該數(shù)據(jù)集劃分為20類訓(xùn)練集, 10類驗(yàn)證集和10類測(cè)試集.

2.2 實(shí)驗(yàn)指標(biāo)

選取文獻(xiàn)[16]、文獻(xiàn)[17]和文獻(xiàn)[18]算法作為本文算法的對(duì)比算法.

1) 實(shí)際效果驗(yàn)證.以實(shí)驗(yàn)選取的數(shù)據(jù)集Robot@Home和數(shù)據(jù)集MRPT中的移動(dòng)機(jī)器人視覺(jué)圖像為研究對(duì)象, 利用本文算法進(jìn)行移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配, 通過(guò)驗(yàn)證分級(jí)匹配結(jié)果及最佳閾值選取結(jié)果檢驗(yàn)該方法的有效性.

2) 以不同視角和尺度變化時(shí)的重復(fù)率作為衡量4種算法特征檢測(cè)的效果, 該值越高, 說(shuō)明特征檢測(cè)的穩(wěn)定性越高, 重復(fù)率計(jì)算公式為

(13)

3) 匹配精度.匹配精度是指利用不同方法匹配完成后的圖像與待參考高質(zhì)量圖像的相似程度, 該參數(shù)的計(jì)算公式為

(14)

其中ai,aj分別表示待參考高質(zhì)量圖像和匹配完成后圖像的參數(shù)值.

4) 匹配時(shí)間.匹配時(shí)間是指從匹配開(kāi)始到匹配完成這一過(guò)程的時(shí)間消耗, 計(jì)算公式為

T=t1-t2,

(15)

其中t1,t2分別表示匹配結(jié)束和開(kāi)始的時(shí)間.

5) 圖像質(zhì)量.利用非均勻性(NU)、平均梯度(AG)和熵(H)3個(gè)指標(biāo)進(jìn)一步考察4種算法在不同光照強(qiáng)度時(shí)匹配后圖像的質(zhì)量.其中: NU表示匹配后圖像的灰度分布均勻情形, 其值越大, 圖像灰度分布越不均勻, 計(jì)算公式為

(16)

式中u,k分別表示圖像灰度值和灰度系數(shù),n表示像素點(diǎn)數(shù)量；AG表示匹配后圖像的清晰程度, 其值與清晰程度成正比；熵H表示匹配后圖像內(nèi)存在的信息量, 其值與細(xì)節(jié)豐富程度在成正比, 計(jì)算公式為

(17)

式中pi表示圖像離散信息.

2.3 實(shí)驗(yàn)結(jié)果

在所采集的視覺(jué)圖像內(nèi)隨機(jī)選取同一目標(biāo)的兩張不同圖像, 利用本文算法分級(jí)匹配這兩張圖像, 分級(jí)匹配結(jié)果如圖3所示.

圖3 分級(jí)匹配結(jié)果Fig.3 Hierarchical matching results

由圖3可見(jiàn), 本文算法可有效匹配移動(dòng)機(jī)器人視覺(jué)圖像.本文算法中粗匹配僅針對(duì)圖像特征進(jìn)行匹配, 粗匹配后的結(jié)果與參考圖像基本接近, 說(shuō)明本文算法的粗匹配效果較優(yōu)；在粗匹配結(jié)果的基礎(chǔ)上, 本文算法可有效進(jìn)行精匹配, 獲取更清晰的圖像, 提升圖像視覺(jué)效果, 豐富圖像細(xì)節(jié)信息, 為后續(xù)的圖像分析提供更高質(zhì)量的服務(wù).

圖4 最佳閾值選取結(jié)果Fig.4 Selection results of the best threshold

本文算法中精匹配時(shí)的重要參數(shù)為閾值, 閾值可使兩種差值均勻分布, 為此在采集視覺(jué)圖像內(nèi)隨機(jī)選取10張圖像, 分析同一特征符128維數(shù)值間鄰近數(shù)值差的絕對(duì)值信息, 獲取最佳閾值, 提升分級(jí)匹配效果, 最佳閾值選取結(jié)果如圖4所示.由圖4可見(jiàn), 當(dāng)閾值為19時(shí), 能將兩部分差值的絕對(duì)信息平均分布, 提高本文算法的分級(jí)匹配效果.

在采集的視覺(jué)圖像內(nèi), 隨機(jī)選取一張圖像, 并改變圖像視角和尺度, 利用4種算法檢測(cè)該圖像的特征, 測(cè)試4種算法在不同視角變化時(shí)的特征檢測(cè)重復(fù)率, 結(jié)果如圖5所示.由圖5可見(jiàn), 隨著角度的增加, 4種算法的重復(fù)率均不斷減少, 在不同變化角度時(shí), 本文算法的重復(fù)率均顯著高于文獻(xiàn)[16]、文獻(xiàn)[17]和文獻(xiàn)[18]算法；當(dāng)變化角度為70°時(shí), 本文算法的重復(fù)率已趨于穩(wěn)定, 最低重復(fù)率約為50%, 文獻(xiàn)[16]算法在變化角度為70°時(shí), 重復(fù)率已低至0, 說(shuō)明此時(shí)該算法已無(wú)法檢測(cè)到特征點(diǎn), 文獻(xiàn)[17]和文獻(xiàn)[18]算法的最低重復(fù)率相同均為5%.實(shí)驗(yàn)結(jié)果表明, 本文算法在不同視角變化時(shí), 重復(fù)率均顯著高于其他3種算法, 特征檢測(cè)穩(wěn)定性較優(yōu).

不同算法在不同尺度變化時(shí)的重復(fù)率如圖6所示.由圖6可見(jiàn), 隨著尺度的增加, 除本文算法外的其他3種算法的重復(fù)率均呈下降趨勢(shì), 本文算法的重復(fù)率未發(fā)生變化, 這是因?yàn)楸疚乃惴ㄖ刑崛〉降奶卣鳛镾IFT特征, 該特征不受尺度變化的影響.實(shí)驗(yàn)結(jié)果表明, 本文算法在不同尺度時(shí)的重復(fù)率未發(fā)生改變, 明顯高于其他3種算法, 特征檢測(cè)穩(wěn)定性較優(yōu).

圖5 不同算法在不同視角變化時(shí)的重復(fù)率比較Fig.5 Repetition rate comparison of different algorithms when different perspectives change

圖6 不同算法在不同尺度變化時(shí)的重復(fù)率比較Fig.6 Repetition rate comparison of different algorithms when different scales change

測(cè)試4種算法在不同尺度變化、旋轉(zhuǎn)變化與亮度變化時(shí)的匹配精度, 結(jié)果如圖7所示.由圖7可見(jiàn), 本文算法在不同尺度變化、旋轉(zhuǎn)變化和亮度變化時(shí)的匹配精度均保持在92%以上, 顯著高于其他3種算法, 文獻(xiàn)[16]、文獻(xiàn)[17]、文獻(xiàn)[18]算法的波動(dòng)幅度較大, 穩(wěn)定性較差.實(shí)驗(yàn)證明, 本文算法在3種不同情形下的匹配精度均較高, 具有較優(yōu)的圖像匹配效果.

不同算法的圖像匹配時(shí)間對(duì)比結(jié)果如圖8所示.由圖8可見(jiàn), 本文算法在不同尺度變化、旋轉(zhuǎn)變化和亮度變化時(shí)的匹配時(shí)間均保持在70 ms以下, 均明顯低于文獻(xiàn)[16]、文獻(xiàn)[17]、文獻(xiàn)[18]算法, 且波動(dòng)幅度較小, 實(shí)驗(yàn)證明本文算法在3種不同情形下的匹配時(shí)間均較短, 圖像匹配效率較高.

圖7 不同算法匹配精度的比較Fig.7 Comparison of matching accuracy of different algorithms

圖8 不同算法圖像匹配時(shí)間比較Fig.8 Comparison of image matching time of different algorithms

在采集的視覺(jué)圖像內(nèi)隨機(jī)選取同一目標(biāo)不同光照下的圖像, 利用4種算法對(duì)不同光照下的圖像進(jìn)行匹配, 測(cè)試4種算法匹配后圖像的質(zhì)量, 測(cè)試結(jié)果列于表1.由表1可見(jiàn)： 隨著光照強(qiáng)度的不斷提升, 4種算法的NU值均呈上升趨勢(shì), 本文算法的NU值明顯低于其他3種算法, 說(shuō)明本文算法匹配后圖像的灰度分布更均勻；4種算法AG值均隨光照強(qiáng)度的提升而下降, 本文算法的AG值均明顯高于其他3種算法, 說(shuō)明本文算法匹配后的圖像清晰度更佳；4種算法的H值同樣隨光照強(qiáng)度的提升而下降, 本文算法的H值明顯高于其他3種算法, 說(shuō)明本文算法匹配后的圖像細(xì)節(jié)更豐富.因此, 本文算法匹配后的圖像質(zhì)量最佳.

表1 4種算法匹配后圖像質(zhì)量測(cè)試結(jié)果

綜上所述, 針對(duì)移動(dòng)機(jī)器人采集的視覺(jué)圖像存在清晰度不佳的問(wèn)題, 本文提出了一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人視覺(jué)圖像分級(jí)匹配算法, 先利用深度強(qiáng)化學(xué)習(xí)粗匹配圖像的顏色特征, 再在粗匹配的基礎(chǔ)上, 通過(guò)改進(jìn)SIFT算法精匹配圖像, 獲取更清晰的圖像, 為后續(xù)圖像分析提供更可靠的支撐.實(shí)驗(yàn)結(jié)果表明, 本文算法具有較優(yōu)的匹配效果和匹配速度, 實(shí)際應(yīng)用效果更好.