基于多傳感器融合的機器人壓縮感知圖像處理方法

顧凌云

（上海冰鑒信息科技有限公司，上海 200120）

機器人視覺是智能機器人的重要組成結(jié)構(gòu)之一，在機器人移動過程中需要利用視覺傳感器獲取環(huán)境圖像，通過圖像處理方法對一幅或多幅圖像進行處理、分析與理解，根據(jù)圖像處理與分析結(jié)果產(chǎn)生任務(wù)指令[1]。由此可見，圖像處理是機器人工作過程中的重要環(huán)節(jié)。

為減少機器人對實時采集圖像的存儲空間，提高圖像分析與處理速度，提高機器人的工作效率，采用壓縮感知理論對外界圖像進行采集。壓縮感知是一種新的取樣方法，利用信號稀疏性，以比Nyquist取樣速率低得多的條件下，利用隨機取樣獲得離散的信號，再利用非線性重構(gòu)的方法對信號進行精確重構(gòu)[2-3]。由于機器人的圖像采樣方式發(fā)生改變，導(dǎo)致圖像內(nèi)容以及格式發(fā)生相應(yīng)變化，給圖像的處理工作帶來較大挑戰(zhàn)。

現(xiàn)階段發(fā)展較為成熟的機器人圖像處理方法包括：基于生成對抗網(wǎng)絡(luò)的圖像處理方法、基于形態(tài)學(xué)算法的處理方法以及基于自適應(yīng)閾值的圖像處理方法，然而將上述圖像處理方法應(yīng)用到對壓縮感知圖像的處理工作中，存在明顯的處理效果不佳的問題，主要體現(xiàn)在圖像質(zhì)量方面，其主要原因為機器人采集圖像較多，且圖像采樣角度存在差異，為此引入多傳感器融合技術(shù)，以期能夠提高機器人壓縮感知圖像的最終處理結(jié)果，間接地提高機器人對外界環(huán)境的識別精準(zhǔn)度。

1 機器人壓縮感知圖像處理方法設(shè)計

1.1 利用多傳感器生成機器人壓縮感知圖像

在保證機器人感知的外部環(huán)境信號具有稀疏性和可壓縮性的前提下，利用圖1 表示的壓縮感知數(shù)學(xué)模型，將多個傳感器設(shè)備作為硬件支持進行壓縮感知圖像的采集。

圖1 機器人壓縮感知數(shù)學(xué)模型Fig.1 Mathematical model of robot compression sensing

假設(shè)長度為L 的視覺感知信號λ 在支撐框架上具有稀疏特性，則該信號可以表示為

式中：變量εm（τ）和γm（τ）分別為信號的正交基及其在列向量基矩陣中的等價表示[4]。遵循約束等距原則選取測量矩陣，選取結(jié)果可以表示為

式中：變量χ 為［0，1］區(qū)間范圍內(nèi)的隨機數(shù)；E 為最終選取的測量矩陣。利用測量矩陣對機器人所處外界環(huán)境中的視覺信號進行采樣，采樣結(jié)果表示為

式中：f 為視覺信號采樣結(jié)果。將得出的結(jié)果經(jīng)過稀疏化轉(zhuǎn)換后，并將所有的圖像按照時序順序進行連接，即可得出機器人單一傳感器壓縮感知圖像的采樣結(jié)果，按照上述方式驅(qū)動機器人設(shè)備上所有的圖像傳感器裝置，得出多傳感器壓縮感知圖像的采樣結(jié)果[5]。

1.2 融合機器人壓縮感知圖像

采用加權(quán)融合的方式對多傳感器初始采集的機器人壓縮感知圖像進行融合處理，得到一幅完整圖像[6]，其融合原理如圖2 所示。

圖2 機器人壓縮感知圖像融合原理圖Fig.2 Schematic diagram of robot compression sensing image fusion

選擇線性加權(quán)融合規(guī)則作為融合規(guī)則，假設(shè)任意2 個傳感器生成機器人壓縮感知源圖像分別為fA和fB，則線性加權(quán)融合規(guī)則用方程為

式中：變量κA和κB分別為2 個待融合圖像的加權(quán)系數(shù)，所有待融合圖像加權(quán)系數(shù)之和為1；變量δ1和δ2為壓縮感知源圖像的行和列。對壓縮感知源圖像進行稀疏分解處理后，得出壓縮感知投影值分別記為φA和φB，之后對投影矩陣中的各列作為一個整體來選取最佳的匹配位置[7]。同一目標(biāo)在不同的來源圖像上會呈現(xiàn)出不同的特點，根據(jù)壓縮感知投影值計算出每一列的加權(quán)系數(shù)值為

本模型基于2016年美國預(yù)防服務(wù)工作組（USPSTF）匯總分析[9]以及PLATO研究[10]獲得的數(shù)據(jù)進行模型假設(shè)以及模型構(gòu)建，利用TreeAge Pro 2011軟件，采用長期Markov模型對沒有確診或缺乏CVD癥狀的患者服用或不服用阿司匹林進行CVD一級預(yù)防這兩種干預(yù)措施作10年期成本-效用分析。長期Markov模型氣泡圖見圖1（圖中，單向箭頭表示只能從該狀態(tài)轉(zhuǎn)移至另一狀態(tài)但無法逆向轉(zhuǎn)移；雙向箭頭表示兩個狀態(tài)間可以相互轉(zhuǎn)移；弧形箭頭表示該狀態(tài)可自身轉(zhuǎn)移）。

式中：參數(shù)i 的取值區(qū)間為［0，N］，N 為壓縮感知圖像的像素值。在此基礎(chǔ)上，根據(jù)預(yù)先設(shè)定的標(biāo)準(zhǔn)，對數(shù)據(jù)進行優(yōu)化處理，經(jīng)過加權(quán)融合處理后壓縮感知融合圖像對應(yīng)的稀疏系數(shù)為

式中：X（φ）為圖像壓縮投影值集合，最終得出的機器人壓縮感知圖像融合結(jié)果及其灰度值為

式中：σ（Gfuse）和σi分別為機器人壓縮感知圖像及其內(nèi)部第i 個像素的灰度值；κ 為圖像的綜合權(quán)重系數(shù)；nimage為圖像中包含的像素數(shù)量[8]。按照上述流程對所有采集的機器人壓縮感知圖像進行處理，得出最終的融合結(jié)果。

1.3 修正壓縮感知圖像亮度與飽和度

以融合處理結(jié)果為處理對象，調(diào)整與修正圖像亮度。機器人視覺圖像的采集模擬了人眼視覺特征，對垂直和水平方向的感知能力較強，所以在估算背景亮度時，提高垂直和水平方向上的權(quán)重，削弱傾斜方向權(quán)重[9]。機器人壓縮感知圖像任意像素點的平均背景亮度可以表示為

式中：C1和C2為壓縮感知圖像像素點的上下左右鄰域和對角線領(lǐng)域；和ω 為C1，C2的權(quán)值系數(shù)；l（x，y）為背景亮度相關(guān)系數(shù)。壓縮感知圖像亮度和飽和度的修正過程分別如式（9）、式（10）表示：

式中：φ 為亮度修正系數(shù)；Lpixel（x，y）和L0分別為機器人壓縮感知圖像任意像素的亮度值以及設(shè)置的亮度閾值[10]。

式中：μ（x，y）為圖像的相關(guān)系數(shù)；b（x，y）和bcorrect（x，y）為修正前后的圖像飽和度[11]。經(jīng)過修正后，可使圖像亮度與機器人的視覺特征相吻合。

1.4 抑制壓縮感知圖像噪聲

針對圖像中包含的不同類型的噪聲構(gòu)建濾波器，以此作為圖像中噪聲抑制處理的硬件支持[12]，圖像噪聲濾波器基本結(jié)構(gòu)如圖3 所示。

圖3 機器人壓縮感知圖像噪聲濾波器結(jié)構(gòu)圖Fig.3 Structure diagram of noise filter for compressed sensing image of robot

圖3 中R（n）和W（n）分別為正交濾波模塊和中值濾波模塊，具體的噪聲濾波抑制過程可以表示為

式中：ψ 為濾波器的頻率響應(yīng)系數(shù)；y（n）為映射函數(shù)；H 和ξ 分別為濾波模板及其執(zhí)行系數(shù)[13]。在實際的執(zhí)行中，根據(jù)機器人壓縮感知圖像的結(jié)構(gòu)調(diào)整頻率響應(yīng)系數(shù)和濾波模板大小，完成機器人壓縮感知圖像的噪聲抑制處理。

1.5 機器人壓縮感知圖像增強

為實現(xiàn)對目標(biāo)的精準(zhǔn)定位，需要在初始圖像去噪處理完成后，進行圖像增強處理。利用空域法對鄰域內(nèi)像素點直接作出增強處理，處理結(jié)果如下：

式中：z（x，y）為空間轉(zhuǎn)換函數(shù)；G（x，y）和P（x，y）分別為增強前后的圖像。

1.6 實現(xiàn)機器人壓縮感知圖像處理

完成對機器人壓縮感知圖像的處理與重構(gòu)后，對圖像處理結(jié)果進行平滑處理，調(diào)整直方圖的均衡度[14]。利用Jaccard 相似系數(shù)放大機器人壓縮感知圖像中的各元素的作用效果，使重構(gòu)圖像及圖像處理結(jié)果更加精準(zhǔn)。最終將處理結(jié)果通過機器人終端輸出，得出圖像處理的可視化結(jié)果。

2 圖像處理質(zhì)量測試實驗分析

為了測試所提方法的效果，測試處理前后的圖像質(zhì)量，得出對應(yīng)方法在處理效果方面的優(yōu)勢。此次實驗選擇OpenCV 作為實驗工具，OpenCV 為函數(shù)數(shù)據(jù)庫，由專門針對圖像處理、模式識別和機器視覺領(lǐng)域的C++類和C 函數(shù)組成，實現(xiàn)這些領(lǐng)域中的大量算法，為濾波、增強等圖像處理程序的實現(xiàn)提供支持[15]。編寫優(yōu)化設(shè)計的圖像處理方法的運行程序代碼，將其導(dǎo)入到OpenCV 中，完成優(yōu)化設(shè)計方法的開發(fā)。

2.1 安裝與調(diào)試多傳感器

由于所提方法應(yīng)用了多傳感器融合技術(shù)，因此需要在實驗環(huán)境中安裝多個傳感器設(shè)備。此次實驗以某自動化機械生產(chǎn)工廠作為實驗環(huán)境，實驗共準(zhǔn)備5 個圖像傳感器設(shè)備，傳感器設(shè)備型號包括FSI335 和BSI290 兩種，分別為前兆式和背照式，僅留下部分感光器件的邏輯電路，使得光能更直接地進入感光元件層，降低光的損耗。多個移動機器人的傳感器安裝完后，設(shè)置傳感器的工作參數(shù)，將傳感器調(diào)整至工作狀態(tài)，觀察傳感器設(shè)備是否能正常完成圖像采集任務(wù)，若終端設(shè)備能夠成功接收到傳感器采集到的圖像，證明調(diào)整成功，否則需更換傳感器。

2.2 準(zhǔn)備機器人壓縮感知圖像樣本

分別在日間和夜間收集機器人壓縮感知圖像，以此作為實驗的圖像樣本，其中部分壓縮感知日間圖像樣本的準(zhǔn)備情況如圖4 所示。

圖4 機器人壓縮感知日間圖像樣本Fig.4 Daytime image sample of robot compression sensing

準(zhǔn)備的圖像樣本大小相同，均為131×276。采集的圖像樣本共1600 幅，日間和夜間圖像各800 幅。

2.3 設(shè)置圖像質(zhì)量測試指標(biāo)

設(shè)置信噪比作為圖像處理質(zhì)量的測試指標(biāo)，信噪比是指圖像信號與噪聲信號的比例，其數(shù)值結(jié)果為

式中：NumValid和NumNoise分別為圖像處理結(jié)果中有效像素點數(shù)量和噪聲像素點數(shù)量。計算得出峰值信噪比越大，證明該圖像質(zhì)量越好，即對應(yīng)圖像處理方法的處理效果越優(yōu)。

2.4 實驗過程與結(jié)果分析

將樣本逐一輸入到圖像處理程序中，由于所提方法應(yīng)用了多傳感器融合技術(shù)，執(zhí)行該技術(shù)得出初始采集圖像的融合處理結(jié)果，圖5 表示的是R_img1樣本的融合處理結(jié)果。

圖5 機器人壓縮感知圖像融合結(jié)果Fig.5 Image fusion results of robot compression sensing

然后分別執(zhí)行圖像降噪、圖像增強等處理任務(wù)，得出的處理結(jié)果如圖6 所示。

圖6 機器人壓縮感知圖像處理結(jié)果Fig.6 Image processing results of robot compression sensing

為了體現(xiàn)所提方法的優(yōu)勢，實驗中設(shè)置傳統(tǒng)的基于生成對抗網(wǎng)絡(luò)的圖像處理方法作為對比方法。統(tǒng)計所有方法對不同圖像樣本的基本屬性參數(shù)數(shù)據(jù)，其中信噪比指標(biāo)的測試結(jié)果如表1 所示。

表1 機器人壓縮感知圖像信噪比測試數(shù)據(jù)表Tab.1 Signal to noise ratio test data of robot compressed sensing image

表1 中R，Y 類圖像分別為日間、夜間圖像。將表1 中的數(shù)據(jù)代入到式（13）中，可以得出初始機器人壓縮感知圖像的平均信噪比為3.50 dB，通過2 種圖像處理方法的運行得出處理結(jié)果圖像的平均信噪比分別為55.03 dB 和873.88 dB，由此可見與傳統(tǒng)圖像處理方法相比，優(yōu)化設(shè)計方法得出圖像的信噪比得到明顯提升。

3 結(jié)語

圖像處理是機器人目標(biāo)定位、目標(biāo)跟蹤以及移動任務(wù)執(zhí)行的重要環(huán)節(jié)，通過多傳感器融合技術(shù)的應(yīng)用解決同一場景的異源圖像在壓縮及融合過程中存在的計算量和存儲量大的問題。從實驗結(jié)果中可以看出，優(yōu)化設(shè)計的機器人壓縮感知圖像處理方法有效地提高了機器人壓縮感知圖像的信噪比，然而由于實驗中設(shè)置的圖像質(zhì)量測試指標(biāo)較少，因此得出的實驗結(jié)果存在一定的局限性，針對這一問題還需要在今后的研究工作中進一步補充。