基于背景差分的巡檢機(jī)器人視覺識別方法

楊 濤，李 祎，陳晶華，文 煒，張香怡，顧繼俊

(1.中海石油(中國)有限公司，北京 100010；2.中石化川氣東送天然氣管道有限公司，湖北 武漢 430020；3.中國石油大學(xué)(北京)機(jī)械與儲運(yùn)工程學(xué)院，北京 102200)

0 引言

隨著科技的進(jìn)步，推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合是各行各業(yè)急需面對的挑戰(zhàn)[1]。海洋石油平臺的維護(hù)及巡檢工作逐步向少人化甚至無人化發(fā)展，海洋平臺設(shè)備的正常運(yùn)轉(zhuǎn)關(guān)系到整個平臺的安全生產(chǎn)和可靠運(yùn)行，因此需要工作人員每天定期對平臺運(yùn)行設(shè)備進(jìn)行巡檢,采集設(shè)備的運(yùn)行數(shù)據(jù),并對數(shù)據(jù)分析。由于工作量較大,工作人員的技術(shù)水平良莠不齊,對工作的認(rèn)真程度也各不相同,海洋石油平臺的日常巡檢維護(hù)不能得到充分的保障,一旦沒有及時發(fā)現(xiàn)設(shè)備的異常狀況并解決掉,就可能造成巨大的損失[2]。為了解決此類問題,海洋平臺巡檢機(jī)器人的研究與應(yīng)用應(yīng)運(yùn)而生。

針對海洋平臺空間不規(guī)則，設(shè)施結(jié)構(gòu)復(fù)雜，遍布法蘭盤、各式機(jī)器和樓梯等問題，提出了一種沿著固定軌道運(yùn)行的巡檢機(jī)器人方案。為了實(shí)現(xiàn)巡檢效果，機(jī)器人要對周圍環(huán)境進(jìn)行遺棄物體(異常物體)的識別。如何進(jìn)行異常物體的識別成為巡檢機(jī)器人發(fā)展的一個難點(diǎn)，在巡檢機(jī)器人的視覺方案中，大部分采用固定多個攝像頭，在監(jiān)控室進(jìn)行人工監(jiān)控的方案[3],但該方案耗費(fèi)人力物力較多，未能把勞動力解放出來；文獻(xiàn)[4]使用機(jī)器學(xué)習(xí)的方法判斷異常物體，但是只能檢測預(yù)先訓(xùn)練好的物體，未知類別的異物不能被檢測到[5]。為了解決這些問題，研究了機(jī)器人系統(tǒng)的控制方案，以及一種新的視覺處理算法，使機(jī)器人能夠不必再依賴于機(jī)器學(xué)習(xí)，在異物種類不確定的情況下，依舊能夠自主地進(jìn)行判斷并識別出異常物體。

1 控制系統(tǒng)

為了識別異物，巡檢機(jī)器人需要進(jìn)行頻繁的、高負(fù)擔(dān)的視頻處理及運(yùn)算，并將數(shù)據(jù)及時返回給總控制臺。該機(jī)器人由高性能Intel Core i7微處理器和存儲元件組成的中央計算機(jī)充當(dāng)機(jī)器人的決策中心，主要用來進(jìn)行繁重的數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)處理和三維圖像深度信息的處理[6]。

為了對驅(qū)動單元做更好的控制，本文將中央計算機(jī)通過串口連接STM32F407(下位機(jī))，控制驅(qū)動系統(tǒng)以驅(qū)動制動系統(tǒng)，如圖1所示。同時采用CAN通信方式進(jìn)行通信，具有實(shí)時性強(qiáng)、穩(wěn)定、可靠、傳輸速度快等優(yōu)點(diǎn)[7]。

圖1 機(jī)器人控制系統(tǒng)架構(gòu)

在機(jī)器人運(yùn)行過程中,數(shù)據(jù)采集系統(tǒng)需要從周圍的環(huán)境中提取有用信息上報給中央計算機(jī)，使其做出決策。包括采集圖像信息、音頻信息和視頻信息等。該系統(tǒng)由雙目攝像頭、固定攝像機(jī)、熱圖測溫紅外攝像儀、內(nèi)置麥克風(fēng)的立體攝像頭和陀螺儀(采集位置信息和振動信息)組成。采集系統(tǒng)如圖2所示。

圖2 數(shù)據(jù)采集系統(tǒng)

2 基于視頻對齊的背景差分技術(shù)

在實(shí)際海洋平臺場景中，平臺通過固定的攝像頭進(jìn)行異物識別具有極大的局限性。為了解決這個問題，使用跟隨巡檢機(jī)器人的移動攝像頭來實(shí)現(xiàn)異物識別。該方法可以擴(kuò)大監(jiān)控范圍，減少安裝多個攝像頭的成本，同時減小計算量，但移動背景大大增加了目標(biāo)檢測的復(fù)雜度，更加具有挑戰(zhàn)性[8]。同時，在巡檢環(huán)境中，異物種類不確定，若只檢測固定種類的物體，則整個平臺的巡檢維護(hù)得不到保障，安全保護(hù)機(jī)制不夠充分。

綜合上述原因，研究一種基于背景差分技術(shù)的異常物體檢測方法，并將其應(yīng)用在巡檢機(jī)器人的移動攝像頭上就顯得極為重要。

核心技術(shù)步驟如圖3所示。在執(zhí)行巡檢任務(wù)之前，機(jī)器人需要沿固定的軌道錄制一段沒有異常物體的參考視頻序列，取參考幀[9]；在執(zhí)行巡檢任務(wù)時，錄制的視頻作為當(dāng)前視頻，取當(dāng)前幀。通過對比2幀圖像，判別出現(xiàn)場是否存在異常物體。由于拍攝2段視頻過程中，攝像頭速度和角度可能存在偏差，需要對視頻進(jìn)行對齊處理，故如何找到2段視頻的對應(yīng)幀，并且處理好對應(yīng)幀角度上的變化成為了研究重點(diǎn)。為了在參考視頻中找到與當(dāng)前幀最相似的位置捕獲的參考幀，并進(jìn)行像素級別的匹配與調(diào)整，制定了圖3所示的技術(shù)步驟。

圖3 視頻對齊技術(shù)步驟

2.1 時間對齊

針對對應(yīng)幀圖像難以對齊的問題，提出了一種基于差分行波的視頻對準(zhǔn)算法，在動態(tài)時間規(guī)整(DTW)算法的基礎(chǔ)上將視頻背景框架進(jìn)行實(shí)時對齊。將2段視頻看作2段時間序列，由于巡檢機(jī)器人在同一地點(diǎn)的運(yùn)動速度無法保證時刻相同，所以巡檢同一段區(qū)域提取的2段時間序列長度不同，就會出現(xiàn)表現(xiàn)為圖4的現(xiàn)象。

時間點(diǎn)

為了找到實(shí)時對應(yīng)幀的圖像，DTW算法將圖像特征量化提取出來。圖4中，實(shí)線和虛線分別代表同一區(qū)域錄制的參考視頻和目標(biāo)視頻量化波形，為了便于觀察，將2段序列在y(時間)軸上拉開距離。可以看到整體波形很相似，但在時間軸上卻是不對齊的。如在第20個時間點(diǎn)時，實(shí)線波形的A點(diǎn)為序列2最高點(diǎn)，其應(yīng)對應(yīng)于虛線波形的B′點(diǎn)，若將A點(diǎn)圖像與B′對應(yīng)幀圖像差分，計算結(jié)果的誤差將會非常大。顯然，實(shí)線的A點(diǎn)對應(yīng)虛線的B點(diǎn)才是對應(yīng)幀圖像。

在巡檢機(jī)器人巡檢過程中，使用傳統(tǒng)的歐幾里得距離無法有效地求得2個時間序列之間的相似性。因此，本文通過在線DTW算法找到這2個波形對齊的點(diǎn)，如圖5所示。

圖5 2段視頻序列對應(yīng)點(diǎn)

假設(shè)有2個時間序列X和Y，其長度分別是M和N，即X=[x1,x2,xi,…,xM]和Y=[y1,y2,yj,…,yN]，為了對齊這2個序列，構(gòu)造1個M×N的矩陣，矩陣元素(i,j)表示xi和yj2個點(diǎn)的距離d(xi,yj)。DTW算法旨在找到最短路徑W=[w1,w2,…,wL],Wk=[ik,jk]∈[1,2,…,M] ×[1,2,…,N]，max(M,N)

a.邊界條件：w1=(1, 1)和wk=(M,N)。

b.連續(xù)性：i1

c.單調(diào)性：Wk+1-Wk∈{(1,0)(0,1)(1,1)}[10]。

結(jié)合連續(xù)性和單調(diào)性約束，每個格點(diǎn)的路徑就只有3個方向(圖6)，可在此基礎(chǔ)上選擇1條最短的路徑。

圖6 路徑可選方向

通過尋找到矩陣所有的最短序列，計算出最佳路徑，從而匹配到2段時間序列的對應(yīng)幀。

(1)

為了求解方程，用以下遞歸公式創(chuàng)建累積成本矩陣d,將具有最小值的值添加到路徑中，直到達(dá)到元素d(M,N)。

(2)

如圖7所示，得到了M×N矩陣的最佳路徑，則稱該函數(shù)為時間規(guī)整函數(shù)。順利將2段序列進(jìn)行時間上的匹配。

圖7 M×N矩陣序列最佳路徑

通過將DTW算法應(yīng)用在視頻領(lǐng)域，匹配到2段視頻的對應(yīng)幀，獲得時間量度上的匹配。但對應(yīng)幀差分后仍存在較大的圖像差，無法準(zhǔn)確識別異常物體。

2.2 空間對齊

分析得到，由于時間對齊后攝像頭角度的偏差以及多幀匹配1幀會存在角度差等問題，對應(yīng)幀差分仍然會存在較大的間隙和偏差。為了補(bǔ)償這種偏差，要對圖像進(jìn)行像素級的匹配。本文首先利用改進(jìn)的加速魯棒特征(SURF)算法提取對應(yīng)幀上的興趣點(diǎn)[11]，進(jìn)而采用隨機(jī)樣本一致性算法(RANSAC)取一定數(shù)目的特征點(diǎn)。如果將參考幀和當(dāng)前幀圖像看作2個坐標(biāo)系，那么同一特征點(diǎn)在2個坐標(biāo)系中有可能坐標(biāo)值不同，坐標(biāo)不同則意味著圖像發(fā)生了旋轉(zhuǎn)或平移。篩選出一定數(shù)目的對應(yīng)點(diǎn)坐標(biāo)，利用DeepFlow[12]算法分塊求得變換的仿射變換矩陣。將變形場應(yīng)用到圖像處理中，通過矩陣變換進(jìn)行深度匹配得到完全對準(zhǔn)的矯正圖像，從而進(jìn)行對應(yīng)幀差分的算法，此時背景對異物識別的影響被解決掉，就可以很輕松地識別出巡檢區(qū)域的異物。

3 實(shí)驗(yàn)

為了評估該方法的有效性，在以遍布管道和機(jī)器為背景的工廠展開了實(shí)驗(yàn)，攝像頭被安裝在1.5 m高的固定軌道上，相機(jī)可捕捉到的圖像大小為1 440×1 080，幀速率為15幀/s。本實(shí)驗(yàn)采用手動控制攝像頭移動的方法，固定了移動路線，先預(yù)先錄制無異常物體的參考視頻上傳至后臺，再拍攝目標(biāo)視頻，且起點(diǎn)和終點(diǎn)相同。在通過DTW算法成功提取對應(yīng)幀畫面A、B(圖8)之后，利用改進(jìn)的SURF算法進(jìn)行像素點(diǎn)匹配[11]。圖8中的小圓圈為提取的畫面局部特征點(diǎn)，對局部特征點(diǎn)進(jìn)行描述與對比，設(shè)定一定的匹配條件將對應(yīng)的特征點(diǎn)進(jìn)行匹配。

圖8 利用改進(jìn)的SURF算法匹配對應(yīng)幀圖像的對應(yīng)點(diǎn)

根據(jù)得到的匹配點(diǎn)坐標(biāo)，利用DeepFlow[12]算法計算得到了由圖A到圖B的變形場,得到矩陣為

然后將變形場應(yīng)用到圖像處理中，通過矩陣變換、變形處理將圖A修正為圖B角度，得到了完全對準(zhǔn)的圖9。

圖9 將圖A修正為圖B角度

圖10顯示了原始對應(yīng)幀之間的絕對圖像差，圖11顯示了經(jīng)過像素級對齊算法之后的圖像差。在這些圖像中，較淺的像素表示較大的圖像差異，明顯可以看出，經(jīng)過算法處理的圖像差異較為集中。但是邊緣由于圖像變換存在不大的間隙，故使用代碼根據(jù)圖像邊界間隙自動調(diào)整對比范圍，使結(jié)果不受間隙影響。

圖10 原始對應(yīng)幀圖像差 圖11 像素級算法對齊后圖像差

接下來進(jìn)行閾值處理、腐蝕濾波、膨脹連通等常規(guī)算法，就可以識別出圖像中的異物，如圖12所示。對比未經(jīng)過時間、空間對齊而直接進(jìn)行背景差分法的圖13，可以看出，圖13識別準(zhǔn)確率非常低，整張圖像都被認(rèn)為是異常物體。而圖12的圖像經(jīng)過對齊后能夠非常準(zhǔn)確地識別出異常物體的存在，即被遺棄的工具箱被成功地識別出來。

圖12 算法對齊后識別異常物體 圖13 原始對應(yīng)幀識別異常物體

該實(shí)驗(yàn)驗(yàn)證了DTW-SURF-DeepFlow聯(lián)合算法的可靠性與準(zhǔn)確性。該方案可以將視頻進(jìn)行完全的對齊，對齊的圖像通過背景差分即可以檢測出異常物體，且識別異物準(zhǔn)確率較高。

4 結(jié)束語

本文提出了一種新的巡檢機(jī)器人視覺處理方案，解決了傳統(tǒng)監(jiān)控不夠智能、不能夠自主判斷現(xiàn)場的異常情況和危險情況的問題。同時使機(jī)器人能夠識別現(xiàn)場的任何異物，而不是只會識別單一的、固定的、經(jīng)過訓(xùn)練的異常物體。

為了提高識別的準(zhǔn)確性和可靠性，使用了時間對齊、空間對齊等方法解決視頻對齊難題。

為了驗(yàn)證該方法的有效性，在實(shí)驗(yàn)軌道上對工廠存在異物和不存在異物的圖像進(jìn)行了捕獲。實(shí)驗(yàn)結(jié)果表明，該方法切實(shí)可行，使得因?yàn)闄C(jī)器人運(yùn)行速度和攝像頭角度偏差造成的識別準(zhǔn)確率低的問題得到了一定程度上的解決。

該技術(shù)對軌道機(jī)器人視覺行業(yè)的發(fā)展和進(jìn)步是極為重要的，同時該視覺處理方案不僅可以應(yīng)用在海上油田，還可以應(yīng)用在任何有固定軌道的巡檢機(jī)器人上。