基于光流法的深度學(xué)習(xí)在工業(yè)運動檢測的應(yīng)用

周 曼，劉志勇，應(yīng)正波，楊魯江，裘 坤

（浙江中控技術(shù)股份有限公司，杭州 310053）

在流程工業(yè)現(xiàn)場中，存在大量需要通過運動檢測來進(jìn)行視覺監(jiān)控的應(yīng)用場景，例如傳送帶運行狀態(tài)監(jiān)測、透明視鏡中的液體流動狀態(tài)監(jiān)測等。運動目標(biāo)檢測是計算機(jī)視覺應(yīng)用的基礎(chǔ)技術(shù)，在許多領(lǐng)域尤其在智能視頻監(jiān)控系統(tǒng)中有著廣泛的應(yīng)用。

光流（optical flow）是描述相對于觀測者的運動所造成的觀測目標(biāo)、表面或邊緣的運動，由于它包含了目標(biāo)運動的信息，因此可以被觀測者用于確定目標(biāo)的運動狀況。光流是James J.Gibson在1950年首先提出來的，它是空間運動物體在觀測成像平面上的像素運動的瞬時速度，是利用圖像序列中像素的強(qiáng)度數(shù)據(jù)在時域上的變化，以及相鄰幀之間的相關(guān)性來獲取上一幀與當(dāng)前幀之間的對應(yīng)關(guān)系，從而計算出相鄰幀之間物體的運動信息。一般而言，光流是由于相機(jī)的運動、場景中前景目標(biāo)本身的移動，或者兩者的共同運動所產(chǎn)生的。光流法在樣型識別、計算機(jī)視覺，以及其他影像處理領(lǐng)域的應(yīng)用非常廣泛，可用于運動檢測、物件切割、碰撞時間與物體膨脹的計算、運動補(bǔ)償編碼，或者通過物體表面與邊緣進(jìn)行立體測量等。

1 光流算法及其模型

1.1 光流算法

光流計算最初是在1981年由美國學(xué)者Horn和Sehunck提出的，他們根據(jù)圖像灰度守恒原理推導(dǎo)出基本光流約束方程[1]。光流法在目標(biāo)檢測、運動估計、目標(biāo)跟蹤等領(lǐng)域有著非常廣泛地應(yīng)用。使用光流法來檢測運動目標(biāo)，其基本思想是賦予圖像中的每一個像素點一個速度矢量，從而形成該圖像的運動場。圖像上的點和三維物體上的點在某一特定的運動時刻是一一對應(yīng)的，根據(jù)各像素點的速度矢量特征對圖像進(jìn)行動態(tài)的分析。若圖像中不存在運動目標(biāo)，那么光流矢量在整個圖像區(qū)域則是連續(xù)變化的，而當(dāng)物體和圖像背景中存在相對運動時，運動物體所形成的速度矢量則必然不同于鄰域背景的速度矢量，從而將運動物體的位置檢測出來。

常用的光流計算方法有5種：基于梯度的計算方法、基于區(qū)域匹配的計算方法、基于能量的計算方法、基于相位的計算方法以及基于神經(jīng)動力學(xué)的計算方法[7]。其中，最著名的是基于梯度的計算方法，即常說的微分法，該方法是對相鄰的圖像幀做差，對結(jié)果進(jìn)行閾值濾波后便可得到運動目標(biāo)。它利用圖像序列亮度的時空微分計算2D速度場，通過取時空梯度函數(shù)的全局能量泛函數(shù)的最小值來求得像素運動矢量。最經(jīng)典的基于梯度的算法有Gunnar Farneback算法、霍恩·山克算法（Horn Schunck method）、盧卡斯-卡納德算法（Lucas-Kanade method）[8]等。在此采用著名的Gunnar Farneback算法來計算光流。

Gunnar Farneback光流算法[2-3]是計算全局性的稠密光流算法（即圖像上所有像素點的光流都計算出來）。它是一種基于梯度的方法，假設(shè)圖像梯度恒定且假設(shè)局部光流恒定。在最優(yōu)值處的導(dǎo)數(shù)為零，進(jìn)行時間離散化并做后向差分，然后取該像素點的一個鄰域（通常以該像素為中心的方形區(qū)域），利用這些像素點的值和坐標(biāo)進(jìn)行系數(shù)的估計，估計的算法采用加權(quán)最小二乘法。因為在鄰域內(nèi)距中心越近的像素點與中心像素具有更大的相關(guān)性，而越遠(yuǎn)的點所提供的信息越少。因此，需要進(jìn)行加權(quán)計算以減小誤差，將鄰域以外的像素點的權(quán)重都置為零，然后構(gòu)建目標(biāo)函數(shù)來優(yōu)化并求得位移。在實際情況中，未加權(quán)的算法求得的結(jié)果中噪聲太多，因此通常情況下針對興趣像素點的鄰域內(nèi)，使用加權(quán)的目標(biāo)函數(shù)來減小噪音的影響。

光流場是由光流引申出來的，它指的是物體中可見像素點的三維速度矢量在成像表面投影形成的二維瞬時速度場，也就是三維速度場在二維成像平面上的投影?？臻g中的運動場轉(zhuǎn)移到圖像上就表示為光流場，光流場反映了圖像上每一點的灰度變化趨勢。光流場包含了被觀測物體的運動信息，以及有關(guān)景物豐富的三維結(jié)構(gòu)信息。圖片中的每個像素都有一個X方向和Y方向的位移，所以計算后得到的光流是與原來圖像大小相等的雙通道數(shù)據(jù)，無法直觀地顯示。在此，采用最常用的孟塞爾（Munsell）顏色系統(tǒng)將其顯性可視化為RGB圖片。

1.2 孟塞爾顏色系統(tǒng)可視化光流

孟塞爾顏色系統(tǒng)（Munsell color system）是美國藝術(shù)家Albert H.Munsell在1898年創(chuàng)制的顏色描述系統(tǒng)。彩色編碼圖用于可視化的顯示光流的2個分量，孟塞爾顏色空間將顏色劃分為明度（value）、色相（hue）、色度（chroma）3個屬性，如圖1所示。

圖1 孟塞爾顏色系統(tǒng)空間Fig.1 Munsell color system space

圖中，位于中間的圓柱為明度，其值從全暗（0）直至全亮（10）；以中軸為中心的圓周被分為10等份，其中5份表示主色調(diào)，另外5份表示中間色調(diào)。圓周上一特定顏色與中軸的距離為該顏色的色度，數(shù)值從0至無窮。色相和色度位于一個平面內(nèi)，該平面與圖像平面相對應(yīng)。因此，圖像每個像素的光流值都能夠在色相、色度平面上找到對應(yīng)的顏色表示。在光流場中，用色相表示光流的方向，色度表示光流的大小，從而實現(xiàn)光流數(shù)據(jù)的可視化。

1.3 AlexNet遷移學(xué)習(xí)模型

AlexNet[4-5]是Hinton及其學(xué)生 Alex Krizhevsky在2012年的ImageNet競賽時所設(shè)計的神經(jīng)網(wǎng)絡(luò)，這一結(jié)果贏得此屆大賽冠軍。

在此，用工業(yè)視頻中獲取的圖像進(jìn)行可視化后的光流圖作為輸入圖片，將在ImageNet數(shù)據(jù)集上訓(xùn)練好的AlexNet模型參數(shù)遷移到新的數(shù)據(jù)集上進(jìn)行訓(xùn)練，保留了前5個卷積層和相應(yīng)池化層以及3個全連接的參數(shù)，其它參數(shù)采用隨機(jī)初始化，最后一層為用于分類的Softmax層，其神經(jīng)元個數(shù)為被分類任務(wù)的數(shù)據(jù)集的圖像類別數(shù)目，通過在新數(shù)據(jù)集上的訓(xùn)練微調(diào)得到新的訓(xùn)練模型[6]。

2 工業(yè)現(xiàn)場的應(yīng)用

在此，以工業(yè)現(xiàn)場的透明視鏡中反應(yīng)物流動狀況檢測和水泥傳送帶運行狀態(tài)檢測為例，運用Gunnar Farneback光流法獲得光流，并用孟塞爾顏色系統(tǒng)進(jìn)行可視化后得到光流圖，最后用AlexNet遷移學(xué)習(xí)來訓(xùn)練這些光流圖，得到遷移學(xué)習(xí)微調(diào)后的訓(xùn)練模型，用以檢測和識別原始視頻中的目標(biāo)的運動狀態(tài)。

將工業(yè)視頻按照一定的時間間隔來截取1幀，然后調(diào)用OpenCV中的calcOpticalFlowFarneback（prev，next，flow，pyr_scale，levels，winsize，iterations，poly_n，poly_sigma，flags）函數(shù)計算相鄰幀的光流，再將兩通道的光流數(shù)據(jù)轉(zhuǎn)化為RGB圖像數(shù)據(jù)，將圖像存檔。在calcOpticalFlowFarneback函數(shù)中，進(jìn)行以下設(shè)置：

金字塔上下兩層之間的尺度關(guān)系pyr_scale值為0.5；

金字塔層數(shù)levels為3層；

均值窗口大小winsize為15；

迭代次數(shù)iterations為3；

像素鄰域范圍大小poly_n為5；

高斯標(biāo)準(zhǔn)差poly_sigma為1.2；

計算方法包括OPTFLOW_USE_INITIAL_FLOW（用1表示）和OPTFLOW_FARNEBACK_GAUSSIAN（用0表示），F(xiàn)lags為0，即采用高斯平滑原理來更新光流。

3 運動檢測及其結(jié)果分析

3.1 透明視鏡反應(yīng)物流動狀態(tài)檢測

對透明視鏡反應(yīng)物流動視頻每秒截取1幀，然后調(diào)用calcOpticalFlowFarneback函數(shù)獲取光流數(shù)據(jù)，再通過孟塞爾顏色系統(tǒng)轉(zhuǎn)化為可視的RGB圖片并存檔。由其中相鄰的2幀圖片計算出的光流及可視化后的結(jié)果如圖2所示。

圖2 透明視鏡反應(yīng)物流動視頻圖像及對應(yīng)的光流圖Fig.2 Original image and optical flow image of reactant flow in sight glass

將可視化后獲得的光流圖標(biāo)識為運動和靜止2種狀態(tài)，其中91438張運動圖片和13848張靜止圖片，然后從每種狀態(tài)中隨機(jī)選擇20%作為測試集，余下80%作為訓(xùn)練集。由此得到73150張運行光流圖和11078張靜止光流圖，經(jīng)過對這2種類別的圖片采用AlexNet遷移學(xué)習(xí)模型進(jìn)行訓(xùn)練，運行500步后得到98.73%的準(zhǔn)確率。接著將模型在包含18288張運行圖和2770張靜止圖的測試集上進(jìn)行驗證，其準(zhǔn)確率為98.27%。

3.2 水泥傳送帶運行狀態(tài)檢測

對水泥傳送帶運行視頻采用每秒截取1幀，然后調(diào)用calcOpticalFlowFarneback函數(shù)獲取光流數(shù)據(jù)，再通過孟塞爾顏色系統(tǒng)轉(zhuǎn)化為可視的RGB圖片存檔。由其中相鄰的2幀圖片計算出的光流及可視化后的結(jié)果如圖3所示。

圖3 水泥傳送帶運行視頻圖像及對應(yīng)的光流圖Fig.3 Original image and optical flow image of conveyor belt in cement plant

將可視化后獲得的光流圖標(biāo)識為運動和靜止2種狀態(tài)，其中139836張運動圖片和125677張靜止圖片，從每種狀態(tài)中隨機(jī)選擇20%作為測試集，余下80%作為訓(xùn)練集，可以得到111869張運行光流圖和100542張靜止光流圖。然后對這2種類別的圖片采用AlexNet遷移學(xué)習(xí)模型進(jìn)行訓(xùn)練，運行200步后得到99.98%的準(zhǔn)確率。接著將模型在包含27967張運行光流圖和25135張靜止光流圖的測試集上進(jìn)行驗證，其準(zhǔn)確率為99.93%。

4 結(jié)語

光流法作為傳統(tǒng)機(jī)器視覺中運動圖像分析的重要技術(shù)，其算法原理簡潔有效，得到了廣泛的應(yīng)用。以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)技術(shù)在圖像分類上表現(xiàn)異常突出，越來越成為現(xiàn)代圖像智能識別的主流技術(shù)。文中對實際工業(yè)現(xiàn)場的大量實拍視頻先進(jìn)行光流計算，并利用孟塞爾顏色系統(tǒng)將其可視化，再基于預(yù)訓(xùn)練的AlexNet模型進(jìn)行參數(shù)微調(diào)訓(xùn)練，得到可用于工業(yè)現(xiàn)場部署的運動檢測識別模型。在實際工業(yè)應(yīng)用中，該方法能夠有效地識別目標(biāo)的運動或變化狀態(tài)，同時具備較強(qiáng)的環(huán)境適應(yīng)能力。隨著智能制造領(lǐng)域里的各種應(yīng)用突破和推進(jìn)，傳統(tǒng)機(jī)器視覺技術(shù)與深度學(xué)習(xí)方法相互融合的技術(shù)，將越來越成為能夠解決實際生產(chǎn)問題的利器。