一種改進的基于全局最小能量泛函光流算法

張起貴，張 妮

（太原理工大學 信息工程學院，山西 太原 030024）

在三維空間物體到二維成像平面上，光流即為空間運動目標像素在其成像平面的瞬時速度，主要用于圖像分割與運動目標的檢測，目前已被廣泛應用于醫(yī)學、軍事以及智能等領域.針對Horn-Schunck 提出的光流計算變分方法，J.Colliez［1］采用了基于向量的回歸方法計算平滑的光流矢量，但不適合在大位移下進行光流的檢測.目前，光流的主要研究方法是采用J.Colliez提出的由粗到精的分層細化技術［2］，即基于最小二乘法矩陣，在圖像較為平坦的區(qū)域，灰度梯度為零；在其他一些區(qū)域，二次矩陣的特征值可能接近為0.這樣圖像的孔徑問題仍然存在，而且不能提供一個可靠完整的密度流，同時采用高斯分布［3］預處理圖像，無法自適應選擇平滑閾值，平滑過大，會丟失圖像的較多細節(jié)信息；平滑過小，又無法有效地去除噪音，導致計算光流存在誤差.因此，本文采用一種多尺度多分辨率的全局能量泛函光流計算方法，為防止過平滑而導致目標邊緣細節(jié)丟失，采用基于ROF模型預處理得到的紋理圖像，作為多分辨率、大尺度的輸入圖像，并對因環(huán)境光照影響，目標遮擋、自旋轉造成的異常光流矢量值進行及時修正.

1 整體算法設計

圖1 算法設計流程Fig.1 Process of algorithm design

本文整體算法思路包括：全變分正則化預處理圖像，保留圖像的細節(jié)信息，雙線性插值分層細化圖像作為金字塔各層處理圖像［4］，利用有限的迭代Horn-Schunck（HS）光流算法計算各層的光流矢量，利用自適應鄰域修正法對異常光流矢量進行修正，并用雙三次插值初始化下一層光流矢量.其具體算法流程如圖1 所示.先用ROF模型［5］得到圖像的紋理結構作為金字塔的預處理圖像，采用高斯濾波和亞像素圖像多分辨率分層細化的變形分層技術處理不同尺寸、不同分辨率的金字塔圖像.設k為金字塔層數(shù)，第k層金字塔圖像長、寬分別為第k-1層圖像長、寬的1／2，從最低分辨率和最小尺寸圖像層開始計算，第k層初始光流.定義第k-1層初始光流為雙三次插值下采樣第k層光流矢量的2倍，其中uk，vk為第k層經(jīng)有限迭代后達到的穩(wěn)態(tài)解.在圖像分層過程中，縮小了光流的位移量，因此只需通過有限的迭代來計算每層的光流矢量，直至達到穩(wěn)態(tài)解，將最終計算得到的光流利用彩色顯示方案進行輸出.

2 ROF 模型

因全局過平滑導致目標形狀細節(jié)信息嚴重丟失，因此圖像在梯度變化較大、物體邊緣的地方出現(xiàn)了模糊現(xiàn)象，導致光流估計值精度降低.為此采用基于前向差分的ROF模型［6］對輸入圖像進行預處理時，使圖像在梯度變化較小的地方得到較多的平滑，相反較少的平滑應用在圖像梯度變化多的地方，其模型如下：

式中：In為含噪輸入圖像；Iij為輸出圖像，通過最小換能量泛函數(shù)來求解.為防止梯度變化為0，此時引入一個輔助對偶變量ξij，可得

其中變量ξij可通過式（4）和（5）求得

圖2 為圖像預處理連續(xù)輸入兩幀圖像的過程，左列為原始圖像，經(jīng)ROF 模型處理后得到中間列大尺度圖像，其右列所示圖像中細小變化部分即紋理部分.

圖2 圖像預處理Fig.2 Image preprocessing

3 基于全局能量泛函的光流

基于本文研究的內(nèi)容及對象，采用由粗到精的分層HS（全局）能量泛函光流模型［7-8］，如式（7）所示.

由HS光流能量泛函整理可得

由式（10）和（11）轉化為稀疏線性方程，當給定一個初始值后，經(jīng)時間輔助變量即有限迭代，基本可使光流矢量（u，v）達到穩(wěn)態(tài)解.設x：＝（x，y，t）T，w：＝（u，v，1）T，且在每次迭代過程后更新多分辯率圖像I的偏微分

4 自適應鄰域修正

對由目標的遮擋、自旋轉造成的光流估計值產(chǎn)生的異常值，本文采用一種自適應鄰域修正法，對異常光流矢量進行修正.設圖像坐標為（i，j）處的光流矢量為（ui，j，vi，j），采用3×3鄰域模板（如圖3 所示），判斷（ui，j，vi，j）是否異常.

圖3 3＊3鄰域模板Fig.3 3＊3neighborhood template

1）設（ui，j，vi，j）在3×3鄰域模板的光流估計平均值為，標準方差為σ（ui，j），σ（vi，j），其計算公式如下：

3）當ui，j異常時，采用5×5 鄰域光流中值median（ui，j）修正ui，j；當vi，j異常時，采用5×5鄰域光流中值median（vi，j）修正vi，j；繼續(xù)步驟5）.

4）采用3×3鄰域光流中值median（ui，j）修正ui，j，median（vi，j）修正vi，j；繼續(xù)步驟5）.

5）i＝i+1，j＝j+1，返回步驟1），直至i＝M，j＝N（M×N為圖像的大?。?

5 彩色光流顯示及算法評價

5.1 彩色光流顯示

光流彩色顯示較傳統(tǒng)有向線段表示方式包含了更多的信息，運用彩色顯示不僅可直觀地了解運動目標的運動方向和運動幅度的大小，且更易于捕捉到細節(jié)信息.本文采用的光流顯示方案是基于HSI模型，RGB 模型，設I（亮度）固定，將紅、綠、藍、紫色調(diào)間的連續(xù)變化用一個色彩盤表示，如圖4 所示.

設HSI模型中色調(diào)H，飽和度S分別為

將HSI模型轉換成RGB模型后，光流場則可通過光流彩色坐標系直接顯示出來，圖2所示的連續(xù)視頻幀中，圖像大小為640×480，計算光流結果顯示如圖5 所示.圖5（a），（d）為傳統(tǒng)光流顯示圖，雖然能夠顯示計算得到的光流結果，但不具有直觀性；圖5（b），（e）為光流彩色顯示圖，通過圖5（c）頭部光流的局部放大，可以看出頭部光流方向是右斜向下的，滿足連續(xù)視頻幀運動情況.同理，圖5（f）為小狗腿部光流的局部放大，小狗腿部光流方向是向左的，同樣滿足連續(xù)視頻幀運動情況.

圖4 光流彩色坐標系Fig.4 Coordinate system of color optical flow

圖5 光流矢量顯示Fig.5 Display of optical flow vector

5.2 算法評價

光流算法的評價直接關系到光流的計算質(zhì)量及算法的優(yōu)良程度，也是檢驗在復雜場景下運動目標的有效性［9-10］.本文采用第二代Middebury光流測試庫的非剛體、大位移等情況下的真實光流場進行測試，對于誤差主要發(fā)生在運動邊緣、灰度梯度變化小及大尺度圖像運動的區(qū)域，采用平均角誤差、平均終點誤差、光流矢量角度標準差進行光流精度的對比.

平均角誤差是衡量整個光流場角誤差的平均值，是指測試光流（ui，j，vi，j，t）與真實光流（uith，ith，vith，jth，t）之間的夾角，經(jīng)過反余弦運算獲得角度誤差，避免了零值光流問題的出現(xiàn).用平均終點誤差來衡量整個光流場矢量誤差的平均值，光流矢量角度標準差是衡量整個光流場角度誤差的波動性，三種算法評價如式（21）～（24）.

1）平均角誤差（AAE）

2）平均終點誤差（AEPE）

3）光流矢量角度標準方差（σ）

5.3 實驗仿真

本實驗是在Matlab 2008a環(huán)境下進行的數(shù)據(jù)仿真，連續(xù)選取Middebury 光流測試庫的第10幀、第11幀圖像作為輸入視頻幀，通過本文提出的改進算法，得到了如圖6 所示的光流彩色顯示圖.定義超過10 像素位移運動為大位移運動，Grove3，Hydrange，Urban2，Urban3圖像即為超過10像素的大位移運動的目標圖像，并且通過表1對比光流算法.設THS代表傳統(tǒng)HS光流算法，PHS代表金字塔HS光流算法，IHS代表改進的HS算法.通過對比，可明顯觀察到，對于紋理復雜、相對攝像機的大位移運動目標，光流計算AAE，AEPE，σ值有明顯減小.

表1 HS光流實驗數(shù)據(jù)Tab.1 Experimental data of HS optical flow

圖6 光流彩色顯示Fig.6 Display of color optical flow

6 結論

針對復雜場景下大位移、非剛性運動目標的光流矢量檢測，本文提出了一種改進的基于ROF模型的全局能量泛函光流法，不僅克服了過平滑造成目標形狀的失真，外界環(huán)境對光流預處理圖像的影響，而且利用自適應鄰域修正法修正了異常光流矢量，同時實現(xiàn)了小位移和大位移運動目標的光流計算.相比于傳統(tǒng)Horn-Schunck算法與金字塔Horn-Schunck算法，AAE平均誤差分別降低了87.86%，58.51%，AEPE平均誤差分別降低了89.44%，58.99%，提高了算法的精確度和魯棒性.在今后研究提高算法精度的同時，將進一步縮短時間代價，為后續(xù)光流算法的應用奠定了一定的基礎.

［1］Colliez J，Dufrenois F，Hamad D.Optic flow estimation by support vector regression［J］.Engineering Applications of Artificial Intelligence，2006，19（7）：761-768.

［2］張金林.基于改進的Lucas-Kanade光流估算模型的運動目標檢測［J］.微計算機信息，2010，26（8）：194-196.Zhang Jinlin.Moving object detection based on improved Lucas-Kanade optical flow model［J］.Microcomputer Information，2010，26（8）：194-196.（in Chinese）

［3］衛(wèi)保國，李晶.一種針對大尺度運動的快速光流算法［J］.計算機應用與研究，2012，29（9）：3351-3357.Wei Baoguo，Li Jing.Fast optical flow algorithm for large-scale motion［J］.Application Research of Computers，2012，29（9）：3351-3357.（in Chinese）

［4］陳震.圖像序列光流計算技術及其應用［M］.北京：工業(yè)出版社，2012.

［5］王玲玉.圖像去噪的非局部正則化方法研究［D］.武漢：武漢理工大學，2012.

［6］Brox T，Bruhn A.High accuracy optical flow estimation based on a theory for warping［J］.Proc.8th European Conference on Computer Vision，2004，3024：25-36.

［7］Papenberg N.Highly accurate optical flow computation with theoretically justified warping［J］.Interna-tional Journal of Computer Vision，2006，67（2）：141-158.

［8］廖彬.單目視頻中光流場估計視頻的研究［D］.廣州：華南理工大學，2011.

［9］Sun D.Learning optical flow［C］.Computer Vision-ECCV 2008，Berlindelberg：Springer-verlcg，2008：83-97.

［10］Baker S，Scharstein D，Lewis J P，et al.A database and evaluation methodology for optical flow［J］.International Journal Computer Vision，2011，92（1）：1-31.