基于光流技術(shù)的障礙物檢測方法

郭文俊　常桂然

摘要：障礙物的檢測有著重要的應(yīng)用，然而一般的檢測方法容易受到環(huán)境因素的影響使得檢測的效果不是特別理想，因此研究改進障礙物檢測的方法有著重要的意義。本文從計算機視覺的角度上，對障礙物檢測技術(shù)進行了分析研究，提出了利用光流技術(shù)進行障礙物的檢測，該方法利用時間序列圖像中的灰度信息獲取運動參數(shù)，實現(xiàn)了障礙物的檢測，操作簡單實用性較強。

關(guān)鍵詞：計算機視覺；障礙物檢測；光流技術(shù)；運動參數(shù)

中圖分類號：TP391 文獻標(biāo)識碼：A DOI：10.3969/j.issn.1003-6970.2016.04.017

0 引言

人們對周圍環(huán)境信息的獲取和接受大多是通過視覺感受的，尤其是動態(tài)信息更容易引起人們的注意?？萍嫉倪M步以及多媒體技術(shù)的發(fā)展使得人們接觸的信息越來越多，如何從大量的信息中進行提取、分類和跟蹤已經(jīng)成為運動目標(biāo)檢測和目標(biāo)跟蹤技術(shù)的研究熱點。目前該該項技術(shù)已經(jīng)取得了很多成果，而且不斷有新的算法在提出，作為智能交通系統(tǒng)中的一項關(guān)鍵技術(shù)，對于保證智能車輛安全行駛也是至關(guān)重要的。卞建勇、崔心等采用基于幀間差分的方法實現(xiàn)了運動障礙物的檢測，但該方法要求對大數(shù)據(jù)量的整理無法滿足整個監(jiān)控場內(nèi)的實時要求。吳思、林守勛等實現(xiàn)了對動態(tài)背景下目標(biāo)物的檢測與跟蹤，但其提出的方法對車輛識別率較高，無法滿足城市交通的檢測要求。

本文建立了基于光流技術(shù)的障礙物檢測系統(tǒng)，通過比較實際圖像與自運動估計之間的光流場來識別障礙物，在檢測的過程中設(shè)置一定的預(yù)估計檢測區(qū)域，整個過程只對區(qū)域內(nèi)的數(shù)據(jù)進行處理，一定程度上降低了系統(tǒng)處理的數(shù)據(jù)量，同時利用顏色不變定律消除背景的影響，只檢測出障礙物。

1 攝像機標(biāo)定

計算機視覺是利用計算機實現(xiàn)對生物視覺的模擬，即利用計算機來實現(xiàn)客觀的三維世界與平面圖像之間的聯(lián)系。實驗操作中處理的圖像序列都是通過攝像機捕獲的視頻序列里提取出來的。想要將圖像中的信息反饋給系統(tǒng)識別，就必須建立二維圖像信息與三維空間目標(biāo)物幾何信息之間的聯(lián)系，故此研究攝像機成像幾何模型是非常必要的。通過攝像機成像模型的研究建立真實世界中的目標(biāo)物與獲取的圖像空間中的目標(biāo)物之間的坐標(biāo)關(guān)系。

1.1 坐標(biāo)系描述

本文選用的模型為小孔成像模型，如圖1.1小孔模型所示，采用右手準(zhǔn)則定義的坐標(biāo)系，表示了三個不同層次的坐標(biāo)系系統(tǒng)：攝像機坐標(biāo)系（O_c；C_c，Y_c，Z_c）、圖像物理坐標(biāo)系（O₁；x，y）和圖像坐標(biāo)系（O₀；u，v）。其中攝像機坐標(biāo)系是一個以小孔模型的中心O_c為原點，以光軸Z_c為Z軸的三維直角坐標(biāo)系，它的X_c軸和Y_c軸分別與以O(shè)₁為原點的圖像物理坐標(biāo)系的x軸和Y軸，以及以O(shè)₀為原點的圖像坐標(biāo)系的u、v兩軸相平行，從圖中可以看到圖像物理坐標(biāo)系和圖像坐標(biāo)系均為二維直角坐標(biāo)系。

1.2 攝像機成像模型

攝像機的成像過程是一個從三維空間到二維空間退化的投影變換過程。如圖1.1所示的小孔攝像機模型中，將三維空間中的一點P投影到圖像平面上，再存儲到計算機中并建立兩兩不同坐標(biāo)系之間的變換關(guān)系，以實現(xiàn)從三維空間到二維空間的轉(zhuǎn)換。

（1）攝像機坐標(biāo)系到圖像物理坐標(biāo)系

如圖1.1所示，攝像機坐標(biāo)系中的物點P（X_c，Y_c，Z_c）與其在圖像物理坐標(biāo)系中的投影點p（x，y）的關(guān)系可以表示為：

（1）

利用齊次坐標(biāo)系可表示：

（2）

f為攝像機的內(nèi)部參數(shù)，是固有屬性。

（2）圖像物理坐標(biāo)系到圖像坐標(biāo)系

如圖1.1所示，圖像物理坐標(biāo)系O₁在圖像坐標(biāo)系O₀下的投影坐標(biāo)為（u₀，v₀），代表圖片上的每個像素在圖像物理坐標(biāo)系上的x軸v軸的物理尺寸分別為dx，dy，兩個坐標(biāo)系的變換關(guān)系為：

（3）

利用齊次坐標(biāo)系可表示：

（4）

2 基于光流技術(shù)的障礙物檢測

光流的概念由Gibson于1950年首先提出，是目前圖像分析的重要方法。光流在計算機視覺、對象分割、三維運動分析、對象識別與跟蹤中有很重要的作用。光流不僅包含了被觀察物體的運動信息，而且攜帶著有關(guān)其自身三維結(jié)構(gòu)的相關(guān)信息。故此，在很多實際應(yīng)用中，光流都有非常重要的角色。

2.1 光流的計算

光流的計算就是在視覺運動分析中計算三維物體的運動參數(shù)和結(jié)構(gòu)參數(shù)，光流的計算有很多種方法，最常用的是基于時空梯度的方法，它根據(jù)圖像灰度對時空和空間的導(dǎo)數(shù)來得到，故此假設(shè)圖像區(qū)域在時間和空間上是連續(xù)的，或是可導(dǎo)的，該關(guān)系式被稱為基本等式有時也被成為光流約束方程，它構(gòu)成了光流計算的一個重要的約束。

如圖2.1，設(shè)圖像上的點（x，y）在某一時刻t的輻照度為f（x，y，t），經(jīng)過一定的時間間隔△t后對應(yīng)點的輻照度為f（x+△t，y+△t，t+△t），根據(jù)極限思想當(dāng)△t→0時認為輻照度是不發(fā)生變化，于是有：

f（x，y，t）=f（x+△t，y+△t，t+△t） （5）

用Taylor公式展開為：

（6）

忽略公式（6）中的二階無窮小ε，當(dāng)△t→0，有：

（7）

其中u=dx/dt，v=dy/dt分別是圖像中某點像素在x和y方向上的光流分量。

下面則主要介紹比較經(jīng)典的基于梯度的光流檢測方法，Lueas-Kanade光流法。

2.2 Lucas-Kanade光流法

Lucas-Kanade算法（LK）是用于求稀疏光流（sparseoptical flow）的，最初于1981年提出。由于算法易于應(yīng)用在輸入圖像中的一組點上，其后來成為求稀疏光流的一種重要方法。LK算法只需要每個感興趣周圍小窗口的局部信息，所以它可以應(yīng)用于稀疏內(nèi)容，這與Horn-Sehunck的算法全局性是不同的。

LK算法基于以下三個假設(shè)：

（1）亮度基本保持變。視頻序列中目標(biāo)物的像素在幀間運動時其外觀基本保持不變，對于獲取的灰度圖像（LK算法也可以用于彩色圖像），假設(shè)其像素被逐幀跟蹤時亮度基本不發(fā)生任何變化。

（2）幀間時間間隔非常微小即可認為時間上是連續(xù)的。

（3）空間一致?！獋€場景中同一表面上鄰近的點具有相似的運動，在圖像平面上的投影也在鄰近區(qū)域。

設(shè)圖像上的點（x，y）在時刻t的輻照度為I（x，y，t），經(jīng)過時間間隔人t后對應(yīng)點為I（x+△t，y+△t，t+△t），當(dāng)△t→0時可認為輻照度不變，于是有：

I（x，y，t）=I（x+△t，y+△t，t+△t） （8）

我們假設(shè)移動足夠的小，則對于（8）使用泰勒公式，可以得到：

（9）

其中H.O.T=higher order terms指更高階，在移動足夠小的情況下可以忽略，結(jié)合式（8）和式（9），可以得到下式：

（10）

（11）

2.3 算法流程圖

基于光流的方法能夠很好的描述物體的運動特征，該方法的改進也能很好的用于實時的視頻處理中，但是該方法的困難在于物體特征點的尋找和匹配。特別是當(dāng)運動目標(biāo)很多的時候往往需要先依據(jù)別的方法來區(qū)分不同的障礙物，而且到目前為止還沒有一種比較通用的快速匹配算法，從而限制了光流法在實時障礙物檢測中的應(yīng)用，L-K算法的流程圖如圖2.2所示。

3 基于Lucas-Kanade光流技術(shù)的障礙物檢測結(jié)果

本實驗是在HP 251-110cn臺式機上進行的，在Windows XP操作系統(tǒng)的平臺上，采用Intel公司開發(fā)的開源項目OpenCV，在Microsoft Visual C++集成開發(fā)環(huán)境下完成的。數(shù)據(jù)由車載相機捕獲的視頻序列組成，圖像幀是在不同光照、不同姿態(tài)下拍攝的，實驗前要將捕獲的圖像幀利用cvCvtColor（）函數(shù)轉(zhuǎn)化為如圖3.1所示的灰度圖，在對其調(diào)用函數(shù)cvCalcOpticalFlowPyrLK（）得到光流檢測結(jié)果。如圖3.2和圖3.3分別為LK光流檢測結(jié)果圖和光流矢量圖。

文章主要針對光照變化以及旋轉(zhuǎn)變化小到可以忽略不計的情況下進行的研究。通過對結(jié)果的比較，對圖像處理中的一些基本的操作耗時情況有了一定了解，其中主要影響檢測結(jié)果的是不同幀間時差的選取。其中方式1和方式2是選取轉(zhuǎn)換后的灰度圖中分別選取時間間隔為2s和5s的圖像幀，而方式3和方式4是選取并未經(jīng)過處理的原始圖像幀而時間間隔分別與方式1與方式2相同。表1則是在以上四中情況下的對比實驗，其中算法處理結(jié)果的正確識別率及各步的耗時如表1所示。

5 總結(jié)與展望

本文通過對圖像處理技術(shù)的分析討論了Lucas-kanade光流法，并利用該算法實現(xiàn)了障礙物的檢測，對于增強行車系統(tǒng)的安全性和可靠性有著非常大的幫助。該系統(tǒng)的實現(xiàn)可使用戶能較好的掌握行車過程中的路況信息及時對外界環(huán)境信息做出反應(yīng)，大大提高了行車的安全性，避免了事故的發(fā)生。此外該算法還可用于視頻的檢測，而且系統(tǒng)設(shè)計也比較簡單，只是由于圖片檢測的時間很難達到實時的要求，故在今后的設(shè)計中要增加考慮利用其視頻的運動特性來增加檢測效果的是實時性。