多攝像機(jī)視野分界線恢復(fù)算法

薛翠紅，于 洋，梁 艷，于 明

(河北工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300401)

0 引言

由于單攝像機(jī)存在著視野范圍有限和遮擋等一些難以解決的問(wèn)題，多攝像機(jī)的出現(xiàn)緩解了這些問(wèn)題，因此多攝像機(jī)的研究越來(lái)越成為一種趨勢(shì)。然而，一方面多攝像機(jī)研究也帶來(lái)一些問(wèn)題，多攝像機(jī)提供了廣闊的視野范圍和完整的場(chǎng)景;但同時(shí)必須建立多個(gè)攝像機(jī)視野范圍的相互聯(lián)系。就單攝像機(jī)和多攝像機(jī)環(huán)境下目標(biāo)跟蹤問(wèn)題而言，單攝像機(jī)的目標(biāo)跟蹤重點(diǎn)是解決由于時(shí)間的變化每一幀之間的相互聯(lián)系。而多攝像機(jī)的目標(biāo)跟蹤則是要同時(shí)解決不同攝像機(jī)觀測(cè)到的目標(biāo)運(yùn)動(dòng)之間的關(guān)系。簡(jiǎn)言之，就是多攝像機(jī)的目標(biāo)交接問(wèn)題。

多攝像機(jī)目標(biāo)交接技術(shù)的關(guān)鍵和前提是攝像機(jī)視野分界線的劃分，視野分界線是一個(gè)攝像機(jī)在另一個(gè)攝像機(jī)視野內(nèi)的視野范圍。劃分好每個(gè)攝像機(jī)的視野有利于目標(biāo)的一致性標(biāo)號(hào)，為多攝像機(jī)的目標(biāo)交接提供了堅(jiān)實(shí)的基礎(chǔ)。

1 Harris角點(diǎn)檢測(cè)與匹配算法

目前，Harris角點(diǎn)檢測(cè)是很流行的特征提取算法，因?yàn)樗哂袕?qiáng)壯的旋轉(zhuǎn)和尺度不變性能，可以抑制光照、噪聲的影響。Harris角點(diǎn)檢測(cè)算法是由Harris C G和Stephen M J于1988年提出來(lái)的。該算子是在Moravec算子基礎(chǔ)上改進(jìn)的，Moravec算法的基本思想是:計(jì)算像素興趣點(diǎn)，然后在圖像局部選擇最大興趣值點(diǎn)(灰度變化明顯的點(diǎn))作為特征點(diǎn)，所謂像素興趣點(diǎn)是以像素4個(gè)主要方向。最小灰度方差表示該像素與鄰近像素的灰度變化情況。而Harris角點(diǎn)檢測(cè)算法的改進(jìn)在于用一階偏導(dǎo)來(lái)描述亮度變化，并給出與自相關(guān)函數(shù)相聯(lián)系的矩陣M。矩陣M的2個(gè)特征值是自相關(guān)的一階曲率，如果這2個(gè)曲率值都很高，則認(rèn)為該點(diǎn)是特征點(diǎn)。

Harris檢測(cè)算子是采用圖像灰度的微分表示圖像灰度的變化。其算法表達(dá)式為:

假設(shè)αβ為矩陣M的2個(gè)特征值，則根據(jù)角點(diǎn)量的公式:

可以得到圖像中的特征角點(diǎn)。其中Det(M)為行列式M的值，Trace(M)為行列式M的跡，k是參數(shù)，通常取值k=0.04～0.06。由于各向同性，因此M保持了旋轉(zhuǎn)不變性。通過(guò)對(duì)矩陣M的2個(gè)特征值分析，可以得出以下3種情況:

①如果2個(gè)特征值都很小，意味著窗口所處區(qū)域灰度變化很小，近似為常量。任意方向的移動(dòng)，函數(shù)V都發(fā)生很小的改變。

②如果一個(gè)特征值很大，而另一個(gè)特征值很小，意味著窗口所處區(qū)域灰度值呈現(xiàn)為屋脊?fàn)睿邕吘?。此時(shí)，沿著邊緣方向移動(dòng)V的變化很小，而垂直邊緣移動(dòng)V的變化較大。

③如果2個(gè)特征值均很大，表明窗口所處區(qū)域灰度值呈現(xiàn)為尖峰狀，例如角點(diǎn)。此時(shí)，沿著任意方向移動(dòng)V的變化都急劇增大。

根據(jù)以上分析可以求解出Harris角點(diǎn)。采用歸一化互相關(guān)算法(Normalised Cross-Correlation NCC)進(jìn)行角點(diǎn)的匹配，設(shè)圖像I1中窗口w和圖像I2中對(duì)應(yīng)區(qū)域T(w)，基于NCC的2幅圖像的相似測(cè)度如下:

式中:w(x，y)是定義在窗口W上的權(quán)值函數(shù)，典型w(x，y)為 1 或是高斯函數(shù);分別為圖像 I1，I2所考慮的窗口區(qū)域的均值。對(duì)于圖像I1中的每一個(gè)角點(diǎn)p以該點(diǎn)為中心選擇一個(gè)尺度大小為(2n+1)×(2m+1)的相關(guān)窗口，再在圖像I2中以與圖像I1中的角點(diǎn)p具有相同坐標(biāo)的像素點(diǎn)為中心選取一個(gè)尺寸大小為(2du+1)(adv+1)的矩形搜索區(qū)域，然后對(duì)圖像I1中的角點(diǎn)p與圖像I2中搜索窗口區(qū)域內(nèi)的每個(gè)角點(diǎn)q之間的給定窗口計(jì)算相關(guān)系數(shù)。

2 單應(yīng)矩陣的生成

首先，從射影幾何知道，如果空間點(diǎn)位于同一平面上且該平面不通過(guò)二攝像機(jī)的任一光心，那么此時(shí)2幅圖像的對(duì)應(yīng)點(diǎn)之間存在一一對(duì)應(yīng)關(guān)系，且這種一一對(duì)應(yīng)關(guān)系可以用一個(gè)成為單應(yīng)矩陣的變換矩陣來(lái)表示。求解單應(yīng)矩陣的算法有點(diǎn)對(duì)應(yīng)算法、利用2幅圖像之間的單應(yīng)關(guān)系進(jìn)行約束的算法以及直線對(duì)應(yīng)算法?；谝陨掀ヅ潼c(diǎn)的計(jì)算，采取點(diǎn)對(duì)應(yīng)算法。根據(jù)Harris算法獲得N(＞=4)對(duì)應(yīng)點(diǎn)，就可以確定2幅圖像I1，I2之間的單應(yīng)矩陣H。

令 (xi，yi)∈ I1，()∈I2為一對(duì)對(duì)應(yīng)點(diǎn)，i=1，2，…N。根據(jù)場(chǎng)景間圖像對(duì)應(yīng)點(diǎn)的單應(yīng)關(guān)系，得到2個(gè)線性方程:

式中，h 是矩陣 H 的向量形式，h=(h0，h1，h2，h3，h4，h5，h6，h7，h8)T，于是可以得到 2N 個(gè)關(guān)于參數(shù) h的方程。要求N≥4的道理也是在于此。寫(xiě)成矩陣形式:

當(dāng)N＞4時(shí)，用奇異值分解(SVD)法求最小二乘解h，由此可以求得單應(yīng)矩陣H。

3 攝像機(jī)FOV分界線的生成

生成視野分界線是通過(guò)以下各個(gè)步驟的計(jì)算，首先圖像獲取，即圖1中有重疊區(qū)域的2副圖像，然后采用Harris算法進(jìn)行角點(diǎn)檢測(cè)提取特征角點(diǎn)，接著對(duì)圖像進(jìn)行角點(diǎn)匹配找到一一對(duì)應(yīng)點(diǎn)。由于接下來(lái)求單應(yīng)矩陣需要至少4個(gè)匹配點(diǎn)，所以要至少找到2幅圖像的4個(gè)正確匹配的點(diǎn)，得到各個(gè)點(diǎn)的坐標(biāo)并按照上述的方法求得單應(yīng)矩陣，最后找到原始圖像中的邊界點(diǎn)并根據(jù)得到的單應(yīng)矩陣找到圖像的重疊區(qū)域，即攝像機(jī)的FOV分界線。黑色的線條所包圍的矩形區(qū)域的底邊即為求得的視野分界線。底邊下面的灰色框區(qū)域?yàn)閿z像機(jī)地面的視野分界線，由于視野監(jiān)控的過(guò)程中人走過(guò)的只是地面的部分，所以對(duì)墻壁的部分可以不生成視野分界線。這樣也可以避免黑線的地方由于和地平面不共面，不符合射影變換理論而造成的誤差。

4 實(shí)驗(yàn)結(jié)果及分析

該文使用352*288的圖片進(jìn)行實(shí)驗(yàn)，首先使用文獻(xiàn)［6］中的方法和該文的方法分別計(jì)算一條攝像機(jī)FOV分界線(由2個(gè)邊界點(diǎn)得到射影變換后的2點(diǎn)，由2點(diǎn)確定1條直線，即為1條分界線)，并對(duì)結(jié)果進(jìn)行對(duì)比，數(shù)據(jù)比較結(jié)果如表1所示。

表1 算法取點(diǎn)比較結(jié)果

人工取點(diǎn)的方法計(jì)算結(jié)果有明顯的偏差，而該方法計(jì)算的結(jié)果更符合實(shí)際。因?yàn)槿俗哌^(guò)需要一個(gè)過(guò)程，走過(guò)這個(gè)基準(zhǔn)不是準(zhǔn)確的，所以存在誤差。

由射影幾何理論以及該文進(jìn)行的大量實(shí)驗(yàn)可知:選擇2幅圖像中分布范圍盡可能大、盡可能多的匹配點(diǎn)計(jì)算的射影矩陣更加準(zhǔn)確，從而計(jì)算的FOV分界線也更準(zhǔn)確。如圖1所示，其中圖1(d)是圖1(a)的視野分界線，圖1(d)中的黑色矩形區(qū)域即為攝像機(jī)的視野區(qū)域，黑色矩形底邊以下的灰色矩形區(qū)域即為攝像機(jī)的地面區(qū)域。該算法對(duì)于取到的匹配點(diǎn)的位置也是具有一定的敏感程度，會(huì)因?yàn)榇藢?duì)結(jié)果造成一定的誤差，因?yàn)閷?shí)驗(yàn)中能夠取到4對(duì)較準(zhǔn)確的點(diǎn)，所以視野分界線是很精確的。

圖1 視野分界線結(jié)果圖

5 結(jié)束語(yǔ)

該文通過(guò)利用Harris算法和單應(yīng)變換來(lái)恢復(fù)視野分界線，對(duì)不同的場(chǎng)景做反復(fù)實(shí)驗(yàn)，并用多個(gè)匹配點(diǎn)進(jìn)行比較驗(yàn)證視野分界線的準(zhǔn)確度，證實(shí)了該方法能夠正確的實(shí)現(xiàn)視野分界線的恢復(fù)，并且具有一定的魯棒性與可靠性。

［1］WANG Jian-hua，LIU Yun-cai.Characteristic Line of Planar Homography Matrix and Its Applications in Camera Calibration［C］∥Proceedings of the 18th International Conference on Pattern Recognition，2006:147-150.

［2］BLACK J，ELLIS T.Multi Camera Image Tracking［J］.Image and Vision Computing，2006，24(11):1256-1267.

［3］HARTLEY R，ZISSERMAN A.Multiple View Geometry in Computer Vision(2nd)［M］.London:Cambridge University Press，2004.

［4］李冬梅，王延杰.基于角點(diǎn)匹配的圖像拼接技術(shù)［J］.電子器件，2008，31(5):919-922.

［5］陳白帆，蔡自興.基于尺度空間理論的Harris角點(diǎn)檢測(cè)［J］.中南大學(xué)學(xué)報(bào)，2005，36(5):751-754.

［6］CALDERARA S， PRATIAROBERTOV， etal.Consistent Labeling for Multi-camera Object Tracking［J］.Image Analysis and Processing-ICIAP，2005，3617:1206-1214.