面向車輛目標(biāo)的路側(cè)多攝像機(jī)雙向匹配交接方法*

陳 明，武一民，高博麟，鄭凱元

（1.河北工業(yè)大學(xué)機(jī)械工程學(xué)院，天津300130；2.清華大學(xué)車輛與運(yùn)載學(xué)院，北京100084）

前言

隨著智能網(wǎng)聯(lián)汽車云控系統(tǒng)和智能交通系統(tǒng)的快速發(fā)展，路側(cè)感知成為了車路協(xié)同感知的重要組成部分，在提高感知精度、擴(kuò)大感知范圍等方面發(fā)揮著不可或缺的作用［1］。其中在復(fù)雜環(huán)境中利用攝像機(jī)跟蹤運(yùn)動目標(biāo)是路側(cè)感知中十分具有挑戰(zhàn)的問題。目前單攝像機(jī)下的目標(biāo)跟蹤方案相對成熟，但受制于有限的視野范圍，基于單攝像機(jī)的目標(biāo)跟蹤無法覆蓋更大的區(qū)域。與此同時，大量攝像機(jī)往往獨(dú)立工作，各個攝像機(jī)之間對于目標(biāo)的感知信息不能被充分利用，導(dǎo)致同一目標(biāo)在不同攝像機(jī)間被識別為不同身份，為構(gòu)建目標(biāo)的全局軌跡增加了困難。而多攝像機(jī)目標(biāo)跟蹤技術(shù)通過利用兩個或兩個以上的攝像機(jī)，根據(jù)攝像機(jī)部署關(guān)系與目標(biāo)信息，對視野中的同一目標(biāo)進(jìn)行身份一致性標(biāo)記，從而實(shí)現(xiàn)跨視野、長時段的目標(biāo)連續(xù)跟蹤。

根據(jù)攝像機(jī)間視野的分布情況，研究可分為有重疊視野與無重疊視野兩個方面。在有重疊視野方面，目前主要采用的研究方法有3類。（1）基于特征匹配的目標(biāo)交接法通過提取目標(biāo)的某一外觀特征，或融合多個外觀特征，對目標(biāo)之間的外觀相似程度進(jìn)行度量，將相似度較高的兩目標(biāo)進(jìn)行匹配。所選取的外觀特征包括顏色［2］、輪廓［3］、紋理［4］等，但由于不同攝像機(jī)間視角及亮度存在差異，同一目標(biāo)的特征在不同相機(jī)間可能會存在較大的差異，影響匹配準(zhǔn)確率。（2）基于環(huán)境信息與攝像機(jī)標(biāo)定的交接方法通過對三維環(huán)境建模和標(biāo)定攝像機(jī)信息，建立相機(jī)與場景的映射關(guān)系，將目標(biāo)映射至同一坐標(biāo)系下進(jìn)行目標(biāo)交接［5-6］。但這類方法從信息的獲取難度和計(jì)算的復(fù)雜程度都比較大，實(shí)現(xiàn)起來較為困難。（3）基于視野分界線的目標(biāo)交接方法是一種簡單有效的方法，自Khan等［7］提出攝像機(jī)視野分界線是進(jìn)行目標(biāo)交接的重要基礎(chǔ)后，很多研究人員采用同步視頻［8］、特征點(diǎn)匹 配［9］等 方 法結(jié)合L-M（levenbergmarquardt）［10］、隨 機(jī) 采 樣 一 致 性（random sample consensus，RANSAC）［11］算法來不斷優(yōu)化投影矩陣，以準(zhǔn)確地恢復(fù)視野分界線，進(jìn)而根據(jù)目標(biāo)點(diǎn)與分界線的位置關(guān)系，對目標(biāo)進(jìn)行篩選，從而實(shí)現(xiàn)目標(biāo)交接。這類方法易于實(shí)現(xiàn)，但忽略了目標(biāo)與目標(biāo)之間的關(guān)系，在面對目標(biāo)密集的場景時，交接的準(zhǔn)確性會受到影響。綜上所述，現(xiàn)有重疊視野內(nèi)的目標(biāo)交接方法一般利用目標(biāo)的位置、外觀信息進(jìn)行交接，但路側(cè)視角下車輛目標(biāo)交接由于場景復(fù)雜，目標(biāo)密集，現(xiàn)有方法存在一定缺陷，需做出進(jìn)一步改進(jìn)。

針對上述問題，本文中提出基于雙向匹配的車輛目標(biāo)交接方法。通過建立兩個具有重疊視野的攝像機(jī)的投影關(guān)系，生成視野分界線并劃分重疊視野，將重疊視野內(nèi)的目標(biāo)經(jīng)投影后基于目標(biāo)間的位置信息進(jìn)行雙向的匹配，根據(jù)提出的雙向匹配矩陣與矩陣標(biāo)識符輸出匹配結(jié)果。為了應(yīng)對多個目標(biāo)間距較近時僅依靠位置信息無法區(qū)分目標(biāo)的問題，引入車輛目標(biāo)的外觀特征，根據(jù)顏色直方圖度量車輛外觀的相似度，以提高目標(biāo)交接準(zhǔn)確性。

1 單應(yīng)矩陣

具有重疊視野的攝像機(jī)，其公共視野內(nèi)的目標(biāo)在無遮擋情況下可同時被兩個攝像機(jī)檢測并投影為坐標(biāo)系下的同一坐標(biāo)點(diǎn)，因此目標(biāo)的位置信息是交接過程中的主要特征之一。通過求解單應(yīng)矩陣，可劃分重疊視野以確定需要交接的感興趣目標(biāo)，并建立目標(biāo)在攝像機(jī)間的投影關(guān)系。

當(dāng)圖像中的三維場景點(diǎn)處在近似平面的平面上（如地平面）或在低視差的區(qū)域中，可通過單應(yīng)矩陣，將處在重疊視野的該場景點(diǎn)從一個圖像平面上映射到另一圖像平面上［12］，如圖1所示。

圖1 單應(yīng)變換示意圖

假設(shè)某一實(shí)際場景中有一三維場景點(diǎn)處在地平面上，其在攝像機(jī)1視野中的像素坐標(biāo)點(diǎn)為p=(x，y，1)，在另一攝像機(jī)2視野中的像素坐標(biāo)點(diǎn)為q=(x’，y’，1)，則有如下變換關(guān)系：

即

其中單應(yīng)矩陣Hpq是3×3的非奇異矩陣，具有8個自由度，至少需要4對匹配的坐標(biāo)點(diǎn)對，就可計(jì)算出單應(yīng)矩陣。在計(jì)算單應(yīng)矩陣時，研究人員普遍采用尺度不變特征變換（scale invariant feature transform，SIFT）、加速魯棒特征（speeded up robust features，SURF）等方法來獲得用于計(jì)算單應(yīng)矩陣的特征點(diǎn)。但在路側(cè)視角下的道路場景中效果并不理想，原因主要有三：首先，單應(yīng)矩陣實(shí)際上是平面到平面間的映射，當(dāng)攝像機(jī)的視野中存在多個平面時，所得的單應(yīng)矩陣并不準(zhǔn)確［13］；其次，在道路場景中，路側(cè)攝像機(jī)視角下的道路表面通常具有較為均勻的紋理，往往無法有效地提取出足夠多的特征點(diǎn)；此外，道路表面存在大量形狀、顏色相似的車道線與標(biāo)識線，導(dǎo)致在對數(shù)量較少的特征點(diǎn)進(jìn)行匹配時，還會存在較多誤匹配，最終無法準(zhǔn)確計(jì)算單應(yīng)矩陣。

因此采用如下方式：假定兩相鄰攝像機(jī)編號為i和j，在兩攝像機(jī)的重疊視野內(nèi)，選取不共線的4個標(biāo)定點(diǎn)，在攝像機(jī)i視野中表示為P1、P2、P3、P4，攝像機(jī)j的視野中為P'1、P'2、P'3、P'4。將標(biāo)定點(diǎn)代入式（2）中計(jì)算出攝像機(jī)i到攝像機(jī)j的單應(yīng)矩陣Hij，另由下式

可求解攝像機(jī)j到攝像機(jī)i的單應(yīng)矩陣Hji。通過單應(yīng)矩陣Hij與Hji，可將兩攝像機(jī)視野平面中的任意一點(diǎn)投影至另一攝像機(jī)中。將攝像機(jī)i的視野邊界點(diǎn)經(jīng)投影與Hough變換［14］，可生成攝像機(jī)i的視野分界線其中E∈{T，B，L，R}，表示攝像機(jī)視野的上、下、左、右4條邊界，如圖2所示，得到兩攝像機(jī)的重疊視野作為目標(biāo)交接過程的感興趣區(qū)域。

圖2 視野分界線與重疊視野示意圖

2 雙向匹配策略

2.1 單向匹配矩陣

確定單應(yīng)矩陣與重疊視野后，可根據(jù)目標(biāo)的位置信息對目標(biāo)進(jìn)行初步交接。不同于視野分界線法中基于目標(biāo)點(diǎn)與分界線距離的交接判定方式，本文中更關(guān)注目標(biāo)與目標(biāo)間的位置關(guān)系。通過對待交接目標(biāo)的檢測點(diǎn)進(jìn)行單應(yīng)投影，得到待交接目標(biāo)在另一攝像機(jī)視野中的投影點(diǎn)，從而進(jìn)行交接。

基于單攝像機(jī)的目標(biāo)檢測，可得到單幀每個車輛目標(biāo)的二維檢測框。此時如果直接采用檢測框中點(diǎn)進(jìn)行投影，將會形成刺穿點(diǎn)［13］，無法得到該目標(biāo)正確的中心投影點(diǎn)。因此，選擇車輛檢測框下框線的中點(diǎn)作為該目標(biāo)在當(dāng)前攝像機(jī)視野內(nèi)的檢測點(diǎn)，利用式（1）可將攝像機(jī)i中該目標(biāo)的檢測點(diǎn)映射至攝像機(jī)j的視野中進(jìn)行匹配，如圖3所示。

圖3 車輛目標(biāo)投影匹配示意圖

由此得到重疊視野內(nèi)每個車輛目標(biāo)在圖像坐標(biāo)系下的檢測點(diǎn)與投影點(diǎn)位置坐標(biāo)，然后計(jì)算攝像機(jī)j中每個待交接目標(biāo)的投影點(diǎn)與該視角下所有檢測點(diǎn)的歐氏距離，得到距離矩陣Dij，公式如下：

式中：f(?)為指示函數(shù)，若“?”為真，則取值為1，若“?”為假，則取值為0；距離誤差閾值Td表示匹配過程中對于投影位置誤差的容許程度。根據(jù)待交接目標(biāo)與候選目標(biāo)的單向匹配結(jié)果，構(gòu)造單向匹配矩陣矩陣中元素值按下式確定：即對于判定單向匹配的待交接目標(biāo)與候選目標(biāo)，其對應(yīng)行列的元素為1，否則為0。

2.2 匹配約束機(jī)制

由于目標(biāo)交接的過程是目標(biāo)ID間“一對一”的映射關(guān)系，單向匹配矩陣應(yīng)滿足［15］：

但僅通過上述的單向匹配過程，在目標(biāo)密集的場景，極易出現(xiàn)兩個或兩個以上候選目標(biāo)同時與同一目標(biāo)進(jìn)行匹配，出現(xiàn)“多對一”的匹配結(jié)果。

為了解決匹配過程中存在的關(guān)聯(lián)沖突問題，使關(guān)聯(lián)過程符合匹配一致性原則，提出一種匹配約束機(jī)制：如果第m+1個待交接目標(biāo)與最近的候選目標(biāo)的距離小于閾值，判斷最近鄰的候選目標(biāo)是否已被前一待交接目標(biāo)匹配，若未被匹配，則將最近鄰的候選目標(biāo)與當(dāng)前待交接目標(biāo)進(jìn)行匹配。否則，比較匹配沖突的目標(biāo)對的距離，選取距離最近的目標(biāo)對進(jìn)行匹配，另一待交接目標(biāo)與次近鄰的候選目標(biāo)進(jìn)行匹配。

2.3 雙向匹配

在約束機(jī)制下得到的單向匹配矩陣，反映了由攝像機(jī)i中的待交接目標(biāo)投影至攝像機(jī)j后的單向匹配結(jié)果。但僅依靠目標(biāo)單向投影后的位置信息進(jìn)行匹配，效果并不理想，存在較多的錯誤匹配。為了改善這種情況，提出一種雙向匹配策略。該策略的流程如圖4所示。

圖4 雙向匹配策略流程圖

按照2.1節(jié)和2.2節(jié)中的方式將攝像機(jī)j中的目標(biāo)向攝像機(jī)i中反向投影，投影過程中采用的單應(yīng)矩陣由式（2）獲得，在約束機(jī)制下進(jìn)行目標(biāo)匹配并生成單向匹配矩陣AN×Mji，單向匹配矩陣AN×Mji是反向投影（攝像機(jī)j到攝像機(jī)i）后的目標(biāo)單向匹配結(jié)果。在得到雙向的匹配結(jié)果后，需要將兩次的匹配結(jié)果加以綜合，從而對每個目標(biāo)的交接情況做出判斷。匹配結(jié)果的綜合方式由式（8）表示。

Amatch∈{0，1，2}N×M為雙向匹配矩陣，矩陣中的每個元素作為匹配標(biāo)識符，表示雙向匹配的判定結(jié)果，如式（9）表示：

Amatch(m，n)=2表示雙向的匹配結(jié)果均判定兩目標(biāo)相匹配，此時判定為同一目標(biāo)，進(jìn)行一致性的身份認(rèn)定；Amatch(m，n)=1表示雙向的匹配結(jié)果不一致，此時僅依靠目標(biāo)位置無法做出準(zhǔn)確的交接判定，因此，需要進(jìn)一步依據(jù)兩目標(biāo)的外觀特征進(jìn)行驗(yàn)證，并以此作為最終的匹配結(jié)果；Amatch(m，n)=0則表示對兩目標(biāo)不做匹配。

3 顏色直方圖匹配

在車輛密集的場景下，車輛間距較小，僅依靠目標(biāo)位置信息進(jìn)行目標(biāo)交接，可能因投影過程中的誤差，導(dǎo)致錯誤交接的發(fā)生。因此引入目標(biāo)外觀特征，在兩次單向匹配結(jié)果不一致時，依靠外觀相似度進(jìn)行二次匹配。為使整個算法的計(jì)算復(fù)雜度不至過高，同時保證對低分辨率圖像的匹配結(jié)果的魯棒性，采用車輛的顏色特征，通過提取待匹配目標(biāo)與候選目標(biāo)的顏色直方圖，經(jīng)量化后計(jì)算目標(biāo)相似度，進(jìn)而得出匹配結(jié)果。

電子圖像在顯示時一般用RGB顏色模型，但與人眼對顏色的實(shí)際感知有比較大的區(qū)別，同樣也并不適合用與車輛外觀的匹配。本文中采用的HSV顏色模型，是一種與人眼的視覺感知相一致的模型，其通過色調(diào)（Hue）、飽和度（Saturation）和亮度（Value）3個與視覺特征有關(guān)的量計(jì)算描述，更接近于人們對顏色的主觀認(rèn)識，并且對光照的魯棒性更強(qiáng)，適用于路側(cè)的應(yīng)用場景。

首先將獲取到的RGB模型圖像轉(zhuǎn)化為HSV模型［16］：

接著將三維分量降維，轉(zhuǎn)化為一維顏色特征向量，計(jì)算表達(dá)式如下：

式中：QS與QV分別為S和V分量的量化級數(shù)；K為量化后的目標(biāo)直方圖，取值范圍是［0，255］。

Bhattacharyya匹配是度量直方圖相似性的方法之一，其他方法包括相關(guān)匹配、交集匹配等。由于在直方圖相似度的所有方法中，這種方法產(chǎn)生了更精確的匹配［17］，因此采用Bhattacharyya法進(jìn)行度量。Bhattacharyya匹配的表達(dá)式如下：

式中：DB為匹配分?jǐn)?shù)；K1為待交接目標(biāo)的直方圖；K2為候選目標(biāo)直方圖。對于匹配得分，分?jǐn)?shù)越低表示匹配的相似度越高。

4 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文算法的有效性，在真實(shí)道路中部署4臺分辨率為640×480的攝像機(jī)，覆蓋路段、路口兩個場景，攝像機(jī)具體的部署情況如圖5所示。將單個攝像機(jī)下目標(biāo)檢測和跟蹤算法處理后得到的數(shù)據(jù)，包括各個攝像機(jī)中車輛的ID以及目標(biāo)檢測框的位置與大小，作為本文實(shí)驗(yàn)的輸入數(shù)據(jù)。

圖5 攝像機(jī)部署示意圖

圖6 展示了路口場景的兩攝像機(jī)在某一幀下的匹配結(jié)果。其中圖6（a）與圖6（b）分別為攝像機(jī)1與攝像機(jī)2的感知結(jié)果，綠色標(biāo)識為當(dāng)前攝像機(jī)的目標(biāo)檢測點(diǎn)，黃色標(biāo)識為來自相鄰攝像機(jī)的投影點(diǎn)，車輛目標(biāo)的ID已在圖中標(biāo)出。

圖6 兩攝像機(jī)第151幀匹配結(jié)果

正確的匹配方式是ID11與21為同一目標(biāo)，ID12與22為同一目標(biāo)，而ID為13的車輛由于在攝像機(jī)1中被完全遮擋，在當(dāng)前幀不進(jìn)行交接。兩攝像機(jī)對應(yīng)的單向匹配矩陣如式（15）和式（16）所示。

其中單向匹配矩陣的2行分別對應(yīng)攝像機(jī)1中ID為21與22的2個目標(biāo)，3列分別對應(yīng)攝像機(jī)2中ID為11、12與13的3個目標(biāo)，各元素表示目標(biāo)兩兩之間的單向匹配結(jié)果?？梢钥吹?，攝像機(jī)1的匹配結(jié)果是正確的（目標(biāo)11與21相匹配，12與22相匹配），但攝像機(jī)2的匹配結(jié)果中出現(xiàn)了錯誤的匹配結(jié)果（目標(biāo)13與22誤匹配），得到的雙向匹配矩陣Amatch如下：

此時攝像機(jī)1中ID為22的待交接目標(biāo)有兩個可能的交接目標(biāo)（目標(biāo)12與13），計(jì)算兩種匹配組合的顏色直方圖相似度。經(jīng)計(jì)算，待交接目標(biāo)與兩候選目標(biāo)的直方圖匹配分?jǐn)?shù)分別為0.413和0.481，說明候選目標(biāo)中的前者與待交接目標(biāo)的直方圖差異更小，相似度更高，故依據(jù)直方圖的二次匹配結(jié)果，將ID為12與22的目標(biāo)相匹配，從而實(shí)現(xiàn)正確的目標(biāo)交接。

為進(jìn)一步驗(yàn)證方法的有效性，本文中分別統(tǒng)計(jì)了兩個場景下某一時段車輛目標(biāo)交接的實(shí)驗(yàn)結(jié)果。

4.1 路段場景

路段場景下單幀最大車流量為7輛，目標(biāo)總數(shù)為552，剔除誤檢、漏檢的無效幀后，有效幀數(shù)為252幀。對路段場景劃分其重疊視野后如圖7所示。

圖7 路段場景

實(shí)驗(yàn)選取的指標(biāo)為漏匹配與誤匹配［18］，兩指標(biāo)數(shù)值越小，說明方法的漏匹配與誤匹配個數(shù)越少，匹配的準(zhǔn)確度越高，對比方法為單向匹配，其中路段實(shí)驗(yàn)結(jié)果如表1所示。

表1 路段場景實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可看出，在車輛密度相對較小，道路較為平直的路段場景中，所提出的方法減少了22.22%的漏匹配與28.57%的誤匹配，相比于單向匹配結(jié)果有顯著提升。

4.2 路口場景

路口場景下車輛更加密集，目標(biāo)數(shù)量更多，單幀最大車流量為12輛，有效幀數(shù)為259幀，目標(biāo)總數(shù)為892。路口場景劃分重疊視野后如圖8所示。

圖8 路段場景

統(tǒng)計(jì)路口場景下所有幀漏匹配與誤匹配的結(jié)果如表2所示。

表2 路口場景實(shí)驗(yàn)結(jié)果

在路況較為復(fù)雜的路口場景中，道路物理場景復(fù)雜，車輛密度較大，行駛方向多變，增加了目標(biāo)交接的難度，此時無論是漏匹配還是誤匹配，所提出的方法相比于單向匹配都有顯著提升，漏匹配降低了28.89%，誤匹配降低了44.00%。由此可以看出，本文所提出的方法無論在路況簡單的路段場景還是交通環(huán)境復(fù)雜的十字路口，都可以有效地解決重疊視野下車輛目標(biāo)的交接問題。

5 結(jié)論

為了解決路側(cè)視角下車輛目標(biāo)在多攝像機(jī)間的目標(biāo)交接問題，提出了雙向匹配目標(biāo)交接方法。利用攝像機(jī)間變換關(guān)系對重疊域內(nèi)車輛目標(biāo)進(jìn)行投影，并由此設(shè)計(jì)了雙向匹配策略，根據(jù)匹配矩陣標(biāo)識符結(jié)合顏色直方圖相似度輸出結(jié)果。經(jīng)實(shí)驗(yàn)驗(yàn)證，所提出的方法對比單向匹配方法，在路段場景下漏匹配降低22.22%，誤匹配降低28.57%；路口場景下漏匹配降低28.89%，誤匹配降低44.00%。

由于路側(cè)不同部署位置的攝像機(jī)間存在著視角差異、亮度變化等挑戰(zhàn)，雙向匹配交接方法仍有改進(jìn)之處。匹配過程中距離誤差閾值的大小會對漏匹配與誤匹配產(chǎn)生趨勢相反的影響，通過迭代優(yōu)化方法求取最優(yōu)閾值可進(jìn)一步提高交接準(zhǔn)確性。