模態(tài)自適應(yīng)權(quán)值學(xué)習(xí)機(jī)制下的多光譜行人檢測網(wǎng)絡(luò)

陳 瑩，朱 宇

（江南大學(xué) 輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無錫214122）

1 引 言

行人檢測是自動(dòng)駕駛、智能視頻監(jiān)控等領(lǐng)域的核心技術(shù)，要求能適應(yīng)全天候及各種場景的變換。傳統(tǒng)行人檢測的輸入源是可見光模態(tài)，可見光圖像在光照充足的情況下，能提供豐富的視覺信息，一旦環(huán)境改變，提供的視覺信息會(huì)非常有限，所以傳統(tǒng)的行人檢測極易受到不良光照及惡劣天氣的影響。為了解決這一問題，一種能同時(shí)應(yīng)用紅外和可見光兩種模態(tài)信息的多光譜行人檢測技術(shù)應(yīng)運(yùn)而生。紅外模態(tài)作為多光譜行人檢測的另一輸入源，其使用紅外成像技術(shù)提供的紅外圖片在黑暗條件下可以較好地顯示出人體，彌補(bǔ)可見光模態(tài)的不足，但通常在光照較好時(shí)，其表現(xiàn)力不如可見光圖片，因此這種動(dòng)態(tài)變化要求檢測過程中能夠有效地融合利用多模態(tài)信息。

近年來，針對(duì)多光譜行人檢測中的多模態(tài)信息融合問題，文獻(xiàn)［1］研究了卷積神經(jīng)網(wǎng)絡(luò)不同融合時(shí)期（前期，中間，后期）以及同一融合方法直接堆疊對(duì)實(shí)驗(yàn)結(jié)果的影響，得出利用中間層特征直接堆疊策略可以最大限度地整合紅外和可見光信息。Konig 等［2］使用Faster R-CNN 框架［3］中的區(qū)域建議生成網(wǎng)絡(luò)和隨機(jī)森林算法協(xié)同完成檢測，采用文獻(xiàn)［1］的融合方式，但在后續(xù)訓(xùn)練中同時(shí)使用到融合后的特征層以及原始雙流的兩模態(tài)特征層。文獻(xiàn)［4］采用一種新型無監(jiān)督行人檢測方式，在特征融合部分沿用特征堆疊策略。Song 等［5］將像素級(jí)圖像融合與基于卷積神經(jīng)網(wǎng)絡(luò)的行人檢測算法結(jié)合。然而這幾種算法均未能關(guān)注到每種模態(tài)對(duì)檢測任務(wù)的貢獻(xiàn)不同，無法有效地適應(yīng)環(huán)境的動(dòng)態(tài)變化。Lee 等［6］考慮到上述算法［1-2，4］中特征堆疊策略的不足，在特征融合時(shí)加入特征關(guān)聯(lián)層，但側(cè)重的是對(duì)模態(tài)特征進(jìn)行特征加強(qiáng)，未充分考慮模態(tài)與模態(tài)之間的關(guān)系，文獻(xiàn)［7-8］考慮到不同光照條件下每種模態(tài)融合的權(quán)重不同，設(shè)計(jì)了一個(gè)光照感知網(wǎng)絡(luò)，模擬白天黑夜照明情況，但結(jié)果的優(yōu)劣過于依賴光照感知網(wǎng)絡(luò)。

針對(duì)上述問題，本文提出了一個(gè)基于多模態(tài)自適應(yīng)權(quán)值學(xué)習(xí)融合機(jī)制的行人檢測網(wǎng)絡(luò)。首先將兩種模態(tài)的圖片送入雙流多光譜行人檢測框架中，再分別從兩流提取特征送入自適應(yīng)權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)中，網(wǎng)絡(luò)根據(jù)每種模態(tài)的貢獻(xiàn)差異，學(xué)習(xí)到每流特征的權(quán)值，因此兩流特征加權(quán)融合得到融合特征，然后在融合特征的基礎(chǔ)上生成新的特征金字塔，同時(shí)為減少行人負(fù)樣本數(shù)量，采用了一種豐富行人先驗(yàn)信息的策略，完成行人檢測任務(wù)。

2 基于多光譜信息融合的行人檢測

2.1 問題分析

在多光譜行人檢測中，紅外和可見光兩種模態(tài)表現(xiàn)出來的特征不同［9］?？梢詾樾腥藱z測提供互補(bǔ)的信息。因此多光譜信息的融合方式尤為重 要 ，目 前 有 直 接 堆 疊 策 略［1-2，4］，特 征 關(guān) 聯(lián) 策略［6］等。

直接堆疊策略直接在輸入時(shí)或在訓(xùn)練過程中選定某一層對(duì)兩模態(tài)做通道堆疊，即兩模態(tài)之間按1：1 的權(quán)重進(jìn)行融合，未考慮不同模態(tài)對(duì)任務(wù)的不同影響，易丟失有效特征信息［10］，影響檢測性能。特征關(guān)聯(lián)策略提取某一層雙流特征并相乘，將相乘后的特征再與原始特征堆疊作為融合特征。該策略雖然對(duì)特征信息進(jìn)行了加強(qiáng)，也考慮到模態(tài)之間的交互性，但還是未完全考慮到兩模態(tài)在不同場景下對(duì)任務(wù)的貢獻(xiàn)比重不同，同時(shí)在融合時(shí)這兩種策略均只是選擇了某一特定層，而忽視了剩余特征層的重要性。

圖1 紅外和可見光圖像對(duì)Fig. 1 Infrared and visible image pairs

如圖1 所示，第一列和第二列分別是可見光和紅外圖片，每一行的圖片均是在同一場景和時(shí)刻拍攝的，圖中用綠框標(biāo)出了同一目標(biāo)在兩張圖像上的差異（彩圖見期刊電子版）。當(dāng)光照充足，四周無遮擋時(shí)，可見光圖像（a）上的行人顯示得較為完整，而對(duì)應(yīng)紅外圖像（b）上目標(biāo)卻不能被分辨出來。同樣在白天，可見光圖像（c）上的目標(biāo)由于被樹蔭遮擋，無法顯示出完整的人形，而紅外圖像（d）能區(qū)分出行人和背景。由此可見，不同情況下，檢測網(wǎng)絡(luò)對(duì)兩模態(tài)的依賴程度存在著較大差異，因此需要一種融合策略能自適應(yīng)環(huán)境改變，根據(jù)檢測任務(wù)學(xué)習(xí)兩個(gè)模態(tài)的差異性，從而為兩個(gè)模態(tài)分配相應(yīng)權(quán)重。

2.2 網(wǎng)絡(luò)框架

結(jié)合以上問題，以及多光譜行人檢測是目標(biāo)檢測中的一個(gè)特殊任務(wù)，需要針對(duì)其在輸入的多源性以及檢測行人任務(wù)的單一性兩方面搭建合適的基礎(chǔ)框架。本文選用Li 等［11］提出的FSSD（Feature Fusion Single shot Multibox Detector）框架作為檢測的基礎(chǔ)框架，并將其擴(kuò)展為雙流。FSSD 級(jí)聯(lián)原始檢測器SSD［12］中不同尺度的特征層，以融合高層語義信息和低層細(xì)節(jié)信息，這是因?yàn)镾SD 對(duì)于高分辨率的低層特征沒有再利用［13］，而這些層對(duì)于檢測類似行人這樣的小目標(biāo)很重要，這也是本文算法選擇FSSD 的主要原因。

網(wǎng)絡(luò)框架如圖2 所示，512×512，對(duì)齊的可見光和紅外圖片先經(jīng)過前向傳播的兩分支網(wǎng)絡(luò)提取特征，再將特征送入權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)（Weight-learning Fusion Network，WFN）完成加權(quán)融合，然后利用融合特征生成特征金字塔用于行人的分類和回歸，最終的檢測結(jié)果會(huì)經(jīng)過非極大 值 抑 制（Non-Maximum Suppression，NMS）層。下面介紹網(wǎng)絡(luò)的組成。

圖2 多光譜行人檢測框架Fig. 2 Multispectral pedestrian detection network framework

2.2.1 可見光和紅外分支

紅外分支與可見光分支的網(wǎng)絡(luò)結(jié)構(gòu)完全相同，均是以在ImageNet 上預(yù)訓(xùn)練的VGG16 網(wǎng)絡(luò)為基礎(chǔ)網(wǎng)絡(luò)。在特征提取階段，文獻(xiàn)［11］中提出尺寸小于10×10 的特征層可提供的信息較少，因此本文選取VGG16 網(wǎng)絡(luò)的conv4-3 和fc7 特征層，兩層尺寸分別為64×64，38×38，并添加了19×19 的conv7-2 層，得到可見光分支的三個(gè)特征 ：f1，f2，f3，及 對(duì) 應(yīng) 的 紅 外 分 支 的 三 個(gè) 特

2.2.2 模態(tài)融合部分

模態(tài)融合主要利用WFN 完成模態(tài)的加權(quán)融合，本文將在2. 3 節(jié)介紹WFN 模塊。該部分首先將提取得到的三組對(duì)應(yīng)特征送入WFN，進(jìn)行模態(tài)加權(quán)融合，得到加權(quán)融合后的三個(gè)高低層特征F1，F(xiàn)2，F(xiàn)3，并對(duì)三個(gè)特征進(jìn)行尺寸歸一化，即先利用1×1 的卷積核對(duì)三個(gè)特征進(jìn)行通道降維，再使用雙線性插值法將尺寸歸一化為64×64，最后級(jí)聯(lián)這三個(gè)特征得到特征Fc。具體操作如式（1）～式（2）所示，其中i表示層數(shù)，i= 1，2，3，ΦW表示經(jīng)過WFN 完成的加權(quán)融合操作，ΦC表示級(jí)聯(lián)操作，Γi指對(duì)特征的尺寸歸一化操作。

2.2.3 特征金字塔

特征金字塔部分用于完成行人目標(biāo)的分類以及檢測框的定位和回歸。與原始FSSD 不同，本文算法是對(duì)兩模態(tài)融合后的融合特征Fc，而不是對(duì)單一流的特征操作，以獲得更多模態(tài)之間的交互信息。具體操作是采用下采樣方法，即利用7 組3×3 的卷積核和relu 的組合操作實(shí)現(xiàn)，生成圖1 右側(cè)的特征金字塔。

2.3 自適應(yīng)加權(quán)融合網(wǎng)絡(luò)

針對(duì)2. 1 節(jié)提出的問題，受文獻(xiàn)［14］中RGB圖與深度圖融合方法的啟發(fā)，本文在雙流檢測網(wǎng)絡(luò)中對(duì)雙流融合機(jī)制進(jìn)行設(shè)計(jì)，提出自適應(yīng)權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)。該網(wǎng)絡(luò)可以自適應(yīng)關(guān)注兩個(gè)模態(tài)的重要信息，從而學(xué)習(xí)并分配權(quán)重，強(qiáng)化對(duì)重要信息的學(xué)習(xí)。 本文對(duì)從兩個(gè)分支對(duì)應(yīng)的conv4-3，fc7，conv7-2 層提取到的三組特征對(duì)都嵌入了WFN 模塊，以充分利用每一層的特征。第三部分的實(shí)驗(yàn)證明了選取該融合時(shí)機(jī)的有效性。

圖3 權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)Fig. 3 Weight-learning fusion network

網(wǎng)絡(luò)框架如圖3 所示，圖中左側(cè)第一個(gè)框是直接堆疊方法，即級(jí)聯(lián)融合，網(wǎng)絡(luò)輸入為尺寸相同 的 可 見光 和 紅 外特 征fi和fi′（i表 示 層 數(shù)，i=1，2，3），級(jí)聯(lián)融合是做簡單的通道堆疊操作，從而得到通道堆疊后的特征Sfi，在直接堆疊融合算法中，之后的訓(xùn)練直接應(yīng)用特征Sfi。本文則是對(duì)特征Sfi進(jìn)行加權(quán)操作，得到一組權(quán)重矩陣，然后分別與原始特征相乘，得到分別加權(quán)后的兩個(gè)特征，再級(jí)聯(lián)得到最終加權(quán)融合后的特征Fi。該網(wǎng)絡(luò)主要由以下兩個(gè)部分組成。

2.3.1 加權(quán)部分

該部分由3×3 卷積和sigmoid 激活函數(shù)組合完成加權(quán)操作。其中3×3 的卷積操作是為了在分離特征Sfi時(shí)，進(jìn)一步加深特征的深度。分離出的兩組特征再經(jīng)過sigmoid 激活函數(shù)得到對(duì)應(yīng)權(quán)重矩陣wi，w′i，如式（3）～式（4）所示。其中C1，C2表示卷積核的權(quán)重，b1，b2表示卷積核的偏差，

sigmoid 函數(shù)輸出在（0，1）之間，輸出范圍有限，優(yōu)化穩(wěn)定。兩個(gè)權(quán)重矩陣wi，w′i各自代表了每個(gè)模態(tài)對(duì)網(wǎng)絡(luò)的貢獻(xiàn)。當(dāng)光照充足，可見光模態(tài)對(duì)網(wǎng)絡(luò)的貢獻(xiàn)較大，相應(yīng)wi就越接近于1，wi′則接近0；相反，當(dāng)網(wǎng)絡(luò)更依賴紅外模態(tài)時(shí)，wi′ 接近1，wi則接近0，且wi，wi′ 是由網(wǎng)絡(luò)自主學(xué)習(xí)得來，可以自適應(yīng)外界環(huán)境的動(dòng)態(tài)變化。將獲得的權(quán)重矩陣與原始特征相乘，那么加權(quán)后的兩個(gè)特征就分別代表了模態(tài)最優(yōu)特征。

2.3.2 級(jí)聯(lián)部分

自適應(yīng)加權(quán)融合網(wǎng)絡(luò)中有兩個(gè)部分應(yīng)用到了級(jí)聯(lián)（concat），第一次是將輸入的一組特征fi，fi′級(jí)聯(lián)。第二次是將加權(quán)后的特征級(jí)聯(lián)，并使用1×1 的卷積核降維，得到加權(quán)融合后的特征Fi。

2.4 豐富行人先驗(yàn)信息

FSSD 是單階段的檢測算法［15］，沒有雙階段目標(biāo)檢測器Faster-RCNN 的候選區(qū)域生成階段［16］，而是采用了先驗(yàn)框（Prior boxes）機(jī)制預(yù)設(shè)不同大小的先驗(yàn)框。FSSD 設(shè)置了五種不同寬高比的先驗(yàn)框，以檢測出不同大小的各種目標(biāo)。但是行人檢測只有行人一個(gè)目標(biāo)，不同寬高比的先驗(yàn)框不僅增加了網(wǎng)絡(luò)的計(jì)算量，還給行人目標(biāo)的檢測帶來了干擾信息。

如圖4 所示本文統(tǒng)計(jì)了kaist 多光譜行人數(shù)據(jù)集［17］中訓(xùn)練集的行人實(shí)例的寬高比，由此在本文中將寬高比簡化成0. 41。同時(shí)因?yàn)槲覀冊诰W(wǎng)絡(luò)訓(xùn)練過程中只采用行人實(shí)例高度大于50 的圖片，所以針對(duì)先驗(yàn)框的尺寸也進(jìn)行了重新設(shè)置，并為了應(yīng)對(duì)行人擁擠的場景，在水平方向增加先驗(yàn)框的密集度，如圖5 右所示（圖5 左是原始先驗(yàn)框設(shè)置）。

圖4 寬高比統(tǒng)計(jì)Fig. 4 Statistics of aspect ratio

圖5 先驗(yàn)框設(shè)置Fig. 5 Prior boxes settings

2.5 損失函數(shù)和優(yōu)化方法

網(wǎng)絡(luò)的損失函數(shù)是位置和分類損失的加權(quán)和，如式（5）所示。 其中，N是匹配的先驗(yàn)框數(shù)量，α是兩損失的加權(quán)值，本文使用文獻(xiàn)［12］中的默認(rèn)設(shè)置，將α設(shè)為1。

分類損失如式（6）所示是softmax 損失。指網(wǎng)絡(luò)輸出的第i個(gè)樣本框?yàn)閜類的置信度其中t=1 時(shí)代表分類為行人，t=0時(shí)則為背景。

位置損失如式（7）所示是正樣本（i∈pos）的真實(shí)框g和預(yù)測框l偏移量的smooth-L1 損失，(cx，cy)是框的中心點(diǎn)坐標(biāo)，w，h分別是框的寬和高。是第i個(gè)預(yù)測框和第j個(gè)標(biāo)注框的偏移量的定義如式（8）所示，其中d是先驗(yàn)框。

本文采用隨機(jī)梯度下降算法，以提高訓(xùn)練速度，加快網(wǎng)絡(luò)學(xué)習(xí)進(jìn)程。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)配置

本文提出的算法是在深度學(xué)習(xí)框架Pytorch下完成的，實(shí)驗(yàn)所使用環(huán)境Ubuntu14. 0，CUDA8. 0. 61，python3. 6，硬件配置為TITAN XP。網(wǎng)絡(luò)的初始學(xué)習(xí)率為0. 000 5，沖量為0. 9，權(quán)重衰減項(xiàng)為0. 000 5。

3.2 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

本實(shí)驗(yàn)使用的公開數(shù)據(jù)集是kaist 多光譜數(shù)據(jù)集，該數(shù)據(jù)集是目前為止國內(nèi)外最大型，且能提供成對(duì)配準(zhǔn)標(biāo)注的紅外和可見光圖像的多光譜行人檢測數(shù)據(jù)集，包含95 328 對(duì)，103 128 個(gè)密集標(biāo)注的，交通場景下的紅外可見光圖像對(duì)，且圖像尺寸均為640×512。為與其他算法［4-9，18］保持?jǐn)?shù)據(jù)一致性，本文沿用文獻(xiàn)［1］的處理方式：在訓(xùn)練集中去除嚴(yán)重遮擋以及行人高度＜50 的行人實(shí)例，得到最終用于訓(xùn)練的7 904 張訓(xùn)練圖片。測試集使用原數(shù)據(jù)集劃分的2 252 張圖片，包含白天和夜晚拍攝的圖片。

網(wǎng)絡(luò)訓(xùn)練時(shí)為了維持正負(fù)樣本的平衡，正負(fù)樣本比例設(shè)置為1∶3，并為了增強(qiáng)網(wǎng)絡(luò)的泛化能力，采用了數(shù)據(jù)增廣策略。

實(shí)驗(yàn)計(jì)算對(duì)數(shù)空間下[10-2，100]的平均漏檢率（Log-average Miss Rate，MR）來比較算法性能。MR 值越小，則算法性能越優(yōu)。同時(shí)在空間對(duì)數(shù)坐標(biāo)下繪制的missrate-FPPI 曲線圖［19］也用來評(píng)估算法的性能，該曲線圖橫坐標(biāo)是平均每張圖片中負(fù)樣本被檢測為正樣本的數(shù)量（False Positives Per Image，F(xiàn)PPI），縱坐標(biāo)是指在實(shí)際為正的樣本中，未被正確檢測出來的概率，即漏檢率（Miss Rate）。 曲線越低，代表的算法性能越優(yōu)。

3.3 消融實(shí)驗(yàn)

3.3.1 多模態(tài)信息的重要性及互補(bǔ)性

本部分比較了單支可見光，紅外以及雙支多模態(tài)網(wǎng)絡(luò)的性能。表1 是三種網(wǎng)絡(luò)在白天，夜晚及全天的檢測性能，其中多模態(tài)網(wǎng)絡(luò)整體獲得了26. 96% 的MR 值，分別比只使用可見光模態(tài)和紅外模態(tài)的單流網(wǎng)絡(luò)減少了12. 91% 和11. 28%，可以發(fā)現(xiàn)利用多模態(tài)信息的雙流檢測網(wǎng)絡(luò)的檢測性能更優(yōu)。

對(duì)比表1 的兩個(gè)單模態(tài)網(wǎng)絡(luò)在白天黑夜的MR 值大小以及圖6～圖7 的missrate-FPPI 曲線（藍(lán)色代表紅外分支，紫色代表可見光分支，彩圖見期刊電子版）的高低，可以看出，在白天，單支可見光比單支紅外網(wǎng)絡(luò)性能更優(yōu)；而在夜晚的大部分場景下，單支紅外比單支可見光網(wǎng)絡(luò)性能更優(yōu)，驗(yàn)證了兩模態(tài)的互補(bǔ)性。

表1 不同模態(tài)的MR 值Tab. 1 MR values of different modals （%）

圖8 是在kaist 數(shù)據(jù)集上的檢測實(shí)例（彩圖見期刊電子版）。（紅色框代表真實(shí)標(biāo)注框，綠色框代表網(wǎng)絡(luò)輸出的檢測框，從左到右分別為（a）原始標(biāo)注，（b）單支可見光模態(tài)，（c）單支紅外模態(tài)，（d）雙支多模態(tài)以及（e）Fusion-RPN［2］。 關(guān)于與Fusion-RPN 算法的比較將在3. 4 節(jié)介紹）相鄰的兩行是同一組可見光和紅外圖片，第一組是在夜晚拍攝，第二組和第三組均為白天拍攝。由幾組圖片可以看出，單獨(dú)使用某一分支網(wǎng)絡(luò)只能在白天或黑夜一種情況下性能更優(yōu)，并不能適應(yīng)環(huán)境變化，雙支多模態(tài)網(wǎng)絡(luò)明顯性能更優(yōu)化穩(wěn)定，進(jìn)一步驗(yàn)證了上文的結(jié)論，佐證了多模態(tài)自適應(yīng)融合實(shí)驗(yàn)的可行性。

圖6 兩分支在白天的檢測結(jié)果Fig. 6 Detection results of the two branches during the day

圖7 兩分支在夜晚的檢測結(jié)果Fig. 7 Detection results of the two branches during the night

3.3.2 多模態(tài)融合實(shí)驗(yàn)

兩模態(tài)的正確融合可以大幅度提升檢測性能，然而兩模態(tài)正確融合的關(guān)鍵就是如何融合和何時(shí)融合。針對(duì)這兩個(gè)關(guān)鍵問題，本文做了如下兩組實(shí)驗(yàn)。

3.3.2.1 選取融合時(shí)機(jī)

本文為了更有效地融合多光譜信息，更好地發(fā)揮WFN 模塊的優(yōu)勢。本部分研究了兩種不同時(shí)機(jī)嵌入WFN 模塊的方案。圖9 表示（a），（b）兩種嵌入WFN 模塊的策略。

融合時(shí)機(jī)（a）：先逐層加權(quán)自適應(yīng)融合，再對(duì)融合后的三個(gè)特征進(jìn)行高低層級(jí)聯(lián)，獲得最終的用于生成特征金字塔的融合特征。

圖8 檢測實(shí)例Fig. 8 Detection examples

融合時(shí)機(jī)（b）：先在每一單獨(dú)分支對(duì)三層特征進(jìn)行高低層級(jí)聯(lián)，再對(duì)分別來自兩流的高低層級(jí)聯(lián)特征做加權(quán)自適應(yīng)融合操作，獲得最終的用于生成特征金字塔的融合特征。

本文選擇融合方式（a），是因?yàn)橹饘尤诤峡梢猿浞掷妹恳粚拥奶卣餍畔?，讓網(wǎng)絡(luò)充分學(xué)習(xí)更多兩模態(tài)之間的信息，相較融合方式（b），減少了特征信息丟失的可能性。表2 是兩種方式在Kaist 數(shù)據(jù)集上的MR 值，本文選擇的融合方式（a）的MR 值比融合方式（b）低了1. 09%，圖10（ours 和fusion b）也展示了兩種方式的missrate-FPPI 曲線圖，顯然，融 合 方 式（a）的性能較優(yōu)。

3.3.2.2 選取融合方法

本文通過實(shí)驗(yàn)比較了直接堆疊和自適應(yīng)權(quán)值學(xué)習(xí)兩種融合方法的優(yōu)劣，實(shí)驗(yàn)結(jié)果如表3 和圖10（ours 和stack）所示，顯然，采用自適應(yīng)權(quán)值學(xué)習(xí)融合方式可以顯著提高網(wǎng)絡(luò)性能。

圖9 兩種融合時(shí)機(jī)Fig. 9 Two fusion stages

表2 不同融合時(shí)機(jī)的MR 值Tab. 2 MR values of different fusion stages

3.4 算法的整體性能

為驗(yàn)證算法的先進(jìn)性，將本文算法與當(dāng)前先進(jìn) 算 法ACF+T+THOG［17］，F(xiàn)usion-RPN［2］，YOLO-TGB［18］，DSSD-HC［6］，TS-RPN［4］在Kaist數(shù)據(jù)集上進(jìn)行了MR 值的比較，結(jié)果如表4 所示。可以看出本文提出的算法MR 值為26. 96% 與當(dāng)前最優(yōu)方法Fusion-RPN（29. 73%）相比，降低了2. 77%，與baseline 算法相比分別降低了27. 84%，與最新的三種算法相比分別降低了4. 24%，7. 36%，3. 7%。

表4 不同方法在Kaist 數(shù)據(jù)集上的MR 值Tab. 4 MR values of different methods on the Kaist dataset

為了進(jìn)一步驗(yàn)證本文算法的領(lǐng)先性，如圖10所示，挑選了當(dāng)前采用直接堆疊策略的最優(yōu)算法Fusion-RPN，和ACF+T+THOG（baseline）兩種算法繪制missrate-FPPI 曲線圖，由圖10 可以看出，本文提出的算法（ours）曲線是明顯低于另兩種算法的。同時(shí)圖8 也對(duì)比了本文算法（d）和Fusion-RPN 算法（e）在kaist 數(shù)據(jù)集上的檢測實(shí)例。觀察兩個(gè)算法在第一組和第二組圖片上的檢測結(jié)果，可以發(fā)現(xiàn)本文算法不僅能框出更多使用直接堆疊的Fusion-RPN 算法漏檢的行人目標(biāo)，而且對(duì)已分類出的行人目標(biāo)的定位也更加準(zhǔn)確。因此本文的自適應(yīng)權(quán)值融合方法可以有效提升行人檢測性能，優(yōu)于其他算法。

4 結(jié) 論

本文根據(jù)自動(dòng)駕駛，智能視頻監(jiān)控等領(lǐng)域?qū)π腥藱z測能適應(yīng)全天候及各種場景變化的要求，提出了基于多模態(tài)信息融合權(quán)值學(xué)習(xí)的行人檢測網(wǎng)絡(luò)，首先分析了當(dāng)前一些融合方法，融合時(shí)機(jī)存在的問題，然后介紹了本文算法提出的雙流行人檢測框架以及權(quán)值學(xué)習(xí)融合網(wǎng)絡(luò)的各部分組成和工作原理，并通過實(shí)驗(yàn)驗(yàn)證本文算法的先進(jìn)性。實(shí)驗(yàn)結(jié)果證明：相比目前采用直接堆疊的最優(yōu)算法以及當(dāng)前先進(jìn)算法的漏檢率，本文算法獲得了較低的漏檢率：26. 96%，基本能為行人檢測提供互補(bǔ)的模態(tài)信息，滿足行人檢測自適應(yīng)場景變化的需求。