基于NV夜視系統(tǒng)融合的AEBS系統(tǒng)夜間控制技術(shù)

文翊，孫國(guó)正，李澤彬，吳相昆

（1.東風(fēng)汽車集團(tuán)股份有限公司技術(shù)中心，湖北 武漢 430000；2.東風(fēng)汽車股份有限公司，湖北 武漢 430000）

1 序言

眾所周知，ADAS（智能駕駛輔助系統(tǒng)）是當(dāng)今汽車科技的重要的發(fā)展方向，而作為 ADAS系統(tǒng)標(biāo)志性功能的AEBS（自主緊急制動(dòng)）系統(tǒng)已成為重要的汽車安全功能，裝備率與日俱增且技術(shù)日趨成熟；NV（夜視）系統(tǒng)作為ADAS家族的最新加入的高級(jí)功能，在夜間可以有效感知周圍環(huán)境，特別是無(wú)燈光的道路上，極大提升駕駛員視野提升駕駛安全性。

但由于AEBS環(huán)境感知傳感器，是基于可見(jiàn)光原理，對(duì)于白天色彩詳實(shí)對(duì)比豐富的正常環(huán)境有良好的表現(xiàn)，而對(duì)于夜間，特別是人眼也無(wú)法探知的行人的表現(xiàn)退坡明顯，嚴(yán)重影響到夜間的功能安全；由于NV夜視紅外傳感器，是基于紅外成像原理，對(duì)于夜間紅外物體有很好的探知能力，但其成像能力極差，若直接使用提供給駕駛員展示詬病無(wú)窮，且無(wú)法描繪行人輪廓限制了其功能。

本文實(shí)現(xiàn)了AEBS系統(tǒng)和NV夜視系統(tǒng)的系統(tǒng)融合，通過(guò)AEBS系統(tǒng)圖像和NV夜視系統(tǒng)圖像強(qiáng)度及對(duì)比度的雙重濾波提取，有效使用行人邊沿，角端特征點(diǎn)探測(cè)等方法，對(duì)雙重濾波后的兩幅圖像再次融合，使得AEBS系統(tǒng)的夜間識(shí)別識(shí)別探測(cè)能力提升，并輔助完成行人的標(biāo)注及展現(xiàn)，本文中將AEBS系統(tǒng)和NV夜視系統(tǒng)的系統(tǒng)融合的AEBS控制技術(shù)簡(jiǎn)稱為AEBS-Night（下文同）。

2 基于圖像融合及可信度比較的AEBS-Night方案設(shè)計(jì)

2.1 現(xiàn)有AEBS系統(tǒng)的工作原理

AEBS系統(tǒng)是ADAS領(lǐng)域目前比較成熟的系統(tǒng)：對(duì)于基于環(huán)境感知傳感器+毫米波雷達(dá)方案來(lái)說(shuō)其工作“感知-數(shù)據(jù)融合—運(yùn)算—執(zhí)行”各自反饋條件形成閉環(huán)過(guò)程，當(dāng)環(huán)境感知傳感器識(shí)別到目標(biāo)為車或人后，采用毫米波雷達(dá)實(shí)時(shí)地測(cè)出與目標(biāo)障礙物的距離，結(jié)合車輛狀態(tài)參數(shù)信息，利用算法實(shí)時(shí)計(jì)算安全時(shí)距 TTC，根據(jù)毫米波雷達(dá)測(cè)出的實(shí)際 TTC比較，當(dāng)實(shí)際距離小于安全時(shí)距時(shí)，系統(tǒng)會(huì)主動(dòng)向ESC發(fā)送對(duì)應(yīng)減速度請(qǐng)求，車輛執(zhí)行對(duì)應(yīng)的減速度，自主緊急制動(dòng)從而避免碰撞。故AEBS系統(tǒng)有效動(dòng)作的先決條件為系統(tǒng)識(shí)別到目標(biāo)為車或人。

圖1 本公司現(xiàn)有AEBS系統(tǒng)原理圖

2.2 夜視圖像及環(huán)境圖像融合技術(shù)介紹

NV夜視攝像頭針對(duì)行人或事物溫差及紅外輻射量級(jí)不同進(jìn)行圖像提取成像，是夜間可視化探測(cè)的唯一選擇，復(fù)雜道路環(huán)境對(duì)其影響小且不受樹(shù)枝揚(yáng)塵等半遮蔽型障礙物干擾[1]。美中不足的是，夜視圖像行人細(xì)節(jié)及輪廓羽化失真、低對(duì)比度、因此其AEBS系統(tǒng)無(wú)法識(shí)別出夜視圖像中的行人目標(biāo)（如圖2）。

AEBS環(huán)境感知傳感器與NV夜視攝像頭功能原理差異較大，和人眼識(shí)別類似，影響其性能的重要因素在于目標(biāo)反射光的接收，所以AEBS環(huán)境感知傳感器在波長(zhǎng)齊全顏色豐富的可見(jiàn)光下的信息反饋良好，通過(guò)成熟的技術(shù)和算法識(shí)別出行人和車輛；美中不足的是，夜間或有遮擋等人眼無(wú)法識(shí)別的目標(biāo)時(shí)無(wú)能為力。

圖2 單純夜視系統(tǒng)成像效果

圖3 單獨(dú)AEBS及單純夜視功能實(shí)測(cè)圖

（單獨(dú)AEBS無(wú)法識(shí)別夜間行人能力及單純夜視功能無(wú)行人框選功能）

圖4 圖像融合流程圖

針對(duì)AEBS環(huán)境感知傳感器的局限性，本文提出了結(jié)合NV傳感器和AEBS傳感器圖像的提取和再融合方法，其基本原理：首先，先對(duì)兩種傳感器圖像進(jìn)行亮度、色度與飽和度3個(gè)維度的預(yù)處理；然后，對(duì)兩種傳感器圖像對(duì)比度進(jìn)行RGB格式的顏色對(duì)比度分量提?。辉偻ㄟ^(guò)降低可視圖像的色度和飽和度，利用夜視攝像頭亮度高度可信的優(yōu)勢(shì)，利用夜視圖像的亮度參數(shù)換AEBS環(huán)境感知攝像頭的亮度參數(shù)；最后，參數(shù)的拼接融合后新的亮度參數(shù)單元和AEBS環(huán)境感知攝像頭的色度和飽和度進(jìn)行逆變換。通過(guò)這樣變化換后可以得到夜間用于AEBS系統(tǒng)的處理后的圖像。通過(guò)AEBS環(huán)境感知傳感器進(jìn)行亮度、色度與飽和度變換，將色度與飽和度及 RGB提取的顏色分量賦予夜視系統(tǒng)，使用基于對(duì)比度的重構(gòu)逆變換[2]，最終完成可視夜視圖像的融合。簡(jiǎn)單流程圖如圖3。本文方法保留了AEBS環(huán)境感知傳感器中的大量信息為下一步夜視系統(tǒng)中行人輪廓的展示提醒提供了必要的先決條件。

2.3 AEBS功能AEBS-Night夜視增強(qiáng)系統(tǒng)方案設(shè)計(jì)

本文研究的AEBS系統(tǒng)AEBS-Night夜視增強(qiáng)系統(tǒng)，其工作的核心是在于控制其中加入兩個(gè)運(yùn)算模式：（1）圖像融合模塊，（2）條件判斷單元。對(duì)于圖像融合模塊來(lái)說(shuō)其工作為兩種方案的圖像融合過(guò)程，對(duì)雙重濾波后的兩幅圖像再次融合，本文中主要對(duì)AEBS系統(tǒng)可引用的圖像進(jìn)行介紹。當(dāng)環(huán)境光照足夠暗滿足 AEBS-Night夜視增強(qiáng)系統(tǒng)模塊激活要求后，域控制器采用可信度比較法模塊對(duì) AEBS-Night融合圖像與ADAS環(huán)境感知傳感器原始圖像進(jìn)行可信度比選。若AEBS-Night融合圖像在比選中可信度勝出，AEBS系統(tǒng)會(huì)依據(jù)AEBS-Night融合圖像產(chǎn)生夜視目標(biāo)OBJ（NV），OBJ（NV）會(huì)正常參與AEBS系統(tǒng)正常識(shí)別的目標(biāo)物比選，OBJ（NV）自身參數(shù)滿足成為主目標(biāo)的條件后，結(jié)合車輛狀態(tài)參數(shù)信息，夜視目標(biāo)計(jì)算安全時(shí)距TTC，正常請(qǐng)求對(duì)應(yīng)減速度。

圖5 AEBS-Night夜視增強(qiáng)系統(tǒng)原理圖

3 AEBS-Night夜視增強(qiáng)系圖像融合及夜間行人特征識(shí)別算法的研究

在 AEBS-Night夜視增強(qiáng)系統(tǒng)圖像融合和處理的過(guò)程中必須要盡最大可能保留融合圖像中的目標(biāo)輪廓或主要特征，因?yàn)锳EBS系統(tǒng)是通過(guò)識(shí)別輪廓及主要特征點(diǎn)判別目標(biāo)。

小波分解技術(shù)是成熟的圖像融合處理方法，通過(guò)高頻分量（對(duì)比度、色度）的濾波優(yōu)化處理，保留了幾乎的全部圖像信息，這些信息很好地呈現(xiàn)了細(xì)節(jié)、紋理信息視覺(jué)特征信息。出于保留目標(biāo)輪廓或主要特征的目的，本文采用的對(duì)比度、色度的濾波方式為標(biāo)準(zhǔn)差法比對(duì)標(biāo)準(zhǔn)差后取其大致，其適用范圍為選定的融合范圍，灰度值越分散，紋理等信息包含越豐富時(shí)，通過(guò)本文方法加以保留。

本文研究的算法流程主要包括：（1）圖像的拼合重構(gòu)；（2）標(biāo)準(zhǔn)差法的圖像融合變換；（3）統(tǒng)一光強(qiáng)的圖像處理。以下分別加以說(shuō)明。

3.1 圖像的拼合及重構(gòu)

NV夜視攝像頭和AEBS環(huán)境感知傳感器是兩個(gè)功能原理完全不同的傳感器，其視角必然不同，其布置位置差異也較大。所以第一步為圖像的校準(zhǔn)和拼合。

在車輛設(shè)計(jì)和標(biāo)定的過(guò)程中，分別選取環(huán)境一致的像素區(qū)域作為配準(zhǔn)區(qū)域，由于兩傳感器安裝角度必然不同，明暗及扭曲的變形是必然的，為了消除圖像融合的痕跡，本文中快速融合算法采用加權(quán)平均值法，其基本原理公式可表示為[3]：假設(shè)PNV、PAEB為NV夜視圖像和AEBS環(huán)境感知圖像的像素點(diǎn)，融合圖像PA可表示為：

其中式中d1、d2代表了其重疊區(qū)域?qū)挾却碇担钤撌街袧M足d1+d2=1，故d1、d2很好地代表了NV夜視圖像和AEBS環(huán)境感知圖像中單個(gè)像素點(diǎn)的權(quán)重值。在圖像拼接融合的過(guò)程中，對(duì)于遠(yuǎn)端視覺(jué)不可見(jiàn)場(chǎng)景，d1漸變至0，d2漸變至1，通過(guò)加權(quán)平均值法完成了NV夜視圖像和AEBS環(huán)境感知圖像在選定配準(zhǔn)區(qū)域內(nèi)平滑過(guò)渡問(wèn)題。

本方法實(shí)現(xiàn)了在95%以上的選定的重疊區(qū)域內(nèi)夜視圖像和AEBS環(huán)境感知圖像的平滑過(guò)渡問(wèn)題，不會(huì)出現(xiàn)帶狀鋸齒，且速度快穩(wěn)定性高。

3.2 基于標(biāo)準(zhǔn)差法的圖像融合變換

環(huán)境感知圖像融合的步驟是首先對(duì)重疊區(qū)域分別選取一個(gè)目標(biāo)像素組塊，由于無(wú)可視化要求，可在工程上不進(jìn)行嚴(yán)格的圖像拼接，而后統(tǒng)籌比較目標(biāo)像素組塊標(biāo)準(zhǔn)差的值，選取大的值的分量作為最后分量的值。

重疊區(qū)域的標(biāo)準(zhǔn)差的表達(dá)式可歸納如下：

重疊區(qū)域選取目標(biāo)像素組塊的m×n區(qū)域，K表示為該像素點(diǎn)不同方向高頻部分的分量，L表示在內(nèi)部信息層的高頻分量，代表了圖像像素點(diǎn)（i，j）上高頻分量的灰度值，代表了圖像上所有像素點(diǎn)上高頻分量的灰度平均值[4]。

故該標(biāo)準(zhǔn)差法的圖像變換圖像融合方案的表達(dá)式如下：

3.3 基于統(tǒng)一光強(qiáng)的圖像變換處理

通過(guò)研究分析，本文基本確認(rèn)出現(xiàn)圖像仍然無(wú)法供AEBS系統(tǒng)直接引用的原因?yàn)橐挂晥D像獨(dú)有的識(shí)別部分在融合過(guò)程中其光強(qiáng)值明顯高于其色度及對(duì)比度，類似強(qiáng)光下的炫目效果。故圖像的下一步處理需要將選取夜視圖像的特有部分光強(qiáng)因子等比例縮放后作為融合圖像的光強(qiáng)因子，對(duì)于色對(duì)及對(duì)比度數(shù)值部分的梯度取最大值的方法，將梯度值最大時(shí)的系數(shù)作為最終的高頻。

本文充分利用夜視系統(tǒng)優(yōu)勢(shì)進(jìn)行如下運(yùn)算， 將圖像由標(biāo)準(zhǔn)RGB圖像模型正變換為光波空間模型：

其中SNV為光飽和度反饋組成光顏色純度；HNV為像素點(diǎn)顏色組成的光波的主波長(zhǎng)，直觀反饋光的頻譜即色度；INV為像素點(diǎn)組成的光強(qiáng)。

通過(guò)本組公式得到夜視系統(tǒng)圖像的各像素點(diǎn)的亮度、色度與飽和度信號(hào)，其中光強(qiáng)信號(hào)INV保留并存儲(chǔ)。

將提取到的光強(qiáng)信號(hào)INV按最大梯度法處理后，進(jìn)行融合圖像的逆變換，該梯度值最大法后的圖像變換表達(dá)式如下：

通過(guò)本方法提出得到的圖像如下，AEBS系統(tǒng)可以判斷出圖中行人，滿足自身動(dòng)的基本條件。

4 基于AEBS-Night夜視增強(qiáng)系統(tǒng)的AEBS功能方案設(shè)計(jì)

AEBS-Night夜視增強(qiáng)系統(tǒng)的 AEBS功能方案從四個(gè)維度：（1）功能激活條件；（2）AEBS-Night融合圖像與原始圖像可信度比較；（3）目標(biāo)特征識(shí)別；（4）目標(biāo)優(yōu)先級(jí)比選。若四個(gè)維度滿足要求，則AEBS系統(tǒng)會(huì)依據(jù)AEBS-Night融合圖像產(chǎn)生夜視目標(biāo) OBJ（NV）計(jì)算安全時(shí)距 TTC，正常請(qǐng)求對(duì)應(yīng)減速度。

圖6 單純夜視系統(tǒng)成像效果

4.1 功能激活條件及圖像可信度比選

本文中關(guān)于AEBS系統(tǒng)夜間性能提升的設(shè)計(jì)原理是，在光照條件達(dá)到300流明以下，NV系統(tǒng)及AEBS系統(tǒng)無(wú)故障，車速大于 5km/h時(shí)，AEBS-Night夜視增強(qiáng)系統(tǒng)自動(dòng)開(kāi)啟運(yùn)行。

該模式下，AEBS系統(tǒng)可引用本文引用融合圖像，和AEBS原始圖像根據(jù)AEBS系統(tǒng)信息語(yǔ)義的輸出可信度值；夜視攝像頭與攝像頭計(jì)算距離的綜合比較， 雷達(dá)判別距離、環(huán)境感知攝像頭判別距離、夜視融合圖像距離判別信息3個(gè)維度標(biāo)定后的曲線MAP如：圖7；在不同情況下選取不同可信距離作為AEBS功能執(zhí)行的圖像輸入；本MAP圖可根據(jù)裝配在車輛上紅外攝像頭及環(huán)境感知攝像頭實(shí)際情況標(biāo)定。

圖7 可信度比較MAP圖

經(jīng)過(guò)本方法的判定和比選，夜間及對(duì)樹(shù)蔭、臨時(shí)障礙物等半透過(guò)性遮擋目標(biāo)時(shí)，AEBS-Night夜視增強(qiáng)系統(tǒng)95%以上會(huì)勝出。

4.2 行人目標(biāo)特征識(shí)別算法

系統(tǒng)識(shí)別融合圖像的首要工作時(shí)，將圖像中所有元素進(jìn)行真值判定，當(dāng)目標(biāo)確定為人且可信度較高時(shí)，系統(tǒng)將產(chǎn)生OBJ（NV）目標(biāo)。本節(jié)中出于融合圖像簡(jiǎn)明的特點(diǎn)簡(jiǎn)化目標(biāo)特征條件檢測(cè)。

在生產(chǎn)的融合圖像中，判定目標(biāo)物頭部、身體和腿部均能檢測(cè)出來(lái)的條件為：

當(dāng)人體任意部位X被探測(cè)出來(lái)后，我們記做Cx，我們隨之生產(chǎn)與其匹配的主動(dòng)探測(cè)區(qū)，人體3個(gè)部位的主動(dòng)探測(cè)區(qū)為Zx，用函數(shù)f(Zx)表示對(duì)各個(gè)主動(dòng)探測(cè)部位的響應(yīng)值，x∈{T,S,F}。故主動(dòng)檢測(cè)和原始檢測(cè)結(jié)果會(huì)產(chǎn)生容差值，我們可以表示如下：

Yx是關(guān)于探測(cè)的x部位可信度的基本閥值，所以我們可以得到初步判決結(jié)果：

使得 Cxx∈{0,1}，x∈{T,S,F}，那么我們可以定義Cx=1則該部位可信，Cx=0則該部位不可信。

當(dāng)Cx=1時(shí)，我們將定義精確判別函數(shù)h（x）：

若h（x）×g（Zx）＞t，我們將目標(biāo)物定義為人，AEBS系統(tǒng)可按正常方式產(chǎn)生OBJ（NV）對(duì)應(yīng)的位置，速度，距離等信息。

4.3 行人目標(biāo)區(qū)域的選定算法

向梯度直方圖（HOG）是行人識(shí)別的重要算法，其廣泛應(yīng)用于各種基于可見(jiàn)呈現(xiàn)系統(tǒng)的目標(biāo)識(shí)別，利用梯度直方算法進(jìn)行統(tǒng)計(jì)和計(jì)算圖像固定像素組區(qū)的向梯度直方圖。

梯度直方算法在夜視系統(tǒng)中的應(yīng)用是這樣的：融合圖像優(yōu)化統(tǒng)一后的像素組塊區(qū)域256*128 像素矩陣。首先，人為地將像素組塊區(qū)域256*128 像素矩陣劃分成小固定識(shí)別區(qū)，工程中固定識(shí)別區(qū)的大小通常設(shè)置為 8*8A像素矩陣，顯而易見(jiàn)像素矩陣被割裂成 32×16=512 個(gè)特征識(shí)別區(qū)。然后按照AEBS系統(tǒng)成熟的目標(biāo)提取算法每個(gè)特征識(shí)別區(qū)中的各像素點(diǎn)矩陣的輪廓線或稱為梯度的直方圖邊界提取出來(lái)。最后要做到是將提取出來(lái)的梯度的直方圖進(jìn)行轉(zhuǎn)變形成信息語(yǔ)義。最終為了進(jìn)一步提高夜視系統(tǒng)的性能，提高識(shí)別率，將8*8A像素矩陣相鄰的4個(gè)像素矩陣劃分為命名為8*8B像素矩陣。

如果行人或物體運(yùn)動(dòng)每個(gè)8*8A像素矩陣的位移而形成8*8B像素矩陣，8*8B像素矩陣每次位移一個(gè)8*8A像素矩陣的寬度，對(duì)于工程展示圖中256*128的圖像每次位移只是可以得到465個(gè)8*8B像素矩陣。

圖5是描述8*8B像素矩陣與8*8A像素矩陣的關(guān)系：

圖8 像素矩陣關(guān)系圖

用梯度方向的加權(quán)投影法對(duì)8*8A像素矩陣內(nèi)任何像素點(diǎn)處理，就得到了該8*8A像素矩陣的梯度方向直方圖[5]，如圖6所示。最后將單個(gè)的8*8A像素矩陣組合相鄰的、有關(guān)的8*8B像素矩陣組。通過(guò)這樣處理，在一個(gè)B像素矩陣組內(nèi)四個(gè)A像素矩陣的特征向量就關(guān)聯(lián)起來(lái)了，最后得到該B像素矩陣組的梯度運(yùn)動(dòng)特征。統(tǒng)籌計(jì)算之后的B像素矩陣組特征描述就可以輸出為行人特征的信息語(yǔ)義，最后判定為行人B像素矩陣組范圍就是夜視系統(tǒng)的行人提升框的范圍。當(dāng)然B像素矩陣組的識(shí)別和處理對(duì)于AEBS系統(tǒng)是成熟且復(fù)雜的過(guò)程，本文不另行描述。

夜視系統(tǒng)梯度直方圖特征算法實(shí)現(xiàn)用下面流程圖如圖 9表示：

圖9 直方圖特征算法流程圖

首先將本文第一章處理后的夜視融合圖像Pc的圖片流注意提取，在行人識(shí)別功能中圖片的顏色信息無(wú)任何作用，且圖片本身黑白化，原始的顏色信息僅供滿足視覺(jué)要求，壓縮圖片還具備進(jìn)一步改善圖片局部暗點(diǎn)和炫光效果的作用。工程上應(yīng)用中我們的做法是圖片轉(zhuǎn)化為光亮度圖具體公式為：

其中x的取值可根據(jù)車輛傳感器的實(shí)際情況標(biāo)定，本文中處理按處理，接下來(lái)計(jì)算梯度方向值：

在本文使用的公式中Pi（i，j）、Pj（i，j）、G（i，j）分別表示輸入圖片像素矩陣的水平梯度、垂直梯度、像素點(diǎn)所在位置。單個(gè)的像素點(diǎn)（i，j）的幅度值和梯度方向的計(jì)算公式我們采用：

再次計(jì)算每個(gè)8*8A像素矩陣的梯度直方分布，之后進(jìn)行加權(quán)投影處理。

最后將8*8A像素矩陣合成大的8*8B像素矩陣，得到區(qū)域內(nèi)梯度直方分布。用來(lái)排除光照強(qiáng)度的變化的干擾。并統(tǒng)一輸出為行人特征的信息語(yǔ)義。最后 HMI將符合條件所有8*8B像素矩陣顯示出來(lái)，我們就還可以被框選的行人目標(biāo)。

4.4 AEBS-Night夜視增強(qiáng)系統(tǒng)的AEBS功能的執(zhí)行

最后的執(zhí)行和正常AEBS系統(tǒng)基本一致，夜視目標(biāo)成為主目標(biāo)后，采用時(shí)間距離TTC計(jì)算，具體邏輯為：當(dāng)前TTC小于安全時(shí)距，且駕駛員沒(méi)有對(duì)應(yīng)操作，則使得采用制動(dòng)距離dbr，令D為兩車間距，d0為安全距離（取d0= 3 m），則有：

本文TTC 算法中： 分為TTC=1.4 s，TTC=0.8s兩個(gè)工作區(qū)間，也可稱為正常制動(dòng)區(qū)間和危險(xiǎn)制動(dòng)區(qū)間。當(dāng)計(jì)算實(shí)際TTC 達(dá)到1.4s、0.8s時(shí)，分別豎起flag。不同flag查詢對(duì)應(yīng)的MAP圖執(zhí)行減速。

圖10 執(zhí)行減速M(fèi)AP圖

5 AEBS-Night夜視增強(qiáng)系統(tǒng)的測(cè)試驗(yàn)證

5.1 圖像融合算法的測(cè)試和驗(yàn)證

得到具備行人特征的 8*8B像素矩陣，并通過(guò)描述行人特征的信息語(yǔ)義的輸出 CAN信號(hào)推出給組合儀表，儀表呈現(xiàn)對(duì)應(yīng)的HMI顯示。

試驗(yàn)一：在普通夜間場(chǎng)景，行人特征還原較好，加權(quán)后的矩陣投影輸出正常，結(jié)果如圖11。

從圖中可知，行人特征為側(cè)面時(shí)，算法檢測(cè)視覺(jué)效果良好，特征矩陣推出并呈現(xiàn)[6]。

試驗(yàn)二：行人運(yùn)動(dòng)時(shí)，梯度直方圖檢測(cè)結(jié)果如圖12：

圖11 HMI顯示實(shí)車驗(yàn)證一

圖12 梯度直方實(shí)車驗(yàn)證二

從圖13中的結(jié)果可以得知，行人運(yùn)動(dòng)時(shí)8*8像素矩陣的滑移過(guò)程，多組矩陣的組合形成HMI顯示的跟隨運(yùn)動(dòng)提醒。

實(shí)驗(yàn)三：遠(yuǎn)端高速移動(dòng)行人，實(shí)車驗(yàn)證如圖：

圖13 遠(yuǎn)端高速移動(dòng)行人實(shí)車驗(yàn)證三

從圖中實(shí)車驗(yàn)證結(jié)果可知在夜間行人遠(yuǎn)端高速移動(dòng)的場(chǎng)景下梯度直方圖法也有出色的表現(xiàn)。

5.2 AEBS-Night夜視增強(qiáng)系統(tǒng)的實(shí)車AEBS測(cè)試和驗(yàn)證

在生產(chǎn)的夜視目標(biāo)物OBJ（NV）中，得到具備行人特征簡(jiǎn)化處理后，AEBS系統(tǒng)引用參數(shù)后，利用夜視系統(tǒng)產(chǎn)生的圖像信息進(jìn)行AEBS動(dòng)作。

試驗(yàn)四：在夜間場(chǎng)景，肉眼及環(huán)境感知傳感器無(wú)法感知行人時(shí)，夜視系統(tǒng)識(shí)別出行人，隨后AEBS動(dòng)作正常，結(jié)果如圖：

圖14 夜間AEBS系統(tǒng)動(dòng)作試驗(yàn)情況

從圖中可知，本場(chǎng)景下肉眼及環(huán)境攝像頭無(wú)法識(shí)別行人，但AEBS系統(tǒng)借助夜視圖像進(jìn)行正常的FCW預(yù)警。

圖15 夜間AEBS系統(tǒng)動(dòng)作試驗(yàn)數(shù)據(jù)

從圖中可知，在距離目標(biāo)150m左右，夜間場(chǎng)景AEBSNight夜視增強(qiáng)系統(tǒng)發(fā)現(xiàn)目標(biāo)并判定為目標(biāo)為行人，AEBSNight夜視增強(qiáng)系統(tǒng)使得AEBS系統(tǒng)在171s時(shí)正常減速；系統(tǒng)在 174s時(shí)AEBS系統(tǒng)正常識(shí)別目標(biāo)物，正常切換至常規(guī)AEBS系統(tǒng)。

夜視圖像產(chǎn)生的目標(biāo)物進(jìn)行可信度比選和二次特征值判斷后，供AEBS系統(tǒng)引用夜視系統(tǒng)發(fā)現(xiàn)的行人目標(biāo)，提升了AEBS系統(tǒng)的夜間的安全性。

圖16 夜間AEBS系統(tǒng)引用的內(nèi)部圖像

AEBS-Night夜視增強(qiáng)系統(tǒng)，使得AEBS夜間性能提升明顯，如下表：

表1 AEBS-Night夜視增強(qiáng)系統(tǒng)

6 結(jié)論

本論文利用基本的成像原理和方法，研究了NV夜視系統(tǒng)及AEBS自主緊急自動(dòng)系統(tǒng)在圖像處理上的特征原理上的優(yōu)勢(shì)，取長(zhǎng)補(bǔ)短進(jìn)行圖像融合處理。實(shí)現(xiàn)了AEBS系統(tǒng)的夜間識(shí)別能力的提升、儀表顯示及行人的框選提醒功能。為今后更大規(guī)模的傳感器數(shù)據(jù)融合提供思路。