高級(jí)駕駛輔助系統(tǒng)（ADAS）的計(jì)算機(jī)視覺(jué)研究

計(jì)算機(jī)視覺(jué)可以單獨(dú)使用，也可以與雷達(dá)或激光雷達(dá)等其他技術(shù)相結(jié)合，是高級(jí)駕駛輔助系統(tǒng)（ADAS）的關(guān)鍵技術(shù)之一。然而，由于視覺(jué)算法的特殊性，現(xiàn)有的約束條件以及需要實(shí)現(xiàn)的嚴(yán)格要求，嵌入基于視覺(jué)的駕駛員輔助系統(tǒng)是一個(gè)巨大的挑戰(zhàn)。本研究的目的是為了展示基于視覺(jué)的嵌入式ADAS領(lǐng)域的當(dāng)前進(jìn)展和未來(lái)發(fā)展方向，縮小理論與實(shí)踐之間的差距。

我們相信計(jì)算機(jī)視覺(jué)將在這里發(fā)揮關(guān)鍵作用。然而，改進(jìn)目前的算法不僅非常重要，而且重要的是要開(kāi)發(fā)新的方法，工具和體系結(jié)構(gòu)來(lái)嵌入它們，以減輕這一步涉及到的負(fù)擔(dān)。

本文首先介紹，計(jì)算機(jī)視覺(jué)所應(yīng)用到的硬件系統(tǒng)和軟件系統(tǒng)，然后介紹計(jì)算機(jī)視覺(jué)的幾種研究方法，主要包括，

1.增強(qiáng)獲取外部環(huán)境圖像質(zhì)量的立體視覺(jué)研究。2.實(shí)時(shí)監(jiān)測(cè)駕駛員的臉部，并判斷駕駛員的狀態(tài)

3.實(shí)時(shí)監(jiān)測(cè)路上的行人，保證交通安全。

1 ADAS中計(jì)算機(jī)視覺(jué)應(yīng)用系統(tǒng)的介紹[1]

目前計(jì)算機(jī)視覺(jué)系統(tǒng)都包括硬件系統(tǒng)和軟件系統(tǒng)。硬件系統(tǒng)都包括：

（1）專用集成電路（ASIC）：ASIC是為特定用途定制的集成電路（IC），具有高性能和低功耗的優(yōu)點(diǎn)。它們不可重構(gòu)。這意味著一旦它們被制造出來(lái)，就不能被重新編程。這種缺乏靈活性導(dǎo)致使用其他的替代方案，如現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）。

（2）現(xiàn)場(chǎng)可編程門(mén)陣列FPGA：與通用硬件相比，它們具有更低的功耗，更適合于低級(jí)處理。

（3）圖形處理單元（GPU）：另一種特別適合并行處理的硬件架構(gòu)是GPU，GPU傳統(tǒng)上被認(rèn)為是耗電的設(shè)備，在車(chē)載應(yīng)用中它們并不是很頻繁。

（4）數(shù)字信號(hào)處理器（DSP）：對(duì)嵌入式汽車(chē)系統(tǒng)非常有吸引力，因?yàn)樗鼈兙哂辛己玫男詢r(jià)比。然而，與FPGA等其他選項(xiàng)相比，它們要求更高的成本，而且不像微處理器那樣容易和快速。

（5）微處理器：微處理器是高級(jí)視覺(jué)處理的最佳選擇。此外，它們易于編程，微處理器的問(wèn)題在于它們不太適合低級(jí)處理。因此，復(fù)雜的算法通常需要額外的硬件進(jìn)行加速。

軟件系統(tǒng)：

軟件系統(tǒng)主要指的是操作系統(tǒng)（OS），盡管在OS上計(jì)算機(jī)視覺(jué)的性能會(huì)下降，但它還有許多其他優(yōu)點(diǎn)。首先，開(kāi)發(fā)時(shí)間和系統(tǒng)的維護(hù)都有很大的節(jié)省。其次，ADAS軟件系統(tǒng)的非功能需求可以更好地解決。第三，當(dāng)使用OS時(shí)，程序員可以專注于特定的計(jì)算機(jī)視覺(jué)算法，而不必關(guān)心其他低級(jí)細(xì)節(jié)。使用實(shí)時(shí)操作系統(tǒng)（RTOS），嵌入式ADAS的嚴(yán)格的可靠性和安全性要求得到了更好地滿足。ADAS軟件應(yīng)該被開(kāi)發(fā)用于集成到AUTOSAR環(huán)境中。

2 ADAS中立體視覺(jué)的研究[2]

2.1 主要目的和主要原理

為了做出更好的決策，這些高級(jí)駕駛輔助系統(tǒng)當(dāng)然需要能夠從車(chē)輛的外部環(huán)境中獲取真實(shí)場(chǎng)景的算法?；隈{駛員輔助視覺(jué)的各種先進(jìn)系統(tǒng)已經(jīng)在商業(yè)上可用，但是它們對(duì)于照明和視覺(jué)條件的變化，識(shí)別圖像的魯棒性較差。與此相關(guān)，本文描述了一種圖像處理算法，能夠提高獲取的外部環(huán)境圖像的質(zhì)量，該算法必須集成在允許3D圖像重建的立體過(guò)程中。本文所使用的方法是高動(dòng)態(tài)范圍成像（HDR）。

在實(shí)際情況下，行駛中的車(chē)輛所拍攝的照片不能適當(dāng)?shù)乇┞对谀硞€(gè)場(chǎng)景的所有發(fā)光強(qiáng)度之中。這通常是由于外部氣候，光線強(qiáng)度，車(chē)輛前燈向相反的方向，建筑物和樹(shù)木的陰影，低光照等。HDR已經(jīng)解決了過(guò)度/欠曝的問(wèn)題。這種方法的興趣是提供一種技術(shù)手段來(lái)恢復(fù)丟失的信息，并通過(guò)專門(mén)的軟件處理重新整合它。

該算法將動(dòng)態(tài)場(chǎng)景的不同曝光級(jí)別的圖像堆疊起來(lái)作為輸入，然后選擇通常是堆疊圖像中最佳曝光圖像的參考圖像。對(duì)于堆疊的每個(gè)圖像，合成一個(gè)潛像，看起來(lái)好像它是與參考圖像同時(shí)拍攝的，但是具有不同的曝光。

因此，HDR成像的原理是將多個(gè)圖像與不同曝光時(shí)間組合以獲得動(dòng)態(tài)范圍大于每個(gè)原始照片的圖像。換句話說(shuō)，我們可以從幾張不同曝光的照片中選出最好的照片來(lái)創(chuàng)建更好的圖像。這種技術(shù)可以獲得更詳細(xì)的圖像，而無(wú)需曝光或曝光區(qū)域。

2.2 結(jié)論及存在的問(wèn)題

HDR成像的方法可以獲得更高分辨率更準(zhǔn)確的圖像然而，由于其算法的復(fù)雜性，它們需要更多的時(shí)間來(lái)處理，實(shí)時(shí)性不足。根據(jù)時(shí)間要求，我們必須不斷縮短執(zhí)行時(shí)間，以達(dá)到預(yù)期的目標(biāo)是每秒十五幀。

3 ADAS中的駕駛員面部監(jiān)控算法[3]

3.1 主要目的和主要原理

高級(jí)駕駛輔助系統(tǒng)（ADAS）在市場(chǎng)和應(yīng)用的快速擴(kuò)展導(dǎo)致對(duì)各種算法的高需求。在本文中，我們提出一個(gè)監(jiān)視算法，該算法的主要目標(biāo)是自動(dòng)判斷駕駛員是否疲倦。并在這種情況下提出適當(dāng)?shù)木瘓?bào)?；谟?jì)算機(jī)視覺(jué)算法，對(duì)駕駛員的臉部和眼睛進(jìn)行檢測(cè)。另外，已經(jīng)在一個(gè)真正的ADAS平臺(tái)板上的受控環(huán)境中進(jìn)行測(cè)試。

主要分為以下四個(gè)步驟：

（1）圖像預(yù)處理

攝像機(jī)產(chǎn)生的BGRA幀被轉(zhuǎn)換為灰度，由于臉部應(yīng)該居中，所以我們裁剪了35%的框架寬度。成功地形成了適合于眼睛和虹膜檢測(cè)的圖像。

（2）人臉檢測(cè)

分為2個(gè)階段，第1階段是準(zhǔn)備階段，由Haar特征選擇和AdaBoost訓(xùn)練組成，第2階段是人臉檢測(cè)階段。

在圖像金字塔上運(yùn)行特征檢測(cè)，直覺(jué)上在金字塔的某個(gè)級(jí)別，兩個(gè)人臉將適合到24x24矩形（當(dāng)然不在同一層次）。圖像金字塔由一些因素縮小的圖像序列組成?？梢哉业讲恢挂粡埬槪ɡ缬腥丝梢钥吹今{駛者肩上的路）。在這種情況下，選擇最接近圖像中心的矩形。人臉檢測(cè)階段的輸出是一個(gè)矩形，表示駕駛員的臉部。

（3）眼睛和虹膜檢測(cè)

眼睛中心檢測(cè)算法的第一步是將輸入圖像裁剪到已經(jīng)檢測(cè)的面部矩形。然后應(yīng)用標(biāo)準(zhǔn)的生物統(tǒng)計(jì)比例法進(jìn)一步降低，處理到僅包含左眼和右眼的矩形。當(dāng)眼睛的中心被確定時(shí)，下一個(gè)任務(wù)是推斷眼睛是否被打開(kāi)或關(guān)閉。當(dāng)眼睛閉上時(shí)，會(huì)有一個(gè)和睫毛相關(guān)的權(quán)重矩陣，當(dāng)眼睛睜開(kāi)時(shí)，會(huì)有一個(gè)和虹膜相關(guān)的權(quán)重矩陣。

（4）嗜睡評(píng)分計(jì)算

嗜睡評(píng)分是在范圍內(nèi)的值

介于0到10分之間。這個(gè)范圍分為三個(gè)間隔：

0-3低

3-7中

7-10高

當(dāng)比分低時(shí)，我們可以看出司機(jī)根本沒(méi)有分心。在中高分的情況下，司機(jī)昏昏欲睡，系統(tǒng)應(yīng)該最終提醒駕駛員。

3.2 結(jié)論

該算法在真正的ADAS平臺(tái)板上進(jìn)行了測(cè)試。它作為實(shí)時(shí)算法（大約20幀每秒）具有較高的準(zhǔn)確性。良好的駕駛員監(jiān)控性能的取決于高幀率造成錯(cuò)誤分類幀的影響，以及困倦計(jì)分方式。

4 ADAS中駕駛員注視區(qū)域檢測(cè)系統(tǒng)研究[4]

4.1 主要目的和主要原理

駕駛員本身的狀態(tài)會(huì)影響車(chē)輛的安全性，所以及時(shí)了解駕駛員的狀態(tài)有助于駕駛安全性的提高，并根據(jù)駕駛員的狀態(tài)進(jìn)行控制。在這種情況下，我們已經(jīng)提出了一個(gè)算法來(lái)確定駕駛員注視的方向，從而基本確定駕駛員是否處于安全行駛的狀態(tài)。

在該算法中，通過(guò)使用安裝在轉(zhuǎn)向柱上的灰度相機(jī)，根據(jù)拍攝的圖像計(jì)算出的面部和觀看方向角等信息，確定駕駛員是否面向前方。并在實(shí)際車(chē)輛上進(jìn)行測(cè)試。

使用一個(gè)自定義的改進(jìn)的駕駛員監(jiān)控?cái)z像機(jī)（DMC）。DMC的優(yōu)點(diǎn)是可以最大限度地減少陽(yáng)光直射對(duì)圖像的影響，并且可以輸出駕駛員的特征點(diǎn)。把這個(gè)攝像機(jī)裝在轉(zhuǎn)向柱上，可以計(jì)算出駕駛員的面部圖像。使用3D人臉模型來(lái)跟蹤人臉，計(jì)算出駕駛員面部角度，然后根據(jù)人臉模型中跟蹤的眼球圖像計(jì)算注視角度。

注視方向的確定算法，提出注視區(qū)域方向估計(jì)系統(tǒng)，區(qū)域方向有4個(gè)，這些區(qū)域是“前”，“左”，“右”和“下”。首先，應(yīng)用隱馬爾可夫模型（HMM），支持向量機(jī)（SVM）和AdaBoost來(lái)確定注視區(qū)域在初始評(píng)估中是前方還是右方，然后開(kāi)發(fā)了2個(gè)HMM模型，一個(gè)用來(lái)分類“左”，“前”和“右”的注視方向，另一個(gè)用來(lái)分類“前”和“下”的注視方向。除了判斷注視方向，還可以分析駕駛員是否是處于閉眼或者臉被阻擋的狀態(tài)。

4.2 結(jié)論

研究表明，駕駛員的面部識(shí)別精度可以達(dá)到95%以上，對(duì)于每個(gè)注視區(qū)域的得分是不同的，這是由于每個(gè)駕駛員的注視動(dòng)作的差異，在狀態(tài)轉(zhuǎn)換期間應(yīng)用從角度變化率的分布計(jì)算的可變轉(zhuǎn)換概率，HMM可以根據(jù)小的臉部角度變化來(lái)估計(jì)注視區(qū)域的偏移。

5 ADAS中的行人監(jiān)測(cè)研究[5]

5.1 主要目的和主要原理

行人保護(hù)系統(tǒng)（PPSs）對(duì)于減少道路交通死亡事故至關(guān)重要。然而，當(dāng)今PPSs的相對(duì)較高的成本阻礙了大部分經(jīng)濟(jì)型汽車(chē)的收益。在本文中，我們提出了一種有效的低成本稀疏特征交互描述符（SpaFIND）。SpaFIND擴(kuò)展了梯度方向特征的直方圖（HOG）。并有選擇地計(jì)算HOG的相鄰成分之間的關(guān)系。因此，SpaFIND能夠在保持低計(jì)算量的同時(shí)捕獲物體的外觀屬性。

所提出的SpaFIND特征與以前的相關(guān)方法在以下方面有所不同：

1）SpaFIND不僅測(cè)量局部定向梯度直方圖，而且計(jì)算相鄰直方圖元素之間的相互作用，即成對(duì)關(guān)系。因此，SpaFIND能夠在繼承HOG的優(yōu)點(diǎn)的同時(shí)捕獲對(duì)象外觀的高級(jí)特征。

2）SpaFIND只計(jì)算HOG元素之間的相互作用，這些元素對(duì)行人檢測(cè)有相當(dāng)大的影響。

3）SpaFIND在特征計(jì)算之前估計(jì)歸一化因子，使得可以同時(shí)計(jì)算和歸一化特征元素。因此，SpaFIND的計(jì)算量進(jìn)一步減少，以滿足經(jīng)濟(jì)型轎車(chē)中PPS的要求。

在實(shí)驗(yàn)過(guò)程中，我們根據(jù)檢測(cè)精度和計(jì)算量對(duì)行人檢測(cè)基準(zhǔn)的幾個(gè)方法（HOG和CoHOG）進(jìn)行了比較評(píng)估。

5.2 結(jié)論

實(shí)驗(yàn)結(jié)果表明，SpaFIND比CoHOG（定向梯度方向直方圖）更快，更準(zhǔn)確。SpaFIND通過(guò)聚集通道的特征（ACF）實(shí)現(xiàn)了競(jìng)爭(zhēng)檢測(cè)的準(zhǔn)確性。同時(shí)保持了相當(dāng)?shù)偷挠?jì)算負(fù)載。

[1]Gorka Velez.Embedding vision-based advanced driver assistance systems:a survey[C].Selected Papers from the 22nd ITSWorld Congress。

[2]Otmane Amimi.Stereo Vision Based Advanced Driver Assistance System[J].International Conference on Wireless Technologies,2017:1-5

[3]Aleksandra Simic.Driver monitoring algorithm forAdvanced Driver Assistance Systems[J].Telecommunications Forum,2017:1-4

[4]Shunsuke Kogure.A Basic Study of a Driver's Gaze Area Detection System[J].SAE 2017-01-0030

[5]Takeo Kato.SpaFIND:An Effective and Low-Cost Feature Descriptor for Pedestrian Protection Systems in Economy Cars[J].IEEE TRANSACTIONS ON INTELLIGENT VEHICLES,VOL.2,NO.2,JUNE 2017