車載駕駛輔助系統(tǒng)及其深度學(xué)習(xí)與視覺技術(shù)

陳天殷

（美國(guó)亞派克機(jī)電 （杭州）有限公司，浙江 杭州 310013）

1 ADAS的源流

1.1 人易犯錯(cuò)

中國(guó)2016年機(jī)動(dòng)車的保有量為1.2億輛，美國(guó)是2.2億輛，預(yù)計(jì)2019年能趕上或超過美國(guó)。這里沒有中國(guó)的統(tǒng)計(jì)數(shù)據(jù)，但有美國(guó)的數(shù)據(jù)，美國(guó)每年發(fā)生的汽車事故有500萬件，死亡3萬人，其中94%是人為失誤釀成的，另2%是環(huán)境因素，2%是機(jī)械故障，2%是邊際誤差。人易犯錯(cuò)，絕大多數(shù)汽車交通事故的肇因源于人的誤判斷和誤操作。創(chuàng)建自動(dòng)駕駛技術(shù)和自動(dòng)駕駛車輛，并非為了讓無駕照者無需駕駛員亦可使車輛順利到達(dá)目的地，而是人類為了規(guī)避自身的缺陷，在交通運(yùn)輸中保障生命與財(cái)產(chǎn)安全的需求。

常規(guī)把實(shí)現(xiàn)自動(dòng)駕駛技術(shù)劃分為3個(gè)階段，如圖1所示，也反映了客觀評(píng)價(jià)的駕駛安全等級(jí)也由低至高可分為3個(gè)層次。由傳統(tǒng)的人工駕駛藉ADAS提升為車載駕駛輔助系統(tǒng)，人工智能技術(shù)和車聯(lián)網(wǎng)讓車輛進(jìn)入自動(dòng)駕駛時(shí)代。

國(guó)際汽車工程師協(xié)會(huì) （SAE international）將L0定義為人工駕駛，把自動(dòng)駕駛分為L(zhǎng)1~L5五個(gè)安全等級(jí)。其中，L1：輔助駕駛；L2：部分自動(dòng)化；L3：有條件自動(dòng)駕駛；L4：高度自動(dòng)化；L5：全自動(dòng)化。本文僅涉及對(duì)應(yīng)ADAS的L3。ADAS（Advanced Driver Assistance System）是當(dāng)年開發(fā)商為推廣而起的商業(yè)名稱，直譯應(yīng)為先進(jìn)駕駛輔助系統(tǒng)或高級(jí)駕駛輔助系統(tǒng)為妥，但技術(shù)發(fā)展勢(shì)頭迅猛，在自動(dòng)駕駛技術(shù)突飛猛進(jìn)發(fā)展的面前，似難以擔(dān)當(dāng)“高級(jí)”和“先進(jìn)”之虛名，這是本文標(biāo)題稱為“車載駕駛輔助系統(tǒng)”之由。ADAS輔助駕駛者進(jìn)入安全可靠的汽車駕駛系統(tǒng)，有人機(jī)交互接口時(shí)，車輛安全性和道路安全性顯著增加，如圖2所示。常見的輔助駕駛系統(tǒng)必含車載導(dǎo)航系統(tǒng)，通常由GPS和TMC（Traffic Movement Control，交通控制頻道）提供交通實(shí)時(shí)信息。

圖2 由各類信號(hào)裝置構(gòu)筑的ADAS安全體系

1.2 ADAS的內(nèi)涵

ADAS核心功能是通過預(yù)警降低碰撞風(fēng)險(xiǎn)，把安全放在第一位。機(jī)器學(xué)習(xí)和數(shù)字化的時(shí)代，人機(jī)交互帶來新的倫理問題。自動(dòng)與互聯(lián)駕駛是全面應(yīng)用人機(jī)交互的創(chuàng)新領(lǐng)域，保護(hù)人類的生命始終擁有最高的優(yōu)先權(quán)。輔助駕駛系統(tǒng)ADAS還包括：自適應(yīng)巡航控制系統(tǒng)、車道偏離警示系統(tǒng)、換車道輔助系統(tǒng)、夜視、自動(dòng)轉(zhuǎn)向和制動(dòng)干預(yù)、防撞警示系統(tǒng)和后方追尾碰撞預(yù)警等，是智能控制的初步，被視為實(shí)現(xiàn)自動(dòng)駕駛的前提。其他功能的硬件還有車距檢測(cè)預(yù)警、前車啟動(dòng)提醒、溜車提醒、北斗高精度定位、車載熱點(diǎn)、云電子狗和語言導(dǎo)航等，如圖3所示。

圖3 駕駛輔助系統(tǒng)架構(gòu)體系

圖4 具有ADAS的行車記錄儀能主動(dòng)預(yù)警

可將ADAS技術(shù)應(yīng)用分為3個(gè)類別：①提高能見度，包括倒車輔助系統(tǒng)、全景可視系統(tǒng)、盲點(diǎn)和對(duì)向車輛識(shí)別、交通標(biāo)志識(shí)別；②增強(qiáng)控制，包括自適應(yīng)巡航控制、自動(dòng)泊車、車道識(shí)別和保持、頭燈方向；③客艙安全性，包括安全帶檢測(cè)、駕駛員注意力監(jiān)測(cè)、安全氣囊展開、駕駛員疲勞檢測(cè)。

基礎(chǔ)硬件有眾多的攝像頭和記錄儀。行車記錄儀的作用是記錄，把所有駕駛和環(huán)境情況記錄并存儲(chǔ)下來，確保事故以后的可追溯性。當(dāng)然，也包括惡意碰撞 （如碰撞）的監(jiān)測(cè)，明確駕駛責(zé)任是人或是電腦。記錄儀會(huì)使用超大廣角鏡頭，分辨率較高，檢測(cè)距離達(dá)30m。而為了讓芯片有足夠的時(shí)間做出判斷和反應(yīng)，用于危險(xiǎn)預(yù)警的ADAS攝像頭焦距要長(zhǎng)，檢測(cè)距離須達(dá)70m以上，如圖4所示。

各開發(fā)商的專用器件面向ADAS專業(yè)平臺(tái)，須具有感知、識(shí)別、理解和控制的功能。采用深度神經(jīng)網(wǎng)絡(luò)處理器的架構(gòu)，能與合作方 （汽車制造商）集成。根據(jù)開發(fā)商的深度學(xué)習(xí)算法專用設(shè)計(jì)，運(yùn)算時(shí)效相對(duì)通用平臺(tái)有數(shù)量級(jí)的提升，實(shí)現(xiàn)L3級(jí)別的自動(dòng)控制。“先進(jìn)”駕駛輔助系統(tǒng)的幾個(gè)工作部分如圖5所示。

ADAS主流使用對(duì)周圍環(huán)境感測(cè)與傳感的3件利器是激光雷達(dá) （Laser Radar）、毫米波雷達(dá) （MillimeterWave Radar）、視覺傳感器 （Visual Sensor），以觀察周圍環(huán)境、獲取機(jī)器視覺系統(tǒng)所需的信息，故成功的關(guān)鍵是圖像的處理。

圖5 “先進(jìn)”駕駛輔助系統(tǒng)的幾個(gè)工作部分

汽車正在向著一臺(tái)安全聯(lián)網(wǎng)的自動(dòng)駕駛機(jī)器人快速演進(jìn)，能夠感測(cè)環(huán)境、進(jìn)行思考，且會(huì)自主采取措施，安全行駛到達(dá)目的地 （需要攝像頭、雷達(dá)、視覺傳感器來工作）。配備5～8個(gè)視頻攝像頭是ADAS系統(tǒng)所必需的。車輛前方及后置攝像頭需要高靈敏度和快速響應(yīng)，以幫助監(jiān)測(cè)交叉路口，避免碰撞。當(dāng)前正迅速普及成為各型乘用車和SUV的標(biāo)準(zhǔn)配置。所有全景攝像頭的組合為緊急制動(dòng)輔助系統(tǒng)、自適應(yīng)巡航控制系統(tǒng)、盲點(diǎn)檢測(cè)、倒車盲點(diǎn)警示系統(tǒng)、車道偏離警告／自動(dòng)車道保持即時(shí)提供可靠信息。ADAS還將支持交通標(biāo)識(shí)識(shí)別系統(tǒng)，協(xié)助永不超越速度限制的要求。ADAS在車內(nèi)的裝置和線路板如圖6所示。

圖6 ADAS在車內(nèi)的裝置和線路板

1.3 ADAS的架構(gòu)

隨著汽車領(lǐng)域ADAS技術(shù)的不斷進(jìn)步，道路安全性也大幅提高。有些技術(shù)自動(dòng)生效，其它技術(shù)則為車上人員提供信息，在特定條件下自動(dòng)控制車輛。圖7為ADAS配置的3項(xiàng)需求。

ADAS環(huán)境感知的圖例在圖8展開。

舉例來說，特斯拉 （Tesla）汽車上最新的硬件套件采用NVDIA Drive PX2處理平臺(tái)，分別從8個(gè)攝像頭、超聲傳感器組合和1個(gè)雷達(dá)系統(tǒng)獲得數(shù)據(jù)，該平臺(tái)支持自動(dòng)巡航（Auto Cruise）的掌上高效能模塊，擴(kuò)展成為支持群眾的駕駛功能強(qiáng)大的AI人工智能超級(jí)計(jì)算機(jī)。系統(tǒng)能夠了解車輛周圍的情況，在高清晰度的地圖上精準(zhǔn)定位自身，并規(guī)范地規(guī)劃安全行進(jìn)路徑。系統(tǒng)結(jié)合深度學(xué)習(xí)、傳感器融合和全景視覺來實(shí)現(xiàn)全新的駕駛體驗(yàn)。

圖7 ADAS配置需求

圖8 ADAS的環(huán)境感知

ADAS攝像頭分4類：①前置攝像機(jī) （行人監(jiān)測(cè)、啟動(dòng)緊急制動(dòng)AEB）；②后視鏡攝像機(jī) （直觀泊車輔助）；③環(huán)繞視野攝像機(jī)；④車內(nèi)攝像機(jī) （困倦、發(fā)呆監(jiān)測(cè)）。攝像系統(tǒng)的性能對(duì)安全輔助或者自動(dòng)駕駛車輛都至關(guān)重要。分布在車輛周圍的攝像頭盡管與CPU相距甚遠(yuǎn)，其性能決定了ADAS能夠看到多遠(yuǎn)的物體、能夠檢測(cè)到多小的物體，以及信息的傳輸速度 （取決于分辨率、動(dòng)態(tài)范圍和幀速率），正是由于設(shè)備提供信息的關(guān)鍵性和數(shù)據(jù)速率極高，若出現(xiàn)有高誤碼率是不能容忍的。在全景視圖系統(tǒng)中，每個(gè)攝像頭的視頻流通常為1280×800像素分辨率，而幀的刷新率為30 f／s。從圖7a的ADAS的需求配置可見，汽車中使用了大量的總線和網(wǎng)絡(luò)，CAN、LIN、flexRAY、HOST、LVD及以太網(wǎng)，但視頻鏈路要求的數(shù)據(jù)速率排除了LVDS和以太網(wǎng)以外的所有總線類型。使用ADAS會(huì)在與攝像頭進(jìn)行可靠的通信過程中和實(shí)際車輛配置和最差的噪聲條件下，仔細(xì)檢查所有攝像頭的誤碼率，以滿足行業(yè)標(biāo)準(zhǔn)的同時(shí)提供高的可靠性。

1.4 ADAS的框圖

汽車專用微機(jī)控制器ECU（Electronic Control Unit電子控制單元，亦稱車載電腦），是發(fā)動(dòng)機(jī)怠速控制的核心。圖9展示了ADAS的架構(gòu)框圖。

圖9 ADAS系統(tǒng)的整體框圖

圖9中有3項(xiàng)輸出，分別是：BRAKES（制動(dòng)）、STEERING（駕駛操作）和ALERTS（警示、警報(bào)）。智能終端ADAS的視頻專用目標(biāo)的系統(tǒng)級(jí)集成電路芯片SoC組件架構(gòu)如圖10所示，包含Host處理器，SD／MMC／eMMC卡片存儲(chǔ)代碼、數(shù)據(jù)。其中左數(shù)第3項(xiàng)“安全模塊”是用以防止惡意非法入侵ADAS的獲取權(quán)限，避免釀成災(zāi)禍。

圖10 ADAS的視頻SoC架構(gòu)

嵌入式視覺處理 （Embedded vision processor）由32 bit標(biāo)量單元 （Scalar unit） 和Voctor unit組成。

2 用于行人檢測(cè)的傳統(tǒng)視覺處理

2.1 傳統(tǒng)視覺處理的突破

2011年以前，大多數(shù)模式識(shí)別任務(wù)是在帶程序的矢量處理單元上完成的，如利用HoG（方向梯度直方圖），需要人工調(diào)整實(shí)際特征來提取。一幅照片中的物體外觀和形狀是用密度梯度或邊際方向的分布來描述，以判斷障礙物。隨著時(shí)代前進(jìn)，從2010～2016年人工智能技術(shù)的識(shí)別分辨率飛躍的提高過程，源于2012年引入深度神經(jīng)網(wǎng)絡(luò)技術(shù)，如圖11所示。

圖11 深度神經(jīng)網(wǎng)絡(luò)戰(zhàn)勝傳統(tǒng)計(jì)算機(jī)視覺

自引入深度學(xué)習(xí)后，以ILSVRC為名的勝出者其差錯(cuò)率由2011年AlexNet 8層的28%顯著下降至2012年的16%。如此飛速發(fā)展，使ADAS可靠地進(jìn)入實(shí)用階段。人工的差錯(cuò)率在4%～5%左右，故2015年起，深度神經(jīng)網(wǎng)絡(luò)已超越人工的反應(yīng)與識(shí)別能力，或說從那時(shí)起人的識(shí)別和反應(yīng)能力已落后于機(jī)器了。

到2016年分類差錯(cuò)率已由3.6%下降到3.0%；通過整合以往勝出的全部預(yù)訓(xùn)練模型取得了全新成果：物體檢測(cè)的平均精度 （mAP）由62.1%提高到66.3%；定位誤差由9.0%下降至7.7%，場(chǎng)景分類前五項(xiàng)差錯(cuò)率是9.0%。

算法實(shí)質(zhì)是將信息的數(shù)據(jù)由輸入轉(zhuǎn)化為輸出的一系列計(jì)算步驟。ADAS是在特定場(chǎng)景中，克服駕駛員的視野視覺和反應(yīng)能力的缺陷和局限，擺脫眾多疏忽與困擾，利用智能電子技術(shù)幫助，運(yùn)用并增強(qiáng)視覺識(shí)別和處理，防止倏忽間發(fā)生交通事故。

隨著對(duì)駕駛員和乘客的安全性更加關(guān)注，ADAS技術(shù)越來越依賴于分布在全車中的攝像頭，隨著ADAS應(yīng)用與攝像頭 （圖4）緊密相關(guān)，關(guān)鍵設(shè)計(jì)挑戰(zhàn)是快速、高效地將圖像數(shù)據(jù)從攝像頭傳輸?shù)教幚韱卧?，并從處理單元傳輸至每個(gè)顯示屏。設(shè)計(jì)ADAS攝像系統(tǒng)時(shí)，需要對(duì)圖像品質(zhì)、帶寬、延遲、可靠性、成本和功耗等關(guān)鍵因素進(jìn)行權(quán)衡、折衷來考慮。

可綜述為如下6項(xiàng)原則：①帶寬——用途不同，對(duì)每臺(tái)攝像機(jī)的性能要求也不同。例如，采用廣角鏡頭的倒車輔助攝像頭可能具有130萬像素、每像素18位顏色，速率為30 f／s。包括控制位和平衡編碼，單臺(tái)攝像機(jī)將產(chǎn)生1GB／s以上的數(shù)據(jù)流?、陧憫?yīng)時(shí)間——不大于62.5 ms，足以應(yīng)對(duì)車速大于100 km／h的車輛，即汽車每秒行進(jìn) 27.8 m（91.18 ft）。③可靠性——為保證一切平穩(wěn)運(yùn)行，針對(duì)車輛有效使用期內(nèi)的磨損做出自適應(yīng)調(diào)整，在維護(hù)時(shí)進(jìn)行檢測(cè)是必不可少的。④功耗——隨車輛中電子系統(tǒng)的增多，將功耗控制在電池容量及配電限制范圍內(nèi)尤顯重要。⑤成本——為保證系統(tǒng)成本足夠低的條件下仍可獲取技術(shù)競(jìng)爭(zhēng)優(yōu)勢(shì)，在減少元件數(shù)、電纜長(zhǎng)度的同時(shí)，增強(qiáng)系統(tǒng)功能至關(guān)重要。⑥影像品質(zhì)——基于視覺的ADAS，其目標(biāo)檢測(cè)與圖像處理能力密切相關(guān)，因此高品質(zhì)影像是基本保障。

計(jì)算像素時(shí)鐘速率：圖像傳感器一般在每個(gè)像素時(shí)鐘輸出一個(gè)像素傳遞信息。根據(jù)圖像尺寸和每秒顯示的圖像數(shù)量，計(jì)算給定攝像頭的像素時(shí)鐘。公式：像素行×像素列×幀速率=像素時(shí)鐘 （Hz）。

2.2 CNN的功能、組成

人工神經(jīng)網(wǎng)絡(luò)是模擬人類神經(jīng)系統(tǒng)的活動(dòng)用以提高模式識(shí)別能力。就架構(gòu)層面的定義而言，神經(jīng)元獲得輸入，施加權(quán)重于輸入，在加權(quán)輸入總和之上執(zhí)行傳遞函數(shù)。其結(jié)果隨之傳遞給隱藏層之間的另一層或輸出層。前饋神經(jīng)網(wǎng)絡(luò)是指將一級(jí)輸出傳遞給另一級(jí)并不構(gòu)成循環(huán)的神經(jīng)網(wǎng)絡(luò)；而將有反饋、內(nèi)含定向反饋的稱為遞歸神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)中有一種名為卷積神經(jīng)網(wǎng)絡(luò) （Convolutional Neural Network，CNN），公認(rèn)在高能效的深度神經(jīng)網(wǎng)絡(luò)（DNN）中架構(gòu)較簡(jiǎn)最為常用。它擁有多個(gè)隱藏層，可實(shí)現(xiàn)更為復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)，如圖12所示。當(dāng)然，要確定每層使用的權(quán)重與偏差值，需對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。訓(xùn)練DNN會(huì)需要龐大的數(shù)據(jù)集來訓(xùn)練所需要的性能，以應(yīng)對(duì)訓(xùn)練過程對(duì)該神經(jīng)網(wǎng)絡(luò)施加足夠數(shù)量的正確輸入和錯(cuò)誤輸入，并使用誤差函數(shù)教授網(wǎng)絡(luò)所需的特征與性能。

圖12 使用卷積神經(jīng)網(wǎng)絡(luò) （CNN）的深度學(xué)習(xí)

CNN的部件一般分為卷積層、池化層和全連接輸出層。卷積池化交替出現(xiàn)，保證提取特征的同時(shí)也強(qiáng)制模糊增加特征的旋轉(zhuǎn)不變性。CNN稱其為深度學(xué)習(xí)，即其層層的特征表示，簡(jiǎn)單的幾何形狀皆由底層層層訓(xùn)練出來，具有遷移學(xué)習(xí)的能力。

卷積神經(jīng)網(wǎng)絡(luò)充分利用圖像的空間結(jié)構(gòu)，共享權(quán)重或偏差，減少了參數(shù)的數(shù)量；僅包括卷積、池化和全連接3類層面，相比全連接網(wǎng)絡(luò)更易訓(xùn)練。其流程符合嵌入式視覺物體檢測(cè)對(duì)當(dāng)前標(biāo)準(zhǔn)。CNN視覺應(yīng)用的流程依次為：圖像分類→物體檢測(cè)分類定位→面部表情識(shí)別→手勢(shì)識(shí)別和跟蹤→場(chǎng)景識(shí)別和貼標(biāo)簽、語義分割。

CNN在大型圖像處理中顯示出其高效的識(shí)別性能，它是非全交織，能繞開對(duì)圖像復(fù)雜的前期預(yù)處理，直接輸入原始圖像，避免了耗時(shí)的誤差反向傳播；進(jìn)行精確的差值補(bǔ)充與還原，補(bǔ)充完成分辨率高的畫面，充實(shí)內(nèi)容豐富細(xì)節(jié)；用來識(shí)別位移、縮放及其他形式扭曲不變性的二維圖形，網(wǎng)絡(luò)能并行學(xué)習(xí)，權(quán)值共享，降低了網(wǎng)絡(luò)復(fù)雜性；對(duì)多維輸入向量的圖形可直接輸入網(wǎng)絡(luò)，降低了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。基本結(jié)構(gòu)由特征提取層和特征映射層組成，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，這樣兩次特征提取結(jié)構(gòu)降低了特征分辨率。

神經(jīng)網(wǎng)絡(luò)語義寬泛，包括多種截然不同的子門類。子類別的名稱用于識(shí)別被實(shí)現(xiàn)網(wǎng)絡(luò)的具體類型。這些網(wǎng)絡(luò)均在大腦皮層上建模，在大腦皮層中每個(gè)神經(jīng)元會(huì)接收輸入、處理輸入，并將其傳遞給下一個(gè)神經(jīng)元。故神經(jīng)元的組成包含輸入層、多個(gè)隱藏的內(nèi)部層和一個(gè)輸出層。

人看到一個(gè)場(chǎng)景一幅圖像瞬間，即感知場(chǎng)景或圖中主體的行為在干什么，而計(jì)算機(jī)感受到的場(chǎng)景圖像皆是數(shù)字矩陣。從一個(gè)個(gè)數(shù)字矩陣中獲取信息，確認(rèn)其邊界、角點(diǎn)、步長(zhǎng)，需對(duì)圖像進(jìn)行卷積分類處理，逐步接近目標(biāo)，讓計(jì)算機(jī)理解圖像。卷積核實(shí)際是一個(gè)基于濾波器的圖像處理器，先模糊圖像，識(shí)別邊緣。小的卷積核在整張圖上權(quán)值共享是因輸入數(shù)據(jù)的局部特征具有平移不變性 （在不同位置具有相同局部特征的共性）。卷積探索輸入數(shù)據(jù)的局部相關(guān)性 （不同樣本數(shù)據(jù)皆有相同的局部特征）。通過卷積層不同的卷積核提取不同的頻段的特征，通過池化層提取不同的粒度的特征。

2.3 CNN架構(gòu)的的訓(xùn)練與部署

一幅圖像處理，須先選擇某一深度學(xué)習(xí)架構(gòu)，如CaffeTensorFlow，皆是行業(yè)標(biāo)準(zhǔn)框架，可供使用。

圖13 深度學(xué)習(xí)架構(gòu)的訓(xùn)練

機(jī)器學(xué)習(xí)是通過社交網(wǎng)絡(luò)創(chuàng)建和訓(xùn)練來實(shí)現(xiàn)的。訓(xùn)練的輸出是網(wǎng)絡(luò)結(jié)構(gòu)及與之相關(guān)的系數(shù)。如圖13所示，訓(xùn)練是一項(xiàng)專業(yè)性極強(qiáng)的繁雜工作，建議由受過專訓(xùn)的素質(zhì)人士按程序完成，訓(xùn)練獲取網(wǎng)絡(luò)結(jié)構(gòu)為32位浮點(diǎn)數(shù)的系數(shù)。通過深度學(xué)習(xí)及其自我修正，將可訓(xùn)練的系數(shù)，利用工具由浮點(diǎn)轉(zhuǎn)換為定點(diǎn)，相對(duì)獨(dú)立地部署到諸如攝像頭的嵌入式設(shè)備中去，注意降低功耗，盡可能縮小面積，訓(xùn)練了網(wǎng)絡(luò)，也實(shí)現(xiàn)網(wǎng)絡(luò)。深度學(xué)習(xí)架構(gòu)的配置部署如圖14所示。

圖14 深度學(xué)習(xí)架構(gòu)的配置部署

3 ADAS中檢測(cè)物體的深度學(xué)習(xí)

算法的實(shí)質(zhì)是將數(shù)據(jù)輸入轉(zhuǎn)換為輸出的一系列計(jì)算步驟，不僅決定了預(yù)警的準(zhǔn)確率，還能憑籍機(jī)器學(xué)習(xí)的功能，隨數(shù)據(jù)不斷積累而提高。專業(yè)級(jí)的ADAS產(chǎn)品預(yù)警準(zhǔn)確率能達(dá)99%以上。

3.1 用于行人檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)

圖15演示了CNN處理一幅行人畫面的流程。物體檢測(cè)和行人檢測(cè)在系統(tǒng)的操作流程中享有極相似的流水線，必須通過使用矢量DSP的滑動(dòng)窗口方法識(shí)別候選區(qū)域——這被稱為基于塊拼貼 （Patch-based）的物體識(shí)別，仍需要采用矢量DSP進(jìn)行預(yù)處理和圖像比例調(diào)整。

圖15 用于行人檢測(cè)的卷積神經(jīng)網(wǎng)絡(luò)

3.2 CNN的位寬對(duì)檢測(cè)精度的影響

位寬是指一個(gè)時(shí)鐘周期內(nèi)傳遞數(shù)據(jù)的位數(shù)或說寬度，表達(dá)了一次能傳遞的數(shù)據(jù)量的參數(shù)。CNN的位寬于檢測(cè)精度影響甚大，見圖16，是位寬與分辨率的關(guān)系曲線。

圖16 CNN位寬于檢測(cè)精度影響曲線

反復(fù)實(shí)踐、研究、比較表明，12位是CNN識(shí)別性能和硬件成本間較好的折衷點(diǎn)。8位將導(dǎo)致現(xiàn)有圖形識(shí)別率嚴(yán)重下降、丟失，而12位乘法器其面積只有16位乘法器的一半，即使32位與識(shí)別性能的提高沒有顯著提高。

3.3 基于塊拼貼 （Patch-Based）的檢測(cè)舉例

塊拼貼及紋理合成算法是圖像處理IP（Image Process）的重要手段。圖17是某塊拼貼實(shí)例中各性能參數(shù)的情況。圖17顯示了塊拼貼行人監(jiān)測(cè)的網(wǎng)絡(luò)結(jié)構(gòu)。下方列出了最低處理要求，每秒處理的塊數(shù)為495塊；每塊的周期數(shù)為1.6M周期；系統(tǒng)內(nèi)部特征圖和權(quán)重所消耗占用的存儲(chǔ)量分別為171 K／274 K字節(jié)。

圖17 塊拼貼實(shí)例中各性能參數(shù)的情況

4 場(chǎng)景分割

圖像的場(chǎng)景分割是重要的圖像處理分析技術(shù)。根據(jù)鏡頭的相關(guān)性和時(shí)間上的臨近性，把相似的鏡頭劃分到同一場(chǎng)景里，這樣便可將一段完整的圖像分割成若干有意義又可有效存儲(chǔ)和管理的邏輯故事單元。對(duì)前方和周圍場(chǎng)景圖像分析，區(qū)別天空、樹木、行人、障礙物和道路，作語義識(shí)別，并貼標(biāo)簽，用于確定行駛的對(duì)策 （找路或說“路徑發(fā)現(xiàn)”）。

通常，根據(jù)鏡頭特征邊緣提取方法，利用關(guān)鍵幀來表達(dá)鏡頭，通過主色跟蹤和質(zhì)心運(yùn)動(dòng)來提取鏡頭特征。由主色跟蹤來表達(dá)鏡頭的時(shí)域信息，由質(zhì)心運(yùn)動(dòng)反應(yīng)鏡頭的空間信息，并結(jié)合兩者測(cè)量鏡頭的相似度。為減小分割時(shí)間，克服過分割的困擾，常改進(jìn)為雙向滑動(dòng)窗口，將相似的鏡頭相鏈接，利用時(shí)間上的連續(xù)性將場(chǎng)景初步分割，對(duì)過分割的場(chǎng)景進(jìn)行后處理，得到最佳的終端場(chǎng)景。這樣既有效簡(jiǎn)化了算法，也克服了忽略鏡頭的時(shí)域信息的缺陷。見圖18。

圖18 基于CNN的場(chǎng)景分割

完整的場(chǎng)景分割與與完整的語義標(biāo)簽一般用于ADAS中路徑的發(fā)現(xiàn)與應(yīng)用，需先定義天空、森林或建筑物，定義沒有車道標(biāo)記的道路邊界，再以需求分析整幅圖像，這需要高的計(jì)算功能，要求高性能的CNN——超過500GMAC／s。目前水平已達(dá)800GMAC／s。

圖18所示基于CNN場(chǎng)景分割技術(shù)因視頻領(lǐng)域圖像處理軟件有成熟進(jìn)展，ADAS的CNN可嫁接應(yīng)用。

5 展望CNN未來的趨勢(shì)

1）ADAS中CNN未來運(yùn)用的趨勢(shì)之一：分辨率和幀速率增高提升。以利于更高精度高效檢測(cè)，見圖19。

圖19 未來趨勢(shì)之一：分辨率和幀速率提升

攝像機(jī)分辨率 （兆像素或MP）：目前為1～2MP，預(yù)計(jì)2018年可達(dá)到3～4MP。以后將達(dá)到7～8MP。更高的分辨率（Mpixel），可檢測(cè)更遠(yuǎn)距離的物體。攝像機(jī)幀速率 （FPS）：目前為10～15、30幀，未來將達(dá)到60 f／s。更高的幀速率相當(dāng)于更短的延時(shí)，或更遠(yuǎn)的停止距離；還能提高物體 （例如行人）跟蹤的性能。

2）ADAS中CNN未來運(yùn)用的趨勢(shì)之二：提高性能、降低功耗、減小尺寸。CNN在可預(yù)見的未來仍將繼續(xù)主導(dǎo)嵌入式視覺處理任務(wù)。但對(duì)CNN性能增強(qiáng)、縮短響應(yīng)時(shí)間和功耗降低提出更高更嚴(yán)格的要求。提高CNN精度將推動(dòng)減小CNN尺寸，如Maxim公司的GoogLeNet和ResNet兩產(chǎn)品已證明帶更多數(shù)據(jù)更深層網(wǎng)絡(luò)可提供更高的精度。而壓縮和剪枝可減少運(yùn)算量，從而也節(jié)省能耗。

循環(huán)神經(jīng)網(wǎng)絡(luò) （RNN）將作為CNN的補(bǔ)充，可用來在時(shí)間序列上作模式識(shí)別，并為圖像添加字幕、文本生成和語言轉(zhuǎn)換等。

6 結(jié)語

1）視覺處理技術(shù)是自動(dòng)駕駛車輛的關(guān)鍵技術(shù)。

2）深度學(xué)習(xí)技術(shù)，比如CNN引擎可為物體的檢測(cè)提供最高的精度?，F(xiàn)在已用于汽車視覺處理的統(tǒng)一多內(nèi)核處理器，內(nèi)含標(biāo)量+矢量DSP+CNN引擎 （先進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)），新開發(fā)的嵌入式硬件支持更高的CNN性能，如基于塊拼貼的CNN和基于幀 （Frame Based） 的CNN。

3）當(dāng)前，我們的旅程還只是站在人工智能時(shí)代的大門之前，處于發(fā)展的初級(jí)階段，我們現(xiàn)在的人工智能技術(shù)還只是神經(jīng)網(wǎng)絡(luò)的一個(gè)別稱，神經(jīng)網(wǎng)絡(luò)技術(shù)的水平還不能完全實(shí)現(xiàn)人類的推理和理解，只是構(gòu)建人工智能的道路中最先運(yùn)用的一種工具。