車(chē)載眼動(dòng)追蹤技術(shù)應(yīng)用集成系統(tǒng)開(kāi)發(fā)

賈文偉 張成陽(yáng) 殷玉恩

摘 要：眼動(dòng)追蹤技術(shù)[1][6]是當(dāng)代心理學(xué)研究的重要技術(shù)，廣泛運(yùn)用于實(shí)驗(yàn)心理學(xué)、應(yīng)用心理學(xué)、工程心理學(xué)、認(rèn)知神經(jīng)科學(xué)等領(lǐng)域。當(dāng)人的眼睛看向不同方向時(shí)，眼部會(huì)有細(xì)微的變化，這些變化會(huì)產(chǎn)生可以提取的特征，計(jì)算機(jī)可以通過(guò)圖像捕捉或掃描提取這些特征，從而實(shí)時(shí)追蹤眼睛的變化，預(yù)測(cè)人的狀態(tài)和需求，并進(jìn)行響應(yīng)，達(dá)到用眼睛控制設(shè)備的目的。本研究結(jié)合眼動(dòng)追蹤識(shí)別技術(shù)，研究在車(chē)載方面的應(yīng)用，實(shí)現(xiàn)了追蹤駕駛員眼球動(dòng)作控制智能后視鏡的開(kāi)啟和關(guān)閉的功能。

關(guān)鍵詞：眼動(dòng)追蹤； 頭部姿態(tài)識(shí)別； CAN總線(xiàn)通訊； 紅外攝像頭

中圖分類(lèi)號(hào)：TP391.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1005-2550（2019）01-0046-07

Abstract： The lower swing arm， the upper swing arm， the toe tie rod， the longitudinal arm and the sub-frame in the E-type multi-link rear suspension are flexed by the finite element software Hypermesh.They are imported into ADMAS/Car software for multi-body dynamics modeling and simulation analysis. The simulation results are compared with the experimental results. The analysis shows that the combination of different rigid-flexible components has a great influence on the change of toe angle.

Key Words： Eye-Tracking； Head Pose Recognition； CAN Bus Communication； Infrared Camera

1 前言

眼動(dòng)追蹤技術(shù)是當(dāng)代心理學(xué)研究的重要技術(shù)，廣泛運(yùn)用于實(shí)驗(yàn)心理學(xué)、應(yīng)用心理學(xué)、工程心理學(xué)、認(rèn)知神經(jīng)科學(xué)等領(lǐng)域。當(dāng)人的眼睛看向不同方向時(shí)，眼部會(huì)有細(xì)微的變化，這些變化會(huì)產(chǎn)生可以提取的特征，計(jì)算機(jī)可以通過(guò)圖像捕捉或掃描提取這些特征[2]，從而實(shí)時(shí)追蹤眼睛的變化，預(yù)測(cè)人的狀態(tài)和需求，并進(jìn)行響應(yīng)，達(dá)到用眼睛控制設(shè)備的目的。本系統(tǒng)采用眼動(dòng)追蹤技術(shù)追蹤駕駛員眼球的變化，實(shí)時(shí)監(jiān)測(cè)駕駛員的注視方向。通過(guò)監(jiān)聽(tīng)分析汽車(chē)CAN總線(xiàn)數(shù)據(jù)得到汽車(chē)的運(yùn)行狀態(tài)（車(chē)速、檔位），實(shí)現(xiàn)了眼動(dòng)追蹤技術(shù)控制汽車(chē)后視影像系統(tǒng)，擴(kuò)大了駕駛員駕駛汽車(chē)時(shí)的視野，提高了駕駛的安全性。

本系統(tǒng)旨在研究掌握眼動(dòng)追蹤技術(shù)在汽車(chē)上集成的技術(shù)應(yīng)用規(guī)范和建立通用眼動(dòng)算法測(cè)試驗(yàn)證平臺(tái)。本文將從眼動(dòng)追蹤系統(tǒng)集成層面，從系統(tǒng)設(shè)計(jì)、硬件設(shè)計(jì)、結(jié)構(gòu)設(shè)計(jì)、問(wèn)題分析等方面進(jìn)行闡述。

2 系統(tǒng)架構(gòu)

本系統(tǒng)采用北汽紳寶C80為改裝平臺(tái)，完整準(zhǔn)確的車(chē)型設(shè)計(jì)數(shù)據(jù)保證了系統(tǒng)總體設(shè)計(jì)方案的可行性，包括總線(xiàn)接口設(shè)計(jì)、攝像頭模組結(jié)構(gòu)設(shè)計(jì)、系統(tǒng)布置方案設(shè)計(jì)等。紅外攝像頭模組采用主動(dòng)紅外補(bǔ)光，保證眼動(dòng)識(shí)別系統(tǒng)白天和黑天都能正常工作，使得系統(tǒng)應(yīng)用場(chǎng)景更廣，實(shí)用性更強(qiáng)；攝像頭模組和工控主機(jī)的結(jié)構(gòu)設(shè)計(jì)綜合考慮了安裝位置和安裝方法，滿(mǎn)足眼動(dòng)追蹤系統(tǒng)對(duì)攝像頭模組位置的要求，方便系統(tǒng)安裝調(diào)試，保證系統(tǒng)工作的可靠性；眼動(dòng)追蹤系統(tǒng)通過(guò)紅外攝像頭[3][7]實(shí)時(shí)傳輸駕駛員的眼部特征圖像給算法處理主機(jī)，眼動(dòng)追蹤算法識(shí)別駕駛員的“眼神”。算法識(shí)別到駕駛員意圖通過(guò)車(chē)內(nèi)后視鏡觀測(cè)車(chē)后情況時(shí)，算法處理主機(jī)發(fā)送指令給系統(tǒng)控制板，系統(tǒng)控制板結(jié)合車(chē)輛運(yùn)行狀態(tài)自動(dòng)控制車(chē)內(nèi)智能后視鏡打開(kāi)。本系統(tǒng)硬件模組包括攝像頭及照明模塊、接口控制板、算法工控主板和后視影像系統(tǒng)，軟件模塊包括眼動(dòng)追蹤算法軟件、工控主機(jī)邏輯控制軟件、接口控制板總線(xiàn)接口軟件。系統(tǒng)整體架構(gòu)如圖1：

3 系統(tǒng)設(shè)計(jì)

3.1 攝像頭及補(bǔ)光模組設(shè)計(jì)

攝像頭模組安裝在試驗(yàn)車(chē)紳寶C80中控臺(tái)臺(tái)面上，攝像頭及補(bǔ)光模組的結(jié)構(gòu)設(shè)計(jì)考慮了攝像頭角度、補(bǔ)光燈照射角度、以及方便安裝等因素，外觀見(jiàn)圖2。

攝像頭及補(bǔ)光模組內(nèi)部主要包括攝像頭模組及紅外補(bǔ)光、LED指示燈板、USB視頻傳輸主板和對(duì)外接口板。詳見(jiàn)圖3、圖4：

攝像頭模組的關(guān)鍵器件是圖像傳感器，本系統(tǒng)攝像頭模組的圖像傳感器旋轉(zhuǎn)安森美AR0135AT， 該器件的主要技術(shù)參數(shù)如表1：

攝像頭模組選用上海科世達(dá)設(shè)計(jì)的車(chē)載攝像頭，其設(shè)計(jì)框圖如圖5，實(shí)物如圖6。

攝像頭圖像數(shù)據(jù)傳輸選擇Cypress Usb3.0傳輸芯片方案。紅外LED選擇三顆OSRAM的850nm波長(zhǎng)的紅外LED。LED驅(qū)動(dòng)芯片選擇TI的LM3409驅(qū)動(dòng)芯片。該

驅(qū)動(dòng)芯片既可以通過(guò)PWM調(diào)制LED的發(fā)射強(qiáng)度，也可以通過(guò)模擬電位計(jì)手動(dòng)調(diào)節(jié)紅外LED的發(fā)射亮度。本系統(tǒng)采用PWM方式調(diào)節(jié)LED的發(fā)射強(qiáng)度。驅(qū)動(dòng)芯片的典型電路如圖7：

3.2 工控主機(jī)方案

工控主機(jī)運(yùn)行眼動(dòng)追蹤算法軟件及邏輯控制軟件，采用了英特爾NUC迷你電腦，型號(hào)NUC5I7RYH（如圖 8）。主要參數(shù)：Intel Core i7處理器，8GB DDR3內(nèi)存，2 x USB3.0接口。該主機(jī)能夠滿(mǎn)足本系統(tǒng)的對(duì)處理速度及接口的要求。

工控主機(jī)、總線(xiàn)接口控制板和電源模塊集成在同一個(gè)控制盒內(nèi)[8]，設(shè)計(jì)的控制盒的結(jié)構(gòu)方便安裝布置，內(nèi)部結(jié)構(gòu)方便主機(jī)，控制板和電源的固定，控制盒與外部的接口設(shè)計(jì)也方便插拔。電源模塊負(fù)責(zé)把車(chē)載12V電源轉(zhuǎn)換為19V電源給工控主機(jī)供電?？刂坪械耐庥^如圖9，內(nèi)部結(jié)構(gòu)如圖10：

3.3 控制板方案

控制板的功能是連接汽車(chē)CAN總線(xiàn)，監(jiān)聽(tīng)汽車(chē)總線(xiàn)數(shù)據(jù)通過(guò)運(yùn)算得到汽車(chē)運(yùn)行狀態(tài)數(shù)據(jù)，通過(guò)串口把數(shù)據(jù)傳輸給工控主機(jī)，同時(shí)它還接收工控主機(jī)的命令，控制車(chē)內(nèi)智能后視鏡的打開(kāi)和關(guān)閉。除了數(shù)據(jù)命令的上傳下達(dá)，它還輸出PWM信號(hào)控制補(bǔ)光模塊的開(kāi)關(guān)以及補(bǔ)光強(qiáng)度的調(diào)節(jié)。其功能框圖如圖11：

主控板的電源選用英飛凌的TLE4275D汽車(chē)級(jí)IC。CAN收發(fā)器選擇符合車(chē)規(guī)要求的NXP 芯片TJA1055（電路如圖12）。主控MCU選擇瑞薩車(chē)規(guī)級(jí)RL78/F1x系列芯片，其內(nèi)部功能及外設(shè)接口如圖13：

LED1和LED2是主控MCU的兩個(gè)通用輸入、輸出端口，可以分別控制兩個(gè)LED指示燈的亮、滅。LED1為綠色指示燈，LED2是紅色的指示燈，若系統(tǒng)上電正常工作，則紅色的指示燈LED2被點(diǎn)亮，綠色的指示燈LED1處于熄滅狀態(tài)；當(dāng)系統(tǒng)檢測(cè)到駕駛員注視內(nèi)后視鏡區(qū)域一定時(shí)長(zhǎng)后，會(huì)觸發(fā)點(diǎn)亮綠色的指示燈LED1。

控制板的串口用來(lái)與工控主機(jī)通訊，雙方通過(guò)RS232串口線(xiàn)連接?？刂瓢宓拇陔娖睫D(zhuǎn)換芯片選擇美信半導(dǎo)體的MAX232系列芯片，具體電路如下圖14：

3.4 后視影像系統(tǒng)

本系統(tǒng)后視影像系統(tǒng)選擇凌度智能后視鏡（圖15），其安裝布置示意圖如圖16。通過(guò)控制后視影音系統(tǒng)的后視攝像頭的LED電源電路，實(shí)現(xiàn)對(duì)其內(nèi)置顯示屏的后視影像功能的開(kāi)關(guān)控制。通常情況下，后視攝像頭的LED電源線(xiàn)是接到倒車(chē)燈的兩端，當(dāng)駕駛員掛上倒車(chē)檔位時(shí)，倒車(chē)燈電源接通，同時(shí)后視倒車(chē)攝像頭的LED被點(diǎn)亮。同時(shí)后視鏡主機(jī)獲取到該信號(hào)，觸發(fā)倒車(chē)輔助功能，顯示屏顯示后視攝像頭的影像。本系統(tǒng)利用控制板的輸出信號(hào)觸發(fā)該功能，控制原理如圖17：

3.5 眼動(dòng)追蹤算法

本系統(tǒng)采用供應(yīng)商提供的眼動(dòng)追蹤算法，包括人臉關(guān)鍵點(diǎn)對(duì)齊[4]、頭部姿態(tài)的估計(jì)、眼睛定位算法、視線(xiàn)方向分類(lèi)算法等算法模塊。本項(xiàng)目開(kāi)發(fā)環(huán)境為VS2015，輔助開(kāi)源庫(kù)有opencv3.1，供應(yīng)商提供的眼動(dòng)算法庫(kù)libEyeGaze.dll，使用方法參考相關(guān)眼動(dòng)追蹤算法說(shuō)明及調(diào)用示例。

本項(xiàng)目供應(yīng)商提供的視線(xiàn)追蹤[5]算法需要前期進(jìn)行訓(xùn)練，供應(yīng)商提供算法訓(xùn)練軟件及方法。訓(xùn)練階段結(jié)束后會(huì)得到訓(xùn)練數(shù)據(jù)庫(kù)（train.xml），把該數(shù)據(jù)庫(kù)加載到眼動(dòng)追蹤算法軟件中，算法軟件就可以追蹤訓(xùn)練時(shí)眼睛注視的方向。測(cè)試人員訓(xùn)練數(shù)據(jù)庫(kù)時(shí)，需坐在駕駛座上采集各個(gè)角度注視車(chē)內(nèi)后視鏡的數(shù)據(jù)，算法訓(xùn)練軟件提取特征值得到該使用場(chǎng)景的訓(xùn)練數(shù)據(jù)庫(kù)。

4 系統(tǒng)測(cè)試

4.1 系統(tǒng)部署

本系統(tǒng)電源和CAN總線(xiàn)信號(hào)通過(guò)汽車(chē)OBD診斷接口獲得。系統(tǒng)結(jié)構(gòu)件部署安裝主要有三個(gè)：后視影像系統(tǒng)，眼動(dòng)攝像頭，主機(jī)控制器；安裝位置如圖 18，眼動(dòng)攝像頭②布置在中控臺(tái)面上，攝像頭和補(bǔ)光燈方向朝向駕駛員；后視影像系統(tǒng)①安裝在車(chē)內(nèi)后視鏡上；主機(jī)控制盒③部署在副駕駛雜貨箱內(nèi)。各個(gè)部件的連接線(xiàn)采用防火高溫膠布包裹，插接件選用車(chē)規(guī)級(jí)帶鎖扣的插接件，保證連接的可靠性。系統(tǒng)部件線(xiàn)束連接示意圖見(jiàn)圖19：

4.2 測(cè)試用例設(shè)計(jì)

測(cè)試用例分為幾類(lèi)：正常功能測(cè)試，防誤動(dòng)作測(cè)試，頭部距離測(cè)試以及車(chē)輛狀態(tài)測(cè)試。系統(tǒng)部分功能測(cè)試用例如下表2（附后）。

5 結(jié)論

本文所述的眼動(dòng)追蹤技術(shù)應(yīng)用集成系統(tǒng)平臺(tái)，能夠測(cè)試標(biāo)定眼動(dòng)追蹤識(shí)別技術(shù)的功能及性能。工控平臺(tái)方案完全滿(mǎn)足眼動(dòng)追蹤算法軟件對(duì)運(yùn)算速度的要求，紅外攝像頭的性能參數(shù)也完全滿(mǎn)足眼動(dòng)追蹤算法對(duì)圖像分辨率和幀率的要求，本系統(tǒng)為測(cè)試不同供應(yīng)商的眼動(dòng)追蹤算法提供了公共平臺(tái)，通過(guò)本系統(tǒng)的開(kāi)發(fā)提高了后續(xù)眼動(dòng)追蹤算法的測(cè)試驗(yàn)證效率，推動(dòng)了眼動(dòng)追蹤技術(shù)的車(chē)載應(yīng)用進(jìn)程，為進(jìn)一步提高汽車(chē)的智能化水平，讓汽車(chē)更懂駕駛員提供了一種技術(shù)可能性。本系統(tǒng)所實(shí)現(xiàn)的眼動(dòng)追蹤技術(shù)車(chē)載功能，增強(qiáng)了車(chē)內(nèi)后視鏡的用途，車(chē)內(nèi)后視鏡除了觀察后排座椅情況外，還有就是觀察車(chē)輛后面的情況，但通過(guò)后車(chē)窗玻璃觀察車(chē)后情況視線(xiàn)有些受阻，本系統(tǒng)改善了這種情況。

參考文獻(xiàn)：

[1]陳慶榮，周曦，韓靜，等.眼球追蹤：模式、技術(shù)和應(yīng)用[J].實(shí)驗(yàn)室研究與探索，2012，31（10）：10-15.

[2]劉瑞安.單攝像機(jī)視線(xiàn)跟蹤技術(shù)研究[D].天津大學(xué)，2007.

[3]周鋒宜.基于視頻圖像處理的視線(xiàn)追蹤技術(shù)研究[D].北京理工大學(xué)，2015.

[4]徐國(guó)慶.在線(xiàn)模板的人臉特征點(diǎn)對(duì)齊[J].計(jì)算機(jī)工程與設(shè)計(jì)，2013，34（11）：4021-4026.

[5]遲健男，王志良，張闖.視線(xiàn)追蹤[M].機(jī)械工業(yè)出版社，2011.

[6]佚名.汽車(chē)加入眼球追蹤技術(shù) 注意力不集中就熄火[J].農(nóng)業(yè)裝備與車(chē)輛工程，2016（10）：68-68.

[7]宮德麟.基于單目視覺(jué)的視線(xiàn)跟蹤技術(shù)研究[D]. 北京理工大學(xué)，2016.

[8]劉亮.基于因特爾感知計(jì)算技術(shù)的眼球追蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].東南大學(xué)，2015.