自動駕駛?cè)藱C交互系統(tǒng)研究綜述

董 瑋，李 巖，董 騏，渠謹黛，劉 傲，董 良

（中國第一汽車集團有限公司工程與生產(chǎn)物流部，吉林 長春 130011）

智能汽車人機交互是集環(huán)境感知、控制決策、執(zhí)行機構(gòu)于一體的多功能的綜合系統(tǒng)，代替了傳統(tǒng)汽車通過人類的眼、腦、手配合，完成駕駛操作的功能。智能汽車主要是通過先進的環(huán)境感知傳感器、高精度地圖以及V2X（vehicle to everything）設(shè)備等來理解周圍環(huán)境，然后汽車進行自主決策，完成駕駛操作，如圖1所示。由此可知，智能汽車與傳統(tǒng)汽車最大的不同在于設(shè)計上，傳統(tǒng)汽車完全依賴于人類駕駛員完成所有的操作，而智能汽車則幾乎無需人類的參與，駕駛過程絕大多數(shù)由車輛自己完成。

圖1 無人駕駛汽車

在智能汽車上，良好的人機交互技術(shù)是使駕駛員從傳統(tǒng)的駕駛操作中解放出來的關(guān)鍵技術(shù)，駕駛員無需將注意力放在駕駛操作中，而是可以讀書、玩手機、聊天、吃東西等，如圖2所示。但是在高級別自動駕駛階段，自動駕駛車輛仍然無法徹底脫離駕駛員的接管操作。所以人機交互的重要任務(wù)之一就是需要時時刻刻了解人類駕駛員的狀態(tài)，在智能汽車不能自主完成駕駛時，人機交互技術(shù)檢測出駕駛員的當(dāng)前狀態(tài)，并根據(jù)當(dāng)前駕駛員與車輛的狀態(tài)，在合適的接管時間，以恰當(dāng)?shù)姆绞教嵝疡{駛員，讓人類駕駛員來接管駕駛?cè)蝿?wù)。

圖2 人機互助智能汽車

人機交互系統(tǒng)，本質(zhì)上是通過傳感技術(shù)、接口技術(shù)、控制技術(shù)及計算機技術(shù)等實現(xiàn)人與智能機器間的相互理解、認知、互動，從而完成某種特定的功能或任務(wù)。本文研究的智能汽車人機交互系統(tǒng)，主要是指車載系統(tǒng)通過汽車上布置的攝像頭、人體狀況監(jiān)測傳感器、酒精傳感器等設(shè)備，實時采集駕駛員行為狀態(tài)、身體狀況等信息，然后將信息作為駕駛員狀態(tài)識別系統(tǒng)的輸入，對于駕駛員狀態(tài)進行識別判斷。當(dāng)車輛自動駕駛過程中需要駕駛員接管車輛駕駛時，人機交互系統(tǒng)能夠根據(jù)駕駛員狀態(tài)決策接管時機，同時采取相應(yīng)措施提醒駕駛員并干預(yù)車輛控制。

1 駕駛?cè)藛T狀態(tài)檢測及交互

目前這種檢測大概可以分為基于駕駛員行為、基于車輛的行駛信息、基于駕駛員生理信號、基于駕駛員語言信號等4個方面。由于這種檢測方式應(yīng)當(dāng)具有普適性，而不同人的駕駛習(xí)慣和說話方式等會對第二方面和第四方面造成較大影響，所以這里主要介紹關(guān)于第一方面和第三方面的研究，這兩方面的檢測通常提取駕駛員面部頭部特征和其生理電信號。例如有研究人員通過對駕駛員的生理電信號采集分析，實現(xiàn)了疲勞監(jiān)測，并對駕駛員的行為進行預(yù)測，使用預(yù)測模型調(diào)整駕駛員的意圖，保證駕駛的安全性，疲勞檢測的流程如圖3所示，疲勞監(jiān)視器如圖4所示。

圖3 疲勞檢測算法流程圖

圖4 疲勞監(jiān)視器

Zhu Z等建立了駕駛員疲勞檢測數(shù)學(xué)模型，其模型主要借助高精度相機獲取駕駛員眼部、頭部和表情特征等生理信息。Sayed R等將車輛的轉(zhuǎn)向運動操作頻率與駕駛員當(dāng)前是否疲勞進行數(shù)學(xué)關(guān)聯(lián)，利用車輛轉(zhuǎn)向特征參數(shù)計算出當(dāng)前駕駛員的疲勞狀態(tài)。He J主要采用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法將手機拍攝到的駕駛員面部圖像與駕駛員疲勞狀態(tài)進行非線性關(guān)聯(lián)，構(gòu)建相關(guān)識別模型。Liang Y等主要提出一種依據(jù)人類眼睛眨眼頻率推算駕駛員當(dāng)前心理及疲勞狀態(tài)的數(shù)學(xué)方法。Takei Y等利用車輛動力學(xué)仿真軟件構(gòu)建車輛轉(zhuǎn)向運動環(huán)境及工況，并將車輛轉(zhuǎn)向參數(shù)與駕駛員狀態(tài)進行有效關(guān)聯(lián)，提出一種基于混沌理論的數(shù)學(xué)分析方法，基于仿真環(huán)境中的轉(zhuǎn)向數(shù)據(jù)有效判斷駕駛員當(dāng)前狀態(tài)。Friedrichs F等提出一種基于BP神經(jīng)網(wǎng)絡(luò)的，綜合考慮車輛方向盤轉(zhuǎn)角以及橫擺角速度的駕駛員狀態(tài)識別算法。Munla N提出一種基于人體大腦腦電波的駕駛員狀態(tài)識別系統(tǒng)及方法。后來相關(guān)學(xué)者構(gòu)建基于支持向量機的模型對人類大腦電波進行深入分析和識別。Chai R等基于信息熵的數(shù)學(xué)分析方法，提出一種基于人類腦電波的駕駛員狀態(tài)識別算法。

隨著實驗方法的改進和完善，越來越多的駕駛員狀態(tài)識別方法被挖掘出來。He Q C等對駕駛員腦電波EEG指標進行分析處理，將駕駛員頭部以及軀干的數(shù)據(jù)輸入到動態(tài)貝葉斯網(wǎng)絡(luò)中，進而得到駕駛員的疲勞程度評價模型。Fan J等進行了六自由度虛擬現(xiàn)實駕駛模擬實驗，在腦電信號的基礎(chǔ)上，對駕駛員的人員情緒與工作符合程度進行判斷。針對駕駛員面部和頭部特征，美國的卡內(nèi)基梅隆大學(xué)在大量的實驗以及反復(fù)嘗試之后，定義了一種可以表示人體疲勞狀態(tài)的算子——PERCLOS算子，主要是利用每秒鐘人眼睛的張開閉合程度和時間來表示，如果人眼閉合程度超過80%，并超過一定時間，就可以基本斷定人處于疲勞狀態(tài)?？▋?nèi)基梅隆大學(xué)還成功研制出了一套用于采取駕駛員面部表情信息的Copilot系統(tǒng)，如圖5所示，該系統(tǒng)可以快速識別駕駛員的面部信息，并發(fā)出相應(yīng)的狀態(tài)信息提醒信號。Soualmi B等根據(jù)車輛運動通過運用模糊控制來求得線性二次型優(yōu)化問題，提出一種確定人機駕駛權(quán)分配的決策算法。Bi L Z等采用模型預(yù)測控制的方法實現(xiàn)人機系統(tǒng)控制如圖6所示，主要是通過腦機接口來實現(xiàn)人機協(xié)同的控制，同時考慮駕駛員的意圖和保證車輛安全問題。Li R等將人機交互系統(tǒng)分為直接和間接的兩種形式，通過感知駕駛員的意圖來實現(xiàn)高度自動化車輛的間接共享控制。Gray A等利用駕駛員模型預(yù)測駕駛員未來的駕駛行為，設(shè)計了一種非線性模型預(yù)測控制器，利用轉(zhuǎn)角和制動控制，在最小干預(yù)情況下幫助駕駛員完成避障和車道偏離，后續(xù)又分析了人機共駕的過程中存在的不確定性問題，設(shè)計了一種具有魯棒性的控制器，在不確定的駕駛員行為下，優(yōu)化出保證駕駛員順利接管的最小轉(zhuǎn)角。

圖5 Copilot系統(tǒng)

圖6 人機系統(tǒng)控制

在國內(nèi)，哈爾濱工業(yè)大學(xué)的張晶秋對駕駛員呼吸頻率以及血壓的變化和心率變化進行了實驗和分析，給出了血壓、心率、呼吸與駕駛員疲勞狀態(tài)的變化關(guān)系。電子科技大學(xué)的龍伶敏結(jié)合人臉表情特征以及呼吸頻率等，提出基于模糊數(shù)學(xué)理論的狀態(tài)識別非線性數(shù)學(xué)模型構(gòu)建方法。

梅賽德斯奔馳等國外頂尖車企，以及國內(nèi)自主品牌車企比亞迪都開始在車機系統(tǒng)中融入了人機實時交互的功能模塊。最近幾年，特斯拉采用極具視覺沖擊力的中控大屏，引領(lǐng)了車內(nèi)人機交互的最新潮流。但是，人機交互的界面以及相關(guān)標識五花八門，給消費者也帶來了不少困擾，無法快速適應(yīng)相應(yīng)的人機交互功能，同時，消費者普遍反映人機交互的最終效果并不是很理想，沒有較好地實現(xiàn)人與車輛的快速且無障礙的交流。

2 自動駕駛接管及交互

自動駕駛接管及協(xié)同控制是3級駕駛自動化（Conditionally automated driving）階段的關(guān)鍵核心技術(shù)，許多高校及科研院所已經(jīng)在該領(lǐng)域開展了深入的研究工作。魯光泉等人使用雙因素方差分析來研究不同次任務(wù)與不同接管請求時間對接管時間的影響。Russell H E B等指出駕駛員從自動駕駛模式下比較輕松的狀態(tài)切換到人工駕駛模式時，必須經(jīng)過一段時間的休息才能較好地完成接管駕駛的任務(wù)，否則會產(chǎn)生造成車輛失穩(wěn)的誤操作。Gold C等人經(jīng)過研究發(fā)現(xiàn)，接管請求時間直接影響著接管之后的駕駛品質(zhì)，二者成正相關(guān)的關(guān)系，分析了不同年齡的駕駛員在駕駛接管過程中的表現(xiàn)，最終發(fā)現(xiàn)年齡與接管表現(xiàn)的關(guān)聯(lián)程度并不大，通過搭建的自動駕駛接管評價模型對駕駛員的接管反應(yīng)時間進行預(yù)測Happee R等人提出一種基于TTC評價緊急情況下的接管任務(wù)完成情況的方法，并研發(fā)一種控制策略來抑制由于接管任務(wù)而使轉(zhuǎn)向和制動等操作滯后的現(xiàn)象Seppelt B D等人經(jīng)過研究發(fā)現(xiàn)，逐漸加強式的報警提醒方式要比突發(fā)式的報警提醒方式對于接管任務(wù)的高效完成更有效。

在汽車主機廠及零部件供應(yīng)商方面，Bosch概念車系統(tǒng)會提前讓用戶得知可以使用自動駕駛的路線。并且用戶可以折疊隱藏方向盤，將控制權(quán)暫時移交給智能汽車。除此之外，在智能汽車介入式控制的過程中，系統(tǒng)會通過各傳感器探測，告知用戶恢復(fù)手動駕駛的時間，幫助用戶由自動駕駛轉(zhuǎn)變?yōu)槿藶轳{駛，完成控制權(quán)的接管。Tesla在2016年9月更新的車載系統(tǒng)中，加入了一個方向盤觸控檢測系統(tǒng)，該系統(tǒng)的作用是實時監(jiān)控駕駛員是否對車輛進行了實際的控制。日產(chǎn)公司于2018年前后提出了他們的“腦－車”技術(shù)，該技術(shù)的主要作用是根據(jù)駕駛員佩戴的終端設(shè)備，監(jiān)控駕駛員的生理信號，從而識別駕駛員的當(dāng)前狀態(tài)。豐田公司于2017年前后，提出一種自動識別駕駛員狀態(tài)并可以進行快速接管的人機交互系統(tǒng)，該系統(tǒng)可以感知人類眼部和面部表情的細致特征，當(dāng)駕駛員進入疲勞或其他不適于駕駛的狀態(tài)時，自動對車輛的駕駛權(quán)進行接管，提高車輛的安全性。

3 自動駕駛?cè)藱C交互系統(tǒng)未來展望

盡管汽車領(lǐng)域人機交互系統(tǒng)及駕駛員狀態(tài)識別相關(guān)技術(shù)已經(jīng)相對成熟，但相對于自動駕駛領(lǐng)域的人機交互系統(tǒng)還處于起步階段，還沒有成熟的解決方案。人機共駕型人機交互及接管系統(tǒng)，需要雙方的相互配合，并不能完全依賴一方的獨立操作，同時，人機交互系統(tǒng)可以使駕駛員更好地理解自動駕駛系統(tǒng)當(dāng)前的工作狀態(tài)及意圖，可以進一步降低駕駛員在乘車階段的緊張感。

盡管已經(jīng)有大量的研究成果發(fā)現(xiàn)接管瞬間會對車輛行駛穩(wěn)定性造成負面影響，但是針對接管行為造成的負面影響并沒有給出行之有效的解決方案，在解決上述問題的人機協(xié)同控制方面的研究還不夠深入。

在后續(xù)的研究中，需要加快引入人工智能、大數(shù)據(jù)、云控平臺、高算力車載計算平臺等技術(shù)，使智能車輛與人類駕駛員可以以更為流暢及智能的方式進行人機共駕和人機信息交互。相關(guān)人機交互系統(tǒng)需要在不斷學(xué)習(xí)和更新過程中，更加適應(yīng)用戶的駕乘習(xí)慣，達到更好的人機交互體驗感受。