基于觸覺(jué)信息的駕駛員操作意圖識(shí)別方法

張 蕊，趙 帥，張慶余，張 驍

基于觸覺(jué)信息的駕駛員操作意圖識(shí)別方法

張 蕊，趙 帥*，張慶余，張 驍

（中汽智聯(lián)技術(shù)有限公司，天津 300000）

隨著人工智能和自動(dòng)駕駛技術(shù)的不斷發(fā)展，以電動(dòng)化、網(wǎng)聯(lián)化、智能化和共享化為基礎(chǔ)的自動(dòng)駕駛技術(shù)已成為未來(lái)汽車(chē)工業(yè)的主要發(fā)展方向。然而，受當(dāng)前自動(dòng)駕駛技術(shù)和相關(guān)政策法規(guī)制定的限制，可以預(yù)見(jiàn)，人機(jī)共駕將作為面向自動(dòng)駕駛的過(guò)度階段將長(zhǎng)時(shí)間存在。因此，針對(duì)人機(jī)共駕中駕駛員操作意圖識(shí)別問(wèn)題，文章提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，從駕駛員最長(zhǎng)接觸的轉(zhuǎn)向盤(pán)入手，通過(guò)對(duì)觸覺(jué)壓力圖像的特征訓(xùn)練，將操作意圖的識(shí)別問(wèn)題轉(zhuǎn)化為對(duì)圖像的分類識(shí)別問(wèn)題，實(shí)現(xiàn)了對(duì)不同駕駛意圖（緊抓握行駛意圖、松抓握行駛意圖、危險(xiǎn)駕駛意圖）的準(zhǔn)確識(shí)別。仿真結(jié)果表明，意圖識(shí)別準(zhǔn)確率超過(guò)97%，對(duì)將來(lái)人機(jī)共駕控制中車(chē)輛輔助駕駛系統(tǒng)的研究具有重要的理論和應(yīng)用價(jià)值。

自動(dòng)駕駛；人機(jī)共駕；意圖識(shí)別；觸覺(jué)信息；機(jī)器學(xué)習(xí)

隨著人工智能和自動(dòng)駕駛技術(shù)的不斷發(fā)展，汽車(chē)逐漸發(fā)展成為具有一定環(huán)境感知和自主決策規(guī)劃能力的“自動(dòng)化智能體”，并且以電動(dòng)化、網(wǎng)聯(lián)化、智能化和共享化為基礎(chǔ)的自動(dòng)駕駛技術(shù)已成為未來(lái)汽車(chē)工業(yè)的主要發(fā)展方向[1]。關(guān)于自動(dòng)駕駛的分級(jí)，目前全球汽車(chē)行業(yè)普遍公認(rèn)的智能汽車(chē)等級(jí)劃分標(biāo)準(zhǔn)將其分為六個(gè)階段，L0為無(wú)自動(dòng)駕駛功能或技術(shù)、L1為輔助駕駛、L2為部分自動(dòng)化、L3為有條件自動(dòng)化、L4為高度自動(dòng)化和L5為完全自動(dòng)化[2]。

然而，雖然當(dāng)前汽車(chē)的智能化水平在不斷提升，但仍然停留在L0－L2級(jí)。并且由于當(dāng)前自動(dòng)駕駛技術(shù)仍然不夠成熟，相關(guān)政策法規(guī)制定還不夠完善，智能汽車(chē)在未來(lái)幾年內(nèi)難以實(shí)現(xiàn)從L2到L5的快速發(fā)展[3]。可以預(yù)見(jiàn)，人機(jī)共駕將作為面向無(wú)人駕駛的過(guò)渡階段長(zhǎng)時(shí)間存在，即駕駛員和自動(dòng)化系統(tǒng)共同完成駕駛?cè)蝿?wù)的技術(shù)架構(gòu)。在當(dāng)前自動(dòng)駕駛的研發(fā)和應(yīng)用階段，駕駛員作為絕對(duì)主體依然扮演著重要角色[4-5]。

在“人-車(chē)-路”系統(tǒng)中，駕駛員和自動(dòng)駕駛系統(tǒng)作為兩個(gè)駕駛主體，共享決策控制權(quán)，在不同的行駛環(huán)境中協(xié)同完成駕駛?cè)蝿?wù)。自動(dòng)駕駛系統(tǒng)具有精準(zhǔn)化的控制能力，可以根據(jù)環(huán)境主動(dòng)控制車(chē)輛精確運(yùn)動(dòng)，提高行駛安全性，同時(shí)減輕駕駛員的工作負(fù)荷[6-7]。駕駛員的操作意圖作為銜接自動(dòng)駕駛系統(tǒng)的關(guān)鍵部分，可以為人機(jī)共駕系統(tǒng)提供支持。因此，如何提高駕駛員狀態(tài)監(jiān)測(cè)和操作意圖識(shí)別的準(zhǔn)確性，實(shí)現(xiàn)自動(dòng)駕駛系統(tǒng)和駕駛員之間的自然交互，實(shí)現(xiàn)人機(jī)優(yōu)勢(shì)互補(bǔ)，已成為當(dāng)前研究的熱點(diǎn)話題[8-9]。

近年來(lái)，針對(duì)人機(jī)共駕中的駕駛員狀態(tài)監(jiān)測(cè)和駕駛操作意圖識(shí)別作了大量研究。目前關(guān)于駕駛員狀態(tài)監(jiān)測(cè)的研究主要集中在識(shí)別疲勞駕駛、分心駕駛以及其他不當(dāng)駕駛行為，主要通過(guò)視覺(jué)捕捉工具，監(jiān)測(cè)駕駛員的眼瞼運(yùn)動(dòng)、頭部姿態(tài)和面部表情[10]，采用機(jī)器學(xué)習(xí)算法推斷駕駛員的疲勞和注意力分散程度[11]。除了計(jì)算機(jī)視覺(jué)的手段外，還有學(xué)者通過(guò)采集駕駛員的生理信號(hào)（如腦電信號(hào)、心電信號(hào)和肌電信號(hào)等），識(shí)別駕駛員的操作意圖[12]。然而，上述方法都要求駕駛員佩戴檢測(cè)設(shè)備，這必將會(huì)對(duì)駕駛員的操作產(chǎn)生干擾，不利于行車(chē)安全。駕駛員意圖識(shí)別的過(guò)程從本質(zhì)上講就是模式識(shí)別的過(guò)程，最具代表性的是支持向量機(jī)、隱性馬爾可夫模型和稀疏貝葉斯學(xué)習(xí)。通過(guò)采集表征駕駛員操作意圖的轉(zhuǎn)向盤(pán)轉(zhuǎn)角、車(chē)速、擋位、油門(mén)踏板和制動(dòng)踏板等行車(chē)參數(shù)，駕駛員自身狀態(tài)特征參數(shù)信息和車(chē)輛的周邊環(huán)境信息，在多信息融合數(shù)據(jù)的支持下，運(yùn)用相關(guān)算法，建立駕駛員意圖辨識(shí)模型，從而識(shí)別出駕駛員的轉(zhuǎn)向、換道、超車(chē)、加速、停車(chē)、制動(dòng)等操作意圖，進(jìn)一步保障駕駛員的行車(chē)安全[13-18]。

從用戶的角度來(lái)說(shuō)，出行的第一要素便是安全。轉(zhuǎn)向盤(pán)作為人機(jī)交互在物理層面的主要接口，從駕駛員最長(zhǎng)接觸的汽車(chē)轉(zhuǎn)向盤(pán)出發(fā)，實(shí)時(shí)感知駕駛員的操作意圖，理應(yīng)成為解決駕駛員安全駕駛問(wèn)題的第一突破點(diǎn)。智能汽車(chē)的誕生，意味著轉(zhuǎn)向盤(pán)同時(shí)也要具備更多的智能化功能，能夠主動(dòng)識(shí)別和發(fā)現(xiàn)駕駛員的危險(xiǎn)因素，進(jìn)行早期的預(yù)防和提示。駕駛車(chē)輛時(shí)，駕駛員的手不能離開(kāi)轉(zhuǎn)向盤(pán)，因此，如果觸覺(jué)信息能夠在一定程度上，通過(guò)轉(zhuǎn)向盤(pán)作為媒介對(duì)駕駛員不良習(xí)慣予以預(yù)先的糾正和引導(dǎo)，并通過(guò)預(yù)警的方式來(lái)構(gòu)建安全行駛的系統(tǒng)，將從根源上解決駕駛隱患，保證行車(chē)安全。

現(xiàn)在大多數(shù)基于觸覺(jué)的人機(jī)共享控制研究，主要是根據(jù)駕駛員作用在轉(zhuǎn)向盤(pán)上的力矩來(lái)感知駕駛員的操作意圖，并通過(guò)轉(zhuǎn)向盤(pán)力矩來(lái)輔助駕駛員完成駕駛?cè)蝿?wù)，如基于駕駛意圖的觸覺(jué)輔助轉(zhuǎn)向系統(tǒng)研究，通過(guò)調(diào)整轉(zhuǎn)向轉(zhuǎn)矩，可以在智能汽車(chē)遇到緊急情況時(shí)保證車(chē)輛的平穩(wěn)行駛[19-23]。雖然這些研究在某種程度上提高了車(chē)輛運(yùn)行的安全性，但忽視了駕駛員之間的差異性及其他因素的影響。一方面，駕駛習(xí)慣受駕駛員的生理參數(shù)影響，并具有一定的隨機(jī)性，駕駛員與自動(dòng)駕駛系統(tǒng)的交互過(guò)程難以建立精確的人機(jī)共享模型；另一方面，上述研究只考慮了駕駛員施加的轉(zhuǎn)向盤(pán)轉(zhuǎn)角，缺乏了表征駕駛員在極限工況下駕駛意圖的物理量描述，極易造成對(duì)駕駛員正常行駛意圖的錯(cuò)誤估計(jì)。

綜上所述，研究駕駛員的神經(jīng)肌肉狀態(tài)，將更有利于識(shí)別駕駛員與自動(dòng)化系統(tǒng)之間的合作狀態(tài)，對(duì)于避免駕駛員和智駕系統(tǒng)之間的沖突和保證行車(chē)安全至關(guān)重要。同時(shí)，駕駛員的駕駛技能也在不斷地變化，是長(zhǎng)期的在線學(xué)習(xí)和優(yōu)化的過(guò)程。為此，本文采用能夠反映駕駛員神經(jīng)肌肉狀態(tài)的轉(zhuǎn)向盤(pán)抓握信號(hào)，采用基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，選取不同駕駛員的抓握?qǐng)D像信息（松抓握、緊抓握和非正常抓握）作為樣本庫(kù)，通過(guò)訓(xùn)練得到駕駛員的駕駛意圖模型，得到松抓握（正常行駛）、緊抓握（復(fù)雜交通情景）和非正常抓握（危險(xiǎn)操作）3種意圖識(shí)別結(jié)果，為后期降低駕駛員操作意圖和提升行車(chē)安全的相關(guān)研究奠定了堅(jiān)實(shí)基礎(chǔ)。

1 柔性觸覺(jué)傳感器及原理

1.1 傳感器結(jié)構(gòu)原理

本文采用的電容陣列柔性壓力傳感器原理如圖 1 所示。

(a) 柔性傳感元件陣列結(jié)構(gòu)

(b) 柔性電容單元等效電路

(c) 柔性電容單元

傳感器采用平行板電容原理制作而成，其結(jié)構(gòu)原理如圖1(a)、圖1(b)所示，其柔性單元電容表示為

式中，為電極面積；為上下電極之間距離；介電常數(shù)=0r；r為相對(duì)介電常數(shù)；0≈8.85× 10-12F/m。

1.2 傳感器配件及整體結(jié)構(gòu)

本文采用的觸覺(jué)傳感器配件及整體結(jié)構(gòu)如圖 2 所示，整體尺寸為150 mm×150 mm，導(dǎo)電布寬度為10 mm，上下電極板交叉組成10×10個(gè)面積為100 mm2的電容單元。

圖2 觸覺(jué)傳感器配件及整體結(jié)構(gòu)

1.3 觸覺(jué)壓力傳感器標(biāo)定與封裝

1.3.1觸覺(jué)壓力傳感器標(biāo)定

采用ZQ-21 A-2型壓力計(jì)對(duì)電容式壓力敏感單元在0～550 kPa范圍內(nèi)進(jìn)行重復(fù)加載實(shí)驗(yàn)，傳感器標(biāo)定實(shí)驗(yàn)如圖3所示。

如圖4(a)所示，傳感器重復(fù)性誤差約為 2.75%；如圖4(b)所示，傳感器最大遲滯誤差為5.88%；如圖4(c)所示，在該傳感器上隨機(jī)選擇了10個(gè)不同位置的電容單元進(jìn)行了輸入（壓強(qiáng)）標(biāo)定，一致性最大誤差約為12.2%。通過(guò)傳感器的性能曲線可知，該傳感器具有良好的壓力感知功能，能夠滿足對(duì)駕駛員手抓握力檢測(cè)的要求。因此，本文選用該傳感器實(shí)現(xiàn)駕駛員手握轉(zhuǎn)向盤(pán)時(shí)中觸覺(jué)抓握信息的采集。

(a) 觸覺(jué)傳感器電容單元重復(fù)性

(b) 觸覺(jué)傳感器電容單元遲滯性

(c) 觸覺(jué)傳感器電容單元一致性

1.3.2柔性觸覺(jué)壓力傳感器封裝

為了實(shí)現(xiàn)模擬在駕駛過(guò)程中對(duì)人手抓握轉(zhuǎn)向盤(pán)的圖像信息采集，本文選用厚度為0.5 mm耐水性良好的乙烯-醋酸乙烯酯共聚物（Ethylene-Vinyl Acetate copolymer, EVA）海綿膠帶對(duì)傳感器進(jìn)行封裝。手柄本體采用3D打印成型的柱狀結(jié)構(gòu)模擬轉(zhuǎn)向盤(pán)的結(jié)構(gòu)（圖5柱狀結(jié)構(gòu)），白色十字交叉部分模擬駕駛員手心抓握位置。

圖5 觸覺(jué)傳感器封裝組件及成品

2 觸覺(jué)信息提取與轉(zhuǎn)向盤(pán)抓握意圖描述定義

2.1 轉(zhuǎn)向盤(pán)抓握意圖描述與定義

現(xiàn)實(shí)生活中，汽車(chē)的轉(zhuǎn)向盤(pán)完全由駕駛員控制，最為推薦的抓握方式就是三點(diǎn)九點(diǎn)抓握法，相當(dāng)于轉(zhuǎn)向盤(pán)的左側(cè)和右側(cè)各放一直手，這樣更加有助于行車(chē)過(guò)程中的安全性。然而，在實(shí)際的駕駛過(guò)程中，存在著許多危險(xiǎn)或錯(cuò)誤的抓握方式，為行車(chē)安全埋下了重大隱患，如單手抓握、單個(gè)手指勾握，甚至有時(shí)雙手脫離轉(zhuǎn)向盤(pán)，一旦發(fā)生緊急情況，后果將不堪設(shè)想。通過(guò)研究發(fā)現(xiàn)，在一些低速或比較寬闊車(chē)輛較少的直線行駛場(chǎng)景中，駕駛員一般雙手會(huì)比較放松的握在方向盤(pán)上，而在一些急轉(zhuǎn)彎或復(fù)雜路況的場(chǎng)景中，駕駛員一般會(huì)雙手緊握方向盤(pán)操作汽車(chē)行駛，以保證行車(chē)過(guò)程中的安全。幾種常見(jiàn)的駕駛員轉(zhuǎn)向盤(pán)抓握方式如圖6所示。

圖6 駕駛員轉(zhuǎn)向盤(pán)抓握方式

駕駛員的操作意圖從本質(zhì)上是一種模式識(shí)別，并且不同駕駛員的操作意圖在實(shí)際操作過(guò)程中具有一定的相似性，導(dǎo)致無(wú)法硬性的對(duì)各種意圖加以區(qū)分，因此，模式識(shí)別是一種適合于駕駛員駕駛意圖辨識(shí)的方法。結(jié)合對(duì)駕駛員轉(zhuǎn)向盤(pán)抓握方式和抓握力度的描述，本文將駕駛員的轉(zhuǎn)向盤(pán)抓握意圖分為3類：1）緊抓握狀態(tài)，對(duì)應(yīng)低速寬闊路況的直線行駛意圖，自動(dòng)駕駛系統(tǒng)占主導(dǎo)；2）松抓握狀態(tài)，對(duì)應(yīng)轉(zhuǎn)向或復(fù)雜路況的行駛意圖，駕駛員主導(dǎo)；3）危險(xiǎn)（錯(cuò)誤）抓握狀態(tài)，對(duì)應(yīng)非正常行駛意圖，自動(dòng)駕駛系統(tǒng)需給出報(bào)警提示或正確引導(dǎo)。

2.2 觸覺(jué)信息采集

為了表征駕駛員的抓握狀態(tài)信息，需要將封裝好的觸覺(jué)傳感器徑向展開(kāi)，粗線部分為傳感器封裝時(shí)的黏合處，沿粗線部分進(jìn)行分割，俯視圖方向順時(shí)針展開(kāi)如右側(cè)平面圖所示，本文以白色十字交叉部分為原點(diǎn)構(gòu)建平面，如圖7所示。

圖7 觸覺(jué)傳感器平面展開(kāi)圖

為了更加清晰地表征人手的抓握狀態(tài)，在圖像顯示程序中對(duì)原始數(shù)據(jù)進(jìn)行了插值處理。在圖像采集階段，要求受試者盡量將手掌中心放于白色十字交叉位置，從上到下分別為非正常抓握、緊抓握（習(xí)慣手為左手）和松抓握（習(xí)慣手為右手）。如圖8所示，可以明顯看出，在正常抓握狀態(tài)下，雖然慣用手不同，施力方式稍有區(qū)別，但松緊抓握的區(qū)分度能夠用來(lái)區(qū)分駕駛員在不同路況下的駕駛意圖。

(a) 非正常抓握

(b) 左手緊抓握

(c) 右手松抓握

2.3 觸覺(jué)信息特征提取

根據(jù)上文可知，駕駛員在行車(chē)過(guò)程中轉(zhuǎn)向盤(pán)抓握壓力信息可以間接體現(xiàn)人體上肢關(guān)節(jié)運(yùn)動(dòng)狀態(tài)和肌肉的活性，觸覺(jué)壓力圖像是某一時(shí)刻對(duì)駕駛員上肢肌肉活性的間接描述。因此，本節(jié)將采用觸覺(jué)壓力信息來(lái)提取駕駛員在任務(wù)層的操作意圖。圖9是從眾多觸覺(jué)圖像中隨機(jī)抽取的3幅圖像，可以明顯看出，駕駛員在抓握觸力轉(zhuǎn)向盤(pán)時(shí)，主要通過(guò)大魚(yú)際、大拇指以及食指、中指和無(wú)名指的指肚部位施加抓握力。雖然在抓握過(guò)程中手心和其他部位幾乎不施加力，不能完整顯示駕駛員的手型，但這并不影響對(duì)駕駛員抓握狀態(tài)的描述。

圖9 駕駛員抓握狀態(tài)表征

從圖9中可以看出，在緊抓握狀態(tài)下的接觸面積要明顯大于松抓握狀態(tài)，并且在緊抓握狀態(tài)下，駕駛員手部施加的壓力要遠(yuǎn)遠(yuǎn)大于松抓握狀態(tài)，二者區(qū)分度明顯。并且可以明顯看出，駕駛員的非正常（危險(xiǎn)）抓握狀態(tài)下的壓力分布只是零星的幾個(gè)接觸點(diǎn)，與上述兩種狀態(tài)區(qū)分明顯，另外，在駕駛員不抓握狀態(tài)下，觸覺(jué)圖像不顯示任何信息。綜上所述，本文通過(guò)觸覺(jué)壓力信息對(duì)駕駛員在任務(wù)層的駕駛意圖進(jìn)行表征，針對(duì)駕駛員在人機(jī)共駕系統(tǒng)中的駕駛意圖進(jìn)行分類定義。

3 卷積神經(jīng)網(wǎng)絡(luò)模型構(gòu)建及訓(xùn)練

由于駕駛員之間存在性別、身高、體重、肌肉力量、習(xí)慣用手、施力特點(diǎn)等個(gè)體差異，不同駕駛員的觸覺(jué)圖像會(huì)存在明顯差異，即使對(duì)于同一駕駛員做同樣的抓握動(dòng)作時(shí)，采集到的觸覺(jué)信息也會(huì)存在微小差異，對(duì)于上述三種駕駛員操作意圖狀態(tài)的區(qū)分無(wú)法給出明確的界定方法。因此，本節(jié)采用卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，對(duì)觸覺(jué)壓力圖像的特征進(jìn)行訓(xùn)練，構(gòu)建不同類型操作意圖的分類器，將操作意圖的識(shí)別問(wèn)題轉(zhuǎn)化為對(duì)圖像的分類識(shí)別問(wèn)題，實(shí)現(xiàn)對(duì)駕駛員駕駛意圖的識(shí)別。

3.1 卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)的重要思想包括局部感知野、權(quán)值共享和下采樣。由于圖像局部區(qū)域具有很強(qiáng)的相關(guān)性，因此，通過(guò)在更高層將局部的信息綜合起來(lái)即可得到圖像的全局信息。權(quán)值共享策略在減少訓(xùn)練參數(shù)的同時(shí)，提升了訓(xùn)練模型的泛化能力。下采樣操作主要提升了模型的魯棒性。

1.輸入層

卷積神經(jīng)網(wǎng)絡(luò)的輸入層選用經(jīng)過(guò)歸一化處理的駕駛員抓握?qǐng)D像，每張圖像的分辨率為10×10像素，并將像素值歸一化為0～1之間的數(shù)字。

2.卷積層

卷積層主要實(shí)現(xiàn)對(duì)輸入圖像的多維特征提取。本文采用卷積核的尺寸為33，移動(dòng)步長(zhǎng)為1。

3.激勵(lì)層

激勵(lì)層中的激活函數(shù)提供了卷積神經(jīng)網(wǎng)絡(luò)的非線性建模能力，將線性映射的表達(dá)空間擴(kuò)增到了非線性空間。本文采用ReLU激勵(lì)函數(shù)，具有收斂速度快、求梯度簡(jiǎn)單的優(yōu)點(diǎn)。

4.下采樣層

下采樣層又稱為池化層，用于壓縮數(shù)據(jù)和參數(shù)的數(shù)量，減少過(guò)擬合。本文采用最大池化操作，池化區(qū)域?yàn)?2，步長(zhǎng)為2。

5.全連接層

全連接層主要負(fù)責(zé)對(duì)圖像特征進(jìn)一步降維操作，進(jìn)一步綜合特征得到輸入圖像特征的高層含義，實(shí)駕駛意圖模式分類。

6.輸出層

本文主要是對(duì)駕駛員抓握?qǐng)D像的數(shù)據(jù)集識(shí)別分類，輸出層可以看作是一個(gè)節(jié)點(diǎn)數(shù)目為3的分類器，分別代表低速直線行駛意圖、轉(zhuǎn)向或復(fù)雜路況駕駛意圖和非正常（危險(xiǎn)）駕駛意圖三種模式。本文采用的卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)如圖10所示，各層的具體網(wǎng)絡(luò)參數(shù)如表1所示。

圖10 卷積神經(jīng)網(wǎng)絡(luò)整體結(jié)構(gòu)

3.2 卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程

卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程包括正向傳播和反向傳播，在正向傳播的過(guò)程中，卷積層通過(guò)卷積核來(lái)提取輸入圖像的多維局部特征，將得到的特征圖輸入到激勵(lì)函數(shù)，從而得到新一層的特征圖。其中，正向傳播各公式參數(shù)含義如表2所示。卷積核的工作過(guò)程為

本文選用ReLU作為激勵(lì)函數(shù)，表達(dá)式為

本文選用的池化過(guò)程為

表2 正向傳播各公式參數(shù)含義

在多分類問(wèn)題中，對(duì)于訓(xùn)練集{(1,1),...,(x,y)}，類標(biāo)簽為y∈{1,2,...,}。對(duì)于給定的輸入(n)，用假設(shè)函數(shù)h(x)針對(duì)每一個(gè)類的概率為((n)=|(n)),=1,2, ...,。假設(shè)函數(shù)h(x)的公式為

將(n)分為第類的概率記為

式中，為模型參數(shù)，本文的類別一共分為3類，分別用1、2、3表示。

反向傳播過(guò)程中，采用反向傳播算法進(jìn)行誤差傳遞，使用隨機(jī)梯度下降法更新權(quán)值參數(shù)，使得損失函數(shù)達(dá)到最小，直到網(wǎng)絡(luò)收斂達(dá)到迭代終止條件才停止整個(gè)訓(xùn)練過(guò)程。其中，反向傳播各公式參數(shù)含義如表3所示。損失函數(shù)計(jì)算公式如下：

采用隨機(jī)梯度下降法更新權(quán)值，權(quán)重迭代表達(dá)式為

表3 反向傳播各公式參數(shù)含義

3.3 數(shù)據(jù)集建立與預(yù)處理

在卷積神經(jīng)網(wǎng)絡(luò)的分類過(guò)程中，為了保證數(shù)據(jù)的全面性和各類樣例的均勻性，本文的數(shù)據(jù)集由3 000張駕駛員抓握形成的觸覺(jué)傳感器顯示圖像組成，共分為低速直線行駛意圖、轉(zhuǎn)向或復(fù)雜路況駕駛意圖和危險(xiǎn)駕駛意圖三種模式，數(shù)據(jù)集如表4所示。駕駛員手掌抓握?qǐng)D像尺寸統(tǒng)一為10×10像素。

表4 數(shù)據(jù)集

參與者生理參數(shù)如表5所示。

表5 參與者生理參數(shù)

訓(xùn)練集中部分手掌抓握?qǐng)D像如圖11所示，依次為非正常抓握狀態(tài)、松抓握狀態(tài)和緊抓握狀態(tài)。為了消除偶然性，提升訓(xùn)練的準(zhǔn)確率，對(duì)建立的 3 000張數(shù)據(jù)集進(jìn)行了隨機(jī)打亂重排處理。

(a) 非正常抓握狀態(tài)

(b) 松抓握狀態(tài)

(c) 緊抓握狀態(tài)

4 駕駛員操作意圖識(shí)別實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)中的訓(xùn)練中本數(shù)量（batchsize）預(yù)設(shè)為100，不同的學(xué)習(xí)率和迭代次數(shù)對(duì)應(yīng)的駕駛員操作意圖識(shí)別準(zhǔn)確率如表6、表7所示。

表6 訓(xùn)練集準(zhǔn)確率

表7 測(cè)試集準(zhǔn)確率

從表6、表7中可以看出，當(dāng)訓(xùn)練集在迭代次數(shù)為110，學(xué)習(xí)率為0.6時(shí)，準(zhǔn)確率最高，達(dá)到了98.2%；而測(cè)試集在迭代次數(shù)為130，學(xué)習(xí)率為0.6時(shí)準(zhǔn)確率最高，達(dá)到了97.6%。綜合考慮，本文將最終的迭代次數(shù)定位110。

圖12 準(zhǔn)確率變化曲線

圖13 損失函數(shù)變化曲線

圖12為訓(xùn)練集和測(cè)試集在學(xué)習(xí)率為0.6并且迭代次數(shù)為110時(shí)對(duì)應(yīng)的準(zhǔn)確率變化曲線。圖13為在該參數(shù)設(shè)置下的損失函數(shù)變化曲線。為了評(píng)價(jià)卷積神經(jīng)網(wǎng)絡(luò)分類算法的性能，本文采用準(zhǔn)確率指標(biāo)來(lái)進(jìn)行評(píng)價(jià)：

表8 操作意圖模式識(shí)別結(jié)果

操作意圖模式識(shí)別結(jié)果如表8所示。綜上所述，最終本文采用的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型參數(shù)如表9所示。

表9 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型參數(shù)

5 結(jié)論

針對(duì)人機(jī)共駕中駕駛員操作意圖識(shí)別問(wèn)題，本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法，從駕駛員最長(zhǎng)接觸的轉(zhuǎn)向盤(pán)入手，通過(guò)對(duì)觸覺(jué)壓力圖像的特征訓(xùn)練，將操作意圖的識(shí)別問(wèn)題轉(zhuǎn)化為對(duì)圖像的分類識(shí)別問(wèn)題，實(shí)現(xiàn)了對(duì)駕駛員不同駕駛意圖（松抓握-低速寬闊車(chē)輛較少的直線行駛意圖，自動(dòng)駕駛系統(tǒng)占主導(dǎo)；緊抓握-轉(zhuǎn)向或復(fù)雜路況的行駛意圖，駕駛員主導(dǎo)；危險(xiǎn)（錯(cuò)誤）抓握狀態(tài)-非正常行駛意圖，自動(dòng)駕駛系統(tǒng)需要給出報(bào)警提示或正確引導(dǎo)）的準(zhǔn)確識(shí)別，對(duì)將來(lái)人機(jī)共享控制中車(chē)輛輔助駕駛系統(tǒng)的研究具有重要的理論和應(yīng)用價(jià)值。

基于觸覺(jué)反饋的變阻抗控制已成為機(jī)器人領(lǐng)域中處理人機(jī)交互的重要方法，但在智能汽車(chē)的人機(jī)共享控制領(lǐng)域還鮮有應(yīng)用。駕駛員和汽車(chē)之間轉(zhuǎn)向盤(pán)力是一個(gè)動(dòng)態(tài)交互的過(guò)程，駕駛員手部肌肉產(chǎn)生的阻抗特性會(huì)隨著不同環(huán)境下的不同的駕駛意圖而改變，通過(guò)引入觸覺(jué)信息實(shí)現(xiàn)變阻抗控制以為人機(jī)共駕系統(tǒng)的設(shè)計(jì)提供新思路。未來(lái)，針對(duì)基于轉(zhuǎn)向盤(pán)的觸覺(jué)共享控制研究，可以考慮將觸覺(jué)信息和轉(zhuǎn)向盤(pán)的力矩相結(jié)合的方式，通過(guò)融合觸覺(jué)和力矩信息，將觸覺(jué)信息引入到人機(jī)共駕的力反饋設(shè)計(jì)中，實(shí)現(xiàn)緊急和放松任務(wù)的適時(shí)切換。既能保證駕駛員駕駛意圖的有效傳達(dá)，又能保證能夠根據(jù)駕駛員的操作意圖平穩(wěn)過(guò)渡控制權(quán)，使自動(dòng)駕駛系統(tǒng)能夠生成適當(dāng)大小的控制轉(zhuǎn)矩向駕駛?cè)吮磉_(dá)自身的駕駛意圖，協(xié)助駕駛員安全平穩(wěn)地完成駕駛?cè)蝿?wù)。

[1] 楊俊儒,褚端峰,陸麗萍,等.智能汽車(chē)人機(jī)共享控制研究綜述[J].機(jī)械工程學(xué)報(bào),2022,58(18):31-55.

[2] SAE On-road Automated Vehicle Standards Committee. Taxonomy and Definitions for Terms Related to Driv- ing Automation Systems for on-road Motorvehicles: SAE J30-16[S].Warrendale,PA:SAE International,2021.

[3] XING Y,HUANG C,Lü C.Driver-automation Colla- boration for Automated Vehicles:A Review of Human- centered Shared Control[C]// IEEE.2020 IEEE Intelli- gent Vehicles Symposium(IV).Piscataway:IEEE,2020: 1964-1971.

[4] NUNES A,REIMER B,COUGHLIN F. People Must Retain Control of Autonomous Vehicles[J].Nature, 2018,556:169-171.

[5] 胡云峰,曲婷,劉俊,等.智能汽車(chē)人機(jī)協(xié)同控制的研究現(xiàn)狀與展望[J].自動(dòng)化學(xué)報(bào),2019,45(7):1261-1280.

[6] 劉瑞,朱西產(chǎn),劉霖,等.基于非合作模型預(yù)測(cè)控制的人機(jī)共駕策略[J].同濟(jì)大學(xué)學(xué)報(bào)(自然科學(xué)版),2019, 47(7):1037-1045.

[7] 韓嘉懿,趙健,朱冰.面向智能汽車(chē)人機(jī)協(xié)同轉(zhuǎn)向控制的強(qiáng)化學(xué)習(xí)變阻抗人機(jī)交互方法[J].機(jī)械工程學(xué)報(bào), 2022,58(18):141-149.

[8] WANG W,NA X,CAO D,et al.Decision-making in Driver-automation Shared Control:A Review and Perspectives[J].IEEE/CAA Journal of Automatica Sinica,2020,7(5):1289-1307.

[9] MUSLIM H,ITOH M.A Theoretical Framework for Designing Human-centered Automotive Automation Systems[J].Cognition,Technology & Work,2019,21(4): 685-697.

[10] 鄧力夫,羅嗣乾.人工智能時(shí)代汽車(chē)傳感器的現(xiàn)狀與展望[J].汽車(chē)實(shí)用技術(shù),2021,46(2):204-206.

[11] 宗長(zhǎng)富,代昌華,張東.智能汽車(chē)的人機(jī)共駕技術(shù)研究現(xiàn)狀和發(fā)展趨勢(shì)[J].中國(guó)公路學(xué)報(bào),2021(6):214-237.

[12] 馮吉偉.基于駕駛員意圖識(shí)別的共駕型智能車(chē)輛轉(zhuǎn)向引導(dǎo)力矩控制研究[D].聊城:聊城大學(xué),2023.

[13] 鄭亞奇.基于駕駛員意圖的智能車(chē)輛路徑跟隨研究[D].長(zhǎng)沙:湖南大學(xué),2023.

[14] 王暢.基于隱形馬爾科夫模型的駕駛員意圖辨識(shí)方法研究[D].長(zhǎng)春:吉林大學(xué),2011.

[15] 蕭超武.基于HMM的駕駛模式識(shí)別方法研究及應(yīng)用[D].廣州:華南理工大學(xué),2015.

[16] 弓馨.基于模糊邏輯的駕駛員制動(dòng)意圖辨識(shí)方法研究[D].長(zhǎng)春:吉林大學(xué),2014.

[17] 王玉海,宋健,李興坤.基于模糊推理的駕駛員意圖識(shí)別研究[J].公路交通科技,2005,22(12):113-118.

[18] 趙楓.冰雪環(huán)境下基于神經(jīng)網(wǎng)絡(luò)的多參數(shù)駕駛員意圖識(shí)別[D].長(zhǎng)春:吉林大學(xué),2023.

[19] NGUYEN A T,SENTOUH C,POPIEUL J C.Driver Automation Cooperative Approach for Shared Steering Control Under Multiple System Constraints:Design and Experiments[J].IEEE Transactions on Industrial Electronics,2017,64(5):3819-3830.

[20] MA B,LIU Y L,NA X X,et al.A Shared Steering Con- troller Design Based on Steer-by-wire System Consi- dering Human-machine Goal Consistency[J].Journal of the Franklin Institute,2019,356(8):4397-4419.

[21] HUANG M Z,GAO W N,WANG Y B,et al.Data-driven Shared Steering Control of Semi-autonomous Vehicles [J].IEEE Transactions on Human-Machine Systems, 2019,49(4):350-361.

[22] 丁飛黎,乾龍,雷飛,等.動(dòng)態(tài)軌跡跟蹤下力矩相關(guān)性驅(qū)動(dòng)輔助的人機(jī)協(xié)同轉(zhuǎn)向預(yù)測(cè)控制策略研究[J].機(jī)械工程學(xué)報(bào),2022,58(6):143-152.

[23] 鄧修金,王艷陽(yáng),黃秋實(shí),等.基于觸覺(jué)引導(dǎo)的L2級(jí)智能汽車(chē)人機(jī)共享控制技術(shù)綜述[J].交通信息與安全, 2022,40(5):23-33.

Driver Intention Recognition Method Based on Touch Information

ZHANG Rui, ZHAO Shuai*, ZHANG Qingyu, ZHANG Xiao

( CATARC Intelligent and Connected Technology Corporation Limited, Tianjin 300000, China )

With the continuous development of artificial intelligence and autonomous driving technology, autonomous driving technology based on electrification, networking, intelligence, and sharing has become the main development direction of the future automotive industry. However, due to the limitations of current autonomous driving technology and relevant policies and regulations, it can be foreseen that human-machine co-driving will exist as a transitional stage towards autonomous driving for a long time.Therefore, this paper proposes a machine learning method based on convolutional neural networks to address the issue of driver operation intention recognition in human-machine co-driving. Starting from the steering wheel that the driver has the longest contact with, the problem of operation intention recognition is transformed into a problem of image classification and recognition through feature training of tactile pressure images, accurate identification of different driving intentions of drivers (grip driving intentions, grip driving intentions, dangerous driving intentions) has been achieved. The simulation results show that the accuracy of intention recognition exceeds 97%, which has important theoretical and practical value for the future research of vehicle assisted driving systems in human-machine co-driving control.

Autonomous driving; Human-machine co-driving; Intention recognition; Tactile infor- mation; Machine learning

U426.1

A

1671-7988(2023)22-49-11

10.16638/j.cnki.1671-7988.2023.022.010

張蕊（1993－），男，碩士，助理工程師，研究方向?yàn)橹悄芫W(wǎng)聯(lián)汽車(chē)仿真驗(yàn)證技術(shù)，E-mail:zhangrui01@ catarc.ac.cn。

趙帥（1988－），男，碩士，高級(jí)工程師，研究方向?yàn)橹悄芷?chē)場(chǎng)景仿真，E-mail:zhaoshuai@catarc.ac.cn。