基于深度學(xué)習(xí)的乘用車智能座艙系統(tǒng)安全設(shè)計研究

摘要：隨著乘用車電動化、智能化、網(wǎng)聯(lián)化的快速發(fā)展，乘用車智能座艙已成為人們出行的第三空間。本文主要對乘用車智能座艙的現(xiàn)狀和存在的問題，包括免喚醒功能被惡意使用、中控顯示屏和副駕多媒體顯示屏干擾駕駛、駕駛員危險行為識別等進行分析研究?；谏疃葘W(xué)習(xí)技術(shù)提出了一套乘用車智能座艙系統(tǒng)安全設(shè)計的方法，為乘用車智能座艙的設(shè)計提供參考。

關(guān)鍵詞：智能座艙；智能顯示屏；人機交互；深度學(xué)習(xí)；乘用車

引言

乘用車智能座艙是采用先進的計算機、傳感器、信息、網(wǎng)絡(luò)通信和人工智能等技術(shù)實現(xiàn)人機交互的智能駕乘艙段[1]。與傳統(tǒng)乘用車座艙對比，智能座艙可以帶來科技感和不一樣的駕乘體驗[2]。得益于智能座艙的不斷發(fā)展，以家庭為第一空間、以學(xué)?；蚬ぷ鲉挝粸榈诙臻g的局面被打破，乘用車智能座艙逐漸成為人們生活、學(xué)習(xí)、工作的可移動的第三空間[3]。與第一、第二空間相比，智能座艙具備移動性、便攜性、舒適性的特點。當(dāng)前乘用車智能座艙仍處于初級發(fā)展階段，開始具備各種與駕駛無關(guān)的娛樂和生活服務(wù)等功能。如何讓更多與駕駛無關(guān)的功能進入智能座艙且不影響行車安全，是值得探討的問題。

1. 什么是乘用車智能座艙

乘用車智能座艙可以從兩個角度來定義。從乘用車內(nèi)部角度來看，智能座艙通過智能顯示屏、傳感器、內(nèi)飾和座椅等人機交互設(shè)計，實現(xiàn)駕乘便捷性和舒適性的功能[4]；從乘用車外部角度來看，智能座艙通過車聯(lián)網(wǎng)、5G、傳感器、衛(wèi)星定位等技術(shù)[5]，實現(xiàn)乘用車與車外萬物的智能互聯(lián)互通，即車聯(lián)萬物（vehicle to everything，VTX）[6]。智能座艙可以實現(xiàn)感知行人、車外交通路況、交通燈信號等；實現(xiàn)車與人、車、道路、外部網(wǎng)絡(luò)等的信息交換；實現(xiàn)路況預(yù)警、前方碰撞預(yù)警、避讓行人、變道輔助、轉(zhuǎn)彎輔助等。

2. 乘用車智能座艙的發(fā)展現(xiàn)狀

乘用車座艙的發(fā)展經(jīng)歷了三個階段，分別為機械座艙階段、電子座艙階段、智能座艙階段[7]。

2.1 機械座艙階段

機械座艙主要包括機械儀表盤、收音機、磁帶播放器和一些物理按鍵，造型和配置都很簡單，僅提供一些基本的車輛工作狀態(tài)信息及簡單的音響收聽功能。

2.2 電子座艙階段

電子座艙主要包括CD播放器、USB接口、電子顯示屏和物理按鍵等，可以播放CD和U盤等信息載體上的內(nèi)容，但功能集成不夠，體驗也不舒適。

2.3 智能座艙階段

隨著乘用車電動化、智能化、網(wǎng)聯(lián)化的發(fā)展，乘用車已發(fā)展為由智能座艙域、智能駕駛域、整車控制域三部分組成的綜合智能系統(tǒng)。液晶儀表屏、中控屏、副駕多媒體顯示屏、音響等基礎(chǔ)視聽硬件都全方位升級，空調(diào)、收音機的實體物理按鍵已經(jīng)設(shè)計到中控智能顯示屏上，人臉識別、語音識別、路徑規(guī)劃、智能駕駛等功能也開始出現(xiàn)。在系統(tǒng)級芯片（system on chip，SOC）上可以增加虛擬化車載功能[8]，不再單純依靠乘用車硬件來升級功能，而且可以通過空中下載技術(shù)（over the air，OTA）遠(yuǎn)程在線升級和完善車輛系統(tǒng)，實現(xiàn)智能座艙功能升級優(yōu)化。

3. 乘用車智能座艙的特點

乘用車智能座艙作為移動的第三空間，呈現(xiàn)出以下三個特點。

3.1 多屏化

在多屏化設(shè)計中，采用多塊顯示屏的設(shè)計結(jié)構(gòu)，每塊顯示屏分別負(fù)責(zé)不同區(qū)域的功能顯示。目前主流車型大多采用雙聯(lián)屏、三聯(lián)屏設(shè)計[9]。市面上，如吉利星越L、奇瑞星途凌云、奔馳GLE新能源、寶馬X5，均采用兩塊12.30英寸液晶顯示屏的雙聯(lián)屏設(shè)計；奔馳EQS則采用兩塊12.30英寸和一塊10.25英寸液晶顯示屏的三聯(lián)屏設(shè)計。

3.2 大屏化

在大屏化設(shè)計中，采用16.0英寸及以上的大尺寸智能顯示屏。例如，小米SU7中控采用16.1英寸液晶顯示屏。顯示屏尺寸越大，可以顯示的信息也就更多。大屏化車載顯示可以使娛樂信息、空調(diào)信息、導(dǎo)航信息、行車影像、倒車影像、換擋功能等集成顯示，使座艙內(nèi)布局更加簡潔。

3.3 一體化

在一體化設(shè)計中，將多塊智能顯示屏整合設(shè)計為一個整體，可以集功能和造型于一體[10]，同時也可以節(jié)省芯片的使用數(shù)量，降低成本。

4. 基于深度學(xué)習(xí)的乘用車智能座艙系統(tǒng)安全設(shè)計

本文在乘用車智能座艙內(nèi)設(shè)計一個大屏一體化的智能觸控液晶顯示屏，并采用系統(tǒng)級芯片，同時結(jié)合深度學(xué)習(xí)技術(shù)進行方案的設(shè)計和驗證。

4.1 大屏一體化設(shè)計

本文設(shè)計了一塊45.0英寸車載智能觸控液晶顯示屏[11]， 如圖1所示，其長度為1.2米，像素為7680×930，可以把儀表顯示屏、中控顯示屏、副駕多媒體顯示屏、抬頭顯示儀（head up display，HUD）、流媒體后視鏡集成在智能座艙前端，并且把顯示驅(qū)動與控制集成在智能座艙主機上，這種大屏一體化設(shè)計可以實現(xiàn)不同區(qū)域顯示不同信息和人機交互的功能。

當(dāng)顯示屏處于關(guān)機狀態(tài)時，其表面紋理、顏色可以和中控臺內(nèi)飾表面保持一致，實現(xiàn)顯示屏與乘用車內(nèi)飾融為一體的效果。

4.2 系統(tǒng)級芯片設(shè)計

本文在乘用車智能座艙主機上采用系統(tǒng)級芯片設(shè)計，減少了冗余的算力和電子控制單元（electronic control unit，ECU）的使用數(shù)量，可以實現(xiàn)多個應(yīng)用軟件共用一套硬件裝置，有效減少了硬件數(shù)量。此外，系統(tǒng)級芯片集中式的架構(gòu)設(shè)計不僅可以統(tǒng)一交互功能，而且可以節(jié)省乘用車電路的線束布局，減輕整車重量。本文乘用車智能座艙操作系統(tǒng)（cockpit operating system，COS）采用基于Linux二次開發(fā)的座艙操作系統(tǒng)，并結(jié)合深度學(xué)習(xí)技術(shù)研究乘用車智能座艙系統(tǒng)安全設(shè)計方案。

4.3 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)技術(shù)可以抽取文本、圖像、音頻特征，進行對象表征識別，可以提高乘用車智能座艙安全。深度學(xué)習(xí)是多層神經(jīng)網(wǎng)絡(luò)。感知機是神經(jīng)網(wǎng)絡(luò)的最小構(gòu)成單元，感知機接收多個輸入信號，輸出一個信號。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)如圖2所示，是由多層感知機組成的神經(jīng)網(wǎng)絡(luò)模型，由輸入層、隱藏層、輸出層構(gòu)成。

激活函數(shù)是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的重要組成部分。如果沒有非線性的激活函數(shù)，就沒有隱藏層的效果。ReLu（rectified linear unit）函數(shù)是一種在人工神經(jīng)網(wǎng)絡(luò)中常用的激活函數(shù)，其公式為ReLu（x）=max（0，x），對于任意輸入，當(dāng)x≤0時，函數(shù)輸出y=0；當(dāng)x＞0時，則輸出y=x。ReLu函數(shù)比Sigmoid函數(shù)和Tanh函數(shù)計算速度更快，而且可以避免梯度消失問題。因此，本文的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法采用了ReLu函數(shù)。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的兩種類型。首先，RNN包含一個或多個循環(huán)單元，循環(huán)單元構(gòu)成了隱藏層，可以處理變長的序列數(shù)據(jù)，通過隱藏狀態(tài)向量和記憶機制來保留之前的信息，下一時序可以利用之前的信息做出預(yù)測，從而捕捉到序列數(shù)據(jù)中的時序信息。RNN通常用于自然語言處理和語音識別中。循環(huán)神經(jīng)網(wǎng)絡(luò)中的長短時記憶網(wǎng)絡(luò)（LSTM）可應(yīng)用在語音識別、自然語言處理、圖像描述等領(lǐng)域。如表1所示，當(dāng)x2=0時，x1=6不存入RAM中；當(dāng)x2=1時，將x1=2存入RAM中；當(dāng)x3=1時，輸出y=2的數(shù)值；當(dāng)x2=-1時，清空RAM里的數(shù)據(jù)；當(dāng)x3=1時，輸出y=0的數(shù)值；當(dāng)x2=1時，將x1=8存入RAM中；值得注意的是，RAM的數(shù)值是累加的，當(dāng)x2=1時，將x1=8累加到RAM中，此時RAM的數(shù)值為8+8=16；當(dāng)x3=1時，輸出y=16的數(shù)值；最終LSTM處理時間序列數(shù)據(jù)為y=16。

其次，CNN含有多個卷積層和多個池化層，卷積層和池化層構(gòu)成了隱藏層，可以處理固定大小的輸入數(shù)據(jù)，通過卷積操作和池化操作來提取圖像中的局部特征，通過不斷地卷積和池化操作實現(xiàn)特征提取和降維，并通過一個全連接層進行分類或回歸，輸出識別結(jié)果，通常用于圖像識別和圖像分類。

通過多個卷積核對輸入圖像進行多次滑動窗口卷積運算，可以抽取到圖像的不同特征。如圖3所示的卷積運算過程，原圖大小為5×5，卷積核大小為3×3，以步長為1，進行滑動窗口卷積運算，得到輸出圖大小為3×3。

池化層是通過組合特定區(qū)域相鄰像素為一個像素，以減小圖像的大小。池化層分為平均池化和最大池化兩種類型。池化層與卷積層有點類似，不同點在于池化層濾波器中沒有參數(shù)，而且在滑動窗口時前后不交疊。池化層不僅可以減少下采樣特征圖的大小，而且可以減少計算量和所需的顯示內(nèi)存。

本文從乘用車智能座艙系統(tǒng)安全角度出發(fā)，利用深度學(xué)習(xí)技術(shù)進行設(shè)計研究。

4.4 基于深度學(xué)習(xí)的精準(zhǔn)免喚醒交互功能設(shè)計

乘用車智能座艙通常需要使用特定的喚醒詞來喚醒語音功能進行人機交互。通過喚醒詞把語音系統(tǒng)從休眠狀態(tài)切換到工作狀態(tài)的過程中，由于駕乘人員口音、座艙內(nèi)噪聲、交通環(huán)境等影響，對話效率偏低，使得語音交互體驗感不足。此外，語音喚醒功能有時會被其他人在車外惡意喚醒，存在安全隱患。有些車廠雖然推出了免喚醒功能，但因未對語音對象進行識別，也難免會被惡意喚醒，同樣存在安全隱患。針對這些問題，本文提出了一種基于深度學(xué)習(xí)的精準(zhǔn)免喚醒交互功能設(shè)計方案。

首先，通過車載麥克風(fēng)檢測出駕乘人員的聲波頻譜，再通過RNN技術(shù)提取和識別駕乘人員語音特征，并把駕乘人員語音特征存入智能座艙主機的RAM中。其次，通過語音傳感器實時監(jiān)測車內(nèi)語音信號。當(dāng)檢測到車內(nèi)語音信號時，通過RNN技術(shù)進行智能檢測語音、提取和識別語音特征，并與RAM中留存的語音特征進行匹配識別。若當(dāng)前的語音特征與RAM留存的語音特征一致，則判定此語音信號是駕乘人員發(fā)出的。同時，在車內(nèi)攝像頭拍攝的視頻流中，使用CNN技術(shù)提取駕乘人員的圖像特征，分割、識別圖像，根據(jù)上下文語義分析，進行用戶意圖識別，最終判定用戶需求并給智能座艙主機下達(dá)指令進行對應(yīng)操作。

例如，當(dāng)用戶眼睛看著窗戶且說出“車窗開大一些”時，智能座艙不需要喚醒詞喚醒，而是通過深度學(xué)習(xí)技術(shù)快速智能地識別到用戶的真實意圖，做出開車窗的決策，并下達(dá)指令控制車窗開得更大一些的動作。同時，也會開啟語音功能進行主動交互，以便用戶與智能座艙交流確認(rèn)車窗打開幅度的大小，最終實現(xiàn)精準(zhǔn)免喚醒開大車窗的用戶目的。利用基于深度學(xué)習(xí)的精準(zhǔn)免喚醒交互功能技術(shù)，用戶可以直接與乘用車智能座艙進行語音對話，而無須特定的喚醒詞進行語音系統(tǒng)的喚醒，可以減少不必要的低效率對話，從而提高用戶的語音交互體驗感。

4.5 基于深度學(xué)習(xí)的智能顯示屏亮度自適應(yīng)調(diào)節(jié)設(shè)計

當(dāng)駕駛區(qū)域內(nèi)的亮度均一性大于等于75%時，認(rèn)為這種明暗亮度差異為人眼可適應(yīng)的范圍；當(dāng)駕駛區(qū)域內(nèi)的亮度均一性小于75%時，人眼很難適應(yīng)這種明暗亮度差異大的環(huán)境。通過CNN技術(shù)提取駕駛員人眼特征和人臉特征，當(dāng)智能座艙識別到駕駛員的人眼瞇眼特征和人臉皺眉特征時，即判斷顯示屏亮度已經(jīng)過大且超出了人眼可適應(yīng)的亮度均一性范圍，極易引起駕駛員不舒適，這時立即給智能座艙主機下達(dá)調(diào)低顯示屏亮度的指令，實現(xiàn)顯示屏亮度自適應(yīng)調(diào)節(jié)?；谏疃葘W(xué)習(xí)的乘用車智能顯示屏亮度自適應(yīng)調(diào)節(jié)設(shè)計方案，可以有效地識別明暗亮度差異給駕駛員造成的影響，并自適應(yīng)地調(diào)節(jié)亮度，提高駕駛員的舒適度。

4.6 基于深度學(xué)習(xí)的駕駛員危險行為識別設(shè)計

深度學(xué)習(xí)技術(shù)可以識別駕乘人員誤操作和使用智能座艙不當(dāng)?shù)奈ｋU行為，因此，本文提出了一種基于深度學(xué)習(xí)的駕駛員危險行為識別設(shè)計方案。首先，使用車載攝像頭拍攝駕駛員的駕駛行為，通過視頻采集技術(shù)從視頻流中獲得駕駛員的單幀圖像；其次通過卷積層進行圖像濾波和提取特征，并使用最大池化法進行圖像特征降維，以獲取圖像的深層次特征。與手工提取圖像特征相比，CNN可以快速地提取到圖像的重要信息，然后將多維圖片特征映射到多個神經(jīng)元的全連接層中的一維向量上，最后輸出駕駛員行為的識別結(jié)果。

當(dāng)智能座艙識別到駕駛員長時間觀看中控顯示屏和副駕多媒體顯示屏的視頻內(nèi)容時，會立即給智能座艙主機下達(dá)切換顯示內(nèi)容和安全駕駛的指令并預(yù)警，同時自適應(yīng)地關(guān)掉視頻，甚至通過整車控制域?qū)囕v進行減速，以確保行駛安全。長時間觀看中控顯示屏和副駕多媒體顯示屏均會導(dǎo)致駕駛員注意力分散、操作能力減退、反應(yīng)遲鈍等不良后果?；谏疃葘W(xué)習(xí)的駕駛員危險行為識別設(shè)計方案，可以對駕駛員行為進行準(zhǔn)確的判斷，可以有效地輔助駕駛員安全駕駛。

基于深度學(xué)習(xí)的乘用車智能座艙系統(tǒng)安全設(shè)計方案，采用系統(tǒng)級芯片、座艙操作系統(tǒng)和45.0英寸車載智能觸控液晶顯示屏。實際測試驗證結(jié)果如表2所示，實測智能座艙在25℃、-20℃和-30℃下，畫面切換時間分別為17.8ms、100.5ms和179.1ms，實現(xiàn)了快速切換圖像的功能，提升了播放視頻的流暢性；實測顯示亮度最小值為900尼特，均值為1100尼特，圖像顯示亮度可調(diào)范圍大，可以滿足用戶不同的顯示亮度調(diào)節(jié)需求；實測圖像顯示色域值為90%，所呈現(xiàn)的圖像顏色范圍遠(yuǎn)高于規(guī)格要求，實現(xiàn)了豐富多彩的顏色顯示；一體黑實測值僅為0.74，比規(guī)格上限值的一半還小，實現(xiàn)了非常好的一體黑顯示效果；人機交互觸控精準(zhǔn)度、線性度和靈敏度均滿足規(guī)格要求，實現(xiàn)了人機交互準(zhǔn)確性和靈敏性；可以滿足-40℃～90℃的工作溫度范圍，提升了車輛的可靠性和使用壽命，實現(xiàn)了乘用車智能座艙在苛刻的環(huán)境下正常運行。

結(jié)語

本文所提出的基于深度學(xué)習(xí)的精準(zhǔn)免喚醒交互功能、智能顯示屏亮度自適應(yīng)調(diào)節(jié)功能，以及駕駛員危險行為識別的設(shè)計方法，都能滿足乘用車智能座艙實際應(yīng)用需求，但實際交通場景更加復(fù)雜多變。因此，本文在后續(xù)研究中，須考慮在雨雪天、大霧天等環(huán)境條件下的設(shè)計，應(yīng)增加不同光照條件下的試驗驗證，研究在特殊條件下的智能座艙主動交互的問題，實現(xiàn)不同駕駛員、不同光線環(huán)境下的人車共融。

參考文獻：

[1]張潔.人工智能背景下汽車傳感器發(fā)展現(xiàn)狀與未來趨勢[J].機電產(chǎn)品開發(fā)與創(chuàng)新，2023，36（5）：167-169.

[2]夏歡，鄭李強，鄭春平，等.汽車智能座艙發(fā)展現(xiàn)狀及未來趨勢研究[J].時代汽車，2023，（4）：149-151+158.

[3]張弘，武亞恒，劉沛文，等.汽車智能座艙發(fā)展現(xiàn)狀和趨勢[J].汽車實用技術(shù)， 2024，49（18）：166-169.

[4]寸敏敏，何國偉，唐凱，等.淺述車載顯示屏的發(fā)展趨勢[J].電子產(chǎn)品世界，2024， 31（8）：12-15.

[5]蔡萌亞，王文麗.汽車智能座艙交互設(shè)計研究綜述[J].包裝工程，2023， 44（6）：430-440.

[6]王超凡，李國強，胡昉辰，等.Visible light communication for Vehicle to Everything beyond 1 Gb/s based on an LED car headlight and a 2 × 2 PIN array[J].Chinese Optics Letters，2020，18（11）：36-41.

[7]馮遠(yuǎn)洋，孫銳，王洪艷，等.汽車智能座艙發(fā)展現(xiàn)狀及未來趨勢[J].汽車實用技術(shù)，2021，46（17）：201-206.

[8]邊旭東，張亦弛，謝卉瑜.淺談智能座艙的“一芯多屏”[J].時代汽車，2021， （6）：12-14.

[9]吉巖，晏江華，董瑋，等.智能座艙交互式功能測試技術(shù)研究[J].中國汽車，2022， （5）：39-43，48.

[10]喬中蓮，馬國恒，楊東升，等.液晶顯示的一體化應(yīng)用[J].現(xiàn)代顯示，2012，（6）：31-35.

[11]殷春霞，陳曉剛.作戰(zhàn)飛機智能座艙研究[J].測控技術(shù)，2021，40（9）：1-6，31.