高度集成化的汽車智能座艙工程應(yīng)用

陳思宇，黃菊花，劉引引，弓騫

（1.330008 江西省 南昌市 南昌大學(xué) 先進(jìn)制造學(xué)院；2.100000 北京市 北京曠視科技有限公司）

0 引言

隨著汽車技術(shù)日益發(fā)展，汽車越來(lái)越智能化及自動(dòng)化，更多智能化功能被應(yīng)用于汽車技術(shù)，智能座艙和智能駕駛功能已普及到新車型[1]。傳統(tǒng)汽車實(shí)現(xiàn)了出行方便，解決用戶通勤目的，車輛智能化的應(yīng)用功能還未在傳統(tǒng)汽車上大規(guī)模落地應(yīng)用[2]。

2022 年3 月，第十三屆全國(guó)人大五次會(huì)議政府報(bào)告在“堅(jiān)定實(shí)施擴(kuò)大內(nèi)需戰(zhàn)略”中提出“繼續(xù)支持新能源汽車消費(fèi)”，新能源汽車就是汽車新四化的典型代表[3]。中國(guó)汽車藍(lán)皮書論壇組委會(huì)主席在第七屆中國(guó)汽車藍(lán)皮書論壇上率先提出汽車新四化概念：智能化、電動(dòng)化、網(wǎng)聯(lián)化和共享化[4]。陳婉[5]認(rèn)為電動(dòng)化是代表能源革命，網(wǎng)聯(lián)化是代表互聯(lián)革命，智能化是目標(biāo)，共享化則帶來(lái)了消費(fèi)的變更。

1 汽車座艙

汽車的智能座艙相比傳統(tǒng)座艙功能在顯示和設(shè)置等方面有較大提升，座艙功能對(duì)比如表1 所示。

表1 座艙功能Tab.1 Cockpit function

1.1 汽車座艙現(xiàn)狀

汽車從機(jī)械時(shí)代跨越到電子時(shí)代初期，也僅僅是在人機(jī)交互中提升駕乘人員體感，并未發(fā)生質(zhì)的變化，而且信息來(lái)源渠道增多，在處理方面給駕乘人員增加困難。

汽車人機(jī)交互設(shè)計(jì)（Human Vehicle Interaction，HVI）是人機(jī)交互在汽車領(lǐng)域中的應(yīng)用，而汽車座艙在汽車人機(jī)交互設(shè)計(jì)中最重要，汽車上很大部分車輛信息顯示和設(shè)置都在汽車座艙中實(shí)現(xiàn)[6]。

現(xiàn)階段汽車座艙研究成果多集中在人機(jī)交互領(lǐng)域，如Castellano 等[7]提出數(shù)據(jù)結(jié)構(gòu)可視化優(yōu)化基于有限屏幕空間顯示；Peer 等[8]將二次分配模型理論用于汽車界面信息層級(jí)設(shè)計(jì)；閆云豪等[9]針對(duì)智能駕駛工況下汽車座艙中的人機(jī)交互界面進(jìn)行優(yōu)化布局；譚浩等[10]研究汽車人機(jī)交互的相關(guān)因素對(duì)駕駛影響指標(biāo)量化，提出多通道人機(jī)交互模式，而未闡述汽車座艙相關(guān)的工程應(yīng)用方法。

1.2 汽車座艙趨勢(shì)

人類的兩大空間分別是生活空間和辦公空間，各大汽車廠商和科技公司都致力于將汽車的座艙打造為人類的第三空間，將原本汽車的傳統(tǒng)座艙賦予更多科技、娛樂(lè)、人文等內(nèi)涵，如表2 座艙趨勢(shì)中的代表車型[11]。

表2 座艙趨勢(shì)Tab.2 Cockpit trends

理想L9 車型智能座艙是行業(yè)首個(gè)五屏聯(lián)動(dòng)高科技技術(shù)應(yīng)用落地，圖1 中的五屏聯(lián)動(dòng)實(shí)現(xiàn)了中控顯示屏、副駕顯示屏、后排娛樂(lè)顯示屏、抬頭顯示屏、方向盤安全顯示屏聯(lián)動(dòng)功能[12]。

目前國(guó)內(nèi)外少有公開(kāi)的針對(duì)汽車座艙高度集成化工程應(yīng)用的研究成果，也未形成可參考借鑒的理論知識(shí)體系。雖然國(guó)內(nèi)學(xué)者付朝輝等[13]針對(duì)汽車功能架構(gòu)提出應(yīng)該在系統(tǒng)層建立以功能架構(gòu)為基礎(chǔ)的建模方法，但也未曾涉及汽車智能座艙方面相關(guān)的功能架構(gòu)研究。

本文在汽車電子電氣架構(gòu)的演進(jìn)和汽車座艙芯片平臺(tái)的發(fā)展基礎(chǔ)上，提出一種高度集成化的汽車智能座艙工程應(yīng)用設(shè)計(jì)方法，對(duì)相關(guān)科研和工程人員提供可行性方案借鑒參考。

2 架構(gòu)演進(jìn)

傳統(tǒng)汽車的電子電氣架構(gòu)基于分布式方法研發(fā)，需要集成較多數(shù)量的汽車控制器用于實(shí)現(xiàn)特定功能[14]。汽車座艙通過(guò)儀表顯示屏控制器、中控顯示屏控制器、后排顯示屏控制器、駕駛員狀態(tài)監(jiān)測(cè)控制器和乘客狀態(tài)監(jiān)測(cè)控制器等零部件實(shí)現(xiàn)座艙功能。隨著汽車控制器計(jì)算能力提升，未來(lái)智能汽車的電子電氣架構(gòu)將采用域集中式架構(gòu)。智能汽車的域集中式電子電氣架構(gòu)按汽車功能域進(jìn)行劃分，各個(gè)功能域由強(qiáng)大的車載計(jì)算控制器構(gòu)成[15]。按智能汽車應(yīng)用功能劃分域的方法，汽車娛樂(lè)（座艙）域控制器能實(shí)現(xiàn)傳統(tǒng)汽車的電子電氣架構(gòu)中多個(gè)控制器的功能，不僅能實(shí)現(xiàn)汽車座艙中的基礎(chǔ)功能顯示和設(shè)置，而且為智能座艙第三空間實(shí)現(xiàn)提供更多的可能性。

汽車電子電氣架構(gòu)演進(jìn)如圖2 所示，高度集成化的汽車智能座艙基于域集中式電子電氣架構(gòu)進(jìn)行研發(fā)，娛樂(lè)（座艙）域控制器可實(shí)現(xiàn)智能座艙中的人臉認(rèn)證、駕駛員狀態(tài)監(jiān)測(cè)、乘客狀態(tài)監(jiān)測(cè)及全景影像功能等智能化應(yīng)用。

圖2 電氣架構(gòu)演進(jìn)Fig.2 Electrical architecture evolution

3 芯片性能

高度集成化汽車智能座艙的實(shí)現(xiàn)離不開(kāi)汽車芯片的高計(jì)算能力支撐，美國(guó)高通公司的智能座艙芯片在汽車領(lǐng)域占據(jù)90%以上的市場(chǎng)份額。各廠商汽車座艙芯片的主要性能指標(biāo)如表3 所示，其中高通公司的汽車座艙芯片在制程工藝、CPU 和GPU 算力等指標(biāo)都有明顯的優(yōu)勢(shì)[16]。

表3 汽車座艙芯片性能指標(biāo)Tab.3 Cockpit SoC performance

4 工程架構(gòu)

工程架構(gòu)是實(shí)現(xiàn)高度集成化汽車智能座艙的核心，貫穿于整個(gè)汽車智能座艙工程應(yīng)用開(kāi)發(fā)中，是實(shí)現(xiàn)傳統(tǒng)汽車座艙之外智能化應(yīng)用功能的基礎(chǔ)。高度集成化的汽車智能座艙工程架構(gòu)由系統(tǒng)架構(gòu)、架構(gòu)框架和算法架構(gòu)3 部分組成。

全景影像AVM 通過(guò)4 個(gè)環(huán)視攝像頭拼接完成車輛周圍360°影像顯示，倒車影像RVC 通過(guò)1 個(gè)后視攝像頭將車輛后視環(huán)境呈現(xiàn)。全景影像AVM 包括倒車影像RVC 功能，通常汽車的高配車型裝配AVM 功能，低配車型裝配RVC 功能[17]。

人臉認(rèn)證Face.ID、駕駛員狀態(tài)監(jiān)測(cè)DMS、乘客狀態(tài)監(jiān)測(cè)OMS 功能通過(guò)汽車座艙車內(nèi)的視覺(jué)監(jiān)測(cè)攝像頭對(duì)人臉和人體進(jìn)行檢測(cè)，再結(jié)合相關(guān)人工智能算法實(shí)現(xiàn)汽車座艙內(nèi)監(jiān)測(cè)等功能[18]。

4.1 座艙系統(tǒng)架構(gòu)

系統(tǒng)是完成一個(gè)或者一組特定功能所需零件的集合，零件是系統(tǒng)的組成部分，包括零件的軟件和硬件[19]。汽車傳統(tǒng)座艙通過(guò)全景影像AVM 控制器、駕駛員狀態(tài)監(jiān)測(cè)DMS 控制器、乘客狀態(tài)監(jiān)測(cè)OMS 控制器實(shí)現(xiàn)座艙的智能化功能。高度集成化的汽車智能座艙的系統(tǒng)構(gòu)成如圖3 所示，全景影像AVM 攝像頭、駕駛員狀態(tài)監(jiān)測(cè)Face.ID 和DMS 攝像頭、乘客狀態(tài)監(jiān)測(cè)OMS 攝像頭，攝像頭感知傳感器將圖像信息直接傳輸?shù)阶撝鳈C(jī)控制器，實(shí)現(xiàn)座艙的智能化功能，可節(jié)省3 個(gè)傳統(tǒng)汽車控制器（全景影像AVM 控制器、駕駛員狀態(tài)監(jiān)測(cè)DMS 控制器、乘客狀態(tài)監(jiān)測(cè)OMS 控制器），降低整車零部件成本。

圖3 座艙系統(tǒng)構(gòu)成Fig.3 Cockpit system composition

4.2 座艙架構(gòu)框架

本文設(shè)計(jì)的高度集成化汽車智能座艙主機(jī)硬件采用高通公司的SA8155 第3 代座艙芯片實(shí)現(xiàn)，QNX 操作系統(tǒng)環(huán)境負(fù)責(zé)功能軟件運(yùn)行，保證軟件運(yùn)行實(shí)時(shí)的安全性，Android 操作系統(tǒng)環(huán)境負(fù)責(zé)汽車座艙中的人機(jī)交互顯示與設(shè)置。

如圖4 功能框架，實(shí)現(xiàn)高度集成化的汽車智能座艙功能中的全景影像（AVM）、倒車影像（RVC）、人臉認(rèn)證（Face.ID）、駕駛員狀態(tài)監(jiān)測(cè)（DMS）和乘客狀態(tài)監(jiān)測(cè)（OMS）功能以軟件開(kāi)發(fā)工具包SDK（Software Development Kit）軟件形式集成在QNX Host Domain 操作系統(tǒng)環(huán)境中運(yùn)行。

圖4 功能框架Fig.4 Function architecture

4.3 座艙算法架構(gòu)

算法架構(gòu)是工程架構(gòu)的重要組成部分之一，由算法模型原子組成并通過(guò)業(yè)務(wù)邏輯和業(yè)務(wù)服務(wù)軟件，實(shí)現(xiàn)某些特定的功能作用。汽車智能座艙的艙外智能化應(yīng)用功能全景影像AVM 如圖5 的AVM算法架構(gòu)構(gòu)成實(shí)現(xiàn)，核心算法是由全景視圖拼接、視頻圖像處理和環(huán)視攝像頭標(biāo)定模塊構(gòu)成，業(yè)務(wù)邏輯實(shí)現(xiàn)系統(tǒng)功能，業(yè)務(wù)服務(wù)實(shí)現(xiàn)開(kāi)關(guān)控制設(shè)置項(xiàng)功能，從而通過(guò)核心算法、業(yè)務(wù)邏輯和業(yè)務(wù)服務(wù)的算法架構(gòu)模塊組成實(shí)現(xiàn)AVM 功能。

圖5 AVM 算法架構(gòu)Fig.5 AVM algorithm architecture

汽車智能座艙的艙內(nèi)智能化功能實(shí)現(xiàn)如圖6—圖8 的Face.ID 人臉認(rèn)證、DMS 駕駛員狀態(tài)監(jiān)測(cè)和乘客狀態(tài)監(jiān)測(cè)OMS 功能的算法架構(gòu)，由人臉檢測(cè)三件套（Face-Det）算法、人臉姿態(tài)（Face-PB）算法、遮擋眼睛（OCC-EyeOC）算法、嘴巴（MouthOC）算法、視線（Gaze）算法、危險(xiǎn)行為（RC）算法和情緒（Emotion）算法等構(gòu)成，再通過(guò)工程端的業(yè)務(wù)邏輯和業(yè)務(wù)服務(wù)軟件模塊共同實(shí)現(xiàn)人臉認(rèn)證、駕駛員狀態(tài)監(jiān)測(cè)和乘客狀態(tài)監(jiān)測(cè)功能。

圖6 Face.ID 算法架構(gòu)Fig.6 Face.ID algorithm architecture

圖7 DMS 算法架構(gòu)Fig.7 DMS algorithm architecture

5 驗(yàn)證實(shí)現(xiàn)

本文通過(guò)搭建高通的SA8155 芯片開(kāi)發(fā)板硬件開(kāi)發(fā)環(huán)境，驗(yàn)證本文設(shè)計(jì)的工程架構(gòu)能實(shí)現(xiàn)汽車智能座艙的高度集成化方法。

5.1 高通開(kāi)發(fā)板

汽車控制器在量產(chǎn)開(kāi)發(fā)前都會(huì)將功能軟件和算法先在選型好的控制器開(kāi)發(fā)板中進(jìn)行驗(yàn)證，用于評(píng)估工程架構(gòu)設(shè)計(jì)的可行性。圖9 是高通SA8155開(kāi)發(fā)板的硬件接口，1 號(hào)端口連接駕駛員狀態(tài)檢測(cè)攝像頭和乘客狀態(tài)檢測(cè)攝像頭，2 號(hào)端口連接全景影像環(huán)視攝像頭，3 號(hào)端口連接可視化顯示屏，4號(hào)端口電源供電，5 號(hào)端口USB 用于軟件程序離線升級(jí)，6 號(hào)端口連接網(wǎng)線用于軟件程序在線升級(jí)，7 號(hào)端口連接GPS 天線。

圖9 硬件接口Fig.9 Hardware interface

5.2 功能實(shí)現(xiàn)驗(yàn)證

全景影像AVM 功能通過(guò)在車上安裝的前、后、左、右的4 顆環(huán)視攝像頭拼接成一張車輛周圍360°全景圖像視頻，實(shí)現(xiàn)車輛周圍360°區(qū)域影像監(jiān)測(cè)功能，實(shí)現(xiàn)AVM 功能如圖10 所示。

圖10 AVM 功能Fig.10 AVM function

人臉認(rèn)證Face.ID 功能通過(guò)視覺(jué)攝像頭對(duì)人臉的關(guān)鍵特征點(diǎn)進(jìn)行識(shí)別檢測(cè)，如圖11 Face.ID 功能示意，對(duì)拍照的人臉進(jìn)行關(guān)鍵特征點(diǎn)進(jìn)行識(shí)別檢測(cè)后與底庫(kù)中的注冊(cè)人臉結(jié)果比對(duì)后，輸出人臉查詢認(rèn)證的結(jié)果。

圖11 Face.ID 功能Fig.11 Face.ID function

駕駛員DMS 和乘客OMS 功能通過(guò)視覺(jué)攝像頭對(duì)人的雙眼開(kāi)合度持續(xù)監(jiān)測(cè)，當(dāng)人的閉眼持續(xù)一段時(shí)間后會(huì)發(fā)出疲勞報(bào)警，從而實(shí)現(xiàn)對(duì)駕駛員和乘客的疲勞狀態(tài)監(jiān)測(cè)功能，DMS 和OMS 功能如圖12所示。

圖12 DMS 和OMS 功能Fig.12 DMS&OMS function

6 結(jié)語(yǔ)

智能座艙是汽車行業(yè)的智能化趨勢(shì)，高度集成化的座艙架構(gòu)加速了汽車向智能化階段的進(jìn)一步發(fā)展，也是未來(lái)軟件定義汽車的發(fā)展方向。

基于汽車電子電氣架構(gòu)的演進(jìn)和座艙芯片性能提升，本文提出的汽車智能座艙工程應(yīng)用的架構(gòu)設(shè)計(jì)方法，從系統(tǒng)架構(gòu)、架構(gòu)框架和算法架構(gòu)等方面闡述高度集成化的汽車智能座艙設(shè)計(jì)方法，最后通過(guò)工程開(kāi)發(fā)板的軟硬件驗(yàn)證，實(shí)現(xiàn)全景影像AVM、人臉認(rèn)證Face.ID、駕駛員和乘客狀態(tài)檢測(cè)DMS/OMS 功能。本文設(shè)計(jì)的高度集成化汽車智能座艙工程方法有積極的現(xiàn)實(shí)意義，為后續(xù)汽車智能座艙的工程量產(chǎn)打下堅(jiān)實(shí)的理論基礎(chǔ)。