基于生物識別的汽車人機交互拓展化研究

劉子衿 林海英

摘要：隨著智能汽車的逐步普及，智能汽車用戶群體的需求和問題也在逐漸變化。在智能汽車快速發(fā)展的大環(huán)境，以及符合各項規(guī)章制度的前提下，通過生物識別及其相關技術探究如何滿足用戶的個性化需求，以實現(xiàn)更加安全、高效的新一代人機交互方式。以調研中用戶反映的駕駛體驗問題和日常發(fā)現(xiàn)的駕駛問題為導向，針對性地進行了拓展化研究，提出相應的技術解決方案。

關鍵詞：生物識別；人機交互；車聯(lián)網(wǎng)；深度學習算法；邊緣修復

中圖分類號：U463? 收稿日期：2023-10-18

DOI：10.19999/j.cnki.1004-0226.2024.02.009

1 前言

汽車產品正在逐步轉變?yōu)橹悄芤苿釉O備，這得益于智能化和自動化技術的持續(xù)發(fā)展和完善。在人機互動、萬物互聯(lián)的發(fā)展推動下，汽車已經超脫于傳統(tǒng)運輸工具的功能，正在逐漸轉變成人類尋求更豐富的體驗感和舒適感的第三空間［1］。汽車消費者的需求千差萬別，而傳統(tǒng)的汽車只能在相同品牌相同類型中推出相同的產品，這種同質化導致了消費者體驗無法得到最大限度的滿足。

因此，通過生物識別技術來一對一地滿足用戶個性化需求應當提上日程。本項目采用DTC模式結合SCP模型，將用戶需求轉化為技術成果，從機會成本理論出發(fā)探究現(xiàn)有生物識別技術在人機互動語境下的升級空間，達到帕累托最優(yōu)的效果。對于項目中涉及的基于生物特征識別和駕駛習慣研究的個性化方案匹配技術，目前有公司已經有了較為深入的研究。但是由這幾個成熟技術整合而成的新技術，目前暫無較多相關研究。基于邊緣修復及增強算法的高精準度手勢識別技術中，手勢識別已經是現(xiàn)有概念，但是目前各項數(shù)據(jù)表明手勢識別精度欠缺、反應速度慢、發(fā)揮作用較為局限，我們基于邊緣修復及增強算法對現(xiàn)有手勢識別技術的精度、識別范圍進行了增強，目前僅有部分高校在研究，尚無成熟產品。

經驗證，本項目方案通過應用生物識別技術對汽車座艙的人機交互進行多通道拓展及優(yōu)化，汽車人機交互體驗相對于現(xiàn)有產品有較大提升，發(fā)展價值較高［2］。

2 基于生物特征識別和駕駛習慣研究的個性化方案匹配

2.1 研究背景

為了使用戶獲得最好的駕乘體驗，應用了人臉識別技術將用戶偏好設置與人臉識別數(shù)據(jù)綁定；同時使用AI深度學習和機器學習算法對于駕駛人駕駛數(shù)據(jù)進行分析學習，并對駕駛人設置給出建議，來達到極致的駕駛體驗。

2.2 人臉識別與個性化方案儲存匹配

由于駕駛人相對固定，需要采集的人臉數(shù)據(jù)較少，這里主要討論基于特征臉的人臉識別算法。

2.2.1 采集駕駛員圖像作為訓練樣本

將駕駛員的姿勢分為站立和常規(guī)駕駛坐姿兩種，在收集數(shù)據(jù)時，要保持視線直視前方，并將收集到的數(shù)據(jù)作為訓練數(shù)據(jù)。

2.2.2 處理訓練數(shù)據(jù)

設收集到M個面部圖像數(shù)據(jù)，每張圖像被扁平化為一列（假定圖像像素數(shù)量為N），這些向量被放置在一個矩陣中而成為訓練數(shù)據(jù)[S=[τ1，τ2，…，τM]]。

2.2.3 計算平均臉

將[S]里的值累加并取均值[φ=1Mi=1Mτi]，然后將每個人臉圖像[τi]都減去該均值，使均值為0∶[ωi=τi?φ]，重新排列構成新的矩陣[T=[ω1，ω2，…，ωM]]。

2.2.4 PCA（主成分分析）降維求協(xié)方差矩陣

在圖像識別和人臉識別中，可以用PCA來降低維度并展示人臉的主要特征，以更好地識別和分類，同時減少數(shù)據(jù)冗余。

假設獲得m條面部數(shù)據(jù)，每條數(shù)據(jù)都有n個評價指標，構成了m×n的原始數(shù)據(jù)矩陣，即為X，每個變量對應的數(shù)據(jù)記為：X1，X2，…，Xn。

[X=x11…x1n???xm1…xmn=x1，x2，…，xn]? ? ? ? ? ? （1）

各項評估標準常常具備各自的度量和度量單位，為了消除度量的影響，必須對數(shù)據(jù)做標準化的處理，這樣才能確保各個數(shù)據(jù)標準的對比性。經過標準化處理過后的原始數(shù)據(jù)，能使所有評估標準都達到相同的數(shù)量級，這樣才有可能進行全面的比較評價。

對數(shù)據(jù)實施Z-score轉換處理，在此操作后，數(shù)據(jù)的平均值為0，其標準偏差是1，同時這些數(shù)據(jù)遵循標準正態(tài)分布特性，公式如下：

[Z-Scoreij=xij-xjSj]? ? ? ? ? ? ? ? ? ? ? ?（2）

式中，[xj]為第j個指標的樣本均值，[Xj=1mi=1mXij]；[Sj]為第j個指標的標準差，[Sj=i=1m（Xij-Xj）2m-1]，記中心化后數(shù)據(jù)矩陣為X。

計算經過集中化處理的數(shù)據(jù)的協(xié)方差矩陣，并將其標記為R：

[rij=cov（xki，xkj）=k=1mxkixkjm-1]? ? ? ? ? ? ? ? ?（3）

[R=cov（X1，X1）? cov（X1，X2）? …? cov（X1，Xn）?? ? ? ? ? ? ? ? ??? ? ? ? ? ? ?? ? ? ? ??cov（Xn，X1）? cov（Xn，X2）? …? cov（Xn，Xn）]? ? ? ? （4）

此外也可以用另一種方法表示：[R=XTXm]。

2.2.5 計算特征臉的特征向量

求出協(xié)方差矩陣[R]的特征向量[ei]，記這些協(xié)方差矩陣[R]的特征向量為：

[E=[e1，e2，… ，eM]]? ? ? ? ? ? ? ? ? ? ? ? ? （5）

計算各特征臉的特征向量為：

[ui=k=1Meikωk（i=1，2， …，M）]? ? ? ? ? ? ? ? ? （6）

2.2.6 個性化方案綁定

根據(jù)人臉識別得出特征向量，通過哈希算法生成唯一UID，在該UID下保留該用戶的偏好設置。查詢時通過哈希表進行。

2.2.7 人臉識別

得到特征臉的特征向量[ui]后，再對樣本中的每張圖片進行權重的標識：[ti=ui（τ?φ）（i=1，2，…，M）]。

把這些權重寫成一個向量表示：[ΩT=[t1，t2， … ，tM]]。

將待檢測的人臉圖像[τ]輸入后做主成分分析后，求[Ω]和[Ωk]的歐氏距離得到：[εk=Ω?Ωk2]。

在上述公式里，[Ω]代表了待審查的人臉圖片的權重，而[Ωk]是指訓練樣本集中某一人臉圖像的權重。如果[εk]低于預先設定的界限，那么就確認正在審查的人臉與樣本集中相應的人臉為同一個人。

2.2.8 方案加載

檢測到當前人臉與數(shù)據(jù)庫中人臉數(shù)據(jù)匹配后，將對應UID的設置方案加載到汽車上，完成用戶偏好設置的加載。

圖1為基于人臉識別的個性化方案綁定流程圖。

2.3 機器學習優(yōu)化駕駛設置

2.3.1 數(shù)據(jù)收集

在駕駛人自主駕駛機動車期間，車載計算機將通過車輛CAN總線收集車輛傳感器數(shù)據(jù)，獲取諸如車輛平均加速度、車輛最大、最小轉角、車輛最大、最小速度、車輛橫移距離、車輛橫移頻率等有關駕駛人駕駛風格的數(shù)據(jù)。

2.3.2 模板對比

在車載計算機中儲存“城市”“運動”“越野”等不同駕駛風格的典型模板數(shù)據(jù)。車載計算機收集了駕駛人駕駛數(shù)據(jù)后，會針對各項數(shù)據(jù)逐個對模板進行比較匹配，得出目前駕駛人大概的駕駛風格簡檔，并儲存于云端。

2.3.3 模型訓練

將駕駛員駕駛風格簡檔、駕駛員駕駛視頻、車輛運動特征等數(shù)據(jù)輸入強化學習模塊，訓練與駕駛員駕駛風格相符或相近的自動駕駛模型。

2.3.4 模型使用與用戶反饋

針對乘員體驗，在用戶需要接入自動駕駛時，從駕駛風格模塊調取當前駕駛員的自動駕駛模型，并接入車輛自動駕駛模塊操控汽車。如用戶感覺到自動駕駛帶來不適，可將問題通過語音、手勢或文本的方式反映給車載AI。同時，駕乘人員身上可穿戴拓展設備提供的生命健康特征、車內雷達掃描獲取的駕乘人員動作特征等也將作為駕乘人員的被動反饋進行收集。

針對駕駛人體驗，可以在路況識別系統(tǒng)判斷為相對安全的路段時，在征求駕駛人同意的情況下，開啟AI輔助駕駛（對駕駛人的方向盤、踏板等提供力回饋，這里需要注意駕駛人的指令擁有最高優(yōu)先級，AI不得與駕駛人爭奪車輛控制權）。該功能同樣會調取自動駕駛模型，根據(jù)自動駕駛模型的設置數(shù)據(jù)暫時更改當前設置方案，以便輔助駕駛員駕駛。同樣這里還會收集駕駛人對于AI輔助駕駛與新駕駛設置方案的主動和被動反饋。

2.3.5 模型優(yōu)化

將收集到的駕乘人員被動或主動反饋輸入強化學習模塊，對模型進一步針對性優(yōu)化，使駕乘人員的駕乘體驗能夠更為舒適。

2.3.6 建議提出與設置修改

車載計算機將強化學習模塊得出的駕駛風格數(shù)據(jù)、車輛設置數(shù)據(jù)與當前駕駛人綁定的駕駛風格簡檔和車輛設置數(shù)據(jù)進行對比，對駕駛人的駕駛風格和車輛設置提供建議。如用戶接受則將一鍵應用強化學習模塊得出的最優(yōu)方案，并同步更新綁定數(shù)據(jù)［3］。圖2為機器學習優(yōu)化駕駛設置示意圖。

3 基于邊緣修復及增強算法的高精準度手勢識別技術

3.1 研究背景

目前多數(shù)車企采用光飛時間（TOF）來識別手勢。TOF的分辨率低，通常低于640×480，測量精度最多為厘米級，容易受多重反射等影響，不穩(wěn)定且成本高。J.D.Power發(fā)布的2020技術體驗指數(shù)顯示，用戶滿意度最低的是手勢控制交互方式。手勢識別要求駕駛員的手勢指令必須表現(xiàn)在特定的區(qū)域內，標準化要求高，因此識別率較低。手勢的表達內容也有限，當關聯(lián)的功能較多需要復雜的手勢設計時，便會十分繁瑣。因此我們期待加大手勢識別的范圍，同時進行邊緣修復及增強，進一步提高準確率。

3.2 基礎功能

采用結構光方式進行識別，同時對輸入的識別內容運行相應算法進行邊緣修復以及圖像增強進而提高識別的精準率、反饋速率以及可識別的范圍，優(yōu)化用戶的人機交互體驗。

3.3 實現(xiàn)方法

3.3.1 手勢識別系統(tǒng)結構

現(xiàn)階段，手勢識別主要依賴于攝像頭等接收器設備來獲取手勢信息，然后把識別到的手勢內容通過CAN總線轉交給手勢識別系統(tǒng)。接著，在人機交互系統(tǒng)中構建相應的手勢模型和操作界面，并對其中的手機內容進行分類。具體的識別流程可參見圖3。

3.3.2 具體方案

采用精度更高、成本更低的結構光（Structure Light，SL）方式進行手勢識別。

a.通過對皮膚色彩和背景的粗略比較，獲取分離的效果。

b.采用分層Chamfer距離匹配算法（HCMA）對手勢的特定區(qū)域進行精密的定位。

c.利用基于圖形架構和梯度方向直方圖的分類器，對手掌和手指部分進行了精確的識別。

d.借助預先儲存的模型，對手與臉部交接處的邊緣數(shù)據(jù)進行了修復，這樣就得到了一個完全清晰的手勢識別區(qū)域。

結構光方式的流程如圖4所示。

一開始，邊緣圖被Chamfer距離匹配算法轉化為Chamfer距離圖，接著調用一個范圍3×3的窗口構建出每個像素點的距離值，邊緣距離[Ed]的計算過程按如下公式：

[Ed=131Ni=0N-1wi2]? ? ? ? ? ? ? ? ? ? ? ? ?（7）

在這個公式中，[wi]是模版影像的像素數(shù)值，[N]則是模版邊界點的總數(shù)。當邊緣距離[Ed]減少到最小時，就可以得到最適合的匹配位置。為了提高搜索最佳匹配位置的速度，在算法設計中引入金字塔結構，選擇其中任意一組網(wǎng)格點作為匹配起點，并繼續(xù)計算這些點與周圍點之間的邊緣距離[Ed]，直到找到最小邊緣距離值[Ed]。

結構光方式的三維視覺透視模型如圖5所示，相關計算公式如下：

[Xr=cx+cosθ·Sx·x-sinθ·Sy·y]? ? ? ? ? ? ? ? ? （8）

[Yr=cy+sinθ·Sx·x+cosθ·Sy·y]? ? ? ? ? ? ? ? ? （9）

[X=Xr+2n-12n]? ? ? ? ? ? ? ? ? ? ? ? ? ?（10）

[X=Yr+2n-12n]? ? ? ? ? ? ? ? ? ? ? ? ? ? （11）

[（x，y）]是原始坐標的標識，然而在金字塔圖的第[n]級，點的準確坐標被[（X，Y）]表示。平移、縮放和旋轉的參數(shù)則用[（cx，cy）]、[（sx，sy）]和[θ]來代替，這強調了匹配過程具備處理這些手勢幾何變換的能力。在此基礎之上，進一步采用邊緣修復算法以補全不連續(xù)和模糊的邊緣。

借助Chamfer距離匹配算法來查找手勢部分的鄰近區(qū)域，并把最優(yōu)配對的區(qū)域圖像和模版圖像進行比較研究。

對已獲得的更新版邊緣圖像進行輪廓破損部位的修補，如果未找到新的斷點集合，針對每個斷點P，尋找模板中距離其最接近的Q，用一組Q把斷點輪廓劃分成若干個部分，然后，根據(jù)得出的和的相對位置，應用以下公式生成一組新的點集P：

[Pk=Pk-1+Qk-Qk-1]? ? ? ? ? ? ? ? ? ? ? ? （12）

利用以Catmull-Rom插值作為基礎的曲線擬合方法將這些點連接起來，從而提升邊緣圖像的優(yōu)化。計算如下：

[xi=aixk-2+bixk-1+cixk+dixk+1yi=aiyk-2+biyk-1+ciyk+diyk+1]? ? ? ? ? ? ? （13）

[ai=12（-t3+2t2-t）]

[bi=12（3t3-5t2+2），t=iN]

[ci=12（-3t3+4t2+t）]

[di=12（t3-t2]

上式中，[（xk-2，yk-2）]、[（xk-1，yk-1）]、[（xk，yk）]和[（xk+1，yk+1）]分別是Pk-2、Pk-1、Pk和Pk+1的坐標。

通過計算發(fā)現(xiàn)，該邊緣修復算法的精確度在TPR及FPR指標上分別達到了94.6%和8.7%，如表1所示。相對于其他算法，這個特有性能在準確性、識別力度和處理速度方面表現(xiàn)更好，這有利于提高人機交互的使用體驗。

因此可以在車內各處的攝像頭內加入此程序擴大識別范圍，同時也可由用戶進行個性化操作，只需要提前錄入相應手勢即可得以控制車內幾乎所有部件［4］。

4 結語

a.將車載傳感器與深度學習算法結合，實現(xiàn)了根據(jù)用戶的駕駛風格與駕駛體驗自動調節(jié)車內環(huán)境，提高用戶駕乘舒適性。

b.所提出的邊緣修復算法能增強人機互動的準確性和駕駛期間的安全性，能夠實現(xiàn)對遠距離動態(tài)手勢的識別，保證了識別的穩(wěn)定性和良好的魯棒性，具備優(yōu)秀的實用價值。

經驗證，本項目方案通過應用生物識別技術對汽車座艙的人機交互進行多通道拓展及優(yōu)化，對于汽車人機交互體驗相對于現(xiàn)有產品有較大提升，發(fā)展價值較高。

參考文獻：

[1]黃麗蓉，潘雨青.基于深度信念網(wǎng)絡的駕駛行為研究[J].計算機與數(shù)字工程，2020，48（8）：1958-1964.

[2]周行健.基于用戶行為的汽車增強現(xiàn)實平視顯示器交互設計研究[D].南京：東南大學2021.

[3]尤祖旺.汽車自動泊車輔助系統(tǒng)關鍵技術研究[J].中國新技術新產品，2020（20）：11-14.

[4]梁英.人機交互手勢特征識別及邊緣修復算法研究[J].自動化技術與應用，2022，41（11）：43-46.

作者簡介：

劉子衿，男，2002年生，本科在讀，研究方向為飛行汽車。

林海英（通訊作者），男，1971年生，教授，研究方向為特種車輛。