基于生理信號(hào)的多任務(wù)下駕駛員認(rèn)知負(fù)荷的評(píng)定*

高振海，段立飛，趙 會(huì)，禹慧麗

(1.吉林大學(xué)，汽車(chē)仿真與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130022;2.汽車(chē)噪聲振動(dòng)和安全技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，重慶 401120)

前言

隨著先進(jìn)輔助駕駛系統(tǒng)、智能交通系統(tǒng)和車(chē)載通信設(shè)備的迅速發(fā)展，駕駛員在駕駛過(guò)程中不僅要承擔(dān)信息感知、決策和操縱控制等與駕駛直接相關(guān)的主任務(wù)，還要承擔(dān)一定的預(yù)警或信息界面監(jiān)測(cè)和語(yǔ)音交互等與駕駛行為不直接相關(guān)的“次任務(wù)”，如接打手機(jī)等行為，駕駛汽車(chē)已經(jīng)從單一任務(wù)逐漸轉(zhuǎn)變?yōu)槎嗳蝿?wù)共同執(zhí)行的過(guò)程。

由于駕駛員信息處理能力的局限性，來(lái)自于駕駛?cè)蝿?wù)和非駕駛相關(guān)任務(wù)的多渠道信息極易使駕駛員出現(xiàn)“信息過(guò)載”的情況，導(dǎo)致駕駛員大腦承受的認(rèn)知負(fù)荷上升，其感知能力、判斷能力和注意力都會(huì)受到不利影響，從而對(duì)駕駛安全造成潛在威脅［1］。

針對(duì)這一問(wèn)題，研究人員對(duì)多任務(wù)下操作人員認(rèn)知負(fù)荷評(píng)價(jià)方法進(jìn)行了探索性的研究，從駕駛員心理生理特性的角度進(jìn)一步完善人機(jī)交互界面和駕駛狀態(tài)監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)根據(jù)駕駛員實(shí)時(shí)的精神狀態(tài)協(xié)調(diào)車(chē)內(nèi)信息系統(tǒng)的工作方式。具有代表性的項(xiàng)目如歐洲經(jīng)濟(jì)委員會(huì)框架項(xiàng)目AIDE計(jì)劃，由美國(guó)高速公路安全管理局聯(lián)合德?tīng)柛９尽⒚苄髮W(xué)和愛(ài)荷華大學(xué)等發(fā)起的SAVE_IT計(jì)劃，以及美國(guó)國(guó)防先進(jìn)研究項(xiàng)目局和美國(guó)國(guó)家航空航天局設(shè)立的相關(guān)項(xiàng)目［2］。

目前提出的主流駕駛員認(rèn)知負(fù)荷評(píng)價(jià)手段包括基于調(diào)查問(wèn)卷的主觀評(píng)價(jià)方法［3］，如 NASA-Task Load Index、Bedford Workload Scale、Driver Activity Load Index等，基于操縱績(jī)效的評(píng)價(jià)方法和基于人體生理信號(hào)的客觀評(píng)價(jià)方法。主觀自評(píng)的方式是描述駕駛員主觀感受最直接的方法，但實(shí)驗(yàn)結(jié)果很難排除被試對(duì)象的主觀傾向性，且問(wèn)卷形式的評(píng)價(jià)只能在駕駛實(shí)驗(yàn)完成或階段完成后進(jìn)行打分評(píng)價(jià)，無(wú)法描述認(rèn)知負(fù)荷隨時(shí)間的動(dòng)態(tài)變化情況;基于操縱績(jī)效的評(píng)價(jià)方法又會(huì)時(shí)而出現(xiàn)對(duì)認(rèn)知狀態(tài)變化不敏感的現(xiàn)象［4］。

使用心理生理參數(shù)(如腦電、心電、皮電和呼吸等)的評(píng)價(jià)方法具有較高的客觀性和魯棒性，且能夠以較高的時(shí)間精度實(shí)現(xiàn)對(duì)被試對(duì)象的連續(xù)測(cè)量，很好地彌補(bǔ)了其他兩種評(píng)價(jià)方法的不足。因此，該方法逐漸被汽車(chē)領(lǐng)域的研究人員采用。文獻(xiàn)［5］中利用fMRI和fNIRS測(cè)試技術(shù)記錄了狹窄道路行駛工況下駕駛員的大腦活動(dòng)，驗(yàn)證了腦血流量作為評(píng)價(jià)大腦精神負(fù)荷的有效性。文獻(xiàn)［6］中借助心電和腦電等生理信息建立了駕駛員工作負(fù)荷預(yù)測(cè)模型，用來(lái)評(píng)價(jià)人機(jī)交互界面的設(shè)計(jì)。文獻(xiàn)［7］中所進(jìn)行的研究發(fā)現(xiàn)了被試人員工作負(fù)荷的主觀評(píng)分與心率變異性0.07～0.14Hz頻段功率譜的變化有很強(qiáng)的關(guān)聯(lián)性。文獻(xiàn)［8］中研究發(fā)現(xiàn)，隨飛行員執(zhí)行任務(wù)難度加大，精神負(fù)荷增加，HRV功率譜中的低頻成分隨之下降。

為探索心理生理指標(biāo)在駕駛員認(rèn)知負(fù)荷評(píng)價(jià)中的應(yīng)用，本文中在汽車(chē)駕駛模擬器上實(shí)現(xiàn)了駕駛員操縱任務(wù)與語(yǔ)音交互任務(wù)這一典型的多任務(wù)駕駛工況，采集分析了反映非駕駛相關(guān)任務(wù)執(zhí)行前后認(rèn)知負(fù)荷變化的心電、呼吸和皮電信號(hào)等關(guān)鍵生理參數(shù)的改變，驗(yàn)證生理參數(shù)在評(píng)價(jià)認(rèn)知負(fù)荷中的有效性。

1 認(rèn)知負(fù)荷生理指標(biāo)

研究發(fā)現(xiàn)，單一種類(lèi)的生理指標(biāo)很難充分反映多任務(wù)下的腦力負(fù)荷。人因工程領(lǐng)域的研究人員認(rèn)為，這一現(xiàn)象可由工作負(fù)荷的多資源模型理論［9］來(lái)解釋?zhuān)创竽X的信息處理活動(dòng)是神經(jīng)系統(tǒng)多個(gè)獨(dú)立“資源庫(kù)”共同參與的過(guò)程，多任務(wù)的過(guò)程可以劃分為不同的組成部分，每個(gè)部分必須通過(guò)某種相對(duì)應(yīng)的生理指標(biāo)進(jìn)行評(píng)價(jià)。

參照文獻(xiàn)［8］中基于生物電信息的飛行員負(fù)荷評(píng)價(jià)方法，并考慮到生理指標(biāo)在車(chē)內(nèi)的易獲取性和對(duì)駕駛員精神狀態(tài)的敏感性，本研究采用心電、皮電和呼吸信號(hào)作為評(píng)價(jià)多任務(wù)工況下駕駛員認(rèn)知負(fù)荷的綜合生理指標(biāo)。

心率變異性(HRV)的功率譜分析是進(jìn)行精神負(fù)荷研究的有效方法。心率變異性是指逐次心跳間期—RR間期的微小變化。心率變異性的功率譜可以劃分為3個(gè)頻段:反映副交感神經(jīng)活動(dòng)的高頻功率、與動(dòng)脈血壓的短期調(diào)節(jié)相關(guān)的中頻功率和作為交感神經(jīng)活動(dòng)指標(biāo)的低頻功率。研究表明，心率變異性功率譜中的低頻成分能夠在一定程度上反映人的腦力負(fù)擔(dān)［7－8］，為此，本文中采用心率變異性功率譜低頻帶能量作為評(píng)價(jià)駕駛員認(rèn)知負(fù)荷中腦力負(fù)擔(dān)的生理指標(biāo)。

駕駛員在駕駛過(guò)程中由于交感神經(jīng)興奮，導(dǎo)致汗腺活動(dòng)加強(qiáng)，分泌汗液較多，使皮膚導(dǎo)電能力增大，形成大的皮膚電反應(yīng)。為此，引入平均皮電水平作為衡量駕駛員認(rèn)知負(fù)荷中精神疲勞程度的生理指標(biāo)［9］。

體力活動(dòng)會(huì)導(dǎo)致呼吸頻率(respiratory frequency，RF)和呼吸幅度(respiratory amplitude，RA)的增加，而喚醒水平和情緒波動(dòng)雖然會(huì)使呼吸的頻率增加，但是呼吸的幅度會(huì)減小。在壓力或精神負(fù)擔(dān)較高時(shí)，偶爾會(huì)出現(xiàn)強(qiáng)力呼吸或過(guò)呼吸的現(xiàn)象。為此，選用呼吸的頻率和幅度作為認(rèn)知負(fù)荷的評(píng)價(jià)指標(biāo)。

2 駕駛模擬器實(shí)驗(yàn)

駕駛模擬器實(shí)驗(yàn)是進(jìn)行駕駛員行為研究的有效方法。研究表明，在模擬駕駛員環(huán)境下駕駛員生理參數(shù)變化與實(shí)車(chē)實(shí)驗(yàn)具有相似的規(guī)律［10］。因此，本文中利用吉林大學(xué)汽車(chē)仿真與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室的汽車(chē)駕駛模擬器，并用真實(shí)駕駛員進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)工況為人因工程研究中常用的雙任務(wù)(dual-task)范例，即駕駛員在模擬駕駛實(shí)驗(yàn)中同時(shí)進(jìn)行汽車(chē)操縱任務(wù)和語(yǔ)音交互任務(wù)。挑選6名年齡在22～30歲，具有合法駕駛執(zhí)照的駕駛員作為實(shí)驗(yàn)對(duì)象，進(jìn)行雙任務(wù)模擬駕駛。在汽車(chē)操縱任務(wù)中，駕駛員須在半徑為100m的實(shí)驗(yàn)環(huán)路上進(jìn)行緩慢轉(zhuǎn)向操縱以保證車(chē)輛不偏離道路，不越過(guò)邊界，并將車(chē)速保持在60km/h?？紤]到汽車(chē)駕駛的同時(shí)駕駛員通常還會(huì)進(jìn)行與車(chē)內(nèi)乘員通話、使用語(yǔ)音交互設(shè)備或車(chē)載電話等通信設(shè)備的語(yǔ)音交互行為，為此，選取n-back范式［10］作為實(shí)驗(yàn)中非駕駛相關(guān)的次任務(wù)，來(lái)模擬多任務(wù)機(jī)制下人的認(rèn)知活動(dòng)。

參照文獻(xiàn)［11］中認(rèn)知負(fù)荷評(píng)價(jià)的實(shí)驗(yàn)方法，采用“聽(tīng)覺(jué)刺激-語(yǔ)音反饋”的形式，即在模擬駕駛的過(guò)程中，每隔3s隨機(jī)呈現(xiàn)給駕駛員0～9中的一個(gè)數(shù)字，要求駕駛員重復(fù)剛剛聽(tīng)到的語(yǔ)音刺激之前的第n個(gè)刺激。如在1-back任務(wù)中，當(dāng)駕駛員聽(tīng)到某一數(shù)字時(shí)，應(yīng)該立刻重復(fù)這一數(shù)字之前的數(shù)字。nback任務(wù)可以通過(guò)控制當(dāng)前刺激與目標(biāo)刺激間隔的刺激個(gè)數(shù)來(lái)量化地控制任務(wù)的難度。

記錄整個(gè)實(shí)驗(yàn)過(guò)程中駕駛員的心電(electrocardiogram，ECG)、皮電(electrodermal，EDA)和呼吸(respiration，RES)信號(hào)。生理記錄設(shè)備采用美國(guó)BIOPAC公司生產(chǎn)的BioNomadix無(wú)線生理記錄儀，其優(yōu)點(diǎn)是采集裝置與主機(jī)之間以無(wú)線傳輸?shù)姆绞竭M(jìn)行數(shù)據(jù)通信，在一定程度上避免了傳統(tǒng)記錄方式傳感器連線對(duì)駕駛員操縱造成的干擾。為盡量避免人體運(yùn)動(dòng)對(duì)心電信號(hào)產(chǎn)生干擾，ECG測(cè)試電極粘貼在胸骨的上下兩端，如圖1所示。EDA測(cè)試電極粘貼在手掌大、小魚(yú)際肌隆起處;呼吸測(cè)試綁帶纏繞在胸廓位置。生理數(shù)據(jù)的采樣頻率均為1 000Hz。

實(shí)驗(yàn)流程如表1所示，在正式實(shí)驗(yàn)前，先進(jìn)行任務(wù)練習(xí)，以熟悉實(shí)驗(yàn)流程。進(jìn)入正式的模擬駕駛階段后，首先進(jìn)行5min的單一駕駛?cè)蝿?wù)。它將作為數(shù)據(jù)分析的基準(zhǔn)，來(lái)量化后續(xù)雙任務(wù)工況下駕駛員生理參數(shù)的變化;然后，進(jìn)行正常駕駛+5min 1-back和正常駕駛+5min 2-back的雙任務(wù)實(shí)驗(yàn);最后，經(jīng)過(guò)2min的恢復(fù)期后，進(jìn)行NASA-TLX主觀精神負(fù)荷打分［3］。

表1 實(shí)驗(yàn)流程

3 實(shí)驗(yàn)結(jié)果分析

提取ECG信號(hào)中的頻域參數(shù)、EDA活動(dòng)水平均值以及呼吸頻率作為分析精神負(fù)荷的生理指標(biāo)。運(yùn)用方差分析和配對(duì)t檢驗(yàn)分析任務(wù)執(zhí)行前后生理指標(biāo)的變化，P＜0.05表示存在顯著性差異。數(shù)據(jù)分析以及生理信號(hào)的特征提取在MATLAB中進(jìn)行。

心率變異性功率譜參數(shù)的提取過(guò)程如圖2～圖4所示。首先通過(guò)原始心電數(shù)據(jù)獲取RR間期時(shí)間序列，并對(duì)其進(jìn)行快速傅里葉變換，得到心電信號(hào)的功率譜密度參數(shù)，包括:極低頻功率(VLF，0.02～0.06Hz)、低頻功率(LF，0.06 ～0.15Hz)、高頻功率(HF，0.15～0.4Hz)和總功率(TP)等參數(shù)。功率譜密度可表示為絕對(duì)單位(AU，ms2)和歸一化單位(NU)兩種。本文中使用的低頻歸一化功率值的定義為

分別提取單一駕駛?cè)蝿?wù)和雙任務(wù)工況下的心電信號(hào)歸一化低頻功率譜密度、皮電水平和呼吸頻率與幅度，得到各項(xiàng)生理指標(biāo)的平均值，如表2所示。表2中同時(shí)給出了認(rèn)知負(fù)荷的NASA_TLX評(píng)分，具體指標(biāo)和權(quán)重確定方法詳見(jiàn)文獻(xiàn)［3］。評(píng)分范圍從0～100分，0分代表完全感受不到壓力，100分代表認(rèn)知負(fù)荷水平最高。

表2 主觀評(píng)分和歸一化生理指標(biāo)平均值

(1)主觀評(píng)分 從NASA_TLX評(píng)分可以看到，隨著語(yǔ)音交互任務(wù)的加入和難度的提高，駕駛員主觀感受到的壓力水平隨之上升。方差分析表明，任務(wù)難度水平對(duì)主觀評(píng)分有顯著的影響(p=0.001)。配對(duì)t檢驗(yàn)表明，3種實(shí)驗(yàn)工況的主觀評(píng)分之間有明顯的差異。

(2)心率變異性 隨著任務(wù)難度的增加，心率變異性低頻功率譜密度(HRV_LF)值隨之降低，單一駕駛、1-back和2-back 3種工況下的HRV_LF有明顯的差異(p=0.007)。以1-back工況為例，圖5示出單一任務(wù)和雙任務(wù)工況下的HRV_LF功率譜密度，可以看到雙任務(wù)工況下的HRV_LF降低比較明顯。

(3)皮電水平 圖6為單一任務(wù)和雙任務(wù)駕駛工況下皮電信號(hào)變化。表2也給出了不同任務(wù)工況下的平均皮電水平(EDA)的變化。從表中可以看到，皮電水平的平均值隨著任務(wù)難度的增加而上升，任務(wù)難度對(duì)于皮電水平有顯著的影響(p=0.002)。配對(duì)t檢驗(yàn)表明，雙任務(wù)工況下(1-back和2-back)的皮電水平相對(duì)于單一任務(wù)有顯著的上升，但是1-back和2-back工況的差別并不顯著(p=0.150)。結(jié)果表明，皮電水平可以用來(lái)估計(jì)這一工況下駕駛員的精神負(fù)荷，但是不同任務(wù)難度下區(qū)分的效果不是很明顯。此外，皮電信號(hào)單位時(shí)間內(nèi)峰值數(shù)量和峰間幅值等參數(shù)均沒(méi)有觀察到顯著的變化。

(4)呼吸頻率與幅度 由表2可見(jiàn)，在雙任務(wù)工況下的平均呼吸頻率有所上升，任務(wù)難度對(duì)于呼吸頻率有顯著的影響(p=0.014)。配對(duì)t檢驗(yàn)表明，雙任務(wù)工況下(1-back和2-back)的呼吸頻率相對(duì)于單一任務(wù)有顯著上升，但是1-back和2-back工況的差別并不顯著，呼吸幅度則基本上沒(méi)有變化。

4 結(jié)論

(1)主觀評(píng)分表明，相對(duì)于單一駕駛?cè)蝿?wù)，雙任務(wù)工況下駕駛員的主觀壓力感受上升明顯，并且隨著任務(wù)難度的增加而上升，進(jìn)一步證明了駕駛過(guò)程中的非駕駛相關(guān)任務(wù)對(duì)駕駛員的認(rèn)知活動(dòng)存在不利的影響。

(2)對(duì)生理信號(hào)的分析表明，心率變異性功率譜密度、皮電水平和呼吸頻率等生理指標(biāo)與駕駛員認(rèn)知負(fù)荷變化具有較好的關(guān)聯(lián)性，可作為評(píng)價(jià)駕駛員認(rèn)知負(fù)荷的有效指標(biāo)和駕駛狀態(tài)識(shí)別系統(tǒng)或汽車(chē)人機(jī)交互評(píng)價(jià)的依據(jù)。

后續(xù)研究中將繼續(xù)引入腦電、眼電等其他生理指標(biāo)，并進(jìn)一步嘗試在多項(xiàng)生理指標(biāo)分析基礎(chǔ)上進(jìn)行駕駛員認(rèn)知負(fù)荷的綜合評(píng)價(jià)，為駕駛員人機(jī)交互設(shè)計(jì)提供可行的客觀評(píng)價(jià)方法。

［1］ Green P．Crashes Induced by Driver Information Systems and What Can Be Done to Reduce Them［C］．SAE Paper 2000－01－0008．

［2］ Amditis A，Andreone L，Pagle K，et al．Towards the Automotive HMI of the Future:Overview of the AIDE-integrated Project Results［J］．Intelligent Transportation Systems，IEEE Transactions，2010，11(3):567 －578．

［3］ Rubio S，Díaz E，Martín J，et al．Evaluation of Subjective Mental Workload:A Comparison of SWAT，NASA-TLX，and Workload Profile Methods［J］．Applied Psychology，2004，53(1):61 －86．

［4］ Reimer B，Mehler B，Coughlin J F，et al．The Impact of a Naturalistic Hands-free Cellular Phone Task on Heart Rate and Simulated Driving Performance in Two Age Groups［J］．Transportation Research Part F:Traffic Psychology and Behaviour，2011，14(1):13－25．

［5］ Shimizu T，Nanbu T，Sunda T．An Exploratory Study of the Driver Workload Assessment by Brain Functional Imaging Using Onboard fNIRS［C］．SAE Paper 2011－01－0592．

［6］ Pala S，Schnell T，Becklinger N L，et al．Adaptation of the Cognitive Avionic Tool Set(CATS)into Automotive Human Machine Interface Design Process［C］．SAE Paper 2011－01－0594．

［7］ Vicente K J，Thornton D C，Moray N．Spectral Analysis of Sinus Arrhythmia:A Measure of Mental Effort［J］．Human Factors:The Journal of the Human Factors and Ergonomics Society，1987，29(2):171－182．

［8］ Tattersall A J，Hockey G R J．Level of Operator Control and Changes in Heart Rate Variability During Simulated Flight Maintenance［J］．Human Factors:The Journal of the Human Factors and Ergonomics Society，1995，37(4):682 －698．

［9］ Shimomura Y，Yoda T，Sugiura K，et al．Use of Frequency Domain Analysis of Skin Conductance for Evaluation of Mental Workload［J］．Journal of Physiological Anthropology，2008，27(4):173－177．

［10］ Mehler B，Reimer B，Coughlin J F，et al．Impact of Incremental Increases in Cognitive Workload on Physiological Arousal and Performance in Young Adult Drivers［J］．Transportation Research Record:Journal of the Transportation Research Board，2009，2138(1):6－12．

［11］ Reimer B，Mehler B．The Impact of Cognitive Workload on Physiological Arousal in Young Adult Drivers:A Field Study and Simulation Validation［J］．Ergonomics，2011，54(10):932－942．