基于眼動指標的飛行員注意狀態(tài)識別可行性研究

張益凡 王宇超 張琴喻 葛賢亮 徐杰

摘要：在未來高度自動化的飛行器中，飛行員的作業(yè)將以監(jiān)控任務為主，飛行員注意狀態(tài)的實時檢測和干預技術(shù)是保證飛行安全的重要基礎性技術(shù)。本文采用心理學的緩發(fā)持續(xù)操作任務（GradCPT）試驗范式和眼動追蹤技術(shù)，探索采用眼動指標來識別飛行員注意狀態(tài)的可行性。試驗招募了30名被試驗者，分別完成約30min的GradCPT任務，同時利用眼動儀收集眼動數(shù)據(jù)。根據(jù)被試驗者作反應時的特征，被試驗者在試驗過程中的注意狀態(tài)被劃分為“專注”和“非專注”兩種狀態(tài)。眼動數(shù)據(jù)顯示，瞳孔大小的平均值和變異性、掃視持續(xù)時間、掃視峰值速度以及注視持續(xù)時間均隨注意狀態(tài)的波動而發(fā)生顯著的變化。該結(jié)果表明，通過眼動追蹤技術(shù)來識別人的注意狀態(tài)是可行的。未來的研究可以通過機器學習的方法，以眼動指標作為輸入特征，構(gòu)建針對飛行員的注意力實時監(jiān)測系統(tǒng)。

關(guān)鍵詞：人機工效；人機交互界面；航空人因?qū)W；持續(xù)注意；緩發(fā)持續(xù)操作任務

中圖分類號：V223+.1文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.04.006

基金項目：航空科學基金（20185576005）

在航空領(lǐng)域，微電子技術(shù)和計算機系統(tǒng)的迅速發(fā)展使得飛機駕駛場景中飛機的自動化水平越來越高，這促使飛行員的工作內(nèi)容從以手動操作任務為主，轉(zhuǎn)變?yōu)橐员O(jiān)視任務為主、適時干預為輔[1-2]。雖然這些技術(shù)將飛行員從繁雜的手動操作中解放出來，大大減少了體力支出，但對腦力需求卻越來越高，飛行員需要對駕駛艙內(nèi)的儀表進行持續(xù)的實時監(jiān)控[3]。飛行員獲取監(jiān)控任務信息的主要途徑是與人機界面進行交互，而對于無人機操作員來說，他們的崗位缺乏空間物理反饋，對儀表持續(xù)監(jiān)控的需求更為突出。人因工程的研究表明，不良的人機界面設計會影響無人機駕駛員的駕駛狀態(tài)[4]，是飛行安全事故發(fā)生的誘因之一[5]。因此，深入研究無人機駕駛中人的因素，優(yōu)化人機交互過程是提升航空系統(tǒng)安全的主要手段之一。美國國家航空航天局（NASA）的航空安全報告系統(tǒng)數(shù)據(jù)庫顯示，77%自動化駕駛事故的發(fā)生與飛行員的注意力下降有關(guān)[6]。早期研究也證明，注意力的下降會導致監(jiān)控自動化系統(tǒng)的任務績效降低[7]。最近的研究同樣證明，在持續(xù)時間較長的無人機駕駛?cè)蝿罩?，注意力相關(guān)任務的績效不斷下降[8]。現(xiàn)代人機交互設計強調(diào)人與機器的雙向識別與干預[9]。因此，在人機系統(tǒng)中加入對飛行員注意狀態(tài)的實時識別與干預的功能，有助于提升航空系統(tǒng)的安全性。

1研究背景

人的注意有信息的選擇與過濾（選擇性注意）和認知加工的維持（注意分配和持續(xù)注意）兩大功能[10]。在注意對認知加工的維持方面，以往很多研究已經(jīng)探討了注意分配對飛行績效的影響。注意分配主要與飛行任務的具體要求和目標有關(guān)，研究發(fā)現(xiàn)飛行員可以通過訓練習得有效的注意分配策略[11]。除了執(zhí)行任務，飛行員需要實時監(jiān)視自動化界面并將注意在相對較長的一段時間內(nèi)保持在某單一客體或活動上。因此，持續(xù)注意是維持飛行員監(jiān)視的績效的必要能力。然而，現(xiàn)有文獻對飛行員持續(xù)注意的研究較少。相比于注意分配易受到任務和環(huán)境因素的影響，持續(xù)注意還會受到個體本身狀態(tài)的影響，如走神或無聊[12]。如果智能系統(tǒng)可以通過行為或神經(jīng)生理指標來實現(xiàn)對個體注意狀態(tài)的實時監(jiān)測，并提供相應的反饋與干預，就可以幫助個體及時調(diào)整注意狀態(tài)，提高監(jiān)控任務的績效。

對于持續(xù)注意狀態(tài)的實時監(jiān)測系統(tǒng)的實現(xiàn)，人因工程的一種研究思路是在試驗中誘導被試驗者呈現(xiàn)出不同的注意狀態(tài)，收集與注意狀態(tài)相關(guān)的行為或神經(jīng)生理指標，構(gòu)建以這些指標作為輸入的狀態(tài)識別模型。

用于研究持續(xù)注意的心理學試驗范式可以概括為兩大類：（1）被試驗者監(jiān)控某界面并對界面中不頻繁出現(xiàn)的刺激做出反應，如時鐘測試；（2）被試驗者監(jiān)控某界面并對界面中頻繁出現(xiàn)的刺激做出反應，抑制自己對不頻繁出現(xiàn)的刺激做出反應，如持續(xù)操作任務（continuous performance test， CPT）。

在CPT任務范式基礎上，研究人員開發(fā)出了緩發(fā)持續(xù)操作任務（gradual onset continuous performance task， GradCPT）[13]?！熬彴l(fā)”是指每一個刺激相繼呈現(xiàn)過程中，通過規(guī)律性改變刺激的透明度來實現(xiàn)相鄰兩個刺激的過渡，以消除刺激突然出現(xiàn)時無意識注意帶來的影響。該試驗范式中，研究人員關(guān)注整個試驗過程中被試驗者反應時間的變異性，以較高的時間分辨率來追蹤個體的持續(xù)注意狀態(tài)。試驗過程中被試驗者會出現(xiàn)注意狀態(tài)的波動，該范式可以基于反應時的時間進程變異性（variance time course， VTC）來模擬注意狀態(tài)的波動，將注意狀態(tài)被劃分為：“專注”狀態(tài)（in the zone），一種穩(wěn)定的、高準確度的注意狀態(tài)；“非專注”狀態(tài)（out of the zone），一種不穩(wěn)定且傾向于犯錯的注意狀態(tài)，個體的持續(xù)注意在這兩種狀態(tài)之間不斷波動[14]（“專注”與“非專注”狀態(tài)是根據(jù)試驗情境由操作定義得出的，區(qū)別于傳統(tǒng)的專注與非專注）。以往研究表明，相比于“專注”狀態(tài)，被試驗者在“非專注”狀態(tài)下表現(xiàn)出更高的虛驚率（信號檢測論中的指標，表示人對不該做出反應的刺激錯誤地做出了反應的頻率）、漏報率（信號檢測論中的指標，表示人對應該做出反應的刺激錯誤地沒有做出反應的頻率）和更低的d′（信號檢測論中的指標，表示人能成功分辨不同的刺激的程度，d′越大表示分辨能力越強），但是兩種狀態(tài)下的反應時或判斷標準β（信號檢測論中的指標，表示人在不確定情況下是否對刺激做出反應的主觀閾值，β=1時表示判斷標準不嚴格也不放松，β越大表示判斷標準越嚴格）不存在差異[13，15]?？偟膩碚f，GradCPT是能夠引導出不同的持續(xù)注意狀態(tài)的實驗范式，可以用于注意狀態(tài)識別與預測建模所用的標簽與輸入特征數(shù)據(jù)的收集。

本研究的目的是利用GradCPT試驗范式，誘導被試驗者呈現(xiàn)“專注”和“非專注”兩種注意狀態(tài)，以探究采用眼動指標來識別飛行員注意狀態(tài)的可行性。本研究分為以下兩步。

（1）使用GradCPT試驗范式，誘導被試驗者出現(xiàn)不同的注意狀態(tài)

根據(jù)以往研究結(jié)果[13， 15-16]，如果GradCPT是有效的，結(jié)果將符合以下假設。假設1：“專注”和“非專注”狀態(tài)下，平均反應時沒有顯著差異。假設2：“專注”和“非專注”狀態(tài)下，判斷標準β沒有顯著差異。假設3：“專注”狀態(tài)下的d′顯著大于“非專注”狀態(tài)下的d′。假設4：“專注”狀態(tài)下的虛驚率顯著低于“非專注”狀態(tài)下的虛驚率。假設5：“專注”狀態(tài)下的漏報率顯著低于“非專注”狀態(tài)下的漏報率。

（2）探究眼動指標如何隨注意狀態(tài)的波動而變化

以往航空人因工程領(lǐng)域的眼動研究中，眼動指標多數(shù)與視點所在興趣區(qū)（area of interest， AOI）相關(guān)[17-19]；這些指標存在以下局限性：首先，對于人機界面AOI而言，AOI與界面設計密切相關(guān)，因此，在特定機型下劃分的AOI不能在其他機型下直接使用，降低了相關(guān)眼動指標的通用性；其次，在飛行器中要實時識別飛行員所注視的AOI有較大的技術(shù)難度，如需要采用眼鏡式眼動儀的前置攝像頭，通過計算機視覺的方法對AOI進行識別，這可能提高注意狀態(tài)識別系統(tǒng)的運行要求或降低其工作效率。因此，本研究將集中探索與AOI不相干的眼動指標與持續(xù)注意狀態(tài)的相關(guān)關(guān)系。

2試驗方法

2.1被試驗者

本文招募了30名來自浙江大學的學生作為被試驗者（共招募33人，其中3人被剔除，男生和女生各15人，年齡范圍為20～29歲，平均值為24.3，標準差為2.4）。招募要求被試驗者健康狀況良好，矯正視力4.8及以上；無精神疾病或其他可能影響精神狀態(tài)的疾病，無精神類藥物服用史，試驗當天未飲用含酒精或咖啡因飲品；試驗前一天睡眠時間不小于6h；無煙癮、酒癮等物質(zhì)依賴史。以上標準在試驗前由試驗主持檢查確認。本研究方案獲得了浙江大學心理科學研究中心倫理委員會的批準。

2.2任務和設備

緩發(fā)持續(xù)操作任務（GradCPT）?；贛ATLAB開發(fā)的試驗程序，試驗材料包含兩類圓形灰度圖，分別是城市風光和山地景色（各10張），圖1為“城市”和“山”的圖例。在試驗任務中“，城市”和“山”分別以90%和10%的概率隨機呈現(xiàn)，相鄰試次不會重復呈現(xiàn)同一張圖片。前一張圖片到下一張圖片的切換通過透明度的漸變來實現(xiàn)，相鄰圖片的過渡期為800ms。例如，第一個800ms內(nèi)，第一張圖片的透明度從0（完全清晰）漸變?yōu)?00%（完全透明），第二張圖片的透明度從100%漸變?yōu)?；下一個周期內(nèi)，第二張圖片的透明度從0漸變?yōu)?00%，第三張圖片的透明度從100%變?yōu)?，依此類推。除每組正式試驗中的第一張圖片外，其余每張圖片的透明度是從100%漸變到0再漸變到100%，跨越兩個周期，共計1600ms。任務要求被試驗者看到“城市”（90%）按空格鍵，看到“山”（10%）不做按鍵反應。

（1）眼動儀

試驗中使用的是Eyelink 1000 Plus型眼動跟蹤系統(tǒng)（SR Research， Ottawa， Ontario， Canada），該設備采樣率為1000Hz。試驗時要求被試驗者坐在顯示器前方，頭部通過頭托固定，使眼睛水平距離電腦屏幕60cm。

（2）問卷工具

使用NASA任務負荷指數(shù)（TLX）測量自我報告的工作負荷[20]，采用鄧迪壓力狀態(tài)問卷（dundee stress state questionnaire， DSSQ）測量壓力，并且計算該問卷中任務投入、壓力和擔憂三個因素的得分[21]。

2.3試驗過程

被試驗者到達實驗室后，需要先閱讀并簽署知情同意書。試驗正式開始之前，被試驗者需要坐在屏幕前，調(diào)整座椅高度與腮托（用于固定下巴，保持眼睛與屏幕中央達到要求距離），之后進行眼睛的校準。完成校準后，呈現(xiàn)試驗指導語，要求被試驗者大概了解試驗流程并熟悉全部20張試驗使用的圖片（被標記為“城市”和“山”的圖片），然后被試驗者需要進行2min的練習以掌握任務要求，之后試驗正式開始。試驗共包含三組正式試驗，每組時長為8min，兩組試驗的中間有2min休息時間。第三組試驗結(jié)束后，被試驗者需要填寫NASA任務負荷指數(shù)量表和鄧迪壓力狀態(tài)問卷，以評估試驗期間的工作量和壓力的大小，試驗流程如圖2所示。

2.4行為指標和眼動指標

研究中的行為指標包括反應時、時間進程變異性（variance time course， VTC）、虛驚率、漏報率、d′和判斷標準β。反應時的詳細計算方法遵照Esterman等[13]的研究。VTC是度量反應時可變性的指標，對于每一個被試驗者來說，將其所有的反應時轉(zhuǎn)化成對應的z分數(shù)（即標準分數(shù)），每個試次與其總體平均反應時的絕對偏差則為VTC值。虛驚率（commission）是指一段時間內(nèi)，對“山”按鍵反應的次數(shù)與“山”出現(xiàn)總次數(shù)的比值。漏報率（omission）是指一段時間內(nèi)，未對“城市”按鍵的次數(shù)與“城市”出現(xiàn)總次數(shù)的比值。d′和判斷標準β的計算參照信號檢測論[22]。圖3展示的是根據(jù)試驗情境對反應結(jié)果的估計，以下是本試驗中部分變量對應的公式

本文定義20個試次（或者說16s）為一個時間窗口，對每組試驗內(nèi)VTC時間序列進行高斯核平滑處理，基于此再來定義“專注”狀態(tài)和“非專注”狀態(tài)（in-the-zone， I； outthe-zone， O）。對于“專注”和“非專注”的狀態(tài)劃分I/O標準包括以下兩種：（1）以平滑處理后VTC（每組內(nèi)）的中位數(shù)值為劃分標準，低于中位數(shù)的狀態(tài)劃分為“專注”，高于中位數(shù)的狀態(tài)劃分為“非專注”，兩種狀態(tài)的時間狀態(tài)的比率（I/O）為1，圖4展示的是該劃分標準下的注意狀態(tài)。（2）以平滑處理后VTC的75%的四分位數(shù)值為劃分標準，兩種狀態(tài)的時間狀態(tài)比率（I/O）為3，“專注”狀態(tài)的時間狀態(tài)是“非專注”狀態(tài)的三倍。研究中的眼動指標包括瞳孔大小、瞳孔大小變異性（一段時間內(nèi)瞳孔大小的標準偏差）、掃視頻率（眼睛在一段時間內(nèi)在點間快速移動的次數(shù)）、掃視幅度（一段時間內(nèi)掃視點的平均距離）、掃視峰值速度（一段時間內(nèi)掃視的平均峰值速度）、掃視時間（平均掃視時間）、注視頻率、注視持續(xù)時間、眨眼頻率、眨眼持續(xù)時間。除了瞳孔大小變異性、掃視/注視/眨眼頻率外，對每個被試驗者的其他眼動指標進行標準化處理。

2.5數(shù)據(jù)統(tǒng)計

三名被試數(shù)據(jù)被剔除，兩人因設備問題數(shù)據(jù)采集失敗，一人因瞳孔數(shù)據(jù)異常。30名被試驗者的行為數(shù)據(jù)和眼動數(shù)據(jù)合理有效，反應時、正確率和瞳孔大小等指標均在±3個標準差之內(nèi)。

為了探究可能存在的組間效應和被試驗者間差異，使用線性混合效應（linear mixed effects， LME）模型對數(shù)據(jù)進行擬合。所有的數(shù)據(jù)分析都在R中進行（版本3.6.2）[23]，采用lme4插件進行模型擬合，并通過afex插件使用KenwardRoger近似估計獲取自由度，以進行顯著性檢驗[24]。

3試驗結(jié)果

3.1基于行為指標的注意狀態(tài)分類

與前人研究保持一致，I/O = 1的劃分標準用于假設檢驗，在單個試驗組水平上進行統(tǒng)計分析。例如，在一組內(nèi)分別計算“專注”狀態(tài)和“非專注”狀態(tài)的平均反應時。結(jié)果顯示，相比于“專注”狀態(tài)，“非專注”狀態(tài)的虛驚率和漏報率更高，d′更低。兩種注意狀態(tài)下平均反應時的差異不顯著，但是判斷標準β的差異卻顯著。因此除假設2外，其他假設均得到支持。

當I/O = 3作為劃分標準時，除了“非專注”狀態(tài)的平均反應時顯著慢于“專注”狀態(tài)外，其他結(jié)果與I/O = 1時非常相似，“非專注”狀態(tài)比“專注”狀態(tài)具有更高的虛驚率和漏報率，更低的d′和更高的判斷標準。

不同的試驗組之間唯一發(fā)生顯著變化的行為指標是平均反應時，具體來說，第一組的平均反應時最快（b=-29.22， t （145） = -3.27， p < 0.05），而第二組顯著快于第三組（b =-24.67， t （145） = -2.39， p < 0.05）β，結(jié)果見表1。

NASA任務負荷指數(shù)得分與平均反應時之間呈顯著正相關(guān)（b=1.90， t=3.12， p < 0.05），鄧迪壓力狀態(tài)問卷得分與任何行為數(shù)據(jù)之間均不存在顯著的相關(guān)關(guān)系。

3.2不同注意狀態(tài)下的眼動模式

不同的試驗組之間多個眼動指標發(fā)生顯著變化：瞳孔平均大小逐漸減小，瞳孔大小變異性逐漸升高，掃視頻率升高，掃視持續(xù)時間延長，掃視峰值速度加快，注視頻率升高，注視時間縮短，眨眼頻率升高，眨眼持續(xù)時間延長，結(jié)果見表2。

當I/O = 1作為劃分標準時，瞳孔大小的平均值和變異性在兩種狀態(tài)下差異顯著：相比于“專注”狀態(tài)，“非專注”狀態(tài)下瞳孔大小的平均值更小，而且瞳孔大小的變異性更高。同時，在整個試驗進程中，瞳孔大小逐漸變?。‵ （2，174） = 21.66， p < 0.05），而瞳孔大小變異性逐漸增大（F （2，145） = 16.07， p < 0.05），結(jié)果見表3。

當I/O = 3作為劃分標準時，瞳孔大小的平均值和變異性的情況與I/O比值為1時相似?！胺菍Ｗⅰ睜顟B(tài)下瞳孔大小的平均值和變異性的情況與I/O比值為1時相似?！胺菍Ｗⅰ睜顟B(tài)下瞳孔大小的平均值更小，且瞳孔大小的變異性更大。此外，“非專注”狀態(tài)的掃視持續(xù)時間更長，掃視峰值速度更高，注視時間更長，見表3。圖5、圖6為兩種狀態(tài)下眼動指標的散點圖和箱型圖。

4討論

4.1注意狀態(tài)分類

本研究保持和前人一致的劃分標準時（I/O = 1），成功地重現(xiàn)出兩種注意狀態(tài)，相比于“專注”狀態(tài)，個體在“非專注”狀態(tài)下表現(xiàn)出更小的d′（假設3），以及更高的虛驚率和漏報率（假設4和假設5），但是兩種狀態(tài)下的平均反應時之間不存在顯著差異（假設1）。本研究結(jié)果未能支持假設2，這是與以往研究結(jié)果的顯著不同之處，我們發(fā)現(xiàn)兩種注意狀態(tài)下的判斷標準β之間存在顯著差異。此外，當劃分標準為I/ O = 3時，“非專注”狀態(tài)的平均反應時顯著慢于“專注”狀態(tài)。

以往研究表明，反應時和判斷標準β反映的是個體執(zhí)行任務的策略，而d′反映的是個體維持注意的能力[25-26]，后者才是更適用于識別注意狀態(tài)的行為指標。在不同的劃分標準下，“非專注”狀態(tài)均表現(xiàn)出更小的d′，說明個體維持注意的能力在該狀態(tài)下嚴重下降。已有研究表明，要求被試驗者在一天中（24h）的不同時段完成GradCPT，結(jié)果發(fā)現(xiàn)錯誤發(fā)生率隨持續(xù)注意狀態(tài)的變化而變化[25]。本研究的結(jié)果與這一證據(jù)保持一致，在維持注意能力下降的情況下（“非專注”），個體也出現(xiàn)了更多的錯誤，更高的虛驚率被認為是短暫的注意力缺失，漏報率則可能表明更大程度的任務脫離，無論哪種錯誤均表明“非專注”下個體的持續(xù)注意狀態(tài)不佳，從而影響了任務績效。這表明，GradCPT非常有效地呈現(xiàn)出專注和非專注的注意狀態(tài)，而且d′可以被視為有效的行為指標用于構(gòu)建注意狀態(tài)識別模型。當劃分標準更嚴格時（I/O = 3），兩種注意狀態(tài)的平均反應時之間的差異由不顯著變?yōu)轱@著，“非專注”狀態(tài)的平均反應時顯著慢于“專注”狀態(tài)。我們推測，個體的注意力越不穩(wěn)定時，越難以將注意保持在某單一任務上，因此個體傾向于使用更謹慎的策略[26]，通過放慢反應速度或改變判斷標準β來降低犯錯率。同時，本研究還發(fā)現(xiàn)NASA任務負荷指數(shù)與反應時呈正相關(guān)。這可能表明，當個體主觀察覺到更高的工作負荷時，可能會采用降低反應速度的策略來減少認知資源消耗。

4.2不同注意狀態(tài)下的眼動模式

個體在“非專注”狀態(tài)下，瞳孔大小的平均值更小，更高的瞳孔大小的變異性更高。這些結(jié)果與之前的眼動研究結(jié)果相似，Unsworth和Robison發(fā)現(xiàn)較小的平均瞳孔大小和較大的瞳孔大小變異性與注意力不集中有關(guān)[27]。另一項使用GradCPT的眼動研究發(fā)現(xiàn)，瞳孔大小與注意表現(xiàn)之間呈倒U形關(guān)系：瞳孔直徑相對較小和較大時任務績效更差，反應時變異性更大[28]。我們推測，倒U形曲線的左邊代表喚醒水平不足的狀態(tài)，中間代表處于最佳喚起狀態(tài)，右邊代表疲勞狀態(tài)且注意力無法集中。GradCPT是一項對持續(xù)注意要求很高的任務，所以較差的表現(xiàn)可能對應于倒U形曲線的中間到右邊的轉(zhuǎn)變，瞳孔大小的逐漸變小以及變異性的逐漸增大表明個體集中注意力越來越困難，進而導致表現(xiàn)不佳。

當I/O比值從1變?yōu)?時，我們發(fā)現(xiàn)掃視持續(xù)時間、眼跳峰值速度和注視持續(xù)時間在“專注”和“非專注”之間呈現(xiàn)顯著的差異，而且“非專注”狀態(tài)的反應時變異性也更高，即持續(xù)注意狀態(tài)更差。這意味著，以上這些眼動指標與更不穩(wěn)定的注意狀態(tài)相關(guān)。盡管當改變劃分標準時，其他眼動指標也出現(xiàn)了差異，但是瞳孔大小平均值以及變異性可以更加穩(wěn)定地對注意狀態(tài)做出鑒別。

4.3下一步研究內(nèi)容

（1）后續(xù)研究需要構(gòu)建新的注意狀態(tài)分類方法。以往研究均使用I/O=1作為注意狀態(tài)的劃分標準，潛在假設是“專注”和“非專注”時段各占一半；然而在航空駕駛場景中，以恒定的I/O值來區(qū)分注意狀態(tài)是不適用的。（2）構(gòu)建了更有效的注意狀態(tài)分類方法后，未來研究可以采用機器學習的方法，構(gòu)建以注意狀態(tài)為標簽、眼動指標作為輸入特征的注意狀態(tài)識別模型，并對該模型的識別效率進行驗證[29]。（3）本研究是識別飛行員注意狀態(tài)的初步研究，使用的GradCPT是研究持續(xù)注意的典型實驗室范式，未來的研究應提高任務的生態(tài)效度，采用更接近真實的飛行駕駛場景來進行注意狀態(tài)識別模型的驗證研究。

5結(jié)束語

本研究通過GradCPT試驗范式成功地誘導出個體的“專注”和“非專注”注意狀態(tài)，多個眼動指標在不同的注意狀態(tài)呈現(xiàn)顯著的差異，其中瞳孔大小的平均值和變異性是最為可行和穩(wěn)定的識別指標。未來的研究可以通過機器學習的方法，以眼動指標作為輸入特征，構(gòu)建針對飛行員注意力的實時監(jiān)測系統(tǒng)，并對不佳的注意狀態(tài)實施干預，提升航空系統(tǒng)的安全性。

參考文獻

[1]Sheridan T B. Telerobotics，automation and human supervisory control[M].MIT Press，1992.

[2]鄧平煜，裘旭益，姚子羽.航空軍事領(lǐng)域的人機混合智能技術(shù)[J].航空科學技術(shù)， 2020， 31 （10）： 3-6. Deng Pingyu， Qiu Xuyi， Yao Ziyu. Human-machine hybrid intelligence technology in military aviation field[J]. Aeronautical Science & Technology， 2020， 31（10）： 3-6. （in Chinese）

[3]吳佳駒，蘇幸君，朱妍.駕駛員輔助系統(tǒng)的研究現(xiàn)狀和發(fā)展展望[J].航空科學技術(shù)， 2021， 32（7）： 12-20. Wu Jiaju， Su Xingjun， Zhu Yan. Research status and development prospect of pilot assistance system[J]. Aeronautical Science & Technology， 2021， 32（7）： 12-20. （in Chinese）

[4]蔣浩，高鑫.人因工程在無人機中的應用及展望[J].航空科學技術(shù)， 2019， 30（5）： 9-13. Jiang Hao， Gao Xin. Application and prospect of human factor engineering in unmanned aerial vehicle[J]. Aeronautical Science & Technology， 2019， 30（5）： 9-13. （in Chinese）

[5]Baberg T W. Man-machine-interface in modern transport systems from an aviation safety perspective[J]. Aerospace Science & Technology，2001，5（8）：495-504.

[6]Mosier K L，Skitka L J，Korte K J. Cognitive and social psychological issues in flight crew/automation interaction[M]. Human performance in automated systems：Current research and trends. Hillsdale，NJ：Erlbaum，1994：191-197.

[7]Molloy R，Parasuraman R. Monitoring an automated system for a single failure：Vigilance and task complexity effects[J]. Human Factors，1996，38（2）：311-22.

[8]Wohleber R W，Matthews G，Lin J，et al. Vigilance and automation dependence in operation of multiple unmanned aerial systems（UAS）：a simulation study[J]. Human Factors，2019，61（3）：488-505.

[9]Stanney K M，Schmorrow D D，Johnston M，et al. Augmented cognition：an overview[J]. Reviews of Human Factors and Ergonomics，2009，5（1）：195-224.

[10]Wickens C D，Mccarley J S. Applied attention theory[M]. 1st ed. Boca Raton：CRC Press，2008.

[11]Vidulich M A，Wickens C D，Tsang P S，et al. Information processing in aviation[M]. Human Factors inAviation，2010.

[12]Danckert J，Merrifield C. Boredom，sustained attention and the default mode network[J]. Expriment Brain Research，2018，236（9）：2507-2518.

[13]Esterman M，Noonan S K，Rosenberg M，et al. In the zone or zoning out？Tracking behavioral and neural fluctuations during sustained attention[J]. Cerebral Cortex，2013，23（11）：2712-2723.

[14]Esterman M，Rothlein D. Models of sustained attention[J]. Current Opinion in Psychology，2019，29：174-180.

[15]Fortenbaugh F C，Rothlein D，McGlinchey R，et al. Tracking behavioral and neural fluctuations during sustained attention：a robust replication and extension[J]. Neuroimage，2018，171：148-164.

[16]Esterman M，Rosenberg M D，Noonan S K. Intrinsic fluctuations in sustained attention and distractor processing[J]. Journal of Neuroscience，2014，34（5）：1724-1730.

[17]Schnell T，Kwon Y，Merchant S，et al. Improved flight technical performance in flight decks equipped with synthetic vision information system displays[J]. The International Journal ofAviation Psychology，2004，14（1）：79-102.

[18]Shao F，Lu T，Wang X，et al. The influence of pilot’s attention allocation on instrument reading during take-off：the mediating effect of attention span[J]. Applied Ergonomics，2021，90：103245.

[19]Brams S，Hooge I T C，Ziv G，et al. Does effective gaze behavior lead to enhanced performance in a complex errordetection cockpit task[J]. PLoS One，2018，13（11）：e0207439.

[20]Hart S G，Staveland L E. Development of NASA-TLX（task load index）：results of empirical and theoretical research[M]. Advances in Psychology，1988.

[21]Matthews G，Szalma J，Panganiban A R，et al. Profiling task stress with the dundee stress state questionnaire[M]. Psychology of Stress，2013.

[22]See J E，Warm J S D，Ember W N. Vigilance and signal detection theory：An empirical evaluation of five measures of response bias[J]. Human Factors，1997，39（1）：14-29.

[23]Bates D，Maechler M，Bolker B M，et al. lme4：Linear mixed-effects models using ’Eigen’ and S4[J]. Journal of Statistical Software，2015，67：1-48.

[24]Singmann H. Analysis of factorial experiments[C]//Proceedings of the Asme International Mechanical Engineering Congress & Exposition，2014.

[25]Riley E，Esterman M，F(xiàn)ortenbaugh F C，et al. Time-of-day variation in sustained attentional control[J]. Chronobiology International，2017，34（7）：993-1001.

[26]Fortenbaugh F C，DeGutis J，Germine L，et al. Sustained attention across the life span in a sample of 10000：dissociating ability and strategy[J]. Psychological Science，2015，26（9）：1497-510.

[27]Unsworth N，Robison M K. Pupillary correlates of lapses of sustained attention[J]. Cognitive，Affective & Behavioral Neuroscience，2016，16（4）：601-615.

[28]Van Den Brink R L，Murphy P R，Nieuwenhuis S. Pupil diameter tracks lapses of attention[J]. PLoS One，2016，11（10）：e0165274.

[29]何曉驍，姚呈康.人工智能等新技術(shù)在航空訓練中的應用研究[J].航空科學技術(shù)， 2020， 31 （10）： 7-11. He Xiaoxiao， Yao Chengkang. Analysis of artificial intelligence and other new technologies in aviation training[J]. Aeronautical Science & Technology， 2020， 31（10）： 7-11. （in Chinese）

Feasibility Research on Pilot Attention State Recognition Based on Eye Metrics

Zhang Yifan，Wang Yuchao，Zhang Qinyu，Ge Xianliang，Xu Jie

Zhejiang University，Hangzhou 310058，China

Abstract： The main tasks of the pilots in future highly automated aircraft will be tasks monitoring. One of the promising ways to promote performance and safety in such tasks is the development and utilization of real-time pilot attention recognition and intervention technologies in the cockpit. The purpose of the current study is to explore the feasibility of using eye metrics to identify the different states of sustained attention with the Gradual Onset Continuous Performance Task （GradCPT） paradigm. 30participants participated in the study and each completed three eightminute sessions of GradCPT tasks， while eye metrics are collected with an eye-tracker. "In the zone" and "out of the zone" periods during the task are identified according to the variance time course measure men. Eye-tracking data indicated that the mean and variation of pupil size， saccade duration， saccade peak velocity， and fixation duration measures are sensitive to the "in-the-zone" vs. "the out-of-the-zone" periods. The results suggest that it is feasible to recognize the attention state through eye metrics. Future research can use eye-tracking indicators as input features to build machine learning models of sustained attention for pilots.

Key Words： human factors and ergonomics； human-machine interface； human factors in aviation； sustained attention； GradCPT