飛行模擬器環(huán)境下飛行員視覺特征

孫瑞山 汪 苧

(中國民航大學(xué)民航安全科學(xué)研究所，天津300300)

安全是民航永恒的主題，影響航空安全的因素涉及到人和技術(shù)以及政治、經(jīng)濟、科技、社會、環(huán)境等許多方面，其中人是最關(guān)鍵的因素.根據(jù)事故統(tǒng)計分析，民機飛行事故中約有60% ～80%是由于機組原因造成的［1］.飛行員在操作飛機的過程中，需要處理大量信息情報，而信息的來源很大程度上依賴于視覺，約有80% ～90%是通過人眼獲得.由于人眼獲取信息具有直接性、自然性和雙向性等特點［2］，因此眼動研究被認為是人信息加工研究中最有效的手段.

國外將眼動設(shè)備應(yīng)用于航空研究的記錄最早可追溯至1950年［3］，分別從工作負荷、情境認知、航空人員選拔等方面進行了廣泛而持續(xù)的研究.

文獻［4］通過攝像機記錄飛行員在飛機最后轉(zhuǎn)彎階段的視覺關(guān)注區(qū)域，根據(jù)飛行日志分析其飛行精度，發(fā)現(xiàn)視覺管理與潛在危險方式轉(zhuǎn)彎之間的相關(guān)性.文獻［5］利用眼動設(shè)備跟蹤飛行員的眼動變化，記錄飛行經(jīng)驗存在差異的飛行員在做出決策過程中的精度和時間，證明經(jīng)驗豐富的飛行員在決策時用時較短、精度較高，且在故障模式下會更多地關(guān)注有用信息.文獻［6］利用眼動設(shè)備在白天和夜晚兩種不同光照強度條件下進行飛機著陸實驗，研究發(fā)現(xiàn)飛行員在獲取艙外信息時可以利用余光而非完全通過注視模式，且在白天光照條件下，飛行員能夠獲取更多的艙外信息，從而降低了下滑道性能.文獻［7］通過實驗采集眼動跟蹤數(shù)據(jù)，利用行為、心理模型研究駕駛艙的自動監(jiān)控策略，研究在驗證前人成果的同時，證明監(jiān)控錯誤是人機交互故障的主要因素.文獻［8－9］將視線跟蹤運用到航空人才選拔中，以識別監(jiān)控操作的優(yōu)劣，研究表明識別準確的監(jiān)控行為能夠改進未來人才選拔程序.

我國在眼動方面的研究起步較晚，最早開始于20世紀70年代末、80年代初，在民用航空領(lǐng)域的眼動研究更為滯后.其中具有代表性的是:基于飛行員眼動視域特征的飛機駕駛艙設(shè)計與評價［10－11］，航空人因工程領(lǐng)域眼動研究［12－14］以及其它航空領(lǐng)域的眼動研究［15］.本文以固定式飛行模擬器為實驗環(huán)境，利用非接觸式FaceLAB4.0眼動儀作為眼動跟蹤設(shè)備搭建實驗平臺，簡化飛行員獲取信息的目標區(qū)域，并利用馬爾科夫鏈的數(shù)學(xué)分析方法對飛行員的視覺特征進行研究.

1 駕駛艙眼動實驗設(shè)計

1.1 實驗平臺搭建

實驗平臺搭建需要使用如下儀器設(shè)備:飛機駕駛艙人機交互仿真與測試系統(tǒng)(下文簡稱為“飛行模擬器”)和 FaceLAB4.0 眼動儀［16］.

實驗中的駕駛環(huán)境采用固定式飛行模擬器.該飛行模擬器包括系統(tǒng)控制臺、飛機仿真軟件、計算機系統(tǒng)硬件、飛機設(shè)備仿真件和外圍配套設(shè)備.整個系統(tǒng)提供了對仿真平臺進行各種設(shè)置的人機接口，實現(xiàn)了在實驗室條件下對真實飛機操縱的模擬.飛行中的外景圖像，通過系統(tǒng)自帶軟件和投影儀，播放到駕駛艙前方的屏幕上.

視線跟蹤設(shè)備采用澳大利亞Seeing machine公司生產(chǎn)的FaceLAB4.0眼動儀.該眼動儀是一個紅外攝像系統(tǒng)，采用非接觸式測量，實現(xiàn)對人臉的3D建模，極大地減少了測量儀器對人的干擾，為相關(guān)領(lǐng)域的研究提供了實時的視線跟蹤.

1.2 實驗設(shè)計

選擇普通在校研究生(男性，年齡為23～28歲)作為實驗被試，被試的視力或矯正視力正常.在實驗前期準備階段，被試需在實驗室模擬環(huán)境中進行5 h的飛行操作訓(xùn)練，熟悉實驗平臺，并通過測試證實能夠獨立完成實驗任務(wù).

實驗開始前，建立每位被試的頭部模型(the head model).要求被試完成在同一機場相同氣象環(huán)境下(晴朗的白天)的飛機起飛任務(wù)，每次實驗的眼動數(shù)據(jù)從飛機對正跑道沿著跑道中心線起飛滑跑開始記錄，直到飛機高度表顯示已爬升至300英尺高度.具體實驗設(shè)計方案如圖1所示.

圖1 實驗設(shè)計流程圖

2 眼動建模及視覺區(qū)域劃分

2.1 眼動設(shè)備建模

FaceLAB 4.0眼動儀首先要建立場景模型，場景模型是標定眼動儀、被觀測物體與測試對象之間的相對位置關(guān)系，也就是建立了基于眼動儀的坐標系.

而后，建立每位被試的頭部模型(如圖2所示).通過標定面部特征點，眼動儀可以實時跟蹤頭部、眼睛與視線的狀態(tài).

圖2 頭部模型示意圖

最后，確立世界模型(The World Model).世界模型(如圖3所示)是FaceLAB 4.0的重要改進，允許使用者運用球體、平面等模擬外部可視場景，世界模型確立被觀測物體在全局坐標系中的大小與位置.世界模型標定的準確與否，關(guān)系到能否準確捕捉到被試的注視目標物.

圖3 世界模型示意圖

2.2 模擬飛行中的視覺區(qū)域劃分

飛行員視覺注視區(qū)域的劃分，是研究飛行員注意力分配和注視狀態(tài)轉(zhuǎn)移模式的基礎(chǔ)和前提.視野平面機械劃分法將視野平面機械地劃分為幾部分，落在各部分的注視點即為該區(qū)域內(nèi)的注視目標［17］.

飛行員在飛機操作過程中，通過艙內(nèi)儀表能夠獲取飛機的各項性能數(shù)據(jù).在近地環(huán)境中，地面的標識、燈光、人員、車輛、環(huán)境能夠為飛行員提供周圍的交通環(huán)境信息.在實驗室環(huán)境下，為了簡化飛行員的視野和注視目標，將飛行員的視野平面按照艙內(nèi)、艙外以及這之外的區(qū)域劃分為3個視覺區(qū)，分別記為:前窗艙外景區(qū)(1區(qū))、艙內(nèi)儀表區(qū)(2區(qū))、其他視覺區(qū)(3區(qū)).實驗中被試的視野區(qū)域劃分如圖4所示.

圖4 被試的視野區(qū)域劃分圖

3 實驗數(shù)據(jù)預(yù)處理與方法分析

3.1 實驗數(shù)據(jù)預(yù)處理

每一次測試，F(xiàn)aceLAB 4.0眼動儀會自動采集被試的眼動參數(shù).依據(jù)Data Analysis程序，一次實驗完成后可以導(dǎo)出5個數(shù)據(jù)表，分別是:世界數(shù)據(jù)表(World Data)、特征圖像數(shù)據(jù)表(Image Features)、時間數(shù)據(jù)表(Timing Data)、眼睛數(shù)據(jù)表(Eyes Data)和頭部數(shù)據(jù)表(Head Data).世界數(shù)據(jù)表主要存儲被觀測目標的坐標;特征圖像數(shù)據(jù)表主要存儲頭部、眼部和瞳孔分別在攝像機A和B中的坐標;時間數(shù)據(jù)表存儲幀數(shù)與時間的關(guān)系;眼睛數(shù)據(jù)表存儲注視、眼跳、瞳孔等信息;頭部數(shù)據(jù)表主要存儲頭部在全局坐標系中的位置、角度等信息.

本研究中的視覺狀態(tài)指:是否注視;如果注視，則收集注視目標物序號.在模擬飛行實驗中，被試的注視點數(shù)據(jù)往往會因受到疲勞、眨眼等因素的干擾而存在非注視點數(shù)據(jù).根據(jù)眼動設(shè)備的數(shù)據(jù)記錄類型，從眼睛的閉合度、雙眼閉合置信度、注視質(zhì)量、眨眼、掃視、PERCLOS值等方面建立注視狀態(tài)判斷條件，只有在同時滿足所有判斷條件的情況下，記錄的注視點數(shù)據(jù)才是最后用于實驗分析的注視點數(shù)據(jù).注視狀態(tài)判斷條件如表1所示.

表1 注視狀態(tài)判斷條件

3.2 馬爾科夫鏈建模

根據(jù)上述判斷條件，篩選出高質(zhì)量注視點數(shù)據(jù)，并收集最終用于分析的注視目標物序號.結(jié)合注視基本理論中最小注視持續(xù)時間的規(guī)定，對注視點數(shù)據(jù)進行提取.本文所使用的眼動儀采樣頻率為60 Hz，在給定最小注視持續(xù)時間t=100 ms的條件下，對同一目標物序號連續(xù)記錄6次，才達到最小持續(xù)時間.因此，在處理數(shù)據(jù)時，規(guī)定連續(xù)6幀以上記錄到同一注視目標物記為一次注視狀態(tài)數(shù)據(jù)，記錄其注視目標物序號.

注視目標物序號在世界模型建立時確定，由輸出數(shù)據(jù)表中GAZE_OBJ_INDEX體現(xiàn).飛行員視野平面劃分為前窗艙外景區(qū)(1區(qū))、艙內(nèi)儀表區(qū)(2區(qū))、其他視覺區(qū)(3區(qū))，依次對應(yīng)目標物序號輸出值1，2，－1.

假設(shè)每個時間點(每一幀)，被試的注視狀態(tài)只有一種.且由于數(shù)據(jù)采集的間隔很短，可以認為數(shù)據(jù)處理后得到的注視狀態(tài)數(shù)據(jù)是一種離散時間隨機變量序列.此序列無后效性，是離散時間的馬爾科夫鏈［18］.于是，可以得到如下馬爾科夫鏈.

其中，D為注視狀態(tài)的馬爾科夫鏈;t為時間點;T為時間點集合.

圖5所示為狀態(tài)轉(zhuǎn)移示意圖，K為注視狀態(tài)轉(zhuǎn)移概率矩陣，則

或者表示為

其中，pij為狀態(tài)i到狀態(tài)j的轉(zhuǎn)移概率:

馬爾科夫鏈D在t時刻的一步轉(zhuǎn)移概率，不僅與i，j有關(guān)，且與時刻t有關(guān).

圖5 狀態(tài)轉(zhuǎn)移示意圖

4 實驗結(jié)果

對數(shù)據(jù)處理后的高質(zhì)量注視狀態(tài)數(shù)據(jù)進行分析.1區(qū)域是實驗中劃分的前窗艙外景區(qū).如果被試當(dāng)前注視點位于1區(qū)域，下一個注視點轉(zhuǎn)移情況的概率值如表2所示.

表2 當(dāng)前注視點為1區(qū)的一步狀態(tài)概率分布

表2數(shù)據(jù)顯示，如果被試當(dāng)前注視點位于1區(qū)域，下一個注視點仍然位于1區(qū)域的概率(p11)最大，平均達到96.84%.說明被試觀察前窗艙外景區(qū)域時，絕大多數(shù)情況下不能在一次注視中就獲取足夠的信息，需要通過對該區(qū)域進行一次長時間的注視.下一注視點轉(zhuǎn)移到2和3區(qū)域的概率都很小，說明被試在觀察前窗艙外景區(qū)域時，非常專注，對其他的視覺區(qū)域幾乎不關(guān)注.

2區(qū)域是實驗中劃分的艙內(nèi)儀表區(qū).如果被試當(dāng)前注視點位于2區(qū)域，下一個注視點轉(zhuǎn)移情況的概率值如表3所示.

表3 當(dāng)前注視點為2區(qū)的一步狀態(tài)概率分布

表3數(shù)據(jù)顯示，如果被試當(dāng)前注視點位于2區(qū)域，下一個注視點仍位于2區(qū)域的概率(p22)最大，平均達到92.58%.說明被試觀察艙內(nèi)儀表區(qū)時，因該區(qū)域信息豐富，絕大多數(shù)情況下不能在一次注視中就獲取足夠的信息，需要通過對該區(qū)域進行一次長時間的注視.下一注視點轉(zhuǎn)移到1和3區(qū)域的概率都很小，說明被試在觀察艙內(nèi)儀表區(qū)域時，非常專注，對其他的視覺區(qū)域幾乎不關(guān)注.

3區(qū)域是實驗中劃分的其他視覺區(qū).此時被試主要觀察艙內(nèi)儀表區(qū)和前窗艙外景區(qū)以外的視覺區(qū)域.當(dāng)被試當(dāng)前注視點位于3區(qū)域時，下一個注視點轉(zhuǎn)移情況的概率值如表4所示.

表4 當(dāng)前注視點為3區(qū)的一步狀態(tài)概率分布

表4中的數(shù)據(jù)顯示，如果被試當(dāng)前注視點位于3區(qū)域，下一個注視點位于3個視覺區(qū)域的概率均值大致相近.說明被試在觀察其他區(qū)域時，會同時關(guān)注艙內(nèi)儀表區(qū)和艙外景區(qū).

當(dāng)前注視點為3區(qū)時，不同飛行員之間的一步狀態(tài)轉(zhuǎn)移概率相差較大.這是由于實驗過程中，被試在3區(qū)的注意力分配較少，加之在實驗后處理數(shù)據(jù)時，對注視這一視覺狀態(tài)進行嚴格篩選，并按照最小注視持續(xù)時間t=100 ms對注視點數(shù)據(jù)做提取，這樣處理后的數(shù)據(jù)在使用馬爾科夫鏈分析方法進行分析時，3區(qū)的注視點數(shù)據(jù)非常有限，單個注視點數(shù)據(jù)就會對總體產(chǎn)生顯著影響.

通過對一步狀態(tài)轉(zhuǎn)移概率分布情況的分析，認為被試在觀察艙內(nèi)儀表區(qū)和前窗艙外景區(qū)時，由于視覺區(qū)內(nèi)信息豐富，短時間注視無法獲得足夠信息，往往需要長時間的注視;被試的視覺注意力在其他視覺區(qū)時，由于該區(qū)域信息量少，在一次注視狀態(tài)中就能獲取該區(qū)的全部有效信息，因此視覺注意力在下一時刻向各視覺區(qū)發(fā)生轉(zhuǎn)移的概率大致相近;被試在飛行模擬實驗中觀察視覺區(qū)獲取信息時，注意力相對較為集中.

飛行員在飛機起飛、爬升過程中，需要獲得大量的信息，觀察艙內(nèi)儀表區(qū)能夠獲得速度、爬升率、航向、飛行高度等數(shù)據(jù)，觀察艙外景區(qū)可以確保起飛過程中飛機始終對正跑道，獲得跑道上的交通情況、障礙物等各項有效信息.這些實際情況也從實驗數(shù)據(jù)的處理結(jié)果中得到驗證.

5 結(jié) 束 語

以固定式飛行模擬器和非接觸式眼動儀(FaceLAB4.0)構(gòu)建了在模擬飛行過程中測試飛行員視覺特征的眼動實驗平臺.實驗中使用的眼動設(shè)備能夠精確標定面部視覺特征點、標注注視物體，建立每位被試的頭部模型和世界模型，使眼動跟蹤數(shù)據(jù)更精確、更有效.該設(shè)備相比于其他眼動追蹤設(shè)備，因其非接觸式的特點對被試干擾少、測試精度高而更具應(yīng)用優(yōu)勢.眼動實驗中被試下一個注視點所處的位置，只依賴于當(dāng)前的注視點位置，而與此前注視點的位置無關(guān)，因此采用馬爾可夫鏈的方法分析被試的注視點數(shù)據(jù)具有可行性.本文搭建的實驗平臺及使用的數(shù)學(xué)分析方法，是一種研究飛行員飛行過程中視覺注視變化的有效手段.

References)

［1］強生權(quán).如何預(yù)防飛行中的人為差錯［J］.人力資源管理，2010(4):52－53 Qiang Shengquan.How to prevent human error in flight［J］.Human Resource Management，2010(4):52－53(in Chinese)

［2］Jacob R J K，Karn K S.Eye tracking in human-computer interaction and usability research:ready to deliver the promises［J］.Computer Vision and Image Understanding，2003，24:682－701

［3］Fitts P M，Jones R E，Milton J L.Eye movements of aircraft pilots during instrument-landing approaches［J］.Aeronautical Engineering Review，1950，9(2):24－29

［4］Jarvis S，Harris D.Looking for an accident:glider pilots'visual management and potentially dangerous final turns［J］.Aviation Space and Environmental Medicine，2007，78(6):597－600

［5］Schriver A T，Morrow D G，Wickens C D，et al.Expertise differences in attentional strategies related to pilot decision making［J］.Human Factors，2008，50(6):864－878

［6］Kim J，Palmisano S A，Ash A，et al.Pilot gaze and glideslope control［J］.Acm Transactions on Applied Perception，2010，7(3):1－20

［7］Sarter N B，Mumaw R J，Wickens C D.Pilots'monitoring strategies and performance on automated flight decks:an empirical study combining behavioral and eye-tracking data［J］.Human Factors，2007，49(3):347－357

［8］Hasse C，Bruder C，Grasshoff D，et al.Future ability requirements for human operators in aviation，in engineering psychology and cognitive ergonomics［C］//Proceedings 8th International Conference，(EPCE 2009).Heidelberg:Springer，2009:537－546

［9］Seeingmachines.FaceLAB user support forum［M］.Hongkong:Seeingmachines，2005

［10］蘇建民.飛機座艙設(shè)計人機交互技術(shù)研究［D］.西安:西北工業(yè)大學(xué)，2002 Su Jianmin.Aircraft cockpit design of human-computer interaction research［D］.Xi'an:Northwestern Polytechnical University，2002(in Chinese)

［11］王黎明.基于知識庫的飛機駕駛艙布局設(shè)計方法研究［D］.西安:西北工業(yè)大學(xué)飛行器設(shè)計系，2004 Wang Liming.Cockpit layout design method based on the knowledge database［D］.Xi'an:Department of Flight Vehicle Design，Northwestern Polytechnical University，2004(in Chinese)

［12］柳忠起，袁修干，樊瑜波，等.模擬飛機著陸飛行中專家和新手眼動行為的對比［J］.航天醫(yī)學(xué)與醫(yī)學(xué)工程，2009，22(5):358－361 Liu Zhongqi，Yuan Xiugan，F(xiàn)an Yubo，et al.Comparison of expert and novice eye movement behaviors du ring simulated landing flight［J］.Space Medicine ＆ Medical Engineering，2009，22(5):358－361(in Chinese)

［13］柳忠起，袁修干，劉偉，等.飛行員注意力分配的定量測量方法［J］.北京航空航天大學(xué)學(xué)報，2006，32(5):528－520 Liu Zhongqi，Yuan Xiugan，Li Wei，et al.Quantitative measuring method of pilot s'attention allocation［J］.Journal of Beijing University of Aeronautics and Astronautics，2006，32(5):528－520(in Chinese)

［14］柳忠起，袁修干，劉偉，等.基于模擬飛行任務(wù)下的眼動指標分析［J］.中國安全科學(xué)學(xué)報，2006，16(2):47－51 Liu Zhongqi，Yuan Xiugan，Li Wei，et al.Analysis on eye movement indices based on simulated flight task［J］.China Safety Science Journal，2006，16(2):47－51(in Chinese)

［15］徐興民.視線跟蹤技術(shù)及其應(yīng)用研究［D］.南京:南京航空航天大學(xué)安全技術(shù)及工程系，2007 Xu Xingmin.Eye tracking technology and its applications［D］.Nanjing:Department of Safety Technology and Engineering，Nanjing University of Aeronautics and Astronautics，2007(in Chinese)

［16］Seeingmachines.FaceLAB4 user manual［M］.Canberra:Australia，2004:9

［17］郭應(yīng)時.交通環(huán)境及駕駛經(jīng)驗對駕駛員眼動和工作負荷影響的研究［D］.西安:長安大學(xué)，2009 Guo Yingshi.Study on effects of traffic environment and driving experience on driver's eye movement and workload［D］.Xi'an:Chang'an University，2009(in Chinese)

［18］張波，張景肖.應(yīng)用隨機過程［M］.北京:清華大學(xué)出版社，2004 Zhang Bo，Zhang Jingxiao.Application of stochastic processes［M］.Beijing:Tsinghua University Press，2004(in Chinese)