基于視線追蹤的三維模擬滅火救援培訓效果評估

胡瑾秋 胡靜樺 張曦月

（中國石油大學（北京）安全與海洋工程學院，北京 102249）

0 引言

視線追蹤技術(shù)能夠分析操作者的心理過程，適用于監(jiān)測與識別設(shè)備系統(tǒng)操作者的認知狀態(tài)。近年來，對視線追蹤技術(shù)的應(yīng)用包括醫(yī)療安全、駕駛安全、視覺搜索和信息處理等方面[1-4]。文獻[5]使用視線追蹤技術(shù)來評估新手和駕駛熟練的飛行員的操作行為并判斷其認知狀態(tài)。文獻[6-7]對外科醫(yī)生的操作熟練度進行判斷，發(fā)現(xiàn)經(jīng)驗較少的外科醫(yī)生視線主要集中于手術(shù)顯示器而忽視患者的生命體征。文獻[8]中使用眼動數(shù)據(jù)識別專業(yè)車手和新手，將視線注視情況與道路環(huán)境相關(guān)聯(lián)以評估駕駛員的行駛狀態(tài)。同時，相關(guān)學者也開展了一系列眼動追蹤系統(tǒng)軟硬件以及認知行為評估等關(guān)鍵技術(shù)的研究[9-11]，在提高注視點標定準確度等方面取得了一定的成果。因此，視線追蹤技術(shù)能對各個領(lǐng)域中操作者的認知狀態(tài)進行有效的監(jiān)測，從而實現(xiàn)異常行為的早期預警。

本文利用視線追蹤系統(tǒng)結(jié)合滅火救援指揮三維計算機模擬訓練平臺開展基于視線追蹤技術(shù)的油庫滅火應(yīng)急救援能力評估。針對穩(wěn)定燃燒型火災模擬實驗、爆炸型火災模擬實驗、火災救援中冷卻與供水實驗等場景，通過分析操作人員的各項眼動數(shù)據(jù)建立以眼動數(shù)據(jù)為指標的救援能力評估模型。

1 眼動分析實驗

本實驗利用滅火救援指揮三維計算機模擬訓練平臺（簡稱滅火救援系統(tǒng)），研究實驗人員在模擬油罐火災發(fā)生后的滅火救援能力。實驗場景設(shè)計為某廠區(qū)一個拱頂油罐的火災，實驗模擬的火災類型包括滅火救援系統(tǒng)中的穩(wěn)定燃燒型火災模擬實驗、爆炸型火災模擬實驗、沸溢型火災模擬實驗以及敞開式火災模擬實驗。在實驗過程中，操作者通過選擇正確的消防滅火劑及其流速和流量，利用鍵盤、鼠標控制人物行走和消防槍的位置姿態(tài)，對著火油罐進行滅火救援。當火量減少為0時視為當前任務(wù)成功，同時設(shè)定規(guī)定實驗時間為240s，若測試者在規(guī)定時間內(nèi)無法完成上述整個流程，則實驗記錄將會自動停止，視為實驗失敗。部分階段的操作界面，如圖1。

在實驗期間，測試者操作滅火救援系統(tǒng)對異常事件進行處理的過程中，其各項動作均被視線追蹤系統(tǒng)記錄下來，包括視線的移動、鼠標的點擊移動以及對各項參數(shù)的輸入。

圖1 實驗興趣區(qū)域劃分Fig.1 Shape of various AOIs in the experiment

圖2 熱點圖Fig.2 Eye movement hotspot map

2 失誤模式與失誤特征提取

2.1 興趣區(qū)域劃分

實驗結(jié)束后，利用眼動分析軟件得到的熱點圖像可以直觀地展現(xiàn)測試者在操作過程中的視線停留情況。如圖2是一位典型測試者在測試部分階段的熱點圖像，熱點區(qū)域顏色較深部分表示測試者在該區(qū)域的注視時間較長，因此從圖中可以看出測試者在實驗過程中對某些區(qū)域展現(xiàn)出較大的關(guān)注度，分配趨勢大致是以系統(tǒng)給出的文字提示為主，并且在實施滅火救援階段對火量和具體火情較為關(guān)注。

對規(guī)定目標區(qū)域的眼動指標的分類分析可以將數(shù)據(jù)的有效性最大化并且使校準誤差最小化。因此我們依據(jù)對熱點圖的分析，將整個實驗系統(tǒng)中的10個特定的區(qū)域設(shè)置為興趣區(qū)域，其中包括4個提示欄模塊、3個選擇輸入模塊、1個火量顯示模塊、1個火勢模塊以及1個實驗開始模塊。興趣區(qū)具體的形狀、大小的劃分情況，如圖1文字標注。

2.2 測試者認知行為分析

利用眼動數(shù)據(jù)分析軟件對興趣區(qū)域進行劃分，通過數(shù)據(jù)統(tǒng)計可以得到測試者在各個區(qū)域的注視時間。圖3是一位典型測試者在進行穩(wěn)定型油庫滅火救援實驗時在各興趣區(qū)域注視時間的分布情況。

圖3 典型測試者各興趣區(qū)注視時間分布Fig.3 The fi xation time distribution of each AOI of typical subjects

從圖3可以看出，測試者在提示欄模塊和選擇輸入模塊的注視時間較長，分別為40.7%和35.4%，在火勢模塊的注視時間最少，僅為2.3%。這一結(jié)果表明，在實驗過程中測試者對于提示欄模塊以及選擇輸入模塊的重視程度是最高的，同時滅火劑種類的選擇及其流量、流速的設(shè)置也都是測試者們在進行實驗時所關(guān)注的重點。

2.3 失誤特征的提取

在以上數(shù)據(jù)分析階段，發(fā)現(xiàn)進行失敗操作的測試者的眼動數(shù)據(jù)與典型操作具有不同的特征。因此按不同眼動特征對這些測試者的眼動數(shù)據(jù)進行分類，并按其操作方式定性為不同的認知狀態(tài)。將這些認知狀態(tài)與安全行為科學原理中關(guān)于人為失誤分類方法的概念法分類結(jié)果（偏離、疏忽、錯誤）相結(jié)合，最終得出3類人為失誤的失誤模式：精神萎靡、高度緊張以及操作生疏，如圖4。從而將實驗結(jié)果按認知狀態(tài)分為4組：A組：測試者正常操作狀態(tài)；B組：測試者精神萎靡狀態(tài)，包括測試者疲勞或在實驗期間受其他因素的影響；C組：測試者高度緊張狀態(tài)；D組：測試者操作生疏狀態(tài)。包括未培訓以及培訓完后未掌握操作技巧的人員。

圖4 失誤模式分類Fig.4 Fault pattern classi fi cation

將這4組在各個目標區(qū)域的視線停留時間進行對比分析，得到其注視時間分布圖，如圖5。圖中橫坐標按4種狀態(tài)在不同區(qū)域的注視情況分類，縱坐標為該組在該區(qū)域視線停留時間占總時間的百分比。

圖5 4類測試者各興趣區(qū)注視時間分布Fig.5 The fi xation time distribution of each AOI of the four types of subjects

從圖5中可以看出：B組在提示欄模塊和選擇輸入模塊的注視時間遠低于A組，分別為25.4%和24.5%，而在火勢模塊上遠高于A組，達到了23.2%。C組在實驗開始模塊的注視時間遠高于A組，達到了24.4%。D組在提示欄模塊和選擇輸入模塊的注視時間遠低于A組，分別為20.4%和18.5%，而在火勢模塊和火量模塊上遠高于A組，分別達到了16.1%和29.8%。

劃分興趣區(qū)域后，利用眼動分析軟件可以得到測試者在不同區(qū)域之間的轉(zhuǎn)移頻次，因此使用統(tǒng)計估算建立一步轉(zhuǎn)移概率矩陣，將測試者注視在各個興趣區(qū)的情況作為所要構(gòu)成的馬爾可夫鏈中的一個狀態(tài)，然后統(tǒng)計出測試者在不同區(qū)域之間轉(zhuǎn)移的概率。設(shè)1，2，3，4，5分別對應(yīng)操作者注視實驗開始模塊、提示欄模塊、火勢模塊、選擇輸入模塊及火量模塊。aij為由i區(qū)域轉(zhuǎn)向j區(qū)域的頻數(shù)。如a23表示測試者當前的注視點為提示欄模塊即處于2區(qū)域，下一注視點轉(zhuǎn)換為3區(qū)域（火勢模塊）。

設(shè)∑nj=1aij=ai（i,j=1,2,…n），那么由狀態(tài)i轉(zhuǎn)向狀態(tài)j的轉(zhuǎn)移概率為fij=aij/ai,（i=1,2…n）。在數(shù)據(jù)統(tǒng)計后，將測試者的轉(zhuǎn)移頻率近似地認為是轉(zhuǎn)移概率。這樣可以得到4組狀態(tài)測試者注視點馬爾科夫鏈的一步轉(zhuǎn)移概率矩陣：

當i=j時，對應(yīng)所建立的馬爾可夫鏈一步轉(zhuǎn)移概率矩陣對角線上的數(shù)值，依據(jù)轉(zhuǎn)移矩陣的定義，該數(shù)值能夠反應(yīng)出測試者們在各個興趣區(qū)域內(nèi)停留重復注視的概率。通過對以上4個一次轉(zhuǎn)移概率矩陣的分析并結(jié)合興趣區(qū)域的劃分，對各組矩陣對角線上的概率值分析可以發(fā)現(xiàn)：與A類測試者對比，B類測試者在火勢模塊上的重復注視概率較大，D類測試者在火量模塊的重復注視率較大，其結(jié)果與各興趣區(qū)域注視時間分布的分析一致。而C類測試者對各個興趣區(qū)域的重復注視概率都比正常操作時的重復注視概率大的多，表明了該類測試者的注視視線的轉(zhuǎn)移頻率較低，易處于長期注視某一興趣區(qū)的狀態(tài)。

2.4 典型人員失誤特征

通過對測試者進行油庫滅火救援眼動實驗所得到的眼動數(shù)據(jù)的統(tǒng)計分析，最終提取出了3類典型失誤模式，即精神萎靡、高度緊張以及操作生疏的眼動失誤特征，見下表。

表 典型失誤模式及其特征Tab. Typical failure mode and its characteristics

3 案例分析

為了證明之前所提取的失誤特征的有效性，選取了其中一名無任何滅火救援培訓的測試者進行進一步的驗證分析。測試者首先在未接受培訓的情況下針對4種類型火災進行模擬現(xiàn)場滅火救援實驗，以模擬認知狀態(tài)為操作生疏類型的人員的操作，同時對其操作過程中的眼動數(shù)據(jù)進行采集。在進行滅火救援操作培訓后，同一名測試者重復以上實驗以模擬正常認知狀態(tài)時的操作。

通過統(tǒng)計以上兩組不同認知狀態(tài)下實驗所得到的眼動數(shù)據(jù)，最終得到了該測試者兩次實驗的各個興趣區(qū)域注視時間的分布，如圖6。

圖6 案例中興趣區(qū)注視時間分布Fig.6 The fixation time distribution of interest zone in the case

從圖6中可以看出，測試者在未進行滅火救援操作培訓時，其視線在火量模塊的注視時間較高，達到了25.5%。在熟練掌握實驗的操作技巧之后，該測試者的在火量模塊的時間占比下降了到了5.4%，并且在提示欄模塊以及選擇輸入模塊的停留時間明顯上升，分別達到了42.7%和32.4%。

由此可以看出測試者在正常操作狀態(tài)下以及操作生疏狀態(tài)下的視線分別集中于不同的特征區(qū)域。因此，也驗證了提取測試者在操作過程中在提示欄、選擇輸入以及火量模塊的注視時間作為識別兩種認知狀態(tài)的特征值是有效的。

4 結(jié)論

（1）針對現(xiàn)有的對于油庫滅火救援能力評估大多依賴于主觀判斷的情況，本文利用視線追蹤系統(tǒng)和實驗室滅火救援三維模擬訓練平臺實現(xiàn)了對模擬油庫滅火救援實驗時的眼動數(shù)據(jù)收集。提出了以眼動數(shù)據(jù)為指標的測試者失誤模式識別方法，從而實現(xiàn)對操作者操作狀態(tài)和認知行為的監(jiān)測。

（2）本文通過對實驗界面進行興趣區(qū)域劃分，分別分析4類測試者在不同興趣區(qū)域的注視停留時間分布，并通過建立在不同區(qū)域間的一步轉(zhuǎn)移概率矩陣，最終得出了3類失誤模式的失誤特征：精神萎靡者視線長期注視火勢模塊，高度緊張者視線轉(zhuǎn)移頻率較低，操作生疏者視線長期注視火量模塊。

（3）利用操作者在不同區(qū)域的注視停留時間分布及其視線轉(zhuǎn)移情況可以判斷其認知狀態(tài)。這一結(jié)果對研究訓練平臺的培訓效果評估具有一定的現(xiàn)實意義，有助于明確培訓方向，完善培訓體系與內(nèi)容。