基于視線追蹤技術(shù)的工藝操作人員人為失誤識(shí)別研究*

胡瑾秋，張來(lái)斌，胡靜樺

(中國(guó)石油大學(xué)(北京) 安全與海洋工程學(xué)院 油氣生產(chǎn)事故預(yù)防與控制基礎(chǔ)研究室，北京 102249)

0 引言

現(xiàn)代工藝的自動(dòng)化水平逐日提高，但人工操作過(guò)程還不能被自動(dòng)化設(shè)備所完全取代。同時(shí)隨著智能化水平的不斷提高，一旦出現(xiàn)操作事故，事故進(jìn)程更難控制、后果更加嚴(yán)重。根據(jù)資料統(tǒng)計(jì)[1-2]，近年來(lái)人因失誤導(dǎo)致的安全事故占全部工業(yè)事故的比例從20%上升到80%，具體到電力生產(chǎn)、油氣生產(chǎn)等行業(yè)，有70%～80%的事故是由于人因失誤引起的。因此，有效預(yù)防人因失誤，并在失誤發(fā)生之前進(jìn)行有效的預(yù)警，是工藝生產(chǎn)事故預(yù)防與控制的關(guān)鍵環(huán)節(jié)之一[3]。

在典型控制室中，操作者在異常情況處理期間執(zhí)行的認(rèn)知任務(wù)可以分為：熟悉情況、診斷和執(zhí)行3個(gè)步驟。人為失誤可能發(fā)生在其中任何1個(gè)步驟之中，每1項(xiàng)失誤都能帶來(lái)負(fù)面影響[4-6]。

目前在生產(chǎn)實(shí)際中消除人為失誤的最常見(jiàn)的方法是在過(guò)程危害分析期間對(duì)其進(jìn)行分析，或使用在風(fēng)險(xiǎn)分析中的人的失誤概率來(lái)計(jì)算人的可靠性，存在較強(qiáng)的主觀判斷。因此，需要通過(guò)對(duì)操作員認(rèn)知狀態(tài)的自動(dòng)監(jiān)測(cè)、識(shí)別、評(píng)估，確保操作者正確地實(shí)施操作，從而減少因人為失誤帶來(lái)的工藝安全事故。

視線追蹤技術(shù)能夠分析操作者的心理過(guò)程，適用于監(jiān)測(cè)與識(shí)別設(shè)備系統(tǒng)操作者的認(rèn)知狀態(tài)。近年來(lái)，對(duì)視線追蹤技術(shù)的應(yīng)用包括醫(yī)療安全、駕駛安全、視覺(jué)搜索和信息處理等方面[7-10]。文獻(xiàn)[11]使用視線追蹤技術(shù)來(lái)評(píng)估新手和駕駛熟練的飛行員的操作行為，研究結(jié)果表明，關(guān)于飛行員的認(rèn)知狀態(tài)的信息可以通過(guò)持續(xù)監(jiān)測(cè)的眼動(dòng)數(shù)據(jù)來(lái)獲得；文獻(xiàn)[12]對(duì)外科醫(yī)生的操作熟練度進(jìn)行判斷，發(fā)現(xiàn)經(jīng)驗(yàn)較少的外科醫(yī)生視線主要集中于手術(shù)顯示器而忽視患者的生命體征；文獻(xiàn)[13]中也得出了經(jīng)驗(yàn)豐富的醫(yī)生更頻繁關(guān)注麻醉監(jiān)視器的結(jié)論；文獻(xiàn)[14]中使用眼動(dòng)數(shù)據(jù)識(shí)別專業(yè)車手和首次騎摩托車的新手，將視線注視情況與道路環(huán)境相關(guān)聯(lián)以評(píng)估駕駛員的行駛狀態(tài)。因此，視線追蹤技術(shù)能對(duì)各個(gè)領(lǐng)域中操作者的認(rèn)知狀態(tài)進(jìn)行有效的監(jiān)測(cè)，從而可實(shí)現(xiàn)異常行為的早期預(yù)警。

本文結(jié)合視線追蹤技術(shù)對(duì)生產(chǎn)工藝操作人員人為失誤模式進(jìn)行分析，提取人為失誤的眼動(dòng)數(shù)據(jù)特征，建立失誤模式智能識(shí)別方法，能夠通過(guò)人員對(duì)工藝生產(chǎn)調(diào)控系統(tǒng)注視的眼動(dòng)特征進(jìn)行有效的監(jiān)測(cè)，智能識(shí)別操作人員的失誤模式，實(shí)現(xiàn)對(duì)誤操作的早期預(yù)警。

1 眼動(dòng)數(shù)據(jù)采集

1.1 視線追蹤技術(shù)

視線追蹤技術(shù)是1種通過(guò)檢測(cè)人員在各個(gè)時(shí)間注視的位置，注視的時(shí)間長(zhǎng)短以及眼球的運(yùn)動(dòng)軌跡等信息來(lái)幫助科學(xué)家了解被測(cè)人員注意力情況的技術(shù)[15-16]。本研究采用瞳孔-角膜反射法實(shí)現(xiàn)操作人員在工藝過(guò)程調(diào)控中的視線追蹤，以識(shí)別其發(fā)生誤操作的可能。如圖1所示，視線追蹤系統(tǒng)通過(guò)將1束紅外光線射向眼睛，再利用相機(jī)記錄來(lái)自眼睛的反射信息，然后對(duì)該信息進(jìn)行處理以獲得關(guān)于注視和眼跳的相關(guān)信息。

圖1 瞳孔-角膜反射法Fig.1 Pupil-cornea reflection method

圖2 模擬生產(chǎn)操作人機(jī)界面中的注視和眼跳過(guò)程示意Fig.2 Schematic diagram of fixation and saccade processes in simulated production operation man-machine interface

人員在工藝操作時(shí)眼球會(huì)產(chǎn)生一系列由于眼球跳動(dòng)而產(chǎn)生的離散停頓，這些離散停頓被稱為注視，眼球的跳動(dòng)被稱為眼跳。視覺(jué)對(duì)于信息的處理僅在注視期間發(fā)生，在眼跳期間被基本抑制，眼睛的整體活動(dòng)可以認(rèn)為是注視、眼跳和眨眼的組合。圖2為工藝操作人員在中控室遠(yuǎn)程操作設(shè)備時(shí)的注視和眼跳過(guò)程，圖中的圓圈表示注視點(diǎn)，其中圓圈的大小表示注視時(shí)間的長(zhǎng)短，數(shù)字是以毫秒為單位所表示的注視時(shí)間，而連接各圓圈的線段表示眼跳。

根據(jù)眼腦一致假說(shuō)可以認(rèn)為，人的眼動(dòng)特征是能夠?qū)崟r(shí)展示其認(rèn)知情況的窗口，并且能夠根據(jù)眼動(dòng)特征提供關(guān)于人的認(rèn)知行為的動(dòng)態(tài)信息。因此，為了更高層次的對(duì)人員注視特點(diǎn)，以及大腦對(duì)外部信息的理解過(guò)程進(jìn)行有效的分析，本文建立如下基于眼動(dòng)數(shù)據(jù)的注視統(tǒng)計(jì)指標(biāo)，對(duì)操作人員各類注視模式進(jìn)行有效的辨識(shí)：

①注視時(shí)間(s)：每次注視目標(biāo)區(qū)域的持續(xù)時(shí)間；

②注視次數(shù)：測(cè)試者注視目標(biāo)區(qū)域的次數(shù)；

③停留時(shí)間(s)：落在目標(biāo)區(qū)域內(nèi)的所有注視時(shí)間的總和；

④注視比率(%)：對(duì)某一區(qū)域每秒的注視次數(shù)；

⑤眼跳時(shí)間(s)：眼睛在2個(gè)注視點(diǎn)之間實(shí)際移動(dòng)的時(shí)間。

1.2 眼動(dòng)分析實(shí)驗(yàn)

本次眼動(dòng)分析實(shí)驗(yàn)通過(guò)中控室操作人員對(duì)生產(chǎn)乙醇流程的控制來(lái)研究操作人員的認(rèn)知情況。整個(gè)生產(chǎn)裝置主要由進(jìn)行反應(yīng)的連續(xù)攪拌反應(yīng)器(CSTR)以及對(duì)產(chǎn)物進(jìn)行處理的蒸餾塔組成。主要發(fā)生的化學(xué)反應(yīng)為乙烯與水在CSTR中發(fā)生反應(yīng)生成產(chǎn)物乙醇，其反應(yīng)機(jī)理如式(1)所示：

C2H4+H2OCH3CH2OH ΔH=-45 kJ·mol-1

(1)

這一流程中沒(méi)有使用任何自動(dòng)控制器，因此監(jiān)視和控制需要由操作者(人工參與)執(zhí)行。在本次實(shí)驗(yàn)中共有18 名不具備相關(guān)工藝操作經(jīng)驗(yàn)的學(xué)生來(lái)扮演控制室操作員的角色。在實(shí)驗(yàn)之前，沒(méi)有告知被試這項(xiàng)研究的真實(shí)目的，以防止影響他們的認(rèn)知行為并防止他們產(chǎn)生任何輔助或破壞實(shí)驗(yàn)假設(shè)的戰(zhàn)略反應(yīng)。具體的操作界面如圖3所示。

圖3 實(shí)驗(yàn)界面目標(biāo)區(qū)域劃分Fig.3 Division of target areas in experimental interface

在實(shí)驗(yàn)中通過(guò)模擬6個(gè)與內(nèi)外擾動(dòng)相關(guān)的異常事件場(chǎng)景(見(jiàn)表1)來(lái)分析操作者的認(rèn)知行為。在實(shí)驗(yàn)過(guò)程中，每名測(cè)試者的任務(wù)是由6個(gè)異常事件場(chǎng)景組成的隨機(jī)集合。也就是說(shuō)，18名測(cè)試者的實(shí)驗(yàn)產(chǎn)生了1個(gè)包含108個(gè)任務(wù)的數(shù)據(jù)集?？紤]到操作者之間的固有變異性，將具有類似任務(wù)完成狀態(tài)的測(cè)試者聚集，以便從他們的眼動(dòng)數(shù)據(jù)特點(diǎn)中提取可聚類的模式。

表1 實(shí)驗(yàn)中的異?？刂茍?chǎng)景Table 1 Anomaly control scenarios in experiments

在實(shí)驗(yàn)期間，測(cè)試者操作調(diào)控系統(tǒng)對(duì)異常事件進(jìn)行處理的過(guò)程中，其各項(xiàng)動(dòng)作均被視線追蹤系統(tǒng)記錄下來(lái)，包括視線的移動(dòng)、鼠標(biāo)的點(diǎn)擊移動(dòng)、對(duì)各個(gè)滑塊的操作，以及各項(xiàng)過(guò)程參量的實(shí)時(shí)變化。

2 失誤模式與失誤類型識(shí)別方法

2.1 失誤模式建立

為了對(duì)被試者在實(shí)驗(yàn)期間的認(rèn)知行為進(jìn)行分析，將操控系統(tǒng)界面中的17個(gè)特定區(qū)域標(biāo)記為目標(biāo)區(qū)域(AOI，Area of Interest)，包括11個(gè)變量標(biāo)簽(T)、4個(gè)滑塊(V)、趨勢(shì)窗口以及報(bào)警摘要窗口。具體的目標(biāo)區(qū)域形狀、大小及劃分情況在圖3中給出。對(duì)各個(gè)目標(biāo)區(qū)域的眼動(dòng)指標(biāo)的分類分析可以將數(shù)據(jù)的有效性最大化并且使校準(zhǔn)誤差最小化。

從認(rèn)知行為角度，一旦出現(xiàn)異常事件，被試者必須在人機(jī)界面中對(duì)多個(gè)目標(biāo)區(qū)域進(jìn)行有序的觀察來(lái)分析該異常事件的類型、原因及應(yīng)對(duì)措施：

①通過(guò)點(diǎn)擊變量標(biāo)簽來(lái)顯示相應(yīng)變量的趨勢(shì)變化；

②通過(guò)觀察趨勢(shì)窗口來(lái)觀察變量的變化情況；

③通過(guò)操作主滑塊來(lái)控制閥門的開(kāi)閉度。

因此，將目標(biāo)區(qū)域歸納為趨勢(shì)窗口、主滑塊、主標(biāo)簽、次要滑塊、報(bào)警摘要和其他區(qū)域6個(gè)區(qū)域。通過(guò)統(tǒng)計(jì)操作者在每個(gè)目標(biāo)區(qū)域上的停留持續(xù)時(shí)間和多個(gè)目標(biāo)區(qū)域之間的轉(zhuǎn)換，分析他們處理異常事件的認(rèn)知行為特點(diǎn)。

在數(shù)據(jù)分析階段，發(fā)現(xiàn)操作者有部分失敗操作時(shí)的眼動(dòng)情況顯示與典型操作具有不同的特征。因此按不同眼動(dòng)特征對(duì)這些被試者眼動(dòng)數(shù)據(jù)進(jìn)行分類。分類后通過(guò)與被試者溝通，得出其當(dāng)下精神狀態(tài)，并將其操作方式對(duì)應(yīng)不同認(rèn)知狀態(tài)。將這些認(rèn)知狀態(tài)與安全行為科學(xué)原理中關(guān)于人為失誤分類方法的概念法分類結(jié)果(偏離、疏忽、錯(cuò)誤)相結(jié)合，最終得出3類人為失誤的失誤模式：精神渙散、高度緊張和操作生疏，如圖4所示。從而將實(shí)驗(yàn)結(jié)果數(shù)據(jù)按認(rèn)知狀態(tài)分為4組：

A組：正常工作狀態(tài)。

B組：被試操作生疏。包括預(yù)先培訓(xùn)階段未掌握操作技巧。

C組：被試精神渙散。包括被試疲勞或者在操作過(guò)程中收到其他因素干擾。

D組：被試高度緊張。

圖4 失誤模式分類Fig.4 Classification of error patterns

通過(guò)數(shù)據(jù)統(tǒng)計(jì)，將這4組在各個(gè)目標(biāo)區(qū)域的視線停留時(shí)間進(jìn)行對(duì)比分析，得出各失誤模式的失誤特征，如圖5所示。圖5中，橫坐標(biāo)按4種狀態(tài)在不同區(qū)域的注視情況分類，縱坐標(biāo)為該組在該區(qū)域注視視線停留時(shí)間占總時(shí)間的百分比。

圖5 各組被試者完成測(cè)試任務(wù)時(shí)的視線停留時(shí)間分布Fig.5 Distribution of sight fixation time for each group of testers when finishing testing tasks

從圖5中可以看出，在視線停留時(shí)間的分布上,B組在次要變量標(biāo)簽上的停留時(shí)間遠(yuǎn)高于A組，達(dá)到了30%，而在趨勢(shì)窗口和主變量標(biāo)簽上的值遠(yuǎn)低于A組，分別為28%和15%；C組在其他區(qū)域上的停留時(shí)間遠(yuǎn)高于A組，達(dá)到了30%；D組在主滑塊上的停留時(shí)間遠(yuǎn)高于A組。

2.2 失誤類型識(shí)別方法建立

在對(duì)各類被試者在不同目標(biāo)區(qū)域注視情況的研究中，發(fā)現(xiàn)雖然不同失誤模式展現(xiàn)出了全然不同的眼動(dòng)數(shù)據(jù)特征，但各個(gè)參數(shù)之間的定量關(guān)系難以用固定的數(shù)學(xué)公式描述。失誤模式與不同區(qū)域注視時(shí)間之間雖然具有較高的模糊性，但失誤模式一定，且具有模式可分性。因此，嘗試?yán)镁嚯x函數(shù)分類法對(duì)失誤模式進(jìn)行分類。將每個(gè)待測(cè)樣品看作P維空間的1個(gè)點(diǎn)，通過(guò)計(jì)算P維空間中待測(cè)樣本與各個(gè)標(biāo)準(zhǔn)樣本之間的距離，把距離最小的那一類認(rèn)定為待測(cè)樣本所屬的分類。

具體實(shí)施步驟如下：

1)通過(guò)對(duì)實(shí)驗(yàn)中各組失誤模式在各個(gè)目標(biāo)區(qū)域的視線停留時(shí)間進(jìn)行歸納統(tǒng)計(jì)，得出主要失誤模式及其特征參數(shù)，具體見(jiàn)表2。表2中參數(shù)為各組認(rèn)知狀態(tài)對(duì)應(yīng)的操作人員在各個(gè)目標(biāo)區(qū)域注視時(shí)間長(zhǎng)短占總注視時(shí)間的比值。

表2 各類失誤模式特征參數(shù)值Table 2 Values of characteristic parameters for each type of error pattern

注：表中參數(shù)為被試者在不同區(qū)域的注視時(shí)間比例。

2)根據(jù)表2中數(shù)據(jù)建立關(guān)于認(rèn)知狀態(tài)的標(biāo)準(zhǔn)矩陣Y。矩陣的每1行分別表示正常、操作生疏、精神渙散、高度緊張4種狀態(tài)；矩陣的每1列分別表示被試者在趨勢(shì)窗口、主滑塊、主標(biāo)簽、次要滑塊、報(bào)警摘要、其他區(qū)域的視線停留時(shí)間百分比。

3)進(jìn)一步計(jì)算各指標(biāo)的權(quán)重矩陣W。矩陣的每1行分別表示4種認(rèn)知狀態(tài)；每1列分別表示對(duì)應(yīng)狀態(tài)下在不同區(qū)域中注視時(shí)間長(zhǎng)短的指標(biāo)重要度。

4)利用視線追蹤系統(tǒng)采集操作者進(jìn)行操作時(shí)的眼動(dòng)數(shù)據(jù)。在本次數(shù)據(jù)分析過(guò)程中，選擇 “持續(xù)時(shí)間”、“坐標(biāo)X”、“坐標(biāo)Y”3項(xiàng)數(shù)據(jù)作為分析過(guò)程的輸入。

5)采用距離函數(shù)分類法，其輸入值包括注視點(diǎn)坐標(biāo)的x值、y值及注視持續(xù)時(shí)間。實(shí)現(xiàn)對(duì)注視點(diǎn)按照目標(biāo)區(qū)域分區(qū)，統(tǒng)計(jì)各區(qū)域注視持續(xù)時(shí)間，計(jì)算各區(qū)域注視持續(xù)時(shí)間百分比，得出樣本參數(shù)矩陣，進(jìn)而計(jì)算歐氏距離矩陣，并將樣本與參照對(duì)象的距離由大到小排序。根據(jù)分類法則，樣本與哪一個(gè)失誤模式類距離最小，則該被試的操作狀態(tài)就判別到那一類。

3 案例分析

3.1 歐氏距離函數(shù)分類結(jié)果

以表3中的8個(gè)測(cè)試樣本為對(duì)象進(jìn)行試驗(yàn)。樣本1，5被試者為正常狀態(tài)；樣本2，6被試者為操作生疏；樣本3，7被試者為操作狀態(tài)疲勞；樣本4，8被試者操作時(shí)狀態(tài)緊張。

表3 操作人員操作狀態(tài)測(cè)試樣本Table 3 Testing samples of operators’operation status

最終利用歐氏距離函數(shù)法對(duì)操作者的認(rèn)知狀態(tài)進(jìn)行識(shí)別的結(jié)果見(jiàn)表4，可以看出，除了第4號(hào)樣本的狀態(tài)判別與真實(shí)情況存在差距以外，其余各組樣本的識(shí)別結(jié)果均與實(shí)際情況一致。

表4 樣本與各類失誤模式的歐氏距離Table 4 Euclidean distance between samples and each type of error pattern

3.2 加權(quán)歐氏距離函數(shù)分類結(jié)果

由于每種失誤模式的眼動(dòng)情況都有各自明顯的標(biāo)志和特征，引入權(quán)系數(shù)矩陣來(lái)強(qiáng)化各個(gè)區(qū)域注視情況對(duì)分類起到的不同作用。對(duì)于每個(gè)失誤模式的各個(gè)參數(shù)其權(quán)重值均不同。以各個(gè)模式的標(biāo)準(zhǔn)參數(shù)矩陣作為基準(zhǔn)，結(jié)合權(quán)重計(jì)算表3中各樣本的加權(quán)歐氏距離，最終利用加權(quán)歐氏距離函數(shù)法對(duì)操作者進(jìn)行認(rèn)知狀態(tài)識(shí)別，結(jié)果見(jiàn)表5。從表5可以看出，與一般歐氏距離分類法相比，失誤模式識(shí)別的準(zhǔn)確性進(jìn)一步得到了提高。

表5 樣本與各類失誤模式的加權(quán)歐氏距離Table 5 Weighted euclidean distance between samples and each type of error pattern

4 結(jié)論

1)針對(duì)已有的人為失誤分析方法大都依賴于歷史數(shù)據(jù)或主觀判斷的情況，本文創(chuàng)建了基于視線追蹤技術(shù)的工藝生產(chǎn)操作人員人為失誤監(jiān)測(cè)與識(shí)別技術(shù)。建立了以眼動(dòng)特征群為指標(biāo)的人員認(rèn)知行為失誤監(jiān)測(cè)方法，實(shí)現(xiàn)了對(duì)生產(chǎn)過(guò)程中操作人員認(rèn)知行為的實(shí)時(shí)感知與監(jiān)測(cè)。

2)提出基于聚類分析的操作人員失誤狀態(tài)綜合識(shí)別方法，以被試者在不同區(qū)域的視線停留時(shí)間百分比作為特征參數(shù)，運(yùn)用加權(quán)歐氏距離函數(shù)分類法對(duì)待測(cè)狀態(tài)與參考模式之間的距離進(jìn)行比對(duì)。

3)實(shí)驗(yàn)結(jié)果顯示，使用加權(quán)歐氏距離分類法加以改進(jìn)后，不僅對(duì)認(rèn)知模式類別的識(shí)別更加準(zhǔn)確，且識(shí)別模式與其他模式類別的距離也增大，顯著提高了失誤模式識(shí)別的分辨率，有利于對(duì)工藝生產(chǎn)操作人員誤操作的早期預(yù)警。