VR仿真環(huán)境下對艦船操控的情境意識評估研究

陳 杰 何小二 李崇斌 何景異 張 煜

（1.武漢第二船舶設(shè)計研究所，湖北 武漢 430205；2.西安交通大學(xué)機械工程學(xué)院，陜西 西安 710049）

0 前言

隨著新型艦船裝備的技術(shù)指標(biāo)大幅度提升，其信息量的復(fù)雜程度呈幾何級增加，這對操作人員的能力提出了更高的要求。忽視人的生理特征和認知水平的設(shè)計可能會危及任務(wù)的有效性、計劃的執(zhí)行、進度和成本[1]。情境意識（Situation Awareness，SA）這一概念最早由Endsley[2]提出，被用于評估飛行員操作時的認知特性。情境意識，即在特定的時間和空間內(nèi)對環(huán)境中各種要素的知覺，對其含義的理解以及預(yù)測它們隨后的狀態(tài)，反映了“認知-理解-預(yù)測”這一高水平的認知過程。其評估方法可以分為4 類，包括生理指標(biāo)評估（眼動、EEG 等）、記憶探查評估（SAGAT 等）、操作水平評估（任務(wù)績效）和主觀評估（SART 等）。

在艦船航行的過程中，操作員長時間作業(yè)導(dǎo)致的疲勞可能會使注意力集中程度下降、腦力負荷增加，從而導(dǎo)致SA出現(xiàn)問題，使其操作效能下降。因此在航行任務(wù)中對操作員的SA 進行評估具有一定的必要性，既可以優(yōu)化操作臺的界面設(shè)計，也可以提升艦船整體的操作效能。

虛擬現(xiàn)實技術(shù)（Virtual Reality，VR）是一種通過計算機程序創(chuàng)造三維虛擬世界的數(shù)字技術(shù)。該文是在VR 仿真平臺與實物仿真平臺中進行研究，通過評估操作者的SA 來驗證是否可以用VR 仿真平臺替代實物仿真平臺進行艦船操作臺人機界面的人機工效評估。

1 實驗方案

1.1 艦船航行操作任務(wù)

艦船是復(fù)雜的人機系統(tǒng)，具有多人多機協(xié)同關(guān)系復(fù)雜、環(huán)境惡劣、長時間作業(yè)、有限或特定空間中人流、物流、信息流高度密集以及人機界面交互操作繁多等特點[3]。該研究對常規(guī)操作及異常情況下操作的SA 進行評估，設(shè)定的主要任務(wù)包括正常航行工況下發(fā)現(xiàn)異常、執(zhí)行變速和變向等常規(guī)指令操作以及出現(xiàn)應(yīng)急情況下的應(yīng)急處置操作。各工況的具體任務(wù)見表1～表3。

表1 工況一具體任務(wù)

表2 工況二具體任務(wù)

表3 工況三具體任務(wù)

1.2 VR仿真平臺及實物仿真平臺

近年來，隨著VR 技術(shù)的發(fā)展和成熟，VR 技術(shù)在包括場景展示、虛擬漫游、設(shè)計驗證以及虛擬演練等很多領(lǐng)域中進行實際運用?；赩R 技術(shù)的設(shè)計、評估和驗證系統(tǒng)也得到了廣泛運用，包括波音、大眾以及通用等在內(nèi)的公司在很長一段時間以來通過使用VR 技術(shù)來對數(shù)字模型進行模擬以及驗證相關(guān)方案，減少了昂貴的物理原型的使用，從而節(jié)約了大量成本；同時能夠有效地縮短研發(fā)周期，提升產(chǎn)品設(shè)計的質(zhì)量。Rieuf V.等為了驗證在真實環(huán)境與VR 環(huán)境2 種情境下，人在執(zhí)行復(fù)雜任務(wù)過程中的行為模式和工作效率是否存在明顯差異這一疑問，將VR 環(huán)境下與真實環(huán)境下的作業(yè)效率、滿意度以及體驗感受等做了對比測試，讓用戶在2 種環(huán)境下完成一系列的概念設(shè)計的任務(wù)，例如草圖繪制、概念設(shè)計等，結(jié)果發(fā)現(xiàn)VR 環(huán)境下不僅沒有影響其工作成效，還在某些環(huán)節(jié)擁有更好的體驗[4]。實驗表明VR 環(huán)境下人的行為、感受和思維與真實環(huán)境下無顯著差異。

與此同時，VR 技術(shù)也存在一些不足之處，其主要用處在于為用戶提供視覺上的沉浸體驗，但是無法真實地模擬現(xiàn)實中人的動作或展示真實的交互行為，也無法完全模擬操作過程中的力反饋等。因此在使用VR 技術(shù)時，需要考慮交互需求和應(yīng)用場景?；赩R 的人機工效評價手段由單維度視覺驗證發(fā)展為多維度虛實結(jié)合驗證，即在真實的仿真環(huán)境中，借助半實物來進行仿真驗證，提供更好的交互體驗，同時提供真實的物理操作反饋，保證用戶輸入的準(zhǔn)確性，從而提高產(chǎn)品人機工效驗證的結(jié)果和質(zhì)量。

該文實驗涉及的評估設(shè)備包括測試使用的高性能主機、29 英寸顯示屏、VR 仿真平臺采用VR 眼動儀（HTC Vive Pro eye，采用的是植入式VR 眼動追蹤元件，幀率為120 Hz，采用5 點校準(zhǔn)，精度為0.5°～1.1°）、實物仿真平臺采用眼鏡式眼動儀（SMI Eye Tracking Glasses 2.0，采樣率為60 Hz，精度為0.5°）以及配套的實驗室記錄設(shè)備（記錄用紙筆，錄像機，錄音筆等）；使用的軟件包括unity 引擎（Unity 2019.3.4f1）、眼動儀測試數(shù)據(jù)記錄軟件（iMotions）以及屏幕錄制軟件（Camtasia 2019）等。

實驗室長寬各5 m，分為VR 仿真平臺（主機與VR 頭盔）、實物仿真平臺（原有的實驗平臺）和眼鏡式眼動儀及相關(guān)設(shè)備存放桌共3 個區(qū)域，VR 定位器位于房間對角線，共2 臺。實驗環(huán)境及設(shè)備布置平面圖如圖1 所示。

圖1 實驗環(huán)境及設(shè)備布置平面圖

VR 仿真實驗過程中，高性能主機通過HDMI 接口將視頻信號傳輸?shù)斤@示屏上供測試人員監(jiān)視，通過USB 接口將視頻信號傳輸?shù)絍R 頭盔中供被測人員測試。同時，VR 定位器通過光學(xué)信號對VR 頭盔和VR 手柄進行定位，再通過USB 接口將這些位置信息傳輸回主機。VR 手柄也通過USB接口將手部動作傳輸回主機。設(shè)備連接以及數(shù)據(jù)傳輸情況如圖2 所示。

圖2 VR 仿真平臺設(shè)備連接與數(shù)據(jù)傳輸

在實物仿真實驗過程中，眼鏡式眼動儀采集被測使用實物仿真平臺時的眼動信息并將其通過USB 接口傳輸至高性能主機。設(shè)備連接以及數(shù)據(jù)傳輸情況如圖3 所示。

圖3 實物仿真平臺設(shè)備連接與數(shù)據(jù)傳輸

1.3 被試及實驗設(shè)計

該研究共招募9 名被試者，分為3 組，均為男性（年齡范圍在18～45 歲）。第一組為4 名人機工效評價專家，具備人機工效評價的各種方法與理論，能對艦船操作臺的人機工效做出全面評價并給出改進建議，但對艦船操作任務(wù)流程不太熟悉；第二組為3 名艦船操作臺設(shè)計人員，具有多年設(shè)計艦船操作臺的設(shè)計經(jīng)驗，熟悉艦船操作臺界面以及艦船操作方式，對于艦船操作臺的設(shè)計能夠提出有效建議；第三組為2 名艦船操作員，具有多年艦船操作實踐經(jīng)歷，熟悉艦船操作臺界面以及艦船操作方式，并且熟悉操作艦船時各種不同的任務(wù)指令與異常情況。實驗前，所有被試者均被告知實驗步驟和需要采集的數(shù)據(jù)，并簽署了知情同意書。所有被試者身體狀況良好，視力或矯正視力正常，實驗前24 h 內(nèi)保證被試者有足夠的睡眠時間（6 h 以上）。

測試任務(wù)分為4 個部分：第一部分是訓(xùn)練任務(wù)，幫助被試者熟悉被試系統(tǒng)的現(xiàn)實界面邏輯與操作方式。第二部分是模擬正常航行工況，需要被試者及時發(fā)現(xiàn)參數(shù)異常情況并報告指揮員（這里以及下文所有的指揮員均由主測試員擔(dān)任）。第三部分是模擬工況切換任務(wù)，被試者需要聽從指揮員的口令完成操作任務(wù)，并在完成后報告指揮員。第四部分是模擬應(yīng)急處置等事故工況，被試者需要及時發(fā)現(xiàn)異常情況并報告指揮員，指揮員下達處置操作的口令，被試者通過處置操作解除異常情況后報告指揮員。

被試在測試人員的幫助下穿戴用于VR 仿真平臺的實驗設(shè)備并進行校準(zhǔn)，首先進行第一部分的訓(xùn)練任務(wù)，再依次進行第二部分模擬正常航行工況、第三部分模擬工況切換任務(wù)以及第四部分模擬應(yīng)急處置等任務(wù)。各個工況間有5 min 的休息時間，被試在完成每個工況后需要填寫10D-SART 量表。在測試過程中眼動儀全程采集生理信號并由主測試員進行SAGAT 測試。

實物仿真平臺的實驗流程同上。隨機選擇VR 或?qū)嵨锓抡嫫脚_進行測試，全部任務(wù)完成后，再間隔24 h 并在另一平臺進行測試。

1.4 評估變量

Endsley 提出的情境意識評定技術(shù)（Situation Awareness Rating Technique，SART）通過10 維或3 維的SART 量表來評估操作者的SA。近年來有研究表明眼動注視特性與SA 存在聯(lián)系。Van de merwe 等人在一項模擬飛行任務(wù)的故障檢測任務(wù)中提出使用眼動的注視率、注視持續(xù)時間和注視熵作為評估信息獲取效率的指標(biāo)[5]。因為任務(wù)績效無法直接反映操作人員的SA，所以通常被作為一種間接的SA 評估方式，而情境意識全局評估技術(shù)（Situation Awareness Global Assess Technique，SAGAT）被認為是評估SA 最有效的方法之一[6]。

腦力負荷、注意力分配策略與情境意識之間存在緊密又復(fù)雜的關(guān)系，一般認為腦力負荷水平?jīng)Q定了注意力分配的效率和方式，而注意力分配水平的優(yōu)劣則是測試作業(yè)人員情境意識水平高低的依據(jù)之一[7]?，F(xiàn)有研究更多地關(guān)注了腦力負荷和情境意識之間的關(guān)系，而其中較少涉及由信息優(yōu)先級設(shè)計所產(chǎn)生的作業(yè)人員注意力分配策略的影響。

目前國內(nèi)對于信息化人機交互界面的工作負荷評估方面的研究起步較晚，主要在航空航天領(lǐng)域較為系統(tǒng)地開展了腦力工作負荷方面的研究工作，海軍裝備受到技術(shù)等各方面因素的制約，還未對評價人員的腦力工作負荷能力展開深入研究。張智君對飛行員腦力負荷主觀評定方法的特點及局限性進行了總結(jié)[8]，董明清等人對腦力負荷評定指標(biāo)敏感性做了比較研究[9]。

該研究記錄SART 得分、SAGAT 得分、眼動指標(biāo)以及任務(wù)績效作為SA 的評價指標(biāo)。其中，SART 得分即10D-SART量表的得分。10D-SART 量表包括3 個一級維度和10 個二級維度，見表4。

表4 10D-SART 量表子維度

通過每個二級維度的打分求每個一級維度的平均值，再通過Q3-（Q1-Q2）來計算SA 的水平。

SAGAT 得分指將任務(wù)界面暫停（即“凍結(jié)”），詢問操作員當(dāng)時的情景認知狀況問題，對問題進行正確反應(yīng)的百分比[2]。由于各個工況任務(wù)中參數(shù)復(fù)雜，艦船狀態(tài)變化快，無法采用凍結(jié)法對停止界面進行操作，因此采用穿插提問的方式，詢問被測者有關(guān)界面上部分參數(shù)的相關(guān)問題，不打斷其操作。問題類型包括當(dāng)前參數(shù)、目標(biāo)參數(shù)以及參數(shù)變化量等。根據(jù)參數(shù)的重要性對問題進行賦權(quán)，再結(jié)合正確率來計算SAGAT 得分。眼動指標(biāo)采用iMotions 軟件進行采集和初步分析，采集指標(biāo)包括注視率與注視熵。注視率指單位時間在AOI 內(nèi)的注視次數(shù)，反映注視在某一區(qū)域的注意力集中程度，注視率越高，表明SA 越好。注視熵反映視覺掃描的隨意性[10]，根據(jù)任務(wù)性質(zhì)反映了不同的含義，對于視覺搜索類的任務(wù)來說，注視熵越高，反映任務(wù)負荷越大，SA 越強；對于需要解決某個問題集中注視的任務(wù)來說，注視熵越低，反映注意力的集中程度越高，SA 越強[11-12]。任務(wù)績效包括響應(yīng)時間t和正確率p，響應(yīng)時間為每個子任務(wù)的平均響應(yīng)時間，正確率為每個子任務(wù)的正確響應(yīng)次數(shù)占異常次數(shù)的百分比。

2 結(jié)果與討論

2.1 10D-SART量表

該實驗使用的是10D-SART 量表，該量表比3D-SART 量表有更多的子維度，其中3 個一級維度分別為注意力需求。注意力供應(yīng)和情境理解，各工況平均得分如圖4 所示。工況一在VR 仿真平臺平均得分為5.42，實物仿真平臺平均得分為5.93，實物仿真平臺的SA 略好于VR 仿真平臺，具有一定相關(guān)性（r1=0.586）且無顯著差異（p1=0.408）。工況二在VR 仿真平臺平均得分為5.44，實物仿真平臺平均得分為5.69，實物仿真平臺的SA 略好于VR 仿真平臺，具有一定相關(guān)性（r2=0.743）且無顯著差異（p2=0.668）。工況三在VR 仿真平臺平均得分為5.63，實物仿真平臺平均得分為5.24，VR 仿真平臺的SA 略好于實物仿真平臺，具有一定相關(guān)性（r3=0.694）且無顯著差異（p3=0.570）。同時，注意力需求、注意力供應(yīng)以及情境理解3 個一級維度的得分差異不大，具有較好的一致性。其中，實物仿真平臺對操作員的注意力需求較低，與操作員對實物仿真平臺操作的熟悉程度有關(guān)。

圖4 操作員在各工況下2 種平臺的SART 量表平均得分

2.2 SAGAT

SAGAT 在各工況下的平均得分如圖5 所示。工況一在VR 仿真平臺平均得分為94.25，實物仿真平臺平均得分為95.83，實物仿真平臺的SA 略好于VR 仿真平臺，具有一定相關(guān)性（r1=0.699）且無顯著差異（p1=0.541）。工況二在VR 仿真平臺平均得分為93.55，實物仿真平臺平均得分為93.46，2 個平臺得分非常接近，具有一定相關(guān)性（r2=0.623）且無顯著差異（p2=0.979）。工況三在VR 仿真平臺平均得分為95.47，實物仿真平臺平均得分為95.07，VR 仿真平臺的SA 略好于實物仿真平臺，具有一定相關(guān)性（r3=0.715）且無顯著差異（p3=0.383）。在3 種工況下，VR 仿真平臺和實物仿真平臺的SAGAT 法的SA 得分具有較好的一致性。

圖5 操作員在各工況下2 種平臺的SAGAT 平均得分

2.3 眼動評估數(shù)據(jù)

工況一各任務(wù)的注視率普遍略高于工況二與工況三，是由于工況一的任務(wù)特點需要關(guān)注整個屏幕，而工況二與工況三的任務(wù)在大部分時間只關(guān)注幾個主要參數(shù)，因此注視率大部分不超過3 次/s，如圖6 所示。2 種平臺注視率在置信度0.05 水平下顯著相關(guān)（r=0.570）且無顯著差異（p=0.848）。

圖6 操作員在各任務(wù)中2 種平臺的注視率對比

VR 仿真平臺的注視熵普遍略高于實物仿真平臺，這是由于VR 環(huán)境中的視野較小，因此被試者需要進行頻繁掃視與眼跳，各任務(wù)注視熵如圖7 所示。工況二中任務(wù)9 和任務(wù)10 比任務(wù)7 和任務(wù)8 的注視熵更小，是因為任務(wù)9 和任務(wù)10 只需要調(diào)整航速，只須關(guān)注部分參數(shù)。同樣，工況三中任務(wù)11 比任務(wù)12 和任務(wù)13 的注視熵更小，是因為卡舵時只需要按下停車減速即可，只須關(guān)注部分參數(shù)。2 種平臺的注視熵在置信度0.01 水平下顯著相關(guān)（r=0.956）且無顯著差異（p=0.249），能夠有效證明VR 仿真平臺的模擬仿真效果不低于實物仿真平臺的模擬仿真效果。

圖7 操作員在各任務(wù)中2 種平臺的注視熵對比

2.4 任務(wù)績效

從工況一的6 個子任務(wù)的平均反應(yīng)時間（r1=0.681）來看，實物仿真平臺和VR 仿真平臺有較高的一致性，且實物仿真平臺的反應(yīng)時間普遍低于VR仿真平臺。主要原因是VR仿真平臺的視野范圍較小，部分參數(shù)不易查看，與實際視野范圍有一定差異，需要對操作員佩戴VR 頭盔操作進行一定培訓(xùn)。二者的完成率沒有明顯差異，任務(wù)3、任務(wù)4 和任務(wù)5存在未完成任務(wù)的情況，主要原因是橫傾、縱傾和轉(zhuǎn)速這3個參數(shù)在界面上不易被發(fā)現(xiàn)，需要對3 個參數(shù)的布局進行改進。從工況二的4 個子任務(wù)的平均完成時間（r2=0.996）來看，實物仿真平臺與VR 仿真平臺的相關(guān)性很高，其中，實物仿真平臺任務(wù)7 的平均完成時間略大于VR 仿真平臺。從工況三的3 個子任務(wù)的平均完成時間（r3=0.972）來看，實物仿真平臺與VR 仿真平臺的相關(guān)性很高。總體來看，2 個平臺各個工況完成時間的一致性很高（r=0.988）且沒有顯著差異（p=0.899），見表5。

表5 各工況子任務(wù)平均完成時間

2.5 討論

該研究的目的是通過評估SA 來驗證仿真評估系統(tǒng)的有效性，對比實物仿真平臺與VR 仿真平臺對于實際操作的仿真效果，比較2 種仿真評估系統(tǒng)的優(yōu)劣。該實驗的3 組用戶在SA 的評價指標(biāo)方面并無顯著差異，主要是由于3 組用戶的專業(yè)知識水平、操作策略、操作技能以及對界面的熟悉程度等方面存在較大差異，影響人機工效評價指標(biāo)的變量較多。由于注意策略不同，第三組用戶對非重要參數(shù)的敏感性較低，導(dǎo)致工況一的任務(wù)績效并不理想，而面對工況二、工況三中的復(fù)雜任務(wù)，第三組用戶的完成率有明顯提升，但同時他們對于任務(wù)完成的自我標(biāo)準(zhǔn)較高，從完成時間并不能準(zhǔn)確反映該類用戶的操作水平明顯優(yōu)于前兩類用戶。SA 取決于任務(wù)因素（工作負荷、壓力、平臺設(shè)計以及復(fù)雜度）和個人因素（目標(biāo)、經(jīng)驗、預(yù)判、培訓(xùn)、知識水平以及能力），在不同工況及不同用戶的影響下，3 類工況的SART 得分與SAGAT 得分的變化趨勢均不明顯。在測試中對實驗環(huán)境設(shè)置進行了主觀評價，其存在的主要問題有屏幕配色不適、分辨率低以及燈光顏色不適等，在后續(xù)的實驗中，需要對上述問題進行改進。同時，實驗樣本量較少，也是影響統(tǒng)計學(xué)分析結(jié)果的主要原因，后續(xù)研究需要進一步增加被試樣本的人數(shù)。

該研究方法可以應(yīng)用于其他各類艙室的設(shè)計方案評價中，使用VR 技術(shù)在虛擬環(huán)境下對設(shè)計方案進行人機工效學(xué)評價，可以節(jié)省大量制造樣機的成本，同時也可以取得與實物仿真平臺基本一致的效果。

3 結(jié)論

該研究通過在VR 仿真平臺和實物仿真平臺上進行3 種工況任務(wù)操作，記錄了包括SART、SAGAT、眼動指標(biāo)以及任務(wù)績效等多個SA 直接或間接評估指標(biāo)。從上述指標(biāo)的評價結(jié)果可以看出，實物仿真平臺與VR 仿真平臺在評價結(jié)果上存在較高的一致性（r>0.5），見表6。

表6 各工況各指標(biāo)相關(guān)性

相比于實物仿真平臺，VR 仿真平臺具有更低的成本，這是由于沒有實體的物理模型，因此修改設(shè)計方案時只需要修改VR環(huán)境中的模型和參數(shù)即可。該研究為艦船操作臺在VR環(huán)境下進行方案評估的可行性與合理性提供了一定依據(jù)。但同時由于VR 設(shè)備的特殊性以及視野較小，因此被試者需要一定時間去學(xué)習(xí)和訓(xùn)練，并且容易產(chǎn)生視覺疲勞。今后仍需要對VR 場景設(shè)計及測試任務(wù)選擇方面進行研究。例如通過改進信息優(yōu)先級的設(shè)計來優(yōu)化操作員的注意力分配策略，以提高SA；也可以通過優(yōu)化界面顏色與亮度來減輕VR 環(huán)境中的視覺疲勞。