基于任務(wù)情境的飛行員合作交流能力測評方法

汪磊，蔡藝偉，張夢茜，譚維，陳金濤，劉莎

(1.中國民航大學安全科學與工程學院，天津 300300； 2.中國國際航空公司天津分公司，天津 300300)

1 引言

民航事故統(tǒng)計表明，60%以上的飛行事故是由機組因素導致，而其中機組溝通協(xié)調(diào)問題是造成機組資源管理失效的主要原因之一[1-2]。同時隨著飛機駕駛艙自動化程度的提升，對飛行員技能的要求由手動操作向監(jiān)控管理轉(zhuǎn)變。加之信息化時代的來臨，信息的傳遞及接收成為駕駛艙主要的工作環(huán)節(jié)，因此合作交流能力是適應(yīng)新時代飛行任務(wù)不可或缺的能力，對合作交流能力的測評也成為飛行員能力測評體系中必不可少的維度。歐盟法規(guī)、國際航協(xié)的飛行員資質(zhì)測試和國際民航組織(ICAO)定義的飛行員9項必備能力中[3]，都強調(diào)了對飛行員的合作和交流能力的要求，同時對提升飛行員溝通與合作技能提出重點關(guān)注度。

目前，國內(nèi)外對飛行員基本認知能力測試的研究較多，如歐洲航空安全局(EASA)開發(fā)的飛行員選拔系統(tǒng)(Global Pilot Selection System，GPSS)、飛行員能力測試系統(tǒng)(Pilot Aptitude Testing System，PAT)、我國空軍軍醫(yī)大學研發(fā)的軍方飛行員選拔系統(tǒng)等，均可對飛行員的空間感知、數(shù)字推理、注意力、決策力、判斷力、工作記憶等基本認知能力進行測評，但是目前針對民航飛行員合作交流能力測評的研究較少。由于合作過程和交流過程均為非線性的序列活動，使得飛行員的合作交流能力通常被視為難以測量的能力[4]，并且已有的測評方式也多為問卷調(diào)查，主觀性較大且脫離飛行員工作狀態(tài)，難以反映其任務(wù)情境下的實際能力，因此可應(yīng)用的飛行員合作交流能力測評工具領(lǐng)域尚是空白。

為了解決上述飛行合作交流能力測評方式偏離實際情境、不符合智能駕駛艙工作特點以及難以適應(yīng)飛行員任務(wù)角色由操縱轉(zhuǎn)彎為監(jiān)控的問題，本研究擬在已有的針對其他領(lǐng)域的合作交流能力測評系統(tǒng)的基礎(chǔ)上，引入飛行任務(wù)情境，提出一種基于任務(wù)情境的飛行員合作與交流能力測評方法，實現(xiàn)在任務(wù)情境中對飛行員合作交流能力水平的準確評估、動態(tài)監(jiān)控及發(fā)展預測，從而實現(xiàn)更加高效、更加有針對性的訓練，提高機組資源管理能力和飛行安全水平。本研究整體路線圖如圖1。

圖1 飛行員合作交流能力測評研究思路

首先開展合作與交流能力的理論研究，再對飛行員合作和交流能力的測評方法以及計分方法分別進行設(shè)計，最后進行實驗驗證并提出進一步改進方案。

2 理論研究

2.1 合作能力測量

所謂團隊協(xié)作能力，是指作為一個團隊成員，通過與其他團隊成員共享資源和協(xié)作，相互溝通、相互幫助并努力融入團隊，最終使得整個團隊圓滿完成任務(wù)的一種能力。李海軍等人[5]開發(fā)“飛行員團隊協(xié)作能力測試系統(tǒng)”,采用模擬真實場景進行實驗，由被試與模擬的隊友共同操作一架飛機,通過協(xié)作任務(wù)的績效反應(yīng)團隊協(xié)作配合能力；胡文東等人[6]研制開發(fā)了“三維運動控制協(xié)作任務(wù)”、“圍堵協(xié)作任務(wù)”等測試,充分綜合的時間、運動、操作等因素,根據(jù)相應(yīng)指標計算團隊任務(wù)績效；俄羅斯航天員在訓練的過程中也采用“儀表任務(wù)”訓練團隊協(xié)作配合；惠鐸鐸[7]等人根據(jù)對飛行任務(wù)以及飛行人員性格的研發(fā)了一套飛行團隊協(xié)作能力測試系統(tǒng)，測試過程中，被試通過搖桿控制自己的受控球以配合團隊其他成員完成任務(wù)。也有部分學者通過調(diào)查法收集研究對象的各種材料，進行綜合分析并得到某種結(jié)論，但它一般不強調(diào)個體間相互的比較,不側(cè)重對個體在群體中所處的位置進行判別[8]。

目前，針對合作能力的測評多應(yīng)用于教育領(lǐng)域，而部分有關(guān)民航領(lǐng)域合作能力的研究多采用問卷的方法，主觀性較強且受外界不確定性因素影響較大。李海軍[5]、惠鐸鐸[7]等人研發(fā)的飛行團隊協(xié)作能力測試系統(tǒng)，主要適用于團隊整體合作能力的測評，難以區(qū)分飛行員個人穩(wěn)定的基礎(chǔ)合作能力，并且測試過程采用控制搖桿或模擬飛行的方式，不便于測試的普及和開展。

在上述研究的基礎(chǔ)上，為更真實的反映飛行員工作狀態(tài)下的合作能力，本測試結(jié)合飛行任務(wù)設(shè)定特殊情境；為剔除人-人協(xié)作的不確定性，測試采用會話代理的人機交互模式[9]；為減少語言能力差異帶來的殘差，測試采用對話選擇的互動方式；為優(yōu)化題目結(jié)構(gòu)，測試基于PISA2015協(xié)作問題解決框架，從12個維度對飛行員合作能力進行測評。最后參考項目反應(yīng)理論(Item Response Theory,簡稱IRT)[10]，根據(jù)路徑節(jié)點選擇的差異，通過多元計分的方式對被試合作能力進行評分，并通過系統(tǒng)輸出測評結(jié)果。

在飛行員執(zhí)飛過程中，合作能力主要用于解決特定任務(wù)情境下的問題。本研究采用PISA2015測評矩陣，以被試協(xié)作解決問題的能力反映其合作能力，見表1。

表1 PIAS2015協(xié)作問題解決框架矩陣

2.2 交流能力測量

溝通是團隊成員傳遞信息，表達情感，交流思想的主要表現(xiàn)，一般認為，良好的溝通能力有助于沖突的解決，增強團隊效能感等[11]。研究表明[12]在進近階段發(fā)生了52%的溝通沖突，37%的飛機事故中涉及通信錯誤[13]。目前，交流能力的測評多應(yīng)用于教育領(lǐng)域及醫(yī)護人際溝通領(lǐng)域，針對民航業(yè)的研究較少，部分有關(guān)交流能力的測試有量表和試題測試兩種。量表主要依靠飛行員自評或同事評價，主觀性較強且易受多種不確定因素影響。試題測評應(yīng)用最廣泛的是第四軍醫(yī)大學DXC心理測評系統(tǒng)中的字對匹配測驗，主要檢測對詞語的準確理解能力。但機組人員的交流是一個從信息理解到信息表達的互動過程，對信息的準確表述也是交流能力不可或缺的一部分。對語言能力的測評國際上有Cookie theft[14]和波士頓診斷性失語癥測驗[15](Boston Diagnostic Aphasia Examination，BDAE)等方法，主要應(yīng)用與對腦損傷患者語言能力的測量,但其本質(zhì)都是對被試語言表達、信息傳遞、準確描述能力的測量。

波士頓診斷性失語癥測驗是目前美國較為廣泛使用的一種失語癥診斷性測驗，且該測驗已制定出一套標準化的評分標準。因此，本文引入了波士頓失語癥測驗，并加入飛行場景，通過圖片及文字提問的方式呈現(xiàn)問題，從語義內(nèi)容、詞匯內(nèi)容和句法復雜性三個維度，檢測語義能力和產(chǎn)出能力,見表2。

表2 波士頓失語癥測量指標及評分標準

3 實驗設(shè)計

3.1 飛行員合作能力測評設(shè)計

3.1.1 測評指標

飛行員的合作能力主要應(yīng)用于機長、副駕駛以及空中交通管制人員組成的團隊中，由于各自的注意、認知、感受等不同，對待問題或任務(wù)的角度也不盡相同，因此團隊成員之間需要額外的交互活動來緩解信息需求中的矛盾，通過各方進行協(xié)商以實現(xiàn)最優(yōu)結(jié)果[16]。團隊合作最必要的一個環(huán)節(jié)是建立共享情境意識(SSA)，即團隊中的每個人保持相同程度的情境意識[17-18]，適當?shù)腟SA可通過執(zhí)行交互過程形成團隊認知[19-20]，團隊成員則需主動交換產(chǎn)生團隊認知所必須的信息。

結(jié)合飛行員進行團隊合作所必須的信息共享、交互協(xié)商、完成任務(wù)三個關(guān)鍵環(huán)節(jié)，以及PISA2015協(xié)作式問題解決框架[21]，將合作能力的測量分為：建立和維和共識、采取適當?shù)男袆咏鉀Q問題、建立和維護團隊組織三個維度，提出觀點并解釋觀點、修訂/完善觀點、同意/反對及證據(jù)、提問/追問、制定計劃、任務(wù)分配、任務(wù)執(zhí)行、監(jiān)督提醒、進度把控、情感支持 10個具體指標，見表3。

表3 飛行員合作能力測評指標

3.1.2 測評流程

每個任務(wù)從開始至結(jié)束,由被試與會話代理進行多個回合的溝通、聊天與行動,這些回合組成一系列具體試題。每道試題都給出有限選項,考生通過選擇來確定完成任務(wù)的路徑,一個任務(wù)的結(jié)束點自然形成下一個任務(wù)的啟動起點。每道試題都指向飛行員合作能力測評10個具體指標的其中一個。測評界面如下圖所示，界面的上半部分為情境展示區(qū)，會顯示此刻的飛行狀態(tài)以及面臨的飛行任務(wù)，界面的下半部分為被試答題區(qū)，在這里會根據(jù)情境內(nèi)容顯示問題及選項，由被試進行選擇。測試包含顯性試題和隱藏試題，顯性試題指由會話代理開始飛行員被動參與的試題，隱性試題指在被試有溝通互動意愿時點擊相應(yīng)按鍵得到的試題，反應(yīng)被試在合作任務(wù)中的主動參與度。通過被試輸入的討論結(jié)果反應(yīng)其任務(wù)執(zhí)行情況。

測試過程中，界面會顯示動態(tài)情境，被試需參考情境變化(儀表顯示)、飛機狀態(tài)、故障情況、天氣狀況、機場距離等與會話代理進行討論，并在有限的時間內(nèi)選擇出最佳降落機場。在討論的過程中，儀表示數(shù)及各機場的天氣狀況會發(fā)生動態(tài)變化。本項目共包含4個主要任務(wù)場景，顯性題目數(shù)量根據(jù)被試路徑選擇在5-10道不等，隱藏題目兩道，隱藏對話最多可觸發(fā)5次，被試可通過隱藏對話進行提醒、分配、鼓勵、信息獲取等，從而加快任務(wù)進度，提高選擇的準確性，見圖2。

圖2 飛行員合作能力測評試題結(jié)構(gòu)

3.1.3 結(jié)果統(tǒng)計

試題的每個選項均指向飛行員合作能力測評指標中的一個，通過專家訪談法，對不同的路徑進行打分，如在會話代理1界面選擇A則跳轉(zhuǎn)到會話代理2界面進入第二題，選擇B則跳轉(zhuǎn)到會話代理3界面進入第二題，選擇C則直接跳轉(zhuǎn)到會話代理4界面并加2分。以此類推，根據(jù)被試路徑節(jié)點選擇的差異進行自動打分，與此同時，在測試過程中，包含顯性試題和隱性試題，當被試想要主動詢問、發(fā)言時刻點擊此圖標，即可能觸發(fā)隱藏試題，該圖標用來反應(yīng)被試在此次討論任務(wù)中的主動參與程度。最后，被試選擇題目得分(包括顯性試題與隱藏試題)與點擊燈泡次數(shù)的和即為合作能力測評項目的總得分。

3.2 飛行員交流能力測評設(shè)計

3.2.1 測評指標

交流是合作的必要組成部分，也是團隊互動、信息傳遞、問題協(xié)商必不可少的途徑。飛行員的交流主要包括信息接收和信息傳達兩個流程，接收信息指對語言、儀表、文字的準確理解，信息的傳遞主要考察口頭表達的有效信息，即傳遞的目標和計劃等是否能幫助團隊建立共享的心理模型和流動狀態(tài)[22-23]。交流最重要的是將信息傳達給接受者進行解釋的真實度[24]，即語言表述的準確性，其中對語言能力的評估包括標準化語言評估和敘事話語評估[25]，結(jié)合波士頓失語癥測驗維度，對飛行員語言能力測評維度進行初步篩選，又通過飛行場景分析以及專家調(diào)研發(fā)現(xiàn)：有效表述、解釋表述、流暢表述在駕駛艙對話中最為重要。并通過專家打分法得到各指標權(quán)重，其中，有效率為50%、準確率30%、解釋率20%，見表4。

表4 飛行員交流能力測評指標

3.2.2 測評流程

飛行員交流能力測試的目的是檢測飛行員個體語義能力和語言產(chǎn)出能力。本測試將展示4張飛行情境中的儀表圖片(樣例參見圖3)，飛行員需對每一張圖片的內(nèi)容進行詳細描述，并深入解讀圖片信息(如描述其飛行階段、可能面臨的情況、儀表示數(shù)產(chǎn)生的原因等)。在此過程中，要求被試盡量保持內(nèi)容準確及語言流暢。最終統(tǒng)計每一張圖片描述中的有效字數(shù)、正確字數(shù)和流暢字數(shù)。

圖3 飛行員交流能力測評試題樣例

樣例題參考答案示例：圖中共有三塊儀表盤和一個起落架桿，由儀表盤示數(shù)可知飛機當前指示空速大約為211節(jié)，目標指示空速為200節(jié)，地速283節(jié)，氣壓基準為標準海平面氣壓，當前高度為19 530英尺，目標高度為10 000英尺，航向為265°，帶有左坡度，并且以1 600 ft/min的下降率下降，未接通自動駕駛儀，未接通飛行指引，未接通自動油門，發(fā)動機N1轉(zhuǎn)子轉(zhuǎn)速為左發(fā)37.5%、右發(fā)37.5%，發(fā)動機排氣溫度EGT為531攝氏度，目前剩油12.2千磅，起落架在收上位置，由此可判斷出飛機處于下降階段，飛行速度較小。

3.2.3 結(jié)果統(tǒng)計

首先在設(shè)置關(guān)鍵字段，如第一題的有效表述中標記“目標速度(空速)200節(jié)；當前速度(空速、表速)是184在增加；馬赫數(shù)是點501；真空速196；地速196；處于下降狀態(tài)；速度偏?。幌陆德?150”等詞語為有效信息；解釋表述中設(shè)置“ 飛機處于下降狀態(tài)；左發(fā)慢車/單發(fā)失效/一發(fā)失效/左側(cè)發(fā)動機故障；速度偏??；沒有完成起飛后檢查單；地速和空速不匹配”等為解釋信息；流暢率則根據(jù)字符間隔時間進行計算，由總字數(shù)比上總時間即為被試的流暢率。測試過程中記錄每個文本的總字數(shù)(N)、描述時間(T)，提取其中的有效表述字數(shù)(n1)、正確表述字數(shù)(n2)，得到被試的有效率(a)、準確率(b)、流暢率(c)，最后由權(quán)重賦值得到被試語言能力測評的最終得分，其計算過程如下：

4 實驗驗證

4.1 實驗設(shè)計及實施

4.1.1 被試招募

被試全部為國內(nèi)某航空公司航線飛行員，共計20名，均為男性且具備足夠的飛行經(jīng)驗。其中，機長10名，副駕駛10名，飛行小時數(shù)從4 000到15 000不等。通過數(shù)據(jù)篩選與分析，共保留20組有效數(shù)據(jù)，數(shù)據(jù)收集時間為2020年11月-2021年1月。

4.1.2 實驗設(shè)計

合作能力的測評依靠問卷星平臺設(shè)計問卷并進行發(fā)放，交流能力的測評依靠科大訊飛智能錄音筆進行語音識別及文字轉(zhuǎn)換工作。被試需要先認真閱讀和填寫知情同意書，然后熟悉測試系統(tǒng)的流程和操作方法。在正式開始實驗前，被試需登記個人信息，并登錄實驗平臺進行模擬測試，此階段被試的表現(xiàn)將不予記錄，直到被試已經(jīng)確定掌握測試流程方可進行正式測試。正式測驗階段被試的每個操作都會被記錄，用來測評飛行員合作交流能力，見圖4。

圖4 飛行員合作能力測試示意圖

4.2 結(jié)果統(tǒng)計及分析

本實驗共收集到20組數(shù)據(jù)，根據(jù)被試合作能力和交流能力的得分，分別分成高分組和低分組，數(shù)據(jù)的描述性統(tǒng)計參見下表5。

進一步對兩組數(shù)據(jù)的差異性檢驗表明，兩組被試的合作能力得分(t=-4.284，P=0.012)和交流能力得分(t=-5.613，P=0.001)均存在顯著差異，說明測試具有良好的區(qū)分度。

對結(jié)果進行匯總分析，應(yīng)用IBM SPSS 25，通過分位數(shù)圖示法對20組數(shù)據(jù)進行正態(tài)性檢驗，檢驗結(jié)果如圖5所示，由此可表明飛行員合作交流能力得分分布符合正態(tài)分布，見圖5。

圖5 飛行員合作與交流能力得分Q-Q圖

5 討論

在本研究中，對20名被試進行差異性檢驗發(fā)現(xiàn)高低分組差異性顯著，測量數(shù)據(jù)具備良好的區(qū)分度，證明建立和維護共識、采取適當?shù)男袆咏鉀Q問題、建立和維護團隊組織是評價飛行員合作能力的重要指標，有效率、解釋率、流暢率從是評價飛行員交流能力水平的重要指標。其中，多數(shù)指標與該維度能力水平成正相關(guān)，但解釋率與飛行員交流能力水平呈現(xiàn)出負相關(guān)狀態(tài)，造成該結(jié)果的原因一方面是數(shù)據(jù)量較小，受個別異常數(shù)據(jù)影響較大，另一方面可能是解釋內(nèi)容增加了被試的思考時間，從而影響了表述的流暢率，進而導致交流能力得分的下降。

經(jīng)檢驗發(fā)現(xiàn)，飛行員的合作交流能力得分均符合正態(tài)分布，本研究結(jié)果可以與以往其它領(lǐng)域的合作交流能力研究結(jié)果相對照。該實驗的順利完成證明基于會話代理的人機交互模式可應(yīng)用與飛行員能力水平測量的過程中，且對工作效率的提升及人-人協(xié)作不確定性的剔除具有積極意義。

6 結(jié)論

(1)在其他領(lǐng)域已有的合作、交流能力測評方法的基礎(chǔ)上，結(jié)合飛行員工作特點加入飛行任務(wù)場景，并參考專家意見進行修改精煉，總結(jié)出針對飛行員合作與交流能力測評的方法理論與實際試題，并招募被試展開實驗。

(2)本實驗在成熟飛行員之間開展，共收集數(shù)據(jù)20組，通過SPSS對收集到的數(shù)據(jù)進行正態(tài)檢驗，發(fā)現(xiàn)樣本服從正態(tài)分布，可反映出飛行員之間合作交流能力的水平分布，后續(xù)將以軟件的形式進行能力水平測試，提高測試的效率和精確度。

(3)本研究僅在小范圍內(nèi)開展實驗，數(shù)據(jù)量較小，后續(xù)可以開展廣泛實驗，以更加充分的數(shù)據(jù)檢驗該模型的有效性，最終形成一套完善可靠的飛行員合作交流能力測評體系，為飛行員能力監(jiān)測、日常訓練提供針對性的依據(jù)，為飛行員能力測評的開展提供新方法新思路。