一種新的人眼視覺運(yùn)動(dòng)認(rèn)知特性實(shí)驗(yàn)分析方法

李婷婷，謝振平

（1.江南大學(xué) 人工智能與計(jì)算機(jī)學(xué)院，江蘇 無(wú)錫 214122；2.江蘇省媒體設(shè)計(jì)與軟件技術(shù)重點(diǎn)實(shí)驗(yàn)室，江蘇無(wú)錫 214122）

0 概述

隨著深度學(xué)習(xí)等新型機(jī)器學(xué)習(xí)技術(shù)的出現(xiàn)，人工智能受到廣泛關(guān)注，計(jì)算機(jī)視覺作為其中的熱點(diǎn)研究方向，已經(jīng)在算法、實(shí)際應(yīng)用等方面取得了豐富的成果［1-2］。然而，目前人工智能算法的適應(yīng)能力和人類認(rèn)知仍然存在較大的差距，亟需更為深入地研究人類視覺認(rèn)知系統(tǒng)對(duì)感知信號(hào)的處理模式，發(fā)展形成更深刻的視覺認(rèn)知計(jì)算理論。

無(wú)人駕駛作為最受期待的實(shí)際應(yīng)用場(chǎng)景之一，在感知周圍環(huán)境的基礎(chǔ)上，完成對(duì)車輛駕駛的行為決策［3］。在眾多科技公司中，以特斯拉為代表的智能駕駛汽車公司已將具有智能決策功能的車輛進(jìn)行量產(chǎn)化。然而，當(dāng)面對(duì)外界障礙物干擾時(shí)，基于視覺傳感器的智能駕駛系統(tǒng)無(wú)法正常地進(jìn)行感知和決策，最終導(dǎo)致自動(dòng)駕駛汽車傷亡事故［4］，這與人類在復(fù)雜場(chǎng)景中感知外界信息并做出正確決策的能力存在很大的差距［5］。本文從人類視覺和無(wú)人駕駛技術(shù)的應(yīng)用出發(fā)，以拓?fù)湫再|(zhì)和空間拓?fù)潢P(guān)系為主要實(shí)驗(yàn)視角，探討人眼視覺的認(rèn)知過程。

拓?fù)湫再|(zhì)知覺理論回答了認(rèn)知神經(jīng)科學(xué)領(lǐng)域“視覺處理從哪里開始”的基本問題，即視覺系統(tǒng)優(yōu)先發(fā)生大范圍的拓?fù)湫再|(zhì)感知［6］。其中，“優(yōu)先”有兩個(gè)嚴(yán)格的含義：第一，由拓?fù)湫再|(zhì)決定的整體組織是知覺局部幾何性質(zhì)的基礎(chǔ)；第二，拓?fù)湫再|(zhì)感知發(fā)生的時(shí)間早于局部幾何性質(zhì)的感知［6］。在任意拓?fù)渥儞Q下保持不變的性質(zhì)稱為拓?fù)湫再|(zhì)。拓?fù)湫再|(zhì)涉及連通性、孔的數(shù)量和內(nèi)外部關(guān)系等［6-7］，本文主要研究人眼視覺對(duì)于包含“孔”的對(duì)象物體的拓?fù)湫再|(zhì)。

針對(duì)三維空間情形，需要進(jìn)一步考慮空間中物體運(yùn)動(dòng)所伴隨的空間拓?fù)潢P(guān)系變化［8］。EGENHOFER 等提出了一種用邊界交集的成分來(lái)描述對(duì)象間或區(qū)域間拓?fù)潢P(guān)系的方法。邊界交集成分指的是兩個(gè)區(qū)域邊界相交的部分，這些相交的部分包含不同的維數(shù)、有界性等，可以詳細(xì)表示兩個(gè)自身屬性復(fù)雜的對(duì)象間的空間拓?fù)潢P(guān)系［8］。拓?fù)潢P(guān)系作為空間中的基本關(guān)系，是空間推理研究的基本問題之一，因此，研究對(duì)象間的空間拓?fù)潢P(guān)系在人眼視覺認(rèn)知過程中起到重要作用。

本文提出一種針對(duì)人眼視覺運(yùn)動(dòng)認(rèn)知特性的實(shí)驗(yàn)分析方法。實(shí)驗(yàn)系統(tǒng)基于Unity3D 引擎平臺(tái)，結(jié)合Logitech G29 駕駛設(shè)備、HTC VIVE 虛擬現(xiàn)實(shí)頭戴顯示器等相關(guān)設(shè)備的構(gòu)建，通過響應(yīng)面分析方法設(shè)計(jì)實(shí)驗(yàn)研究不同拓?fù)鋸?fù)雜度和空間拓?fù)潢P(guān)系，結(jié)合虛擬現(xiàn)實(shí)實(shí)驗(yàn)系統(tǒng)中的具體實(shí)現(xiàn)場(chǎng)景，依據(jù)無(wú)感反饋中的實(shí)時(shí)眼動(dòng)跟蹤數(shù)據(jù)——眼動(dòng)軌跡，研究在不同維度的場(chǎng)景中人眼視覺對(duì)于物體不同運(yùn)動(dòng)變化情形的認(rèn)知響應(yīng)特性。軌跡圖作為眼動(dòng)追蹤數(shù)據(jù)可視化的一種標(biāo)準(zhǔn)輸出形式，可以準(zhǔn)確表征受試者的交互意圖和視覺認(rèn)知過程，表達(dá)出“所見即所得”的客觀實(shí)驗(yàn)結(jié)果，從而提高視覺認(rèn)知研究的準(zhǔn)確性［9］。

1 視知覺研究背景

1.1 視覺注意選擇機(jī)制

視覺系統(tǒng)作為一個(gè)選擇性的信息加工系統(tǒng)，在任何認(rèn)知過程中視覺注意優(yōu)先選擇有限的外界信息進(jìn)行加工。在早期視覺注意力選擇機(jī)制的作用下，人們可以快速地從復(fù)雜環(huán)境中找到認(rèn)知的對(duì)象，并將該對(duì)象信息傳遞至大腦皮層處進(jìn)行處理和分析［10］。影響視覺注意選擇的因素大致分為兩種：一種是在指定的認(rèn)知任務(wù)或主觀意圖下，只有與任務(wù)相關(guān)的刺激對(duì)象才會(huì)被注意；另外一種是視覺場(chǎng)景中的凸顯刺激，即具有顯著特征的刺激才能無(wú)意識(shí)地吸引視覺注意，這也稱為“注意捕獲”。在這兩種視覺因素的影響下，注意選擇機(jī)制包含兩種方式的視覺信息加工過程：自下而上和自上而下的加工機(jī)制［10］。自下而上的注意選擇機(jī)制是以顯著刺激為驅(qū)動(dòng)，其認(rèn)知對(duì)象是基于人眼所觀察到的刺激信息［11］。相關(guān)刺激信息的加工過程涵蓋三方面遞進(jìn)階段，即獲取刺激對(duì)象的相關(guān)信息、合成完整的圖案以及最后的模式匹配。在遞進(jìn)過程中，注意力不斷增加，有用信息在持續(xù)的加工和篩選下，傳遞至大腦皮層進(jìn)行分析，無(wú)用信息即視覺沒有注意到的信息則會(huì)流失。然而，通常情況下都是大腦向下傳達(dá)指令信息，視覺注意在該目標(biāo)導(dǎo)向下發(fā)生自上而下的信息加工機(jī)制，進(jìn)而人眼不斷搜索相近信息的刺激對(duì)象。

近年來(lái)，計(jì)算機(jī)視覺在顯著性對(duì)象檢測(cè)方面取得了非常大的進(jìn)步，主要分為兩條研究路線：人眼注視預(yù)測(cè)和顯著對(duì)象檢測(cè)。人眼注視預(yù)測(cè)是通過檢測(cè)人眼注視軌跡從而估計(jì)個(gè)體對(duì)當(dāng)前場(chǎng)景中感興趣的區(qū)域。顯著性對(duì)象檢測(cè)主要是檢測(cè)出場(chǎng)景中容易吸引人們注意（顯著特征）的對(duì)象并將其從背景中分割出來(lái)［13］。本文以人眼注視預(yù)測(cè)為主要研究路線，通過眼動(dòng)追蹤技術(shù)探索人眼視知覺對(duì)于刺激對(duì)象不同拓?fù)鋸?fù)雜度和空間拓?fù)潢P(guān)系的認(rèn)知特性。

1.2 拓?fù)湫再|(zhì)知覺理論

對(duì)于拓?fù)鋸?fù)雜度和空間拓?fù)潢P(guān)系的研究，都涉及到一個(gè)重要的概念，即拓?fù)涓拍?。在任意拓?fù)渥儞Q下保持不變的性質(zhì)稱為拓?fù)湫再|(zhì)［14］，拓?fù)湫再|(zhì)是圖形整體結(jié)構(gòu)中的一類特殊性質(zhì)，是各種幾何性質(zhì)中最為穩(wěn)定的性質(zhì)。我國(guó)著名認(rèn)知科學(xué)家陳霖提出的拓?fù)湫再|(zhì)知覺理論表明，在人類視知覺過程中，物體全局拓?fù)湫再|(zhì)優(yōu)先被視覺系統(tǒng)感知，其次才會(huì)感知到亮度、運(yùn)動(dòng)等局部特征。拓?fù)湫再|(zhì)涉及空間連通性、孔的數(shù)量和內(nèi)外關(guān)系等［14］。

人類視覺在背景空間中優(yōu)先注意具有大范圍拓?fù)湫再|(zhì)的物體正是因?yàn)榭椎耐負(fù)涮匦?。圖形-地面組織的包圍性的Gelstalt 行列式，在數(shù)學(xué)語(yǔ)言中就是孔的拓?fù)涮匦?。將完整的圖形對(duì)象視為一種模式，接觸邊界的區(qū)域被認(rèn)為是“孔的邊界”，而沒有接觸邊界的區(qū)域被認(rèn)為是“孔”。此外，還可利用拓?fù)涿枋龇屯負(fù)淇缀瘮?shù)來(lái)描述圖形的簡(jiǎn)化結(jié)構(gòu)中所包含的拓?fù)涮匦裕?］。

本文采用的拓?fù)淇缀瘮?shù)表達(dá)形式如下：

其中：x是孔的語(yǔ)義表示；i是孔所在位置的層標(biāo)簽；n是內(nèi)層標(biāo)簽，最外層標(biāo)簽是1；bi是第i層中孔的數(shù)量。

以圖1 為例，右下角所示圖形的拓?fù)淇缀瘮?shù)表示為H(x)=x+2x2+x3，通過對(duì)拓?fù)浣Y(jié)構(gòu)的分類和簡(jiǎn)化可以得出，H(x)=x、H(x)=x+x2、H(x)=x+x2+x3所表示的圖形都屬于拓?fù)浣Y(jié)構(gòu)中的嵌套結(jié)構(gòu)，H(x)=2x、H(x)=3x表示的圖形屬于并行結(jié)構(gòu)，H(x)=x+2x2+x3表示的圖形屬于復(fù)合結(jié)構(gòu)，也即給定一個(gè)圖形的孔函數(shù)可以知道其簡(jiǎn)化結(jié)構(gòu)，反之亦然。同時(shí)將拓?fù)淇缀瘮?shù)派生的拓?fù)涿枋龇鳛橐粋€(gè)向量［7］P=[i；bi]，其中i={1，2，…，n}和bi是式（1）中使用的相同參數(shù)，因此，圖1 右下角所示簡(jiǎn)化圖形的拓?fù)涿枋霰硎緸镻=[1，2，3；1，2，1]，其與孔函數(shù)具有相同的功能，都是對(duì)拓?fù)涮匦赃M(jìn)行可解釋化。這兩個(gè)函數(shù)區(qū)別在于：孔函數(shù)更直接地展示了圖形的拓?fù)鋵傩?，而拓?fù)涿枋龇麆t更利于系統(tǒng)中的計(jì)算。

圖1 孔函數(shù)和拓?fù)涿枋龇疽鈭DFig.1 Schematic diagram of hole functions and topological descriptors

綜上所述，孔函數(shù)和拓?fù)涿枋龇g有著密切的關(guān)聯(lián)，都可以用來(lái)描述物體的拓?fù)涮匦?。其中，總和bi代表物體孔的總數(shù)，區(qū)域?qū)訕?biāo)簽i代表物體內(nèi)部/外部關(guān)系，圖形的拓?fù)鋸?fù)雜度與層標(biāo)簽呈正向相關(guān)關(guān)系，標(biāo)簽越大，拓?fù)鋸?fù)雜度越高［7］。

1.3 空間拓?fù)潢P(guān)系

人類生活的空間是一個(gè)三維立體空間，物體間的空間關(guān)系和物體本身的屬性同樣重要，對(duì)于拓?fù)潢P(guān)系的研究在空間關(guān)系中占有重要的指導(dǎo)地位?？臻g拓?fù)潢P(guān)系是指拓?fù)渥儞Q（平移、旋轉(zhuǎn)、縮放等）下的拓?fù)洳蛔兞?，是空間關(guān)系的一種［15］?？臻g拓?fù)潢P(guān)系表示方法包含定性表示、定量表示、定性與定量結(jié)合表示三類，其中定性表示是在更高層次上抽象空間對(duì)象及關(guān)系描述［15］，由于空間存在一些復(fù)雜且不確定性的問題，表示和推理空間關(guān)系普遍采用定性的方法。拓?fù)潢P(guān)系作為最基本的空間關(guān)系，可以產(chǎn)生定性差異，空間對(duì)象拓?fù)潢P(guān)系的定性研究主要分為兩條路線：確定性區(qū)域間拓?fù)潢P(guān)系的研究和不確定性區(qū)域的表示及其分析方法的研究，本文以確定性區(qū)域間的空間拓?fù)潢P(guān)系為主要研究路線。確定性區(qū)域指的是空間對(duì)象隱含著的邊界確定性。RCC形式化模型是目前相關(guān)研究中最具有代表性的模型之一，該模型的目的是對(duì)空間對(duì)象的拓?fù)潢P(guān)系進(jìn)行分類，對(duì)數(shù)量大、復(fù)雜度高的空間對(duì)象拓?fù)潢P(guān)系進(jìn)行合理化的分類，通過形式化描述模型分析出有限空間拓?fù)潢P(guān)系［16］。本文主要介紹RCC模型中最具代表性的RCC-8關(guān)系集［16］，如圖2所示。RCC-8關(guān)系集包含不連接（DC）、外部連接（EC）、部分交疊（PO）、正切真部分（TPP）、非正切真部分（NTPP）、相等（EQ）、反正切真部分（TPPI）和反非正切真部分（NTPPI）。本文主要基于TPP 空間拓?fù)潢P(guān)系和NTPP 空間拓?fù)潢P(guān)系進(jìn)行實(shí)驗(yàn)，通過控制圖中物體X的平移方式，即運(yùn)動(dòng)狀態(tài)，進(jìn)而實(shí)現(xiàn)這兩種空間拓?fù)潢P(guān)系間的轉(zhuǎn)變。

圖2 區(qū)域間的RCC-8 關(guān)系Fig.2 RCC-8 relationships between areas

空間推理是指利用空間理論和人工智能技術(shù)對(duì)空間對(duì)象進(jìn)行建模、描述和表示，并據(jù)此對(duì)空間對(duì)象間的空間關(guān)系進(jìn)行定性或定量分析和處理的過程［17］。目前，空間推理被廣泛應(yīng)用于機(jī)器人導(dǎo)航、高級(jí)視覺、工程設(shè)計(jì)、智能駕駛的常識(shí)性推理等方面，同時(shí)也是人工智能領(lǐng)域的一個(gè)研究熱點(diǎn)［18］。

2 眼動(dòng)追蹤視覺注意實(shí)驗(yàn)方法

2.1 實(shí)驗(yàn)?zāi)康?/h3>

依據(jù)上文討論，現(xiàn)有的視覺拓?fù)溲芯看蠖嗉性诙S空間中，對(duì)于日常生活中的具體應(yīng)用還未廣泛地進(jìn)行研究。相對(duì)地，日常駕駛環(huán)境下人類對(duì)于刺激對(duì)象的視覺拓?fù)湔J(rèn)知過程的相關(guān)實(shí)驗(yàn)研究鮮有報(bào)道。本文擬通過虛擬現(xiàn)實(shí)視覺行為實(shí)驗(yàn)，以眼動(dòng)跟蹤數(shù)據(jù)作為主要的視覺認(rèn)知分析數(shù)據(jù)集，進(jìn)而探索日常駕駛環(huán)境中人眼視覺注意對(duì)于刺激對(duì)象的運(yùn)動(dòng)認(rèn)知特性。

2.2 實(shí)驗(yàn)框架

本文設(shè)計(jì)的仿真駕駛認(rèn)知實(shí)驗(yàn)結(jié)合了虛擬現(xiàn)實(shí)［19］和人機(jī)交互兩大主流技術(shù)，并根據(jù)駕駛認(rèn)知系統(tǒng)的不同功能劃分為4 個(gè)模塊，即仿真駕駛設(shè)計(jì)模塊、人機(jī)交互設(shè)定模塊、被試的認(rèn)知響應(yīng)眼動(dòng)跟蹤數(shù)據(jù)采集模塊以及結(jié)果討論模塊，不同模塊之間通過接口參數(shù)和場(chǎng)景界面完成信息的傳遞。

仿真駕駛設(shè)計(jì)模塊是整個(gè)實(shí)驗(yàn)系統(tǒng)的核心，包含本文實(shí)驗(yàn)方法的三條主要路線，即虛擬環(huán)境的制作、VR任務(wù)的呈現(xiàn)以及仿真駕駛?cè)蝿?wù)的實(shí)現(xiàn)，如圖3 中①部分所示。實(shí)驗(yàn)全程在沉浸式虛擬現(xiàn)實(shí)環(huán)境下進(jìn)行，虛擬環(huán)境使用游戲引擎Unity2019.4.26f1 和C#進(jìn)行編程［20］，運(yùn)行于Windows 10 Home 電腦，配置為64 位操作系統(tǒng)、Intel Core i9-10850K，3.6 GHz、32 GB RAM 和NVIDIA GeForce RTX 3070 顯卡。VR 任務(wù)使用HTCVive 來(lái)呈現(xiàn)，這是一種6 自由度VR 系統(tǒng)，由一個(gè)頭戴顯示器和兩個(gè)手持控制器組成。虛擬環(huán)境中的眼動(dòng)跟蹤數(shù)據(jù)是使用HTC Vive Pro Eye 中內(nèi)置的眼動(dòng)儀Tobii進(jìn)行采集的。Tobii 的精度估計(jì)為0.5°～1.1°，采樣頻率為120 Hz。仿真駕駛?cè)蝿?wù)使用羅技G29 來(lái)實(shí)現(xiàn)，駕駛員的操作由羅技G29 設(shè)備采集并送入U(xiǎn)nity 場(chǎng)景下模擬車輛的動(dòng)態(tài)系統(tǒng)。實(shí)驗(yàn)的具體設(shè)計(jì)如圖3 中②和③部分所示，包含相關(guān)事物模型的搭建，涉及城市街道中的建筑物、街道、指示牌和樹木等，以及駕駛車輛的內(nèi)部結(jié)構(gòu)和外形設(shè)計(jì)等。

圖3 視覺注意認(rèn)知虛擬實(shí)驗(yàn)系統(tǒng)Fig.3 Virtual experiment system of visual attention cognition

人機(jī)交互設(shè)定模塊和實(shí)驗(yàn)數(shù)據(jù)采集模塊是對(duì)上述駕駛實(shí)驗(yàn)設(shè)計(jì)框架的細(xì)節(jié)性解釋，描述的是實(shí)驗(yàn)內(nèi)容的具體實(shí)現(xiàn)方式：將Logitech G29 中的方向盤和腳踏板外界駕駛設(shè)備作為虛擬場(chǎng)景中汽車的響應(yīng)輸入設(shè)備，當(dāng)真實(shí)環(huán)境中的駕駛者操作相關(guān)駕駛設(shè)備時(shí)，Unity3D 場(chǎng)景下的虛擬車輛運(yùn)行相同的行駛狀態(tài)。整個(gè)駕駛實(shí)驗(yàn)過程是基于HTC Vive Pro Eye 虛擬現(xiàn)實(shí)頭戴顯示器進(jìn)行的，以虛擬現(xiàn)實(shí)眼鏡作為主視角的視覺輸出設(shè)備，從而實(shí)現(xiàn)沉浸式的汽車駕駛［21］。

實(shí)驗(yàn)數(shù)據(jù)的采集利用眼動(dòng)追蹤技術(shù)，即通過記錄眼動(dòng)軌跡并從中提取諸如注視點(diǎn)個(gè)數(shù)、注視時(shí)間、眼跳距離及瞳孔大小等數(shù)據(jù)，從而研究個(gè)體的內(nèi)在認(rèn)知過程［22］。本文利用HTC Vive Pro Eye 中與Vobling AB 共同研發(fā)的眼動(dòng)追蹤數(shù)據(jù)分析工具Tobii眼動(dòng)儀［21］，在虛擬環(huán)境中提取到被試實(shí)驗(yàn)過程中的實(shí)時(shí)眼動(dòng)追蹤數(shù)據(jù)，并且將該數(shù)據(jù)進(jìn)行可視化處理［23-24］，利于本文后續(xù)過程中的實(shí)驗(yàn)結(jié)果分析。最后的結(jié)果和討論模塊，主要在空間拓?fù)潢P(guān)系（運(yùn)動(dòng)狀態(tài)變化）和拓?fù)湫再|(zhì)（自身屬性變化）這兩種變化下對(duì)人類視覺注意認(rèn)知過程存在的認(rèn)知特性進(jìn)行相關(guān)討論。

2.3 實(shí)驗(yàn)內(nèi)容

實(shí)驗(yàn)主要測(cè)試在二維圖形認(rèn)知環(huán)境和三維駕駛行為認(rèn)知環(huán)境下，對(duì)象自身拓?fù)湫再|(zhì)、對(duì)象間的空間拓?fù)潢P(guān)系與人眼視覺注意的相關(guān)認(rèn)知關(guān)系，其中包含自變量因子A和B。自變量因子A表示場(chǎng)景中認(rèn)知對(duì)象所發(fā)生的不同程度的拓?fù)渥儞Q，自變量因子B表示場(chǎng)景中認(rèn)知對(duì)象所出現(xiàn)的不同運(yùn)動(dòng)狀態(tài)變化。

2.3.1 空間圖形認(rèn)知

基于上文中拓?fù)鋸?fù)雜度和空間拓?fù)潢P(guān)系的相關(guān)描述內(nèi)容，設(shè)計(jì)如圖4 所示的實(shí)驗(yàn)思路。

圖4（a）顯示了主要的自變量因子A，在原始圖形的基礎(chǔ)上發(fā)生以下三種水平的拓?fù)鋸?fù)雜度變化：拓?fù)鋸?fù)雜度變化1（P={1，2；1，1}）即嵌套結(jié)構(gòu)圖形，拓?fù)鋸?fù)雜度變化2（P={1；2}）即并行結(jié)構(gòu)圖形，拓?fù)鋸?fù)雜度變化3（P={1，2；2，1}）即復(fù)合結(jié)構(gòu)圖形。

圖4（b）顯示了空間拓?fù)潢P(guān)系的設(shè)計(jì)思路，左上角圖形標(biāo)識(shí)了TPP 和NTPP 兩種空間拓?fù)潢P(guān)系，這兩種空間拓?fù)潢P(guān)系之間的轉(zhuǎn)化通過對(duì)象X的移動(dòng)實(shí)現(xiàn)。其中，speed 是本文定義的速度，即期望物體每秒移動(dòng)的距離。根據(jù)實(shí)驗(yàn)中正方形長(zhǎng)寬設(shè)定值為1 m，即圖中正方形Y的長(zhǎng)寬為1 m，對(duì)象X在1 s 時(shí)間內(nèi)分別移動(dòng)1 m、3 m、6 m，設(shè)置這三種不同的移動(dòng)速度作為自變量因子B。①中對(duì)象X是以基礎(chǔ)移動(dòng)速度1（Speed=1 m/s）進(jìn)行空間拓?fù)潢P(guān)系轉(zhuǎn)換，②中對(duì)象X以基礎(chǔ)速度的3 倍進(jìn)行移動(dòng)，即以速度2（Speed=3 m/s）發(fā)生空間拓?fù)潢P(guān)系的轉(zhuǎn)換，③中X是以基礎(chǔ)速度的6 倍進(jìn)行移動(dòng)，即以移動(dòng)速度3（Speed=6 m/s）進(jìn)行轉(zhuǎn)換。本實(shí)驗(yàn)主要通過控制對(duì)象X的運(yùn)動(dòng)狀態(tài)進(jìn)而改變空間拓?fù)潢P(guān)系，圖中用虛線標(biāo)示出不同速度下的運(yùn)動(dòng)狀態(tài)，速度越大虛線密度越大。

圖4 自變量因子A 和自變量因子B 的3 種水平示例圖Fig.4 Diagram of an example of three levels of independent variable factor A and independent variable factor B

據(jù)以上實(shí)驗(yàn)思路，本文基于Unity3D 引擎平臺(tái)設(shè)計(jì)在二維空間中人眼視覺對(duì)于動(dòng)態(tài)拓?fù)渥兓瓦\(yùn)動(dòng)狀態(tài)變化的認(rèn)知實(shí)驗(yàn)。在正式實(shí)驗(yàn)之前，需要對(duì)被試進(jìn)行預(yù)實(shí)驗(yàn)流程，主要是讓被試了解整個(gè)實(shí)驗(yàn)過程。正式實(shí)驗(yàn)程序如圖5 所示，實(shí)驗(yàn)中呈現(xiàn)的圖形分為標(biāo)準(zhǔn)圖形（只有1種：正方形）和13個(gè)刺激圖形（標(biāo)準(zhǔn)圖形有2類：拓?fù)渥兓瘓D形和運(yùn)動(dòng)狀態(tài)變化圖形）。首先向被試呈現(xiàn)標(biāo)準(zhǔn)圖形，緊接著呈現(xiàn)一對(duì)刺激圖形，包含拓?fù)湫再|(zhì)變化和運(yùn)動(dòng)狀態(tài)變化兩種刺激，當(dāng)前流程圖中顯示的是拓?fù)鋸?fù)雜度變化1和移動(dòng)速度3兩種刺激，需要再次恢復(fù)成標(biāo)準(zhǔn)圖形利于放松眼部運(yùn)動(dòng)。整個(gè)過程共呈現(xiàn)13項(xiàng)注意認(rèn)知項(xiàng)目，每個(gè)項(xiàng)包含一對(duì)刺激圖形，如圖5右上角所示，其中包含拓?fù)渥兓瓦\(yùn)動(dòng)狀態(tài)變化，兩種變化發(fā)生的位置左右隨機(jī)出現(xiàn)，最后呈現(xiàn)結(jié)束畫面。標(biāo)準(zhǔn)圖形在頭戴顯示器中的顯示時(shí)間是5 s，單個(gè)刺激圖形的顯示時(shí)間是1 s，整個(gè)二維圖形認(rèn)知實(shí)驗(yàn)用時(shí)約2 min。

圖5 二維圖形認(rèn)知實(shí)驗(yàn)過程Fig.5 Two-dimensional graphic cognitive experiment process

2.3.2 三維空間駕駛行為認(rèn)知

為了將2.3.1 節(jié)中描述的二維空間中簡(jiǎn)單圖形的認(rèn)知實(shí)驗(yàn)思路應(yīng)用于三維空間，基于人類的日常駕駛活動(dòng)，本文設(shè)計(jì)三維空間中的仿真駕駛行為認(rèn)知實(shí)驗(yàn)。將陳霖的拓?fù)湫再|(zhì)知覺理論和空間拓?fù)潢P(guān)系應(yīng)用于三維空間中的日常駕駛活動(dòng)，實(shí)驗(yàn)思路如圖6 所示，其中，①展示的是空間拓?fù)潢P(guān)系的轉(zhuǎn)換過程，通過對(duì)象X的跳躍移動(dòng)方式將空間拓?fù)潢P(guān)系從DC（不連接）轉(zhuǎn)換為EC（外部連接）。這種空間范圍下的拓?fù)渥儞Q應(yīng)用于實(shí)際三維場(chǎng)景中，表現(xiàn)為人類的運(yùn)動(dòng)狀態(tài)變化，即通過人類對(duì)象X奔跑時(shí)與地面Y之間的接觸點(diǎn)，完成兩種空間拓?fù)潢P(guān)系的轉(zhuǎn)換，將這種空間拓?fù)潢P(guān)系的運(yùn)動(dòng)變化作為實(shí)驗(yàn)中的自變量因子B。為了方便讀者理解，為場(chǎng)景中運(yùn)動(dòng)的對(duì)象添加了拖影代碼，用于標(biāo)識(shí)運(yùn)動(dòng)的狀態(tài)及軌跡。另一方面，對(duì)象自身屬性所發(fā)生的拓?fù)湫再|(zhì)變化過程如圖6 中②所示，從拓?fù)湫再|(zhì)的連通性方面看，不同人體內(nèi)部連通性不同，從而有著不同的拓?fù)湫再|(zhì)，每個(gè)人體都包含屬于自身屬性的層標(biāo)簽和拓?fù)涠春瘮?shù)，雖然層標(biāo)簽數(shù)n、m是不確定的數(shù)值，但可以確定的是不同人體包含的層標(biāo)簽和拓?fù)涠春瘮?shù)是不相同的，因此，當(dāng)一個(gè)人變成另外一個(gè)人時(shí)，即發(fā)生了拓?fù)湫再|(zhì)變化，將這種拓?fù)湫再|(zhì)的變化作為實(shí)驗(yàn)中的自變量因子。

圖6 三維空間駕駛行為認(rèn)知場(chǎng)景Fig.6 Cognitive scene of driving behavior in three-dimensional space

在三維空間駕駛行為認(rèn)知實(shí)驗(yàn)中，基于Unity3D引擎進(jìn)行實(shí)驗(yàn)場(chǎng)景的搭建及自變量因子的設(shè)置，如圖6 右上角圖片所示。被試被放置在一個(gè)模擬城市街道的小轎車中，街道中包含建筑物、車輛和行人等，其中路邊的行人狀態(tài)包含正常靜態(tài)站立狀態(tài)、發(fā)生自身拓?fù)鋵傩宰兓臓顟B(tài)（刺激）以及發(fā)生運(yùn)動(dòng)狀態(tài)變化的狀態(tài)（刺激）。被試需要在執(zhí)行正常駕駛?cè)蝿?wù)的前提下注意路邊出現(xiàn)的刺激對(duì)象，并且用視覺注視來(lái)進(jìn)行定位。在12 項(xiàng)注意認(rèn)知項(xiàng)目中，8 項(xiàng)同時(shí)出現(xiàn)兩種刺激對(duì)象（自身拓?fù)鋵傩愿淖兊拇碳?duì)象和運(yùn)動(dòng)狀態(tài)改變的刺激對(duì)象），2 項(xiàng)僅出現(xiàn)運(yùn)動(dòng)狀態(tài)改變的刺激對(duì)象，2 項(xiàng)僅出現(xiàn)拓?fù)鋵傩愿淖兊拇碳?duì)象。

虛擬場(chǎng)景中的駕駛?cè)蝿?wù)是由被試借助外部Logitech 駕駛模擬器組件完成的，將羅技駕駛模擬器中的G29 方向盤、汽車踏板作為虛擬駕駛的數(shù)據(jù)輸入設(shè)備，通過采集G29 力反饋方向盤及踏板的啟動(dòng)、轉(zhuǎn)向、加速踏板和制動(dòng)踏板，將實(shí)時(shí)獲得的駕駛速度和方向盤轉(zhuǎn)角等駕駛數(shù)據(jù)信息傳輸至Unity3D 平臺(tái)下控制車輛行駛的相關(guān)代碼中，從而控制場(chǎng)景中虛擬車輛的相應(yīng)行駛狀態(tài)。為了提供更好的駕駛體驗(yàn)效果，本文將車輛的行駛速度控制在50 km/h 以下，整個(gè)三維駕駛認(rèn)知實(shí)驗(yàn)用時(shí)約為2 min。

上文設(shè)計(jì)的兩個(gè)認(rèn)知實(shí)驗(yàn)均要求被試在全程配戴虛擬現(xiàn)實(shí)眼鏡的條件下進(jìn)行，實(shí)驗(yàn)開始后播放相應(yīng)的視覺認(rèn)知實(shí)驗(yàn)場(chǎng)景。同時(shí)，利用HTC Vive Pro Eye中集成的眼動(dòng)追蹤工具，實(shí)現(xiàn)全程同步記錄受試者發(fā)生視覺認(rèn)知時(shí)的眼部軌跡數(shù)據(jù)，通過分析被試的眼動(dòng)跟蹤數(shù)據(jù)，探討人眼視覺注意的認(rèn)知優(yōu)先特性。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中使用HTC Vive Pro Eye 虛擬現(xiàn)實(shí)頭戴顯示器中的眼動(dòng)集成工具，被試在佩戴虛擬現(xiàn)實(shí)眼鏡進(jìn)行實(shí)驗(yàn)的同時(shí)，眼鏡內(nèi)置的眼動(dòng)監(jiān)測(cè)設(shè)備可以捕捉雙眼實(shí)時(shí)的運(yùn)動(dòng)軌跡。實(shí)驗(yàn)通過改寫眼動(dòng)監(jiān)測(cè)的相關(guān)代碼，將實(shí)時(shí)監(jiān)測(cè)到的眼動(dòng)軌跡數(shù)據(jù)存儲(chǔ)至工程文本文件中，從而有利于本文對(duì)實(shí)驗(yàn)數(shù)據(jù)的對(duì)比分析以及眼動(dòng)軌跡在場(chǎng)景中的再現(xiàn)。實(shí)驗(yàn)主要通過眼動(dòng)軌跡了解視覺認(rèn)知的總體情況，本文在測(cè)試的總樣本中選取20 個(gè)眼動(dòng)跟蹤標(biāo)準(zhǔn)樣本數(shù)作為實(shí)驗(yàn)結(jié)果分析的依據(jù)。在每個(gè)被試進(jìn)行實(shí)驗(yàn)之前，均要求重新校準(zhǔn)眼動(dòng)追蹤，即被試眼睛按照屏幕中顯示的校準(zhǔn)點(diǎn)進(jìn)行移動(dòng)從而執(zhí)行校準(zhǔn)過程。然后運(yùn)行Unity3D 引擎，通過VR 眼鏡呈現(xiàn)不同的實(shí)驗(yàn)場(chǎng)景，并同時(shí)采集被試在場(chǎng)景中的一系列眼動(dòng)注視點(diǎn)(x，y，z)，從而獲得眼動(dòng)跟蹤的數(shù)據(jù)。

二維圖形認(rèn)知實(shí)驗(yàn)和三維駕駛運(yùn)動(dòng)認(rèn)知實(shí)驗(yàn)均采用響應(yīng)面分析方法對(duì)實(shí)驗(yàn)變量進(jìn)行有效設(shè)計(jì)和分析，Design-Expert 是一款專業(yè)的響應(yīng)面數(shù)據(jù)分析軟件，包含實(shí)驗(yàn)設(shè)計(jì)、實(shí)驗(yàn)分析和實(shí)驗(yàn)優(yōu)化功能［25］，本文主要利用實(shí)驗(yàn)設(shè)計(jì)功能，通過隨機(jī)生成的變量水平，設(shè)計(jì)場(chǎng)景中相對(duì)應(yīng)的刺激變量。

二維圖形認(rèn)知實(shí)驗(yàn)設(shè)計(jì)及結(jié)果如表1 所示，Central Composite 實(shí)驗(yàn)設(shè)計(jì)分為13 個(gè)實(shí)驗(yàn)組別，分別包含自變量因子A和自變量因子B，其中，Coded variable level 是Design-Expert 軟件設(shè)計(jì)的隨機(jī)實(shí)驗(yàn)數(shù)值，表示每個(gè)變量因子有3 種水平（-1、0、1），Real variable level 是變量的不同水平，在實(shí)驗(yàn)場(chǎng)景中所對(duì)應(yīng)的實(shí)際狀態(tài)，自變量因子A的3 種水平，分別對(duì)應(yīng)拓?fù)鋸?fù)雜度變化1、拓?fù)鋸?fù)雜度變化2 和拓?fù)鋸?fù)雜度變化3，自變量因子B的3 種水平分別對(duì)應(yīng)3 種運(yùn)動(dòng)速度（移動(dòng)速度1、移動(dòng)速度2、移動(dòng)速度3）。最后在選定的20 個(gè)被試樣本中，分別統(tǒng)計(jì)同時(shí)出現(xiàn)這兩個(gè)變量時(shí)，被試的眼動(dòng)跟蹤軌跡優(yōu)先發(fā)生在拓?fù)湫再|(zhì)變化的次數(shù)和發(fā)生在運(yùn)動(dòng)狀態(tài)變化的次數(shù)。

從表1 中可以看出，在13 組隨機(jī)實(shí)驗(yàn)中，20 個(gè)被試優(yōu)先識(shí)別拓?fù)渥兓拇螖?shù)分別是2、6、9、6、4、3、4、2、6、1、7、5、3，優(yōu)先識(shí)別運(yùn)動(dòng)狀態(tài)變化的次數(shù)分別是18、14、11、14、16、17、16、18、14、18、12、15、16。運(yùn)動(dòng)狀態(tài)的眼動(dòng)次數(shù)明顯多于拓?fù)渥兓难蹌?dòng)次數(shù)，顯然，當(dāng)呈現(xiàn)不同拓?fù)鋸?fù)雜度的拓?fù)湫再|(zhì)變化和不同速度的運(yùn)動(dòng)狀態(tài)變化時(shí)，被試普遍優(yōu)先發(fā)生運(yùn)動(dòng)狀態(tài)的注意捕獲。

表1 二維圖形認(rèn)知實(shí)驗(yàn)中變量因子A 和變量因子B 的水平和相應(yīng)的眼動(dòng)次數(shù)Table 1 Levels of variable factor A and variable factor B and corresponding number of eye movements in two-dimensional figure cognition experiment

同樣，可以將記錄在工程文本文件中的眼動(dòng)跟蹤數(shù)據(jù)還原繪制在駕駛實(shí)驗(yàn)場(chǎng)景中，并對(duì)場(chǎng)景中出現(xiàn)的13 組刺激圖形下的不同被試眼動(dòng)軌跡分布進(jìn)行對(duì)比分析。隨機(jī)選取單個(gè)被試的眼動(dòng)跟蹤數(shù)據(jù)，并將其還原繪制在二維圖形認(rèn)知場(chǎng)景中，二維圖形認(rèn)知實(shí)驗(yàn)眼動(dòng)軌跡對(duì)比結(jié)果如圖7 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。其中：白色球體表示被試優(yōu)先識(shí)別的對(duì)象；紅色球體表示被試的眼睛注視位置。

圖7 一組二維圖形實(shí)驗(yàn)眼動(dòng)軌跡對(duì)比結(jié)果Fig.7 Comparison results of eye movement trajectories of one group of two-dimensional graphics experiment

在當(dāng)前選取的一組眼動(dòng)軌跡數(shù)據(jù)中，剔除干擾數(shù)據(jù)，有效眼動(dòng)軌跡數(shù)據(jù)有13 組，共包含508 個(gè)。其中被試優(yōu)先注意到運(yùn)動(dòng)對(duì)象的眼動(dòng)組次有11 組，只有2 組眼動(dòng)軌跡優(yōu)先出現(xiàn)在拓?fù)鋵傩宰兓拇碳?duì)象上，并且出現(xiàn)在運(yùn)動(dòng)刺激對(duì)象上的眼動(dòng)注視數(shù)據(jù)有487 個(gè)，注視在拓?fù)鋵傩源碳?duì)象上的數(shù)據(jù)有21 個(gè)。通過眼動(dòng)軌跡數(shù)據(jù)和結(jié)果圖的對(duì)比可以明顯看出，當(dāng)發(fā)生拓?fù)鋵傩宰兓拇碳D形和發(fā)生運(yùn)動(dòng)狀態(tài)變化的刺激圖形同時(shí)出現(xiàn)在場(chǎng)景中時(shí)，被試的眼動(dòng)注視點(diǎn)優(yōu)先且主要集中在運(yùn)動(dòng)狀態(tài)變化的刺激對(duì)象上。

三維駕駛環(huán)境下的認(rèn)知響應(yīng)實(shí)驗(yàn)結(jié)果如表2 所示，Central Composite 實(shí)驗(yàn)設(shè)計(jì)與二維圖形認(rèn)知實(shí)驗(yàn)基本相同，區(qū)別在于：變量因子A的3 種水平（-1、0、1）分別對(duì)應(yīng)實(shí)際場(chǎng)景中的無(wú)變化、自身屬性變化，變量因子B的3 種水平（-1、0、1）分別對(duì)應(yīng)無(wú)變化、運(yùn)動(dòng)狀態(tài)變化。由于當(dāng)變量水平是-1 時(shí)均無(wú)變化發(fā)生，因此隱藏了表中第8 組數(shù)據(jù)（-1，-1）的表示。表2 中①～?分別表示實(shí)驗(yàn)中的20 個(gè)被試者，根據(jù)采集每個(gè)被試者的眼動(dòng)軌跡數(shù)據(jù)，眼動(dòng)注視點(diǎn)優(yōu)先出現(xiàn)在哪種變量上，即優(yōu)先注意到哪種變化的發(fā)生，在該變量下進(jìn)行勾選?？梢郧逦貜谋碇锌闯?，多數(shù)被試都優(yōu)先發(fā)生了運(yùn)動(dòng)狀態(tài)的認(rèn)知，并且20 個(gè)被試優(yōu)先識(shí)別拓?fù)渥兓拇螖?shù)分別是2、5、3、2、2、1、4，優(yōu)先識(shí)別運(yùn)動(dòng)狀態(tài)變化的次數(shù)分別是12、7、8、13、11、10、12、8。通過對(duì)比分析可知，當(dāng)拓?fù)湫再|(zhì)變化和運(yùn)動(dòng)狀態(tài)變化同時(shí)出現(xiàn)時(shí)，運(yùn)動(dòng)狀態(tài)的變化更容易引起視覺發(fā)生注意捕獲。

表2 三維駕駛認(rèn)知實(shí)驗(yàn)中變量因子A 和變量因子B 的水平和相應(yīng)的眼動(dòng)次數(shù)Table 2 Levels of variable factor A and variable factor B and corresponding number of eye movements in three-dimensional driving cognitive experiment

同樣，隨機(jī)選取單個(gè)被試的眼動(dòng)跟蹤數(shù)據(jù)，并將其還原繪制在駕駛場(chǎng)景中，三維駕駛實(shí)驗(yàn)眼動(dòng)軌跡對(duì)比如圖8 所示（彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版）。采集的被試眼動(dòng)跟蹤數(shù)據(jù)實(shí)際上代表眼球注視點(diǎn)在三維空間中的不同位置坐標(biāo)(x，y，z)，因此，為了具體化被試的注意認(rèn)知過程，本文在這些三維坐標(biāo)處分別生成球體進(jìn)行軌跡實(shí)例化，白色球體表示最開始識(shí)別的對(duì)象，之后的眼動(dòng)位置均生成紅色球體表示眼動(dòng)軌跡，圖中數(shù)字分別表示認(rèn)知響應(yīng)實(shí)驗(yàn)設(shè)計(jì)中的13 項(xiàng)實(shí)驗(yàn)組數(shù)據(jù)，除了第8 項(xiàng)以外均在三維駕駛場(chǎng)景中隨機(jī)出現(xiàn)，共呈現(xiàn)12 組。

圖8 一組三維駕駛實(shí)驗(yàn)眼動(dòng)軌跡對(duì)比結(jié)果Fig.8 Comparison result of eye movement trajectories in one group of three-dimensional driving experiment

在選取的一組眼動(dòng)軌跡數(shù)據(jù)中，剔除了干擾數(shù)據(jù)，有效眼動(dòng)軌跡數(shù)據(jù)有12 組，共包含37 個(gè)，其中被試優(yōu)先注意到運(yùn)動(dòng)對(duì)象的眼動(dòng)組次有10 組，只有2 組眼動(dòng)軌跡優(yōu)先出現(xiàn)在拓?fù)鋵傩宰兓拇碳?duì)象上，并且眼動(dòng)注視點(diǎn)出現(xiàn)在運(yùn)動(dòng)對(duì)象上的數(shù)據(jù)共有29 個(gè)，出現(xiàn)在自身拓?fù)鋵傩陨系臄?shù)據(jù)共有8 個(gè)?？梢悦黠@看出，在被試正常駕駛狀態(tài)下時(shí)，其眼動(dòng)注視點(diǎn)優(yōu)先且主要集中在發(fā)生運(yùn)動(dòng)狀態(tài)變化的刺激對(duì)象上，并且注視點(diǎn)多處于運(yùn)動(dòng)對(duì)象的腿部位置。

上述實(shí)驗(yàn)結(jié)果表明，通過定性和定量的數(shù)據(jù)分析，配合恰當(dāng)?shù)难蹌?dòng)跟蹤軌跡圖，可以真實(shí)地還原被試的認(rèn)知過程。由此也可以分析發(fā)現(xiàn)，對(duì)于刺激對(duì)象運(yùn)動(dòng)狀態(tài)的注意捕獲優(yōu)先發(fā)生在人眼視覺認(rèn)知過程的早期階段。

4 結(jié)束語(yǔ)

本文對(duì)拓?fù)湫再|(zhì)知覺理論和空間拓?fù)潢P(guān)系進(jìn)行研究，基于虛擬現(xiàn)實(shí)仿真、人機(jī)交互、響應(yīng)面分析、眼動(dòng)跟蹤等技術(shù)設(shè)計(jì)二維空間圖形認(rèn)知實(shí)驗(yàn)和三維空間駕駛行為認(rèn)知實(shí)驗(yàn)分析方法，從而探索自身屬性的拓?fù)湫再|(zhì)變化和運(yùn)動(dòng)狀態(tài)的空間拓?fù)潢P(guān)系變化在人眼視覺注意認(rèn)知過程中的優(yōu)先性。多角度的眼動(dòng)跟蹤數(shù)據(jù)可視化結(jié)果表明，在視覺認(rèn)知過程中，相比運(yùn)動(dòng)對(duì)象自身拓?fù)湫再|(zhì)的變化，人眼視覺優(yōu)先識(shí)別對(duì)象運(yùn)動(dòng)狀態(tài)相關(guān)的大范圍空間拓?fù)潢P(guān)系的變化，這一結(jié)論在人工智能技術(shù)推動(dòng)計(jì)算機(jī)實(shí)時(shí)感知和智能決策的同時(shí)，豐富了智能技術(shù)安全可靠的理論依據(jù)內(nèi)容，為可信人工智能技術(shù)下的智能駕駛研究提供了駕駛視覺注意預(yù)測(cè)計(jì)算模式新思路。