基于事件相關(guān)電位絕對時間標記法的汽車造型語義評價方法

邵景峰，楊志剛，楊再峰，鄭恩澤

（1.同濟大學汽車學院，上海 201804；2.上海汽車集團股份有限公司技術(shù)中心設(shè)計中心，上海 201804）

汽車造型設(shè)計是一個由創(chuàng)意驅(qū)動的、不確定的、復雜的設(shè)計求解過程［1］。傳統(tǒng)汽車主機廠通常在每一款車型設(shè)計最終鎖定前，為了更加準確地決策，會進行大規(guī)模的實車主觀問卷調(diào)研［2］。實際操作過程中發(fā)現(xiàn)主觀問卷調(diào)研形式容易出現(xiàn)“話題領(lǐng)導者”“意見領(lǐng)袖”“隨大流”和“所說非所想”等主觀想法扭曲客觀事實的情況，使最終調(diào)研數(shù)據(jù)正確率偏低，不能提供客觀準確的決策參考，并且現(xiàn)行傳統(tǒng)主觀問卷調(diào)研方式成本較高，參與人員眾多，給企業(yè)的發(fā)展帶來負擔。為此，研究引入基于使用便攜式腦電采集設(shè)備的事件相關(guān)電位技術(shù)進行汽車造型語義評價實驗，測量用戶對汽車造型的感性意向［3-4］。

在自然狀態(tài)下大腦加工語義而發(fā)生的腦電被稱為自發(fā)電位，通過特定刺激誘發(fā)的腦電稱為誘發(fā)電位，即事件相關(guān)電位（event-related potential，ERP）。Neuroscan 32導腦電采集設(shè)備采用10-20國際標準導聯(lián)系統(tǒng)布置電極，在測量用戶語義認知過程中，雖然能得到用戶真實的想法，但存在成本高、操作復雜、實驗時間長（50～60 min）等眾多缺點［5］。因此，本研究借助Muse便攜式腦電設(shè)備采集和描述用戶大腦的語義加工特征屬性，改進ERP實驗方法，提出絕對時間標記法，提高汽車造型決策的效率［6］。

現(xiàn)有研究表明，大腦通過整套認知神經(jīng)機制控制人的感知和反應行為。當刺激發(fā)生后，在100～200 ms之間、200～600 ms之間和600 ms之后，分別是認知加工的早期、中期和晚期階段［7-8］。在腦認知領(lǐng)域，研究主要集中在大腦認知加工中期。Kutas和Hillyard在1980年發(fā)現(xiàn)語句最后一個單詞按照25%概率隨機出現(xiàn)不可預料的歧義詞，將在250～600 ms之間產(chǎn)生一個潛伏期約400 ms的負波即N400。該范式被稱為N400經(jīng)典實驗范式［8］。此后實驗發(fā)現(xiàn)不同詞性、反義詞、無關(guān)詞能夠明顯誘發(fā)N400成分［9-10］。語義腦認知實驗范式以文字與文字匹配為起點，逐步發(fā)展為文字與圖片、圖片與圖片匹配范式［11］，呈現(xiàn)形式也擴展到了聽覺語言、手勢語言等［12］。為了更深入地研究與語義統(tǒng)一有關(guān)的腦過程，Zude等［13］采用同步腦電-功能磁共振（EEGfMRI）技術(shù)對與語義統(tǒng)一相關(guān)的N400變化進行時間鎖定。Delogu等［14］對語言研究中ERP的時空重疊問題進行了研究，發(fā)現(xiàn)N400反映了詞匯檢索過程。Meade等［15］將N400效應解釋為目標詞和側(cè)翼詞共同語義特征（如動物、毛茸茸的）聯(lián)合激活的便利加工效應，以及詞匯決策的促進加工效應。綜上所述，語義和語用不適合、語義類別錯誤以及與已有知識不一致等諸多情況都會誘發(fā)N400效應?？梢钥隙ǖ氖荖400確與語義的期待有關(guān)，并且其波幅隨語義背離程度的增大而增大［8］。因此，可以通過它來檢驗與語義啟動有關(guān)的理論和模型。

基于上述分析，本研究設(shè)計兩個獨立實驗，探索Muse腦電設(shè)備在以絕對時間標記法代替事件標記信號法的情況下，在一臺電腦上進行ERP N400成分研究的可行性，以簡化實驗操作，提高汽車造型決策效率［16］。實驗一采用誘發(fā)N400成分的句尾歧義經(jīng)典實驗范式［17］，驗證Muse便攜式腦電設(shè)備收集ERP數(shù)據(jù)的準確性。實驗二采用復合刺激S1-S2實驗范式，以N400指標檢驗4種不同造型設(shè)計方案的用戶語義意向，從而為準確了解用戶的汽車造型語義需求提供客觀指標和參考。研究假設(shè)如下：

（1）Muse腦電采集設(shè)備，能夠驗證句尾歧義時誘發(fā)的N400波幅大于句尾通順時誘發(fā)的N400波幅。

（2）使用Muse設(shè)備，以絕對時間標記法采集的N400成分能夠準確測量出用戶對汽車造型語義的創(chuàng)新性程度。

1 句尾歧義誘發(fā)N400成分實驗

1.1 實驗設(shè)計

1.1.1 句尾歧義經(jīng)典實驗范式

本實驗采用誘發(fā)N400成分的句尾歧義經(jīng)典實驗范式［8］。選取語法和語義正確，字母大小一致的4個句子為標準刺激組，分別編號為1、3、5和7號。選取語法正確，字母大小一致，但句尾的最后一個詞錯寫為歧義詞的4個句子為偏差刺激組，分別編號為2、4、6和8號，如圖1所示。每個句子按照詞組分成5部分，在屏幕上按照既有順序每秒呈現(xiàn)一個詞組，令被試者默讀，采集腦電數(shù)據(jù)。每個句子隨機出現(xiàn)一次，實驗流程如圖2所示。

圖1 標準刺激語句與偏差刺激語句Fig.1 Standard stimulus sentences and deviated stimulus sentences

圖2 實驗流程Fig.2 Experiment process

1.1.2 絕對時間標記法

絕對時間標記法是以成熟的ERP實驗方法為基礎(chǔ)，針對企業(yè)實際生產(chǎn)需求提出的更高效、更便捷的試驗方法。

實驗數(shù)據(jù)采集設(shè)備為美國Interaxon Inc公司開發(fā)的Muse便攜式腦電設(shè)備。該設(shè)備的電極位置屬于10-20國際標準導聯(lián)系統(tǒng)，一共有5導：額葉3導電極（Fpz、AF7和AF8）、顳葉2導電 極（TP9和TP10）。其中Fpz為參考電極，AF7、AF8、TP9和TP10是有效采集電極，電極的放置如圖3所示。Muse設(shè)備可簡便有效地獲取用戶額葉和顳葉的腦電信號，并被許多研究證明可用于ERP的測量［18］。

圖3 Muse腦電采集設(shè)備導電位示意圖Fig.3 Electrode position

在實際情況下，企業(yè)的汽車造型設(shè)計工作強度大，需要更加簡單高效的ERP實驗范式。在Muse采集腦電信號的過程中，傳統(tǒng)的事件標記信號法操作復雜，故而改用絕對時間標記法進行實驗，如圖4所示。實驗開始，刺激發(fā)生系統(tǒng)呈現(xiàn)視覺刺激的同時，開始收集絕對時間數(shù)據(jù)，在實驗過程中，每一步時間都精準固定，直到所有刺激呈現(xiàn)完成，停止收集絕對時間并保存腦電數(shù)據(jù)和絕對時間數(shù)據(jù)，全部被試者完成實驗后，進行數(shù)據(jù)預處理。實驗一的采集流程為：實驗開始，刺激發(fā)生系統(tǒng)啟動，界面出現(xiàn)“開始”字樣，與此同時電腦收集絕對時間數(shù)據(jù)起點。2s后出現(xiàn)注視集中界面，此畫面持續(xù)1 s，隨后隨機呈現(xiàn)8個語句中的一個，并按順序每秒呈現(xiàn)這個語句中的一個詞組。每句話最后一個詞組呈現(xiàn)結(jié)束后，返回注視集中界面，保持1 s后，隨機呈現(xiàn)下一個語句，所有語句都隨機呈現(xiàn)一次后，實驗結(jié)束，保存腦電數(shù)據(jù)和絕對時間數(shù)據(jù)。全程被試者不需要進行任何操作，只需注意力集中，默讀理解語句語義即可。

圖4 刺激呈現(xiàn)系統(tǒng)流程圖Fig.4 Flowchart of stimulation system

在實驗準備過程中，由于多個設(shè)備之間通過藍牙連接傳輸數(shù)據(jù)，存在延遲抖動。為了解決這個問題，自主設(shè)計了基于Python平臺的代碼程序，用于測量延遲抖動數(shù)據(jù)。多次同一環(huán)境下實驗，發(fā)現(xiàn)設(shè)備系統(tǒng)固定且一直存在10～25 ms的延遲抖動。即通過藍牙傳輸?shù)诫娔X上的數(shù)據(jù)較被試者腦電波真實誘發(fā)時間全部延遲10～25 ms。為了規(guī)避誤差，在分段分割階段適度增大比較腦電波幅的時間窗，本實驗環(huán)境下延遲抖動問題不影響實驗結(jié)果。

1.2 數(shù)據(jù)預處理

使用Python工具軟件自主開發(fā)了腦電數(shù)據(jù)分析系統(tǒng)。其中主要使用Pygame模塊構(gòu)建整個實驗程序，使用PyLSL（python lab stream layer）模塊和Pythontime模塊分別接收Muse采集的腦電數(shù)據(jù)和視覺刺激發(fā)生的絕對時間信號。經(jīng)過數(shù)據(jù)預處理，共有59個有效數(shù)據(jù)產(chǎn)生，額葉三導電極（Fpz、AF7和AF8）、顳葉兩導電極（TP9和TP10）阻抗保持在10 kΩ以下，采樣頻率256 Hz。當載入電極后，以Fpz導電位作為參考電極，以0.1～15.0 Hz區(qū)間為基準進行二階帶通濾波，之后以刺激發(fā)生前200 ms為起始點，刺激發(fā)生后600 ms為結(jié)束點，細化分段和分割實驗數(shù)據(jù)，去除眼電、眼動、肌電等偽跡信號，針對不同刺激分別作疊加平均，繪制總疊加波形圖。具體數(shù)據(jù)分析流程如圖5所示。

圖5 數(shù)據(jù)分析流程圖Fig.5 Flowchart of data analysis

1.3 被試者招募

本次實驗一共招募62名被試志愿者，年齡在23～45歲之間，平均年齡27.2歲，視力或矯正視力正常，身體健康。所有被試者在實驗前被告知實驗流程，并簽署了實驗知情同意書。

實驗開始前10 min準備好并佩戴Muse設(shè)備。屏幕呈現(xiàn)和數(shù)據(jù)采集程序?qū)⒂呻娔X自動進行，其間要求被試者距離顯示器50 cm，平視顯示器中央，保持身體不動，盡量減少眨眼和面部動作。每組實驗時間大約100 s。

1.4 數(shù)據(jù)分析與結(jié)果

本實驗誘發(fā)出多個腦電成分，研究將實驗數(shù)據(jù)分為數(shù)值與圖形兩個部分，對其進行主效應分析。在句尾歧義與否兩種條件下，分別對AF7、AF8、TP9和TP10這4種導電位的波幅求均值。由于波幅時刻波動，找到波形圖的峰值時間點t，提取時間窗（t-10，t+10）ms。

1.4.1 圖像分析

以4個句尾通順語句疊加平均為標準刺激，4個句尾歧義語句為4個偏差刺激，分別將其與標準刺激對比，根據(jù)4個導電位分別生成腦電波疊加波形圖，如圖6所示。在TP9導電位上生成的疊加圖有顯著相似規(guī)律，其余導電位無顯著相似規(guī)律。通過TP9導電位生成的波形圖發(fā)現(xiàn)，潛伏期在190～210 ms范圍內(nèi)，標準刺激和偏差刺激均誘發(fā)出N200成分，且偏差刺激波幅更大。潛伏期在290～310 ms范圍內(nèi)，標準刺激和偏差刺激均誘發(fā)出P300成分。且第3組數(shù)據(jù)中，偏差刺激誘發(fā)出的P300波幅最顯著。潛伏期在390～430 ms范圍內(nèi)，標準刺激和偏差刺激均誘發(fā)出了顯著的N400成分，且全部4組偏差刺激誘發(fā)出的N400波幅更大。潛伏期在550～570 ms范圍內(nèi)，標準刺激和偏差刺激均誘發(fā)出N560成分。

把4個句尾歧義和4個句尾通順語句分別總疊加為總偏差刺激和總標準刺激，基于4個導電位分別生成4張總疊加圖，如圖7所示。從圖7中可以明顯發(fā)現(xiàn)TP9導電位生成的偏差刺激和標準刺激波形擬合度高，TP10波形擬合程度低，AF7和AF8波形沒有擬合跡象。在TP9波形圖上，偏差刺激在190～210 ms范圍誘發(fā)出N200，在280～300 ms范圍誘發(fā)出P300，在390～410 ms范圍誘發(fā)出N400成分，其中N400成分非常顯著，在550～570 ms范圍內(nèi)誘發(fā)出N560成分。

1.4.2 數(shù)值分析

提取AF7、AF8、TP9和TP10這4種腦電數(shù)據(jù)做統(tǒng)計學分析，比較在句尾歧義與否兩種條件下的波幅差異。表1顯示了這兩種條件下各導電位波幅值的t檢驗結(jié)果

表1 句尾歧義與通順兩種條件下各導電位波幅值的t檢驗Tab.1 Amplitude value t-test of different brain regions under two conditions

以句尾歧義與否作為自變量，各個導電位置的波幅作為因變量，進行配對樣本t檢驗。結(jié)果表明：N400成分在TP9導電位（t=-3.36，p＜0.001）波幅差異顯著，即句尾歧義與否在TP9導電位對N400成分有顯著影響，該結(jié)論與圖6和圖7圖像匹配。

圖6 每個偏差刺激與4個標準刺激的腦電波疊加圖Fig.6 Brainwave superposition of each deviated stimulus and four standard stimuli

圖7 偏差刺激與4個標準刺激腦電波總疊加圖Fig.7 Total superposition of brainwave for deviation stimulus and four standard stimuli

由以上結(jié)果分析得出結(jié)論：

（1）TP9導電位收集的N400成分數(shù)據(jù)最顯著，具有主效應，其他的成分不具有主效應。

（2）驗證假設(shè)（1）正確，在使用便攜式腦電采集設(shè)備Muse的實驗中，句尾歧義時誘發(fā)出的N400波幅大于句尾通順時誘發(fā)的N400波幅。

2 汽車造型創(chuàng)新性語義認知事件實驗

2.1 實驗設(shè)計

2.1.1 復合刺激S1-S2實驗范式

本研究的實驗材料中有圖片和文字兩種形式，所以采用適合于多模態(tài)語義加工研究的復合刺激范式S1-S2［17］。該范式要求依次呈現(xiàn)兩種刺激S1和S2，S1為圖片刺激，S2文字刺激。當S1是4張目標刺激車輛圖片中的任意一張時，其后出現(xiàn)的S2固定呈現(xiàn)“創(chuàng)新的”形容詞文字，組成圖片文字對。其他背景刺激圖片與文字隨機形成圖片文字對。每組圖片文字對隨機呈現(xiàn)兩次，任意兩個連續(xù)圖片文字對都不重復。

習近平總書記強調(diào)，智力資源是一個國家、一個民族最寶貴的資源。我們進行治國理政，必須善于集中各方面智慧、凝聚最廣泛力量。改革發(fā)展任務越是艱巨繁重，越需要強大的智力支持。

2.1.2 絕對時間標記法

實驗二使用Muse便攜式腦電設(shè)備和實驗一中自主編寫的程序?qū)Ρ辉囌叩哪X電數(shù)據(jù)進行采集和預處理。在實驗范式上，采用絕對時間標記法進行實驗。實驗開始，首先呈現(xiàn)5 s的講解頁面，隨后進入正式實驗。屏幕會先呈現(xiàn)3 s“+”作為冷靜期，其后隨機呈現(xiàn)S1圖片刺激2s，被試者第一時間感知圖片語義。隨后呈現(xiàn)S2文字刺激2 s后無需任何操作自動跳轉(zhuǎn)冷靜期畫面。直到每組刺激隨機出現(xiàn)2次后結(jié)束實驗。全程不需要被試者任何操作，記錄時間為起始時間點和絕對時間。具體流程如圖8所示。

圖8 實驗設(shè)計過程Fig.8 Experimental procedure

2.2 實驗對象

本次的實驗對象為圖片和文字形式。作為目標刺激的圖片材料是4輛某品牌提出的下一代造型方案A、B、C和D（截至本文刊發(fā)均處于保密狀態(tài)）。其余作為背景刺激的10輛車通過網(wǎng)絡(luò)收集獲得，是剛剛上市或已發(fā)布未上市的運動型多功能車。采用傳統(tǒng)造型評價標準處理圖片。文字對象是1個創(chuàng)新性詞匯和17個背景詞匯，均是常用于描述汽車造型風格的形容詞，統(tǒng)一格式與大小，如圖9所示。

圖9 S1-S2刺激材料Fig.9 S1-S2 stimulator

2.3 被試者招募

本實驗共招募40名被試志愿者，招募條件與實驗一一致。

2.4 數(shù)據(jù)分析與結(jié)果

2.4.1 圖像分析

圖10是Muse腦電設(shè)備輸出的數(shù)據(jù)圖像，方案C激發(fā)出的N400波幅最高，方案B的N400波幅最低，4個方案關(guān)于創(chuàng)新性維度排序為B＞D＞A＞C。

圖10 數(shù)據(jù)圖像Fig.10 Data image

2.4.2 數(shù)值分析

實驗結(jié)果表明，被試者在看到目標刺激時，誘發(fā)了顯著的N200、P300和N400成分。基于實驗一結(jié)果，收集N400成分數(shù)值，如表2所示，關(guān)于創(chuàng)新性維度的排序為B＞D＞A＞C。

表2 造型語義與目標語義各導電位波幅值的均值和標準差Tab.2 Mean and standard deviation of conductive potential wave amplitude under two conditions

綜上所述，比對圖像與數(shù)據(jù)，作為目標刺激的4個造型方案關(guān)于創(chuàng)新性維度的排序為：B＞D＞A＞C。

驗證假設(shè)（2）正確：使用Muse設(shè)備，以絕對時間標記法采集的N400成分能夠準確測量出用戶對汽車造型語義的創(chuàng)新性程度。

3 結(jié)語

汽車造型設(shè)計的目標和評審本質(zhì)是一個用關(guān)鍵詞表達和描述汽車造型的過程。在實際工作流程中，該過程為設(shè)計診斷環(huán)節(jié)。由于汽車造型設(shè)計環(huán)節(jié)多、理解偏差大等因素，為得到準確的對應匹配語義，企業(yè)需要付出較高的時間成本和人力成本。本研究通過引入便攜式腦電采集設(shè)備，運用絕對時間標記法，根據(jù)創(chuàng)新性造型的設(shè)計目標要求，探索用戶創(chuàng)新性造型意向需求，即借助Muse TP9導電位采集到的N400指標實現(xiàn)了優(yōu)化造型評估流程的目的。

研究基于Muse設(shè)備采集ERP中N400成分，運用絕對時間標記法簡化ERP實驗操作，進而優(yōu)化企業(yè)造型設(shè)計評估流程。在ERP研究過程中，事件標記法是將時間標記物準確插入到連續(xù)的腦電數(shù)據(jù)中，以標記實驗刺激的重要方法。而本研究以簡化實驗操作流程為準則，采用絕對時間標記法，即通過藍牙傳輸一整段Muse收集的腦電波數(shù)據(jù)到實驗電腦上，再按照特定的絕對實驗時間節(jié)點進行分段處理。在以上實驗準備過程中發(fā)現(xiàn)多設(shè)備藍牙傳輸存在延遲抖動，通過自主設(shè)計的代碼程序測量本實驗使用的設(shè)備系統(tǒng)有固定且一直存在的延遲抖動，為10～25 ms，即通過藍牙傳輸?shù)诫娔X上的數(shù)據(jù)較被試者腦電波真實發(fā)生時間全部延遲10～25 ms。數(shù)據(jù)分段分割階段要進行規(guī)避。將原本50 ms左右的時間窗擴大為90 ms，所有被試刺激的N400成分波幅全都被時間窗包括，本實驗環(huán)境下延遲抖動問題不影響實驗結(jié)果。

在使用Muse便攜式腦電采集設(shè)備的實驗中發(fā)現(xiàn)，句尾歧義時誘發(fā)出的N400波幅大于句尾通順時誘發(fā)的N400波幅。汽車造型語義與文字語義不一致時所誘發(fā)的N400波幅大于汽車造型語義與文字語義一致時的N400波幅。

設(shè)計用于多模態(tài)語義加工研究的復合刺激范式S1-S2，驗證了Muse腦電裝置可以在不進行事件標記的情況下，在一臺電腦上進行事件相關(guān)電位N400成分的研究，判斷汽車造型是否符合用戶語義意向，進而對比在目標語義刺激下4個造型方案所誘發(fā)出的N400成分，進行創(chuàng)新性排序。

某乘用車公司將使用Muse采集腦電信號的絕對時間標記法與傳統(tǒng)市場調(diào)研方法結(jié)合應用，大幅節(jié)省了成本，縮短了造型評估周期，提高了決策準確度，優(yōu)化了汽車造型開發(fā)流程。