基于眼腦數(shù)據(jù)和問卷分析的泳裝圖像情感因子空間構(gòu)建

高 君，王偉珍,2

(1.大連工業(yè)大學(xué) 服裝學(xué)院，遼寧 大連 116034； 2.大連工業(yè)大學(xué) 服裝人因與智能設(shè)計(jì)研究中心，遼寧 大連 116034)

人工智能服裝的設(shè)計(jì)涉及對(duì)服裝圖像的識(shí)別、分類標(biāo)注等。關(guān)于服裝圖像的情感標(biāo)注，多為專業(yè)設(shè)計(jì)人員對(duì)現(xiàn)有服裝圖像進(jìn)行主觀情感標(biāo)注，再進(jìn)行后續(xù)的分類、檢索、匹配等方面的研究。

人的情感具有復(fù)雜性、模糊性和不確定性的特點(diǎn)。目前用于情感的研究方法有眼動(dòng)追蹤、腦電信號(hào)分析、PAD三維模型、面部表情分析等，其中眼動(dòng)追蹤[1]和腦電信號(hào)分析對(duì)受試者思維過程和大腦狀態(tài)的變化具有較強(qiáng)的表征能力。Yanulevskaya等[2]通過眼動(dòng)追蹤實(shí)驗(yàn)確定了人的情感與各種當(dāng)下狀態(tài)之間的聯(lián)系。Colombo等[3]以5個(gè)室內(nèi)空間圖像為測(cè)試樣本，探索環(huán)境表現(xiàn)如何影響人的愉悅感。Khushaba等[4]從消費(fèi)者神經(jīng)科學(xué)的角度出發(fā)，根據(jù)眼部運(yùn)動(dòng)和腦電圖實(shí)驗(yàn)，評(píng)估了人的不同偏好是如何刺激大腦的?；谌搜?、腦的情感識(shí)別[5-6]和情緒分類方面[7-8]的研究取得了較多進(jìn)展，可見情感計(jì)算領(lǐng)域已經(jīng)成功地與眼、腦電信號(hào)的變化聯(lián)系起來[5]。

本文提出一種泳裝圖像的情感分類量化方法，以泳裝圖像為載體，通過眼動(dòng)實(shí)驗(yàn)、腦電信號(hào)分析實(shí)驗(yàn)收集客觀生理數(shù)據(jù)；通過問卷調(diào)查的方法收集主觀數(shù)據(jù)，主觀數(shù)據(jù)結(jié)合客觀驗(yàn)證，以期建立更為準(zhǔn)確的泳裝圖像情感因子空間，為后續(xù)的圖像情感標(biāo)注識(shí)別、人工智能服裝設(shè)計(jì)打下基礎(chǔ)。

1 實(shí)驗(yàn)設(shè)計(jì)

1.1 設(shè)備及受試者

實(shí)驗(yàn)設(shè)備：Tobii Glasses型眼動(dòng)儀(北京津發(fā)科技股份有限公司)；BitBrain型半干電極16通道腦電系統(tǒng)(北京津發(fā)科技股份有限公司)。

受試者：樣本圖片均為女性泳裝，消費(fèi)者和穿著者絕大部分為女性，因此選擇的受試者以女性為主，共選擇30名18～25歲健康男女(無色盲、色弱等其他影響實(shí)驗(yàn)的生理疾病)，其中男性8人，女性22人，編號(hào)為A1～A30。

1.2 前期準(zhǔn)備

形容詞對(duì)的選取：從泳裝比賽、相關(guān)雜志、書籍和大眾對(duì)泳裝的常見描述中，采集了60個(gè)常用于評(píng)價(jià)泳裝的形容詞。

形容詞對(duì)的篩選：邀請(qǐng)10位服裝領(lǐng)域的專家對(duì)采集的60個(gè)形容詞進(jìn)行評(píng)審篩選，并將篩選到的形容詞進(jìn)行匹配。最終選定8對(duì)用來評(píng)定泳裝圖像情感的詞匯對(duì)：素雅的—花哨的、性感的—保守的、時(shí)尚的—傳統(tǒng)的、活潑的—呆板的、柔美的—陽剛的、簡潔的—繁復(fù)的、獨(dú)特的—大眾的、年輕的—成熟的。

樣本圖片的選?。嚎紤]到泳裝的特殊性以及為避免其他因素的干擾，實(shí)驗(yàn)選擇的泳裝圖片均為無人體穿著的立體效果圖。從網(wǎng)絡(luò)遴選下載500張無背景及人物的泳裝圖片，依據(jù)淘寶銷量、流行趨勢(shì)、款式、顏色，從中篩選得到20幅樣本圖片，如圖1所示，樣本編號(hào)為1～20。

圖1 樣本圖片F(xiàn)ig.1 Sample picture

問卷編寫：要求受試者對(duì)每張樣本圖片進(jìn)行感性評(píng)分，問卷評(píng)分采用7點(diǎn)李克特式量表。以“素雅的—花哨的”舉例，1分表示“非常素雅”，7分表示“非?；ㄉ凇?，由1分到7分，素雅到花哨的程度依次增加。另外，受試者還需對(duì)20個(gè)樣本進(jìn)行喜愛度評(píng)分，1分表示最不喜歡，7分表示最喜歡。

1.3 實(shí)驗(yàn)流程

向受試者介紹實(shí)驗(yàn)過程及注意事項(xiàng)，協(xié)助受試者佩戴好腦電帽和眼動(dòng)儀并連接到計(jì)算機(jī)上進(jìn)行校準(zhǔn)，同時(shí)確保受試環(huán)境安靜舒適。

正式實(shí)驗(yàn)時(shí)，首先電腦屏幕呈白色，且正中間會(huì)出現(xiàn)出一個(gè)紅色“十”字，時(shí)間為2 s，此時(shí)受試者的注意力集中在此區(qū)域；當(dāng)白色屏幕消失時(shí)，會(huì)呈現(xiàn)出第1個(gè)泳裝圖像，時(shí)間為8 s；接著呈現(xiàn)第1個(gè)形容詞，請(qǐng)受試者判斷該詞是否與樣本圖片相符，“是”對(duì)應(yīng)點(diǎn)擊鼠標(biāo)左鍵，“否”則點(diǎn)擊鼠標(biāo)右鍵；點(diǎn)擊之后會(huì)出現(xiàn)下一個(gè)形容詞，直至所有形容詞被選擇完畢。之后電腦顯示2 s的白屏，以消除之前的視覺殘余，幫助受試者平復(fù)情緒狀態(tài)；當(dāng)白色屏幕再次消失時(shí)，呈現(xiàn)出新的樣本，依次直至實(shí)驗(yàn)結(jié)束。整個(gè)實(shí)驗(yàn)流程較長，為避免受試者出現(xiàn)疲勞狀況，中間設(shè)置2次休息時(shí)間。在眼腦實(shí)驗(yàn)結(jié)束后，受試者將在電腦上填寫關(guān)于樣本圖片的感性評(píng)價(jià)量表，以記錄受試者的情感反應(yīng)。實(shí)驗(yàn)流程如圖2所示。

圖2 實(shí)驗(yàn)流程Fig.2 Experimental process

2 數(shù)據(jù)處理與分析

2.1 眼動(dòng)指標(biāo)選取

興趣區(qū)總注視時(shí)長和興趣區(qū)注視點(diǎn)個(gè)數(shù)在喜愛度研究實(shí)驗(yàn)中使用頻率較高[9-12]，本文眼動(dòng)實(shí)驗(yàn)也選擇這2個(gè)指標(biāo)來分析受試者對(duì)泳裝圖像樣本的喜愛程度。

興趣區(qū)總注視時(shí)長：受試者在特定區(qū)域的注視時(shí)間的總和。該指標(biāo)數(shù)值越大，則表明受試者對(duì)此區(qū)域更感興趣或是偏好程度更高。

興趣區(qū)注視點(diǎn)個(gè)數(shù)：受試者在特定區(qū)域內(nèi)的注視點(diǎn)數(shù)的累計(jì)。該指標(biāo)數(shù)值越高，則表示受試者對(duì)此區(qū)域更感興趣或是偏好程度更高。

2.2 腦電指標(biāo)的選取

在大腦皮層各區(qū)域中，額葉區(qū)主導(dǎo)認(rèn)知信息的采集[13]，且人類的左腦和右腦在情感處理方面分工不同，一般而言，消極情感的處理主要在右腦完成，而積極情感的處理主要集中在左腦。因此提取左額葉電極F3與右額葉電極F4為主要獲取認(rèn)知信息的途徑。有研究表明腦電各通道信號(hào)中的α波和情感處理有關(guān)[14]，因此在腦電指標(biāo)的選擇上，選擇額區(qū)α波不對(duì)稱指數(shù)，其指右腦額葉區(qū)α波功率和左腦額葉區(qū)α波功率的差，即額區(qū)α波不對(duì)稱指數(shù)=F4電極α功率-F3電極α功率。該指數(shù)越大，說明對(duì)應(yīng)詞匯越能引起受試者的積極情感，相反地，該指數(shù)越小，則對(duì)應(yīng)詞匯越能引起受試者的消極情感。

2.3 實(shí)驗(yàn)數(shù)據(jù)處理

眼動(dòng)數(shù)據(jù)處理：眼動(dòng)追蹤數(shù)據(jù)使用Tobii Studio分析軟件處理，繪制各樣本的興趣區(qū)，并提取受試者在興趣區(qū)內(nèi)的注視點(diǎn)個(gè)數(shù)及注視時(shí)長，用Excel軟件進(jìn)行均值處理。

腦電數(shù)據(jù)處理：首先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將腦電信號(hào)內(nèi)存在的干擾信號(hào)如皮電、心電等利用濾波以及獨(dú)立成分分析的方法去除；接著對(duì)腦電信號(hào)進(jìn)行分段處理，將形容詞顯示時(shí)所在時(shí)間段的腦電信號(hào)提取出來；最后計(jì)算功率譜密度，通過傅里葉變換的方式，實(shí)現(xiàn)腦電信號(hào)到α頻段的映射，計(jì)算α頻段功率譜。腦電功率譜由密度積分式計(jì)算得到[15]：

(1)

主觀問卷數(shù)據(jù)處理：利用Excel統(tǒng)計(jì)受試者對(duì)每個(gè)樣本的喜愛度評(píng)分，并取均值，得到每個(gè)樣本的喜愛度評(píng)分。

2.4 結(jié)果與分析

2.4.1 眼動(dòng)數(shù)據(jù)

對(duì)眼動(dòng)儀收集到的注視點(diǎn)個(gè)數(shù)和注視時(shí)長進(jìn)行處理，圖3表示的是受試者對(duì)20個(gè)樣本的注視點(diǎn)個(gè)數(shù)以及注視總時(shí)長，可以看出，受試者對(duì)樣本2、4、9、12、13、18、20的注視點(diǎn)個(gè)數(shù)和注視總時(shí)長均較高，即受試者在觀察以上樣本時(shí)的注視次數(shù)較高、注視時(shí)長較長，興趣較高，較為喜歡；而在觀察樣本1、5、8、14、15、19時(shí)，注視點(diǎn)個(gè)數(shù)和注視總時(shí)長均較低，注視頻率較低，興趣不高，偏向于不喜歡。

圖3 注視點(diǎn)個(gè)數(shù)和注視總時(shí)長Fig.3 Number of fixations and total fixation duration

受試者對(duì)樣本喜愛度的主觀評(píng)分結(jié)果見圖4?？梢钥闯?，受試者對(duì)樣本4、9、10、12、13、18、20的喜愛度更高；對(duì)樣本1、5、8、14、15、19的喜愛度偏低。

圖4 樣本喜愛度Fig.4 Sample liking

綜合眼動(dòng)實(shí)驗(yàn)結(jié)果和主觀問卷結(jié)果，表明受試者對(duì)樣本4、9、10、12、13、18、20的較為喜愛；對(duì)樣本1、5、8、14、15、19較不喜歡。生理實(shí)驗(yàn)的數(shù)據(jù)和主觀喜愛度數(shù)據(jù)完全相符。

2.4.2 腦電數(shù)據(jù)

腦電頻譜計(jì)算的依據(jù)來源于受試者在判斷詞匯是否與樣本圖片相符時(shí)，所產(chǎn)生的腦電信號(hào)。F3、F4電極的額區(qū)α波不對(duì)稱指數(shù)如表1所示。由實(shí)驗(yàn)結(jié)果可以看出，以“素雅的—花哨的”為例，受試者在對(duì)該組形容詞進(jìn)行匹配判斷時(shí)，“素雅的(0.033)”相對(duì)于“花哨的(-0.011)”更能引發(fā)較大的額區(qū)α波不對(duì)稱指數(shù)，結(jié)合2.2中的介紹，即說明受試者在判斷“花哨的”是否符合樣本時(shí)更能產(chǎn)生消極情緒，而在判斷“素雅的”是否與樣本一致時(shí)更能產(chǎn)生積極情緒。因此“素雅的”“性感的”“時(shí)尚的”“活潑的”“柔美的”“簡潔的”“獨(dú)特的”“年輕的”形容詞比對(duì)應(yīng)詞匯更能誘發(fā)較大的額區(qū)α波不對(duì)稱指數(shù)。說明受試者在判斷以上形容詞是否符合樣本時(shí)更能產(chǎn)生積極情緒。

表1 額區(qū)α波不對(duì)稱指數(shù)Tab.1 Frontal region α wave asymmetry index

由喜愛度評(píng)分和主觀感性評(píng)價(jià)問卷對(duì)比可知，喜愛度較高的樣本，如樣本4、18對(duì)應(yīng)的詞匯評(píng)分也更偏向于能引發(fā)積極情緒的一側(cè)詞匯(如年輕的、獨(dú)特的、簡潔的等)；受試者喜愛度較低的樣本，如樣本19對(duì)應(yīng)的詞匯評(píng)分則偏向于更能引發(fā)消極情緒詞匯的一側(cè)(如成熟的、大眾的、繁復(fù)的等)，如圖5問卷形容詞得分舉例所示，其他未在圖中示出的17個(gè)樣本也基本符合這一情況。

圖5 問卷形容詞得分舉例Fig.5 Example of adjective score in questionnaire

綜上，眼動(dòng)指標(biāo)和腦電信號(hào)的額區(qū)α波不對(duì)稱指數(shù)綜合證明了主觀問卷數(shù)據(jù)的可靠性。這為后面對(duì)問卷數(shù)據(jù)進(jìn)行因子分析奠定了基礎(chǔ)。

近年來，國內(nèi)視頻監(jiān)控市場(chǎng)每年都在以超過20%的速度增長，隨著平安城市等大型聯(lián)網(wǎng)監(jiān)控項(xiàng)目的普遍建設(shè)，高清IP監(jiān)控產(chǎn)品得到廣泛應(yīng)用，系統(tǒng)點(diǎn)位容量和行業(yè)需求不斷激增，越來越多的用戶認(rèn)識(shí)到安防監(jiān)控平臺(tái)軟件是整個(gè)系統(tǒng)綜合實(shí)力的重要表現(xiàn)。

3 泳裝圖像情感因子空間的建立

由問卷調(diào)查數(shù)據(jù)可以建立初步的八維泳裝圖像情感語義空間，此空間內(nèi)的樣本圖像的情感語義可通過8個(gè)形容詞對(duì)的值定量表示。由于大眾對(duì)形容詞理解的不一致性和對(duì)情感評(píng)價(jià)的主觀性，最初選擇的8個(gè)形容詞對(duì)在對(duì)樣本圖像進(jìn)行情感描述時(shí)可能存在一定的相關(guān)性，所以，需要對(duì)原始數(shù)據(jù)進(jìn)行因子分析和降維處理，以消除冗余并建立最終的情感因子空間。

3.1 相關(guān)性分析

利用SPSS軟件對(duì)主觀問卷獲得的泳裝圖像8對(duì)情感詞數(shù)值的相關(guān)性進(jìn)行分析，結(jié)果見表2，相關(guān)系數(shù)基本在0.5以上，表明這8對(duì)情感詞之間有較強(qiáng)的相關(guān)性，適合做因子分析。

對(duì)表2中的數(shù)據(jù)進(jìn)行效度查驗(yàn)，可得KMO數(shù)值是0.766(>0.7)，Bartlett球度檢驗(yàn)數(shù)值是167.349(當(dāng)自由度是28時(shí))，二者說明了原數(shù)據(jù)矩陣之間含有相關(guān)因子，可以進(jìn)一步做因子分析。

表2 8對(duì)情感詞對(duì)Pearson相關(guān)性分析結(jié)果Tab.2 Pearson correlation analysis results of 8 pairs of emotional words

3.2 因子分析

利用SPSS軟件對(duì)原始數(shù)據(jù)做降維處理。碎石圖中特征根從第4個(gè)因子開始越變?cè)叫?，在詮釋初始變量信息方面的貢獻(xiàn)較小，再結(jié)合特征根選取原則，最終選擇前3個(gè)因子做后續(xù)分析。

因子解釋變量總方差的結(jié)果見表3。表3示出的3個(gè)因子能夠詮釋泳裝圖像情感初始變量總方差的92.325%，在降維過程中僅損失了不到8%的數(shù)據(jù)，占總數(shù)據(jù)比例較小，符合預(yù)期效果，說明原始數(shù)據(jù)可以用來做因子分析。

表3 因子解釋變量總方差的結(jié)果Tab.3 Results of total variance of factor explanatory variables

泳裝圖像情感語義描述詞數(shù)值的計(jì)算公式能夠從因子載荷矩陣函數(shù)模型中得出。經(jīng)正交旋轉(zhuǎn)得到的因子載荷矩陣具有揭示因子和變量間相關(guān)程度的特性。某一因子與變量之間相關(guān)程度更高，那么對(duì)應(yīng)數(shù)據(jù)的絕對(duì)值也更大；相反地，若二者之間相關(guān)程度較低，則對(duì)應(yīng)數(shù)據(jù)的絕對(duì)值也越低。經(jīng)正交旋轉(zhuǎn)的因子載荷矩陣見表4。因子分析中各個(gè)因子彼此之間在互相獨(dú)立的同時(shí)，還與各對(duì)情感詞有一定的關(guān)聯(lián)。表4示出，各對(duì)情感詞都與3個(gè)因子的成分特征向量對(duì)應(yīng)，所以將其當(dāng)作3個(gè)因子之間的線性組合，經(jīng)旋轉(zhuǎn)后共同構(gòu)成因子成分系數(shù)函數(shù)。

表4 因子載荷矩陣Tab.4 Factor load matrix

E1=0.945f1-0.056f2+0.078f3

(2)

E2=0.203f1+0.922f2+0.152f3

(3)

E3=0.111f1+0.962f2+0.108f3

(4)

E4=0.914f1+0.104f2-0.189f3

(5)

E5=0.774f1+0.494f2-0.150f3

(6)

E6=0.159f1+0.466f2+0.823f3

(7)

E7=-0.247f1-0.047f2+0.922f3

(8)

E8=0.829f1+0.455f2+0.006f3

(9)

式中：f1代表因子1，f2代表因子2，f3代表因子3。

3.3 泳裝圖像情感因子空間的建立

采用因子分析中的回歸法得到表5中因子得分系數(shù)。

表5 因子得分系數(shù)矩陣Tab.5 Factor score coefficient matrix

根據(jù)表5得出的因子得分函數(shù)如式(10)～(12)所示：

f1=-0.196E1+0.261E2+0.282E3+0.174E4-

0.166E5-0.117E6+0.533E7+0.002E8

(10)

f2=0.437E1-0.036E2+0.031E3+0.027E4-

0.110E5+0.431E6-0.253E7+0.207E8

(11)

f3=-0.031E1+0.048E2-0.088E3+0.168E4+

0.899E5-0.190E6-0.247E7+0.132E8

(12)

從因子得分函數(shù)得出：第1個(gè)因子主要與“性感的—保守的”“時(shí)尚的—傳統(tǒng)的”“獨(dú)特的—大眾的”相關(guān)，第2個(gè)因子主要與“素雅的—花哨的”“簡潔的—繁復(fù)的”相關(guān)，第3個(gè)因子主要與“柔美的—陽剛的”相關(guān)。同時(shí)從主成分分析可以看出，3個(gè)因子共解釋原有8對(duì)情感語義信息的92.325%，說明這3個(gè)因子能夠用來進(jìn)行泳裝圖像情感語義分析。

在眼腦實(shí)驗(yàn)和問卷調(diào)查之后，對(duì)問卷數(shù)據(jù)進(jìn)行分析得到8對(duì)形容詞的主觀評(píng)估值，并建立了泳裝圖像的初步的八維情感語義空間。通過因子分析，由因子得分系數(shù)矩陣計(jì)算得出3個(gè)因子的數(shù)值，即將初始八維的情感語義空間變換為新的三維情感語義空間，即情感因子空間,具體見式(10)～(12)。轉(zhuǎn)換之后，一是減少了情感語義的維度，二是三維因子空間中每個(gè)因子都是獨(dú)立的、與其他因子無關(guān)的，各個(gè)泳裝圖像對(duì)應(yīng)的每個(gè)語義分量彼此是正交獨(dú)立的，這使得進(jìn)一步計(jì)算空間中樣本點(diǎn)的距離更加合適、緊湊，即降低了計(jì)算機(jī)提取服裝圖像信息特征的難度，也有利于對(duì)泳裝圖像進(jìn)行情感識(shí)別、分類、檢索等后續(xù)工作。

4 結(jié)束語

本文以泳裝圖像為研究對(duì)象，圍繞泳裝圖像情感因子空間的建立展開了研究。通過對(duì)眼腦實(shí)驗(yàn)數(shù)據(jù)和調(diào)查問卷數(shù)據(jù)的分析建立了泳裝圖像的三維情感因子空間，其結(jié)果表明，因子空間中3個(gè)因子可以解釋泳裝圖像初始情感信息的92.325%，解釋效果較好。該因子空間是實(shí)現(xiàn)計(jì)算機(jī)對(duì)泳裝圖像情感識(shí)別及量化評(píng)價(jià)的重要前提指標(biāo)，可以為人工智能服裝設(shè)計(jì)提供更為客觀準(zhǔn)確的泳裝圖像情感標(biāo)注。同時(shí)該方法也可以應(yīng)用于其他種類的服裝情感因子空間的建立。

人工智能設(shè)計(jì)過程中對(duì)服裝情感標(biāo)注的屬性數(shù)量會(huì)遠(yuǎn)超8對(duì)詞匯，本文實(shí)驗(yàn)僅針對(duì)其基本原理展開。后續(xù)將繼續(xù)研究情感因子空間中3個(gè)因子的特征提取，為泳裝圖像情感標(biāo)注奠定基礎(chǔ)。