基于認(rèn)知分層的圖像復(fù)雜度研究

張 晶 薛澄岐 沈張帆 王海燕 周 蕾 周小舟 陳曉皎

(東南大學(xué)機(jī)械工程學(xué)院, 南京 211189)

?

基于認(rèn)知分層的圖像復(fù)雜度研究

張 晶 薛澄岐 沈張帆 王海燕 周 蕾 周小舟 陳曉皎

(東南大學(xué)機(jī)械工程學(xué)院, 南京 211189)

為揭示圖像屬性與圖像復(fù)雜度之間的編碼規(guī)律，從認(rèn)知分層角度對(duì)圖像復(fù)雜度進(jìn)行了研究.基于由淺入深的認(rèn)知加工次序，將圖像復(fù)雜度分為呈現(xiàn)復(fù)雜度(CP)、語(yǔ)義復(fù)雜度(CS)和記憶復(fù)雜度(CM)，分別對(duì)應(yīng)圖像的視覺屬性、語(yǔ)義屬性和解碼屬性，并建立復(fù)雜度分層映射模型.以地鐵交通圖為例，提取圖像中3種復(fù)雜度后按低、中、高水平重新編碼，并結(jié)合眼動(dòng)追蹤技術(shù)進(jìn)行了視覺搜索實(shí)驗(yàn).實(shí)驗(yàn)結(jié)果表明：高記憶復(fù)雜度編碼的反應(yīng)時(shí)最短，對(duì)認(rèn)知績(jī)效的影響最大；高語(yǔ)義復(fù)雜度編碼易造成視覺干擾，需結(jié)合高記憶復(fù)雜度來(lái)提高認(rèn)知績(jī)效；高呈現(xiàn)復(fù)雜度編碼能有效降低被試的認(rèn)知負(fù)荷，提高搜索效率.實(shí)驗(yàn)結(jié)果證實(shí)了圖像復(fù)雜度分層的合理性，為信息化圖像的復(fù)雜度設(shè)計(jì)提供了參考.

圖像復(fù)雜度;認(rèn)知分層;人機(jī)交互;圖像屬性;映射方法

隨著近年來(lái)多媒體與網(wǎng)絡(luò)技術(shù)的迅速發(fā)展,復(fù)雜度在信息理論、計(jì)算機(jī)科學(xué)和心理學(xué)等許多研究領(lǐng)域已成為一個(gè)備受關(guān)注的研究熱點(diǎn)．圖像復(fù)雜度不僅是對(duì)圖像中內(nèi)在價(jià)值信息的復(fù)雜程度的描述,也包含了呈現(xiàn)形式和內(nèi)容數(shù)量的復(fù)雜程度．在人機(jī)交互過(guò)程中,用戶對(duì)于信息的感知分層是大腦信息解碼的一個(gè)重要引導(dǎo)階段,通過(guò)對(duì)圖像復(fù)雜度的屬性分層和關(guān)聯(lián)構(gòu)建,可以有效幫助用戶在認(rèn)知過(guò)程中快速高效地獲取圖像信息,并進(jìn)行準(zhǔn)確地預(yù)測(cè)和判斷．圖像復(fù)雜度與人的認(rèn)知效率有密切的關(guān)系,圖像復(fù)雜度編碼的混亂容易造成用戶在信息認(rèn)知時(shí)的混亂感,從而導(dǎo)致用戶認(rèn)知負(fù)荷增加和績(jī)效低劣等問(wèn)題,同時(shí)在很大程度上影響著人的閱讀速度和認(rèn)知效率．

目前,從信息分類等角度,已經(jīng)建立了基于圖像視覺復(fù)雜度的算法和模型,例如Perimeter 檢測(cè)和Canny檢測(cè)等．Rigau等[1]基于信息理論對(duì)圖像進(jìn)行分割,根據(jù)計(jì)算像素點(diǎn)的分布關(guān)聯(lián)性定義圖像復(fù)雜度．Mario等[2]基于模糊評(píng)價(jià)法根據(jù)圖像邊緣百分?jǐn)?shù)把圖像分為微小復(fù)雜、中度復(fù)雜和非常復(fù)雜3個(gè)程度．在心理學(xué)領(lǐng)域,Silva等[3]提出了基于注意力的認(rèn)知復(fù)雜性定義,認(rèn)為注意力行為可以有效評(píng)估攝影圖像的復(fù)雜性．Huo等[4-5]基于視覺工作記憶提出一種將照片圖像目標(biāo)對(duì)象和實(shí)際顯著對(duì)象的錯(cuò)配比作為復(fù)雜度的衡量方法．Corchs等[6]提出了一種基于空間、頻率和色彩3種屬性的圖像復(fù)雜度感知評(píng)估方法．Chen等[7]基于神經(jīng)網(wǎng)絡(luò)技術(shù)把圖像復(fù)雜度初步分為圖像紋理、邊緣信息和重要區(qū)域．綜上所述,目前圖像復(fù)雜度的研究主要集中在計(jì)算機(jī)領(lǐng)域,通常采用信息論、組成論等計(jì)算機(jī)分類方法表征圖像復(fù)雜性,研究對(duì)象以攝影、繪畫和圖形圖像為主,包含大量數(shù)據(jù)的可視化信息圖像尚未涉及,且鮮有學(xué)者從認(rèn)知角度對(duì)圖像屬性的復(fù)雜度展開研究．

本文基于前人提出的圖像復(fù)雜度度量方法和主觀實(shí)驗(yàn)測(cè)評(píng)方法,發(fā)現(xiàn)圖像復(fù)雜度是伴隨著人在認(rèn)知過(guò)程中不同階段的認(rèn)知行為出現(xiàn)的,對(duì)基于圖像屬性和認(rèn)知過(guò)程的圖像復(fù)雜度進(jìn)行分類,建立了圖像屬性到復(fù)雜度的映射關(guān)系,并采用眼動(dòng)實(shí)驗(yàn)研究信息圖像復(fù)雜度的分層感知行為．

1 基于認(rèn)知分層的圖像復(fù)雜度映射

本文中的圖像復(fù)雜度與計(jì)算機(jī)領(lǐng)域的界定不同,只研究認(rèn)知加工角度的圖像視覺復(fù)雜度問(wèn)題．圖像屬性是描述一幅圖像的基本性質(zhì)．Al-Khatib等[8]將圖像屬性分為3類:文件屬性、視覺屬性和語(yǔ)義屬性．其中,圖像復(fù)雜度的自身內(nèi)容屬于視覺屬性和語(yǔ)義屬性．基于前人對(duì)圖像屬性的分類,本文從認(rèn)知過(guò)程中圖像各個(gè)屬性在認(rèn)知處理時(shí)的加工次序,建立對(duì)應(yīng)的復(fù)雜度映射．

1.1 基于認(rèn)知負(fù)荷的復(fù)雜度

認(rèn)知的理論基礎(chǔ)主要是資源有限理論和圖式理論,分別對(duì)應(yīng)圖像屬性的內(nèi)因和外因．從認(rèn)知角度分析,信息加工過(guò)程中,隨著時(shí)間變化所獲取信息的動(dòng)態(tài)性和空間結(jié)構(gòu)連通的不確定性造成了認(rèn)知的復(fù)雜性,用戶的認(rèn)知階段包含刺激—察覺—識(shí)別—理解、預(yù)測(cè)、判斷—反應(yīng)5個(gè)階段[9]．其中,刺激—察覺—識(shí)別屬于用戶對(duì)圖像的淺層次認(rèn)知,識(shí)別—理解、預(yù)測(cè)、判斷—反應(yīng)階段屬于用戶對(duì)圖像信息的深層次獲取階段.因此,結(jié)合圖像認(rèn)知過(guò)程的內(nèi)因和外因,可以假設(shè)圖像復(fù)雜度是伴隨著人在認(rèn)知過(guò)程中不同階段的認(rèn)知行為出現(xiàn)的,可以分為圖像外在復(fù)雜度和內(nèi)在復(fù)雜度.圖像的外在復(fù)雜度主要呈現(xiàn)圖像的基本信息,內(nèi)在復(fù)雜度讓用戶去理解、提取圖像的內(nèi)在信息,如圖1所示．

圖1 用戶認(rèn)知過(guò)程的圖像復(fù)雜度示意圖

1.2 認(rèn)知層面的復(fù)雜度分類

認(rèn)知層面的信息加工系統(tǒng)一般包含4個(gè)重要的組成部分:知覺、思維、注意和記憶．在知覺層面,Lin等[10]和Harper等[11]證實(shí)了圖像的布局、結(jié)構(gòu)及背景色對(duì)比度都對(duì)圖像視覺復(fù)雜度認(rèn)知有一定影響．在記憶層面,前人的研究證明用戶的熟悉度也是影響認(rèn)知層面圖像復(fù)雜度的因素,即圖像信息與用戶記憶信息的相關(guān)性、符合程度[12-13]．因此,將內(nèi)、外在復(fù)雜度進(jìn)一步分為呈現(xiàn)復(fù)雜度 (CP)、語(yǔ)義復(fù)雜度 (CS)和記憶復(fù)雜度 (CM),如圖2所示．

圖2 認(rèn)知層面的圖像復(fù)雜度分類

1.3 圖像屬性到復(fù)雜度的映射

從認(rèn)知規(guī)律角度，CP主要存在于用戶對(duì)圖像的淺層次認(rèn)知階段，是影響認(rèn)知的外部因素，對(duì)應(yīng)圖像信息中的視覺屬性，即顏色、紋理、形狀、位置等直觀信息；CS對(duì)應(yīng)圖像的語(yǔ)義屬性，指需要用戶通過(guò)理解、預(yù)測(cè)和判斷來(lái)獲取的信息，即主題意義、事件、時(shí)空關(guān)系等信息內(nèi)容；CM對(duì)應(yīng)圖像的解碼屬性，與用戶自身的長(zhǎng)時(shí)記憶和心理資源容度相關(guān)，需要激活記憶對(duì)內(nèi)外信息匹配性進(jìn)行熟悉度、關(guān)聯(lián)度及相似度的判斷.圖像復(fù)雜度與圖像屬性的映射模型如圖3所示.

2 圖像復(fù)雜度認(rèn)知分層實(shí)驗(yàn)

2.1 實(shí)驗(yàn)材料

實(shí)驗(yàn)采用辨別任務(wù)范式,以生活中常見的地鐵交通信息圖作為實(shí)驗(yàn)對(duì)象,重新設(shè)計(jì)后從3種復(fù)雜度分類中各選取了1～2種典型屬性作為實(shí)驗(yàn)刺激:色彩屬性、形狀屬性代表CP;主題屬性、場(chǎng)景屬性代表CS;熟悉度屬性代表CM.分別設(shè)置由低、中、高3個(gè)復(fù)雜等級(jí)作為檢測(cè)刺激,如圖4所示．為了降低視覺搜索的干擾,所有刺激均呈現(xiàn)在屏幕中央的矩形范圍內(nèi),視角為距視線水平±15°內(nèi),垂直±10°內(nèi),視距550～600 mm．為避免不同圖像中同類任務(wù)之間差異太大,任務(wù)設(shè)計(jì)由專家評(píng)審得出,控制各圖像中所有元素的大小、顏色、結(jié)構(gòu)及線路數(shù)量的一致性．

圖3 圖像復(fù)雜度與圖像屬性的映射模型

圖4 3種復(fù)雜度的高中低層級(jí)編碼

2.2 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)為3×3×3被試內(nèi)設(shè)計(jì)．因素1為呈現(xiàn)復(fù)雜度,色彩和形狀編碼3個(gè)水平分別為高、中、低;因素2為語(yǔ)義復(fù)雜度,主題和場(chǎng)景總數(shù)分別為2,4,6個(gè);因素3為記憶復(fù)雜度,分為熟悉、一般熟悉和完全陌生,所有圖像不會(huì)重復(fù)出現(xiàn)．實(shí)驗(yàn)分為2組,實(shí)驗(yàn)1圖片采用9張被試完全陌生的地鐵信息圖,每幅圖有4個(gè)任務(wù),共計(jì)36個(gè)實(shí)驗(yàn)項(xiàng)目;實(shí)驗(yàn)2圖片采用4張新圖以及2張實(shí)驗(yàn)1的圖,記憶復(fù)雜度分為熟悉、一般熟悉和完全陌生,結(jié)合呈現(xiàn)復(fù)雜度和語(yǔ)義復(fù)雜度的高、低2個(gè)水平,4個(gè)任務(wù),共計(jì)24個(gè)實(shí)驗(yàn)項(xiàng)目．實(shí)驗(yàn)包括1個(gè)瀏覽任務(wù)和3個(gè)從簡(jiǎn)單到困難的搜索任務(wù):搜索某一站點(diǎn)、搜索某2條地鐵線的換乘信息、查找2個(gè)站點(diǎn)并計(jì)算換乘數(shù)．圖5為簡(jiǎn)單搜索任務(wù)“請(qǐng)找到石門站”和隨后出現(xiàn)的高呈現(xiàn)高語(yǔ)義低熟悉復(fù)雜度組合編碼的搜索界面．

2.3 實(shí)驗(yàn)設(shè)備與程序

實(shí)驗(yàn)采用Tobii T120眼動(dòng)儀呈現(xiàn)刺激材料并記錄被試的眼動(dòng)行為,目標(biāo)刺激呈現(xiàn)在21.5英寸(54.61 cm)顯示器中央,屏幕分辨率為1 920×1 080 像素,亮度為92 cd/m2,采樣頻率為300 Hz．實(shí)驗(yàn)室內(nèi)照明條件正常(40 W日光燈);被試與屏幕中心的距離為550～600 mm;實(shí)驗(yàn)在東南大學(xué)人機(jī)交互實(shí)驗(yàn)室進(jìn)行, 被試為20名在校研究生,10名男生和10名女生,年齡在22～28歲,視力或矯正視力正常,無(wú)色盲或色弱．實(shí)驗(yàn)前,要求被試在登記表上填寫相關(guān)信息,包括姓名、性別、年齡、專業(yè)、視力等,并使其熟悉實(shí)驗(yàn)規(guī)則,隨后指導(dǎo)被試熟悉實(shí)驗(yàn)規(guī)則并進(jìn)行眼校準(zhǔn)．實(shí)驗(yàn)流程如圖6所示,在完成搜索任務(wù)時(shí)被試做出按鍵反饋,并告知主試答案,主試則坐在一旁記錄答案是否正確．每組實(shí)驗(yàn)完成后休息1 min,每人完成全部實(shí)驗(yàn)約0.2 h．

圖5 高呈現(xiàn)高語(yǔ)義低熟悉復(fù)雜度組合編碼(CP3CS3CM3)的搜索界面

圖6 實(shí)驗(yàn)流程圖

3 實(shí)驗(yàn)數(shù)據(jù)分析及討論

3.1 不同圖像復(fù)雜度編碼的正確率和反應(yīng)時(shí)

對(duì)正確率和反應(yīng)時(shí)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,排除極端數(shù)據(jù),簡(jiǎn)單搜索任務(wù)和稍復(fù)雜搜索任務(wù)的正確率約99.84%,出錯(cuò)率集中在最復(fù)雜搜索任務(wù)中,被試在最復(fù)雜搜索任務(wù)中識(shí)別3種復(fù)雜度編碼的正確率和反應(yīng)時(shí)如圖7所示．

對(duì)正確率進(jìn)行多因素方差分析(F表示顯著性差異水平,P表示檢驗(yàn)水平)表明,3類復(fù)雜度編碼在低復(fù)雜度時(shí)的主效應(yīng)(F=6.503,P=0.035<0.05)和高復(fù)雜度時(shí)的主效應(yīng)(F=7.549,P=0.041<0.05)顯著,中復(fù)雜度編碼時(shí)的主效應(yīng)(F=6.453,P=0.216>0.05)不顯著．對(duì)反應(yīng)時(shí)的方差分析表明,低復(fù)雜度編碼時(shí)圖標(biāo)特征的主效應(yīng)(F=11.335,P=0.032<0.05)和高復(fù)雜度編碼時(shí)圖標(biāo)特征的主效應(yīng)(F=12.431,P=0.031<0.05)顯著,中復(fù)雜度的主效應(yīng)(F=9.371,P=0.679>0.05)不顯著．可見,當(dāng)3種復(fù)雜度為低層級(jí)或高層級(jí)時(shí),呈現(xiàn)復(fù)雜度、語(yǔ)義復(fù)雜度和記憶復(fù)雜度對(duì)被試的認(rèn)知速度都有顯著性影響;當(dāng)復(fù)雜度層級(jí)為中等時(shí),沒有顯著影響．

(a) 正確率

(b) 反應(yīng)時(shí)

由圖7可看出,當(dāng)呈現(xiàn)復(fù)雜度和記憶復(fù)雜度單一存在時(shí),隨著復(fù)雜度層級(jí)的增加,圖像屬性越詳細(xì),被試認(rèn)知負(fù)荷減小,正確率上升,反應(yīng)時(shí)降低;而語(yǔ)義復(fù)雜度的正確率降低,說(shuō)明在圖像的主題屬性和場(chǎng)景屬性中的干擾項(xiàng)更多．當(dāng)3類復(fù)雜度采用低層級(jí)編碼時(shí),語(yǔ)義編碼的正確率明顯高于記憶編碼和呈現(xiàn)編碼,記憶編碼的反應(yīng)時(shí)間最短,呈現(xiàn)編碼的反應(yīng)時(shí)間最長(zhǎng);當(dāng)3類復(fù)雜度采用高層級(jí)編碼時(shí),記憶編碼的正確率最高,呈現(xiàn)編碼的正確率稍高于語(yǔ)義編碼,記憶編碼的反應(yīng)時(shí)間最短,語(yǔ)義編碼的反應(yīng)時(shí)間最長(zhǎng)．因此,在實(shí)際的圖像復(fù)雜度編碼過(guò)程中,當(dāng)圖像自身語(yǔ)義屬性不多時(shí),從圖像的語(yǔ)義復(fù)雜度屬性上進(jìn)行設(shè)計(jì)的搜索績(jī)效更好,當(dāng)圖像自身屬性數(shù)量較多時(shí),采用已有的或者用戶熟悉的相似元素進(jìn)行設(shè)計(jì)可以提高認(rèn)知績(jī)效．

3.2 不同圖像復(fù)雜度的視覺搜索效率分析

被試搜索目標(biāo)過(guò)程中注視范圍反映了圖像的易理解性,視網(wǎng)膜透明圖(gaze opacity)的可見區(qū)域越小,說(shuō)明只需輸入很少的信息量就可以完成任務(wù),認(rèn)知效率高;相反,則認(rèn)知效率低．本次實(shí)驗(yàn)中根據(jù)視網(wǎng)膜透明圖中視覺清晰的地鐵站點(diǎn)數(shù)N來(lái)劃分視覺范圍廣度,如圖8所示．

圖8 實(shí)驗(yàn)結(jié)果中視網(wǎng)膜透明圖的清晰廣度劃分標(biāo)準(zhǔn)

根據(jù)圖8的標(biāo)準(zhǔn)進(jìn)行劃分后，所有實(shí)驗(yàn)圖片的平均總訪問(wèn)時(shí)間和視覺清晰廣度如表1和圖9所示．實(shí)驗(yàn)圖片命名采用1,2,3對(duì)應(yīng)高、中、低3個(gè)等級(jí),例如P1S2M1代表低呈現(xiàn)中語(yǔ)義低記憶編碼組合．分析表明,被試的視野清晰范圍廣且訪問(wèn)時(shí)間短的搜索界面主要集中在簡(jiǎn)單搜索任務(wù)中的中呈現(xiàn)和中、高熟悉記憶編碼圖像,說(shuō)明呈現(xiàn)和記憶復(fù)雜度越高的圖像績(jī)效較優(yōu);被試的視野清晰范圍窄且訪問(wèn)時(shí)間長(zhǎng)的搜索界面主要集中在低呈現(xiàn)高語(yǔ)義低熟悉記憶編碼的圖像,說(shuō)明隨著圖像語(yǔ)義屬性的增加,用戶的搜索效率降低,采用較低呈現(xiàn)和記憶復(fù)雜度編碼的績(jī)效較差．

表1 各實(shí)驗(yàn)項(xiàng)目平均總訪問(wèn)時(shí)間和視覺清晰廣度

圖9 實(shí)驗(yàn)中各搜索界面的總訪問(wèn)時(shí)間和視覺清晰廣度關(guān)系

3.3 討論

本研究從認(rèn)知分層的角度,采用生活中常見的地鐵交通信息圖進(jìn)行實(shí)驗(yàn),結(jié)果說(shuō)明在組合編碼搜索任務(wù)中,隨著呈現(xiàn)復(fù)雜度和記憶復(fù)雜度的增加,正確率上升,反應(yīng)時(shí)下降,采用熟悉編碼時(shí)的反應(yīng)時(shí)下降更快;當(dāng)組合復(fù)雜度為低層級(jí)或高層級(jí)時(shí),呈現(xiàn)復(fù)雜度、語(yǔ)義復(fù)雜度和記憶復(fù)雜度都有顯著性影響,中等復(fù)雜度層級(jí)沒有顯著影響．

通過(guò)分析3類復(fù)雜度的組合關(guān)系發(fā)現(xiàn),呈現(xiàn)復(fù)雜度對(duì)應(yīng)認(rèn)知過(guò)程中的早期加工階段,低呈現(xiàn)復(fù)雜度組合編碼的正確率最低,結(jié)合中呈現(xiàn)、高記憶編碼后認(rèn)知效率顯著提高,證實(shí)了在認(rèn)知加工過(guò)程中,人對(duì)圖像的視覺屬性和語(yǔ)義屬性的加工次序是有先后的．其中,高記憶復(fù)雜度對(duì)圖像的搜索績(jī)效影響最大,語(yǔ)義復(fù)雜度越高對(duì)視覺干擾最大,語(yǔ)義復(fù)雜度的認(rèn)知加工難度和信息解碼層級(jí)均高于呈現(xiàn)復(fù)雜度．由此,實(shí)驗(yàn)論證了本文對(duì)圖像復(fù)雜度分層研究的合理性,以及圖像屬性的映射模型的有效性,為進(jìn)一步研究圖像復(fù)雜度的認(rèn)知提供了基礎(chǔ)．

4 結(jié)語(yǔ)

本文基于認(rèn)知分層提出了基于圖像屬性和認(rèn)知過(guò)程的圖像復(fù)雜度分類,將圖像復(fù)雜度分為呈現(xiàn)復(fù)雜度、注意復(fù)雜度和記憶復(fù)雜度,并建立了圖像屬性到復(fù)雜度的映射關(guān)系．通過(guò)眼動(dòng)跟蹤實(shí)驗(yàn)研究3種復(fù)雜度的內(nèi)在交互關(guān)系并驗(yàn)證了圖像屬性和圖像復(fù)雜度的映射關(guān)系.同時(shí)，實(shí)驗(yàn)結(jié)果顯示，呈現(xiàn)復(fù)雜度和記憶復(fù)雜度對(duì)圖像復(fù)雜度的認(rèn)知影響最大,高語(yǔ)義復(fù)雜度編碼的干擾性最大,實(shí)際設(shè)計(jì)時(shí)可以通過(guò)提高呈現(xiàn)復(fù)雜度和記憶復(fù)雜度來(lái)提升認(rèn)知效率．

References)

[1]Rigau J, Feixas M, Sbert M. An information-theoretic framework for image complexity [C]//ComputationalAesthetics2005:EurographicsWorkshoponComputationalAestheticsinGraphics,VisualizationandImaging. Girona, Spain, 2005: 177-184.

[2]Mario I, Chacon M, Alma D, et al. Image complexity measure: A human criterion free approach[C]//IEEEFuzzyInformationProcessingSociety. Ann Arbor, Michigan, USA, 2005: 241-246.

[3]Silva M P D, Courboulay V, Estraillier P. Image complexity measure based on visual attention[C]//IEEEImageProcessing. Brussels, Belgium, 2011: 3281-3284.

[4]Huo J. Image complexity and visual working memory capacity[J].EmergingTrendsandAdvancedTechnologiesforComputationalIntelligence, 2016, 647: 301-314. DOI:10.1007/978-3-319-33353-3-16.

[5]Huo J. An image complexity measurement algorithm with visual memory capacity and an EEG study[C]//SAIComputingConference. London, UK,2016: 264-268. DOI:10.1109/sai.2016.7555993.

[6]Corchs S E, Ciocca G, Bricolo E, et al. Predicting complexity perception of real world images[J].PLoSOne, 2016, 11(6): e0157986. DOI:10.1371/journal.pone.0157986.

[7]Chen Y Q, Duan J, Zhu Y, et al. Research on the image complexity based on neural network[C]// 2015InternationalConferenceonMachineLearningandCybernetics. Hangzhou, China, 2015:285-300. DOI:10.1109/icmlc.2015.7340938.

[8]Al-Khatib W, Day Y F, Ghafoor A, et al. Semantic modeling and knowledge representation in multimedia databases[J].IEEETransactionsonKnowledgeandDataEngineering, 1999, 11(1):64-80. DOI:10.1109/69.755616.

[9]李晶, 薛澄岐, 王海燕, 等. 均衡時(shí)間壓力的人機(jī)界面信息編碼[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2013, 25(7): 1022-1028. Li Jing, Xue Chengqi, Wang Haiyan, et al. Encoding information of human-computer interface for equilibrium of time pressure[J].JournalofComputer-AidedDesign&ComputerGraphics, 2013, 25(7):1022-1028.(in Chinese)

[10]Lin S W, Lo Y S, Huang T K. Visual complexity and figure-background color contrast of E-commerce websites: Effects on consumers’ emotional responses[C]//49thInternationalConferenceonSystemSciences. Hawaii,USA, 2016: 3594-3603. DOI:10.1109/hicss.2016.449.

[11]Harper S, Jay C, Michailidou E, et al. Analysing the visual complexity of web pages using document structure[J].Behaviour&InformationTechnology, 2012, 32(5): 491-502. DOI:10.1080/0144929x.2012.726647.

[12]Reder L M, Liu X L, Keinath A, et al. Building knowledge requires bricks, not sand: The critical role of familiar constituents in learning[J].PsychonomicBulletin&Review, 2016, 23(1): 271-277. DOI:10.3758/s13423-015-0889-1.

[13]Dewitt M R, Knight J B, Hicks J L, et al. The effects of prior knowledge on the encoding of episodic contextual details[J].PsychonomicBulletin&Review, 2012, 19(2):251-257. DOI:10.3758/s13423-011-0196-4.

Study on image complexity based on cognitive layering method

Zhang JingXue ChengqiShen ZhangfanWang HaiyanZhou LeiZhou XiaozhouChen Xiaojiao

(School of Mechanical Engineering, Southeast University, Nanjing 211189, China)

To investigate the encoding rules between image attributes and image complexity, the image complexity was studied from the perspective of the cognitive layering theory. Based on the gradual order of the cognitive process, the image complexity was divided into CP (complexity of presentation), CS(complexity of semantics)and CM(complexity of memory), mapping to the visual attributes, semantic attributes and decoding attributes. Then, a layering mapping model of image complexities was presented. Taking the metro map image as example, three complexities in the image were extracted and recoded into three levels as low, medium, high and then a visual search experiment was conducted by the eye-tracking technique. Experimental results show that the three complexities have many obvious corresponding features in layering encoding. The reaction time of high level CM encoding is the shortest, suggesting that the CM has the greatest effect on the cognitive efficiency. According to the large visual noise in high level CS encoding, the CS should be encoded with high level CM to improve the cognitive efficiency. The high level CP encoding can decrease subjects’ cognitive load, which favors the improvement of search efficiency. Experimental results confirm the rationality of layering image complexity, thus providing a reference for the complexity design of information images.

image complexity; cognitive layering;human computer interaction; image attributes; mapping method

10.3969/j.issn.1001-0505.2016.06.007

2016-02-17. 作者簡(jiǎn)介: 張晶(1988—),女,博士生;薛澄岐(聯(lián)系人),男,博士,教授,博士生導(dǎo)師, ipd-xcq@seu.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(71471037, 71271053)、江蘇省普通高校研究生科研創(chuàng)新計(jì)劃資助項(xiàng)目(KYLX15-0062).

張晶,薛澄岐,沈張帆,等.基于認(rèn)知分層的圖像復(fù)雜度研究[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,46(6):1149-1154.

10.3969/j.issn.1001-0505.2016.06.007.

TP-391

A

1001-0505(2016)06-1149-06