仿真假體視覺下的拼圖任務研究

趙瑛　翟璐　耿秀琳　谷宇

摘 要： 為了研究視覺假體佩戴者完成拼圖任務時所需時間與原始圖像復雜度、被試性別、光幻視的分辨率以及是否能夠識別實驗圖片之間的關系，借助計算機編程技術，將仿真假體視覺下的拼圖任務呈現(xiàn)給視力正常的被試者，并在實驗過程中調整實驗圖片的復雜度（分為簡單，中等，復雜三組）和不同的仿真光幻視的分辨率（16×16，24×24，32×32，48×48，64×64，128×128六個分辨率）等參數(shù)。實驗結果表明，中等難度組的實驗用時最多，從簡單組到中等難度組識別時間有增長的趨勢，從中等難度組到復雜組，識別時間有減少的趨勢。男性的平均識別情況好于女性，且隨著分辨率的增加，用時整體呈現(xiàn)減少的趨勢。

關鍵詞： 圖像處理； 視覺假體； 拼圖任務； 圖像復雜度

中圖分類號： TN911?34； R318.6； R318.18 文獻標識碼： A 文章編號： 1004?373X（2017）20?0104?04

Abstract： In order to study the relationships among the needing time when the visual prosthesis wearer conducts jigsaw task， original image complexity， gender of the tested staff and resolution of pseudopsy， and whether experiment images can be recognized， the jigsaw task in visual prosthesis simulation is presented to the testee with normal eyesight by means of computer programming technique. The parameters are adjusted in the experiment process， including the low， medium and high complexities of the experiment images and resolutions （16×16， 24×24， 32×32， 48×48， 64×64， 128×128） of the simulated pseudopsy. The experimental results show that the experiment with medium complexity consumes the longest time； the recognition time from the low complexity to medium complexity presents the trend of increase； the recognition time from the medium complexity to high complexity presents the trend of decrease； the average recognition effect for male is better than that for female； the whole time consumption appears the trend of decrease while the resolution is increasing.

Keywords： image processing； visual prosthesis； jigsaw task； image complexity

人們接受的外部信息超過70%是來源于視覺[1]，視覺早已成為了人們認識和理解客觀世界的前提和基礎，并且能夠幫助人們進行日常的生活。然而，對于老化、疾病、意外事故等原因造成的視力下降目前仍缺乏有效的治療措施。科學家們在人工耳蝸的研制和應用中找到了靈感，開發(fā)出一種植入式電子裝置來幫助盲人恢復視力，這就是視覺假體[1?8]。在本文中，借助計算機編程技術，模擬了假體視覺下的視覺效果，邀請被試完成一系列的拼圖實驗。并在實驗中調整一些參數(shù)，研究這些參數(shù)對任務完成時間的影響。

1 實驗準備工作

1.1 實驗平臺

一臺Dell臺式電腦（型號：OptiPlex7010，Intel[?] Core（TM） i5?3470 CPU@3.20 GHz）；一個雙頭轉接口（DVI?VGA）；一臺頭戴式顯示器（800×600解析度，48萬像素，18位元色階顯示，單色顯示頻率120 Hz，可提供最大40°對角的真實視野），錄音軟件（GoldWave），鼠標，鍵盤，耳機。實驗平臺示意圖見圖1。

1.2 實驗場所

準備一間安靜且明亮度較為舒適的房間作為實驗場所。

1.3 篩選被試

本次實驗被試均篩選自視覺正常的在校大學生，共4名（男女各2名），其接觸過拼圖游戲但并不熟悉拼圖規(guī)律，且之前未接觸過仿真假體視覺類的行為學實驗。

1.4 復雜度分類

關于圖像的復雜度分類[9]，國內外學者對其早有研究，這些研究也因研究的目的不同而有所側重。針對圖像數(shù)據(jù)本身的特點及拼圖任務實驗的特點，并綜合考慮灰度級出現(xiàn)情況（由信息熵表示）、像素分布（由邊緣比例表示）及灰度空間復雜性（由能量、慣性矩和相關性表示）三個因素對本文實驗圖片進行了復雜度分類[10]。

（1） 灰度級出現(xiàn)情況。其中灰度級反映的是圖像灰度級的個數(shù)以及每個灰度級像素的出現(xiàn)情況，具體對應于廣義集合內部狀態(tài)的復雜度，可由信息熵這個量來描述[11]。信息熵H的計算公式為：

式中，C為廣義集合內部狀態(tài)復雜度。從廣義集合引出的N個個體的復雜度和從信息論中引入的一次抽樣時得到的信息熵是成正比例關系的兩個物理量，其比例系數(shù)是個體總數(shù)N。對應圖像的信息熵，N為灰度級的個數(shù)，ni為每個灰度級出現(xiàn)的個數(shù)。實驗素材如圖2所示。

（2） 像素分布。目標對象的出現(xiàn)情況主要反映圖像中目標個數(shù)的多少，其可以直接反映圖像的復雜程度。如果目標個數(shù)較多，則該圖像一般比較復雜，反之亦然。圖像中對象的出現(xiàn)情況，可以用邊緣比率來描述，因為邊緣是目標的顯著特征[13]。邊緣比率R的計算為：

[R=PedgeM×N]

式中：M和N分別為圖像的行數(shù)和列數(shù)；Pedge為圖像中邊緣像素的個數(shù)。圖像中目標的邊緣表現(xiàn)為圖像灰度顯著變化的地方，可以由差分算法來求得，一般通過邊緣檢測算子即可求出圖像中邊緣像素的個數(shù)。圖像中對應目標邊緣的多少可以直接用來反映圖像中目標物的多少及其復雜程度，因此可以用來描述圖像的復雜程度。但是此方法易受噪聲和邊緣檢測算法提取邊緣準確程度的影響。

在求取邊緣像素個數(shù)之前，需要進行邊緣提取，本文選取的是經(jīng)典的索貝爾算子（Sobel operator）進行邊緣提取，如圖3所示。在技術上，它是一離散性差分算子，用來運算圖像灰度的近似值。在圖像的任何一點使用此算子，將會產(chǎn)生對應的灰度矢量或是其法矢量。該算子包含兩組3×3的矩陣，分別為橫向及縱向，將之與圖像作平面卷積，然后選取合適的閾值以提取邊緣，采用3×3鄰域可以避免在像素之間內插點上計算梯度。Sobel算子也是一種梯度幅值，即：

公式中的偏導數(shù)Sx和Sy可以用卷積模板來實現(xiàn)。Sobel算子根據(jù)像素點上下、左右鄰點灰度加權差，在邊緣處達到極值這一現(xiàn)象檢測邊緣。對噪聲具有平滑作用，提供較為精確的邊緣方向信息，邊緣定位精度不夠高。當對精度要求不是很高時，是一種較為常用的邊緣檢測方法。

（3） 灰度空間復雜性?；叶鹊目臻g分布是圖像特有的，對于二維圖像而言，涉及到空間位置關系是不可避免的。由于灰度分布規(guī)律可以反映圖像中各灰度級像素的空間分布情況，因此可以用于描述圖像中灰度斑塊的大小和多少及其空間分布狀態(tài)。從另外一個角度來說，灰度的空間分布狀況也能用來描述圖像的相關性和對稱性等，具體可以反映灰度分布是集中還是分散，灰度一致性怎樣，是否存在重復性，對稱性如何等。

對于灰度空間復雜性的描述，選取慣性矩和紋理特征這兩個量來表述，其中紋理特征又可以用能量和相關性這兩個物理量來表示。圖像的紋理計算方法有很多種，其中基于灰度共生矩陣提取紋理特征的方法是一個經(jīng)典的統(tǒng)計分析方法，也是目前公認的一種圖像紋理分析方法[12]。本文中圖像的特征主要由灰度共生矩陣來進行統(tǒng)計分析，用以描述圖像的整體復雜度和灰度的空間分布情況。能量是一種表示灰度分布一致性的統(tǒng)計量，是圖像灰度分布均勻性的度量。當灰度共生矩陣中圖像的灰度分布比較均勻時，此時元素p（i，j）分布較集中于主對角線附近。從圖像整體看紋理較細，J值相應較大；反之，J值較小。能量的公式為：

在這5個量中，前2個影響因素（信息熵和邊緣比率）對于圖像復雜度而言為正相關因素，而后3個影響因素（能量、相關性和慣性矩）對于圖像復雜度而言為負相關影響因素。所以當算出一個圖片的信息熵及邊緣比率后以加權值為1相加，當計算出圖像的能量、相關性和慣性矩時，則以-1為加權值。將5個量求加權和，就得到了圖像復雜度值，將復雜度為0～3的圖像分到簡單組，復雜度值在3～6的分到中等組，復雜度值在6以上的分到復雜組。圖像復雜度分類數(shù)據(jù)表見表1。

1.5 圖像處理

圖像處理的過程主要是對分類后的圖像進行低像素化處理。將分組后的圖片，每組分別匹配16×16，24×24，32×32，48×48，64×64，128×128的方形光幻視模版。模版編寫時，保證點的大小不改變，僅改變點間距，即僅使模版的點密度發(fā)生變化。圖4為簡單組的圖案匹配完模版后的示意圖，匹配完模版后的3組圖像就是最后的實驗用圖。

2 實驗過程

2.1 預實驗部分

請2名被試（1男1女），在實驗環(huán)境下，先統(tǒng)計被試對實驗圖片的識別程度。實驗前讓被試練習兩次拼圖（與實際實驗環(huán)境完全相同，所用圖片為光幻視效果，但與實驗用圖不同）。然后，分別在簡單組、中等組、復雜組進行實驗，并注意每次的時間間隔，防止學習效應產(chǎn)生，統(tǒng)計被試完成任務的時間。根據(jù)預實驗來調整實驗計劃，準備開始正式實驗。

2.2 正式實驗

4名被試（2男2女）每人在實驗平臺下，在3個實驗圖片組（簡單組、中等組、復雜組）內分別完成各分辨率下的拼圖實驗。由實驗員利用計時軟件記錄完成任務的時間，每一組實驗都是從低分辨率開始，嚴格按照分辨率從低到高進行實驗。實驗過程全程由錄音軟件記錄，當被試準備好后，語音示意實驗員實驗開始，實驗過程中被試通過鍵盤上下左右四個鍵進行操作。實驗界面里有一個3×3塊的拼圖模塊，如圖5所示，左邊為原圖，右邊為模塊，操作模塊中有8塊圖案正常顯示，1塊為空白，用于移動其他圖案塊。實驗開始時由實驗員點擊界面上方相應按鈕選擇實驗圖片，開始實驗。當被試認為完成任務時，自行點擊界面上的對應判別按鈕，若拼圖正確，空白的一塊將自動填充，復原完整的實驗圖，否則提示錯誤，繼續(xù)計時。當程序確認任務完成時，實驗員提示實驗結束。

在實驗開始之前，所有被試先以預實驗圖片進行拼圖練習，當實驗過程熟練后，再開始正式的實驗。在實驗過程中，為了避免學習效應，同一個被試每次的實驗圖片均不相同。且除第一次實驗前，其他時間不再預留時間給被試進行實驗環(huán)境的熟悉。

3 實驗結果及討論

本文所述實驗主要通過統(tǒng)計完成任務的時間來探究在仿真假體視覺下，完成拼圖這一行為學任務和圖像復雜度、受試者性別、實驗圖像的識別程度以及模板分辨率之間的關系。在實驗結束后，將實驗平臺中的頭戴式顯示器換成筆記本電腦，利用眼動儀監(jiān)測了實驗中被試的眼動軌跡。

從圖6中可看出每個被試都是在中等復雜度的圖像組中，完成任務所需的時間最長，從簡單組到中等組，完成任務的時間有增加的趨勢，而從中等難度組到復雜組，完成任務的時間整體有所降低。圖中的數(shù)據(jù)均為多次實驗取平均值得出，以1號被試為例，一號被試在簡單組的完成任務時間，由該被試在簡單組的所有分辨率下的實驗完成時間取平均值得到，其余數(shù)據(jù)同理。

圖7描述了隨著分辨率的變化，完成任務的時間的情況。圖中的數(shù)據(jù)由4個被試取平均值得到，從圖中可以看出隨著分辨率的增加，完成任務所需的時間先是減少，在達到48×48后，有所增加。但是總體的趨勢是，隨著分辨率的提高，完成任務所需的時間是在減少的。

實驗數(shù)據(jù)表明，男性被試完成一個實驗的平均時間為115 s，女性被試平均需要154 s，經(jīng)顯著性檢驗具備顯著性差異（P<0.05），說明女性被試完成任務所需要的平均時間比男性被試明顯多。在實驗中發(fā)現(xiàn)，當被試者能夠識別實驗圖像時，平均的識別時間為203 s。當由于分辨率過低等原因不能識別實驗圖像時，完成任務的平均時間為300 s。證明能夠正確識別實驗圖像對于完成拼圖任務，是有幫助的。在后期的眼動儀實驗中，發(fā)現(xiàn)被試在實驗的后半程，眨眼次數(shù)較前半程而言較多，這可能是由于疲勞和被試的心理情緒造成的。而出現(xiàn)掃視的情況基本分為兩種類型，一種是在拼圖界面的左右兩個部分之間掃視，第二種是在右邊的未復原的9個模塊之間掃視，定點注視多發(fā)生在拼圖界面右邊未完成的區(qū)域的中心塊，及右下角的空白塊處。

4 結 語

本文在圖像的復雜度分析中主要依據(jù)影響比較大的兩個因素，信息熵及邊緣比率。但是由于在計算過程中各個步驟積累起來的不可避免的誤差，加入了能量、慣性矩、相關性這三個影響較小的因素來減小誤差，在眼動儀的使用上也還有很大的改進空間，這將在后續(xù)的工作中，做進一步的探究。

參考文獻

[1] 任秋實.視覺假體的研究進展與面臨的挑戰(zhàn)[J].生命科學，2009，21（2）：234?240.

[2] NORMANN R A， MAYNARD E M， ROUSCHE P J， et al. A neural interface for a cortical vision prosthesis [J]. Vision research， 1999， 39（15）： 2577?2587.

[3] DOBELLE W H. Artificial vision for the blind by connecting a television camera to the visual cortex [J]. ASAIO journal， 2000， 46（1）： 3?9.

[4] RIZZO J， WYATT J L， LOEWENSTEIN J， et al. Perceptual efficacy of electrical stimulation of human retina with a microelectrode array during short?term surgical trials [J]. Investigative ophthalmology & visual science， 2003， 44（12）： 5362?5369.

[5] HUMAYUN M S， WEILAND J D， FUJII G Y， et al. Visual perception in a blind subject with a chronic microelectronic retinal prosthesis [J]. Vision research， 2003， 43（24）： 2573?2581.

[6] BOYLE J R， MAEDER A J， BOLES W W. Region?of?interest processing for electronic visual prostheses [J]. Journal of electronic imaging， 2008， 17（1）： 1?12.

[7] THOMPSON R， BARNETT G， HUMAYUN M， et al. Facial recognition using simulated prosthetic pixelized vision [J]. Investigative ophthalmology & vision science， 2003， 44（11）： 5035?5042.

[8] ALAN R， LI P， STRICKLAND R N. Image complexity metrics for automatic target recognizers [C]// Proceedings of 1990 Automatic Target Recognition System and Technology Conference. USA： Naval Surface Warfare Center， 1990： 1?17.

[9] 高振宇，楊曉梅，龔劍明，等.圖像復雜度描述方法研究[J].中國圖象圖形學報，2010，15（1）：129?135.

[10] CARDACI M， DI GESU V， PETROU M， et al. On the valuation of images complexity： a fuzzy approach [J]. Fuzzy logic and applications， 2006（3849）： 305?311.

[11] MARIO I， CHACON M， ALMA D， et al. Image complexity measure： a human criterion free approach [C]// Proceedings of 2005 IEEE Annual Meeting of the North American Fuzzy Information Processing Society. Detroit： IEEE， 2005： 241?246.

[12] 馮建輝，楊玉靜.基于灰度共生矩陣提取紋理特征圖像的研究[J].北京測繪，2007（3）：19?22.

[13] 陳彥燕，王元慶.基于慣性矩的圖像融合算法[J].計算機測量與控制，2009（6）：1190?1191.