基于形象關(guān)聯(lián)模式通訊錄的設(shè)計與實現(xiàn)

張素嫻，黃 俊，張志豪

（湖州師范學(xué)院 信息與工程學(xué)院，浙江 湖州 313000）

人腦對形象信息的理解遠(yuǎn)比對抽象信息的理解更有為效，用更加形象、直觀的圖形方式表達(dá)信息已成為人們?nèi)找孀非笱芯磕繕?biāo)［1］。與此同時，隨著軟硬件技術(shù)的發(fā)展，更加切合人類自然行為的人機交互技術(shù)也越來越受到人們的重視［2］。

在電腦、手機等電子產(chǎn)品中使用通訊錄作為人腦與機器存儲之間的一種常見接口，大大提高了人們對聯(lián)系對象的記錄與查詢效率。傳統(tǒng)通訊錄通常用二維表結(jié)構(gòu)存儲聯(lián)系人信息。這類通訊錄可以很方便地通過關(guān)鍵字進(jìn)行檢索，比如常用的根據(jù)姓名進(jìn)行查詢的方式。根據(jù)人們的認(rèn)知習(xí)慣與記憶規(guī)律，人的大腦更傾向于對圖像、聲音、氣味等形象信息的存儲與處理。人與人之間的信息交流已不僅局限于手機通話、短信等，還包括了以圖像為媒介的信息傳遞與交流。“圈人”等基于人臉檢測與識別的網(wǎng)絡(luò)社交工具日漸風(fēng)靡，表明可視化的信息交流將成為社交網(wǎng)絡(luò)的重要需求。將聯(lián)系人照片添加到通訊錄中無疑是一種有效方法。然而，基于目前圖像處理技術(shù)的發(fā)展程度，直接通過圖像索引來查詢通訊錄的方式還遠(yuǎn)未普及。

本文結(jié)合人腦記憶特性，通過將有意義的人臉照片作為通訊錄查詢的入口，設(shè)計、開發(fā)一個通訊錄管理工具，實現(xiàn)可視化的信息組織及查詢，為將人的自然行為引入人機交互過程進(jìn)行了初步嘗試。本文認(rèn)為，用戶對一些有意義的照片具有較深刻的記憶。通過梳理記憶中的照片，能夠更方便地找到朋友的聯(lián)系信息。

1 設(shè)計方案

1.1 通訊錄查找過程

傳統(tǒng)通訊錄的查找通?；谛彰ヅ?。比如要找“張三”的聯(lián)系方式，需要直接在通訊錄中以“張三”作為關(guān)鍵字進(jìn)行搜索。用戶在被查找的聯(lián)系方式之間通過“姓名”這一高度抽象的載體進(jìn)行一級關(guān)聯(lián)。關(guān)聯(lián)模式如圖1所示。

圖1 通過姓名的抽象關(guān)聯(lián)模式

該圖反映了在用戶（U）與聯(lián)系人（C）之間的關(guān)系，這種關(guān)系由關(guān)鍵字（K，如姓名等）進(jìn)行關(guān)聯(lián)。如式（1）所示。

關(guān)鍵字與聯(lián)系人之間是一一對應(yīng)關(guān)系。之所以稱之為抽象關(guān)聯(lián)，是因為在用戶與關(guān)鍵字之間的對應(yīng)是抽象的，即用戶需維護(hù)一張抽象的關(guān)鍵字列表。目前有些通訊錄也支持模糊查詢，即可通過名稱子串、相似串甚至別名等方式來索引聯(lián)系人信息，但這種方式本質(zhì)上并未改變這種抽象關(guān)聯(lián)的本質(zhì)。

本文設(shè)計的方案融合了“場景”、“肖像”等具體的載體，在用戶與被查找的聯(lián)系人之間建立了多級形象關(guān)聯(lián)。如圖2所示。

這種方式將用戶對具體載體的記憶融入查詢過程，即將用戶與聯(lián)系人之間的關(guān)系用形象化的記憶信息實行關(guān)聯(lián)。如式（2）所示。

其中M表示用戶的形象化記憶信息，該信息是掩映不同側(cè)面的關(guān)鍵字的融合。用符號θ表示這種融合，則M可表示為：

圖2 融合場景與肖像的形象關(guān)聯(lián)模式

θ反映了M的構(gòu)成，但具體表達(dá)與人腦的思維有關(guān)，可能有不同形式。在這個問題中，M是可知的，θ是不可知的，K對M的表征是不全面、不準(zhǔn)確的。在軟件設(shè)計中，通常的做法是選擇更具代表性的K，以期望其更加準(zhǔn)確地表征M。而如何在人機交互過程中直接引入M應(yīng)該是提高軟件易用性的途徑之一。本文提出的方案在這一方面進(jìn)行了初步嘗試。

這種關(guān)聯(lián)方式有以下優(yōu)點：一是引入了具體化的場景、肖像等元素，使用戶在查找過程中能夠充分利用記憶中的形象信息進(jìn)行檢索；二是避免了傳統(tǒng)通訊中由于“記不住名字”所帶來的麻煩。

1.2 總體結(jié)構(gòu)

為實現(xiàn)將有意義的照片與通訊錄進(jìn)行關(guān)聯(lián)，將系統(tǒng)分為照片獲取、人臉檢測、通訊錄管理三個模塊。照片獲取分別采用本地打開、實時拍攝兩種方式；人臉檢測主要實現(xiàn)人臉的定位及人數(shù)統(tǒng)計；通訊錄管理分為編輯通訊錄條目、管理已識別圖片等功能。其中人臉的定位及人數(shù)統(tǒng)計是該系統(tǒng)的核心。系統(tǒng)總體結(jié)構(gòu)如圖3所示。

圖3 系統(tǒng)總體結(jié)構(gòu)

該圖虛線上部表示通訊錄的創(chuàng)建過程；虛線下方表示基于圖庫的聯(lián)系人查找功能。經(jīng)過系統(tǒng)處理的圖片將被保存在圖庫中。用戶可根據(jù)模糊的記憶通過該軟件打開圖庫中的圖片，進(jìn)而獲得圖片中朋友的聯(lián)系信息。

1.3 數(shù)據(jù)庫設(shè)計

根據(jù)應(yīng)用需求，一張照片往往包含多位聯(lián)系人，基于形象關(guān)聯(lián)模式的通訊錄軟件需要維護(hù)照片、聯(lián)系人兩大類信息，因此需分別針對圖片及聯(lián)系人創(chuàng)建數(shù)據(jù)表。本文設(shè)計了Picture表用于存儲圖片信息，包含圖片的編號、名稱、圖中人數(shù)等字段。結(jié)構(gòu)如表1所示。

表1 Picture表結(jié)構(gòu)

Contact表用于存儲聯(lián)系人信息，包含聯(lián)系人編號、姓名、電話、通訊地址、備注等字段。結(jié)構(gòu)如表2所示。

表2 Contacts表結(jié)構(gòu)

Picture表和Contact表的主鍵（id）及外鍵（picid）都不為空。關(guān)系如圖4所示。

圖4 Picture表和Contact表的關(guān)系

兩張表建立關(guān)聯(lián)主要目的是實現(xiàn)照片與聯(lián)系人信息之間的關(guān)聯(lián)，從而將人腦對場景及肖像的零散記憶融入通訊錄查詢過程。

2 系統(tǒng)實現(xiàn)

系統(tǒng)采用Java語言進(jìn)行開發(fā)。照片中人臉的檢測與計數(shù)采用 OpenCV（Open Source Computer Vision Library）［3］實現(xiàn)。OpenCV 是一款跨平臺的開源計算機視覺庫，廣泛用于攝像機位置標(biāo)定［4］、動態(tài)手勢軌跡識別［5］、人臉檢測與跟蹤［6－8］等領(lǐng)域。

通過本文設(shè)計的通訊錄軟件，用戶可打開本地圖像或即時拍攝圖像，然后分別針對圖像中的人物添加通訊錄并實現(xiàn)基于形象關(guān)聯(lián)模式的查詢與管理。主要實現(xiàn)了照片獲取、人臉檢測、通訊錄管理等功能模塊。

2.1 照片獲取

照片獲取采用兩種方法，一是打開本地圖像，二是實時拍攝。實際應(yīng)用中可能以打開本地圖像的方法更為常用。

（1）打開本地圖像

采用MyEclipse內(nèi)置的JFileChooser的對象創(chuàng)建文件打開界面，同時在Description中設(shè)置目錄下可選文件格式，在accept函數(shù)中篩選出符合Description中的文件格式。核心代碼如下：

若創(chuàng)建多個圖片格式，需重寫setFileFilter接口，及接口中的Description和accept函數(shù)。

（2）實時拍攝

該功能需要用到sun公司的媒體流的插件JMF。首先調(diào)用攝像頭驅(qū)動接口，獲得視頻流地址，創(chuàng)建DataSourse的數(shù)據(jù)源，然后用Swing組件的方式調(diào)用攝像頭顯示視頻流。同時還需要編寫輔助線程用于播放點擊時拍照的聲音。顯示視頻流的核心代碼如下所示：

點擊拍照按鈕時執(zhí)行兩項操作：一是在控件上顯示圖像流數(shù)據(jù)；二是保存圖像文件。

2.2 人臉檢測

本文用OpenCV確定人臉位置并計數(shù)，通過將圖像掃描窗口中的內(nèi)容與預(yù)存的人臉特征圖片對比進(jìn)行判斷。為提高檢測精度，首先采用級聯(lián)分類器進(jìn)行多重循環(huán)掃描，然后選擇最合適分類器的結(jié)果作為最終結(jié)論。

識別期間采用多輪分層次的地毯式掃描，如果一個區(qū)域多次呈現(xiàn)與視覺庫中模型相似的特重，則對該區(qū)域進(jìn)行坐標(biāo)標(biāo)記，并進(jìn)行計數(shù)。核心代碼如下：

在識別后的圖片中采用紅色方框標(biāo)出所有人臉區(qū)域，并給出照片中的人數(shù)。

3 通訊錄管理

系統(tǒng)將保存已經(jīng)檢測過的圖片，并對其進(jìn)行管理，包括修改圖像信息、根據(jù)姓名或其他關(guān)鍵字進(jìn)行檢索等，以便于更加有效地查找用戶所需信息。該模型主要包含聯(lián)系人的添加、更新、檢索等功能。由于本文設(shè)計的通訊錄將以圖片及圖中的人物肖像為索引。因此系統(tǒng)需針對圖片中不同的人臉區(qū)域添加聯(lián)系人信息，主要包括姓名、手機號、通訊地址等，還可以對相應(yīng)人臉區(qū)域進(jìn)行備注。

例如，系統(tǒng)打開一張照片，將首先檢查該照片是否已存儲在數(shù)據(jù)庫中，如果未存儲在數(shù)據(jù)庫中，則意味著該照片尚未進(jìn)行過人臉檢測，接下來將啟動人臉檢測流程。經(jīng)過人臉檢測的圖片，可以分別針對人臉區(qū)域編輯聯(lián)系人信息，或通過點擊人臉區(qū)域進(jìn)行信息查詢。

在后臺以圖片聯(lián)系人編號檢索數(shù)據(jù)庫。在界面中將系統(tǒng)識別出的人臉位置與聯(lián)系人數(shù)據(jù)建立一一關(guān)聯(lián)，方便用戶根據(jù)對照片的理解迅速找到聯(lián)系人數(shù)據(jù)，提供了更為新穎的查詢體驗。系統(tǒng)界面如圖5所示。

圖5 系統(tǒng)界面

該圖展示的是打開圖片后系統(tǒng)自動識別出人臉區(qū)域，并在左下角顯示人數(shù)統(tǒng)計結(jié)果。人臉區(qū)域的淺色矩形指示了系統(tǒng)識別出的人臉位置。在右側(cè)區(qū)域可以進(jìn)行通訊錄管理。

4 結(jié)語

隨著移動技術(shù)的發(fā)展及電子設(shè)備的普及，用戶與系統(tǒng)之間的交互越來越占有突出的地位。針對目前的通訊錄查詢交互模式多基于抽象關(guān)鍵字列表的情況，本文提出一種用戶與聯(lián)系人之間的形象關(guān)聯(lián)模式，并基于該模式實現(xiàn)了一款通訊錄軟件。利用該軟件，用戶可在對照片識別進(jìn)行人臉檢測的基礎(chǔ)上進(jìn)行聯(lián)系人信息管理，從而實現(xiàn)了將用戶記憶中的形象信息引入人機交互過程，有效提高了查詢效果與軟件應(yīng)用趣味性。

［1］ 戴超凡，王明利.研討信息交互式可視化平臺設(shè)計與實現(xiàn)［J］.計算機工程，2010，36（1）：238－240.

［2］ 管業(yè)鵬.基于多模態(tài)視覺特征的自然人機交互［J］.電子學(xué)報，2013，41（11）：2223－2229.

［3］ 陳勝勇，劉盛.基于OpenCV的計算機視覺技術(shù)實現(xiàn)［M］.北京：科學(xué)出版社，2008.

［4］ 李洪雷，管群，胡凱衡，等.VC＋＋環(huán)境下基于OpenCV的攝像機標(biāo)定系統(tǒng)的開發(fā)［J］.計算機應(yīng)用與軟件，2011，28（6）：19－21，31.

［5］ 江超，艾矯燕.基于OpenCV的攝像頭動態(tài)手勢軌跡識別及其應(yīng)用［J］.計算機應(yīng)用，2012，32（S1）：128－133.

［6］ 朱承志.基于OpenCV的人臉檢測與跟蹤［J］.計算機工程與應(yīng)用，2012，48（26）：157－161.

［7］ 陶穎軍.基于OpenCV的人臉識別應(yīng)用［J］.計算機系統(tǒng)應(yīng)用，2012，21（3）：220－223.

［8］ 張瑩，李勇平，敖新宇.基于OpenCV的通用人臉檢測模塊設(shè)計［J］.計算機工程與科學(xué)，2011，33（1）：97－101.