詞間相關(guān)性的CMRM圖像標(biāo)注方法

劉詠梅，代麗潔

(哈爾濱工程大學(xué)計算機科學(xué)與技術(shù)學(xué)院，黑龍江哈爾濱 150001)

詞間相關(guān)性的CMRM圖像標(biāo)注方法

劉詠梅，代麗潔

(哈爾濱工程大學(xué)計算機科學(xué)與技術(shù)學(xué)院，黑龍江哈爾濱 150001)

自動圖像標(biāo)注因其對圖像理解和網(wǎng)絡(luò)圖像檢索的重要意義，近年來已成為新的熱點研究課題.在圖像標(biāo)注的CMRM模型基礎(chǔ)上，提出了一種基于詞間相關(guān)性的CMRM標(biāo)注方法.該方法提取了標(biāo)注字之間的詞間相關(guān)關(guān)系，并利用圖學(xué)習(xí)算法，通過將詞間相關(guān)性矩陣疊加到初始標(biāo)注矩陣的方法對標(biāo)注結(jié)果進(jìn)行了改善.利用Corel5k標(biāo)注圖像庫中的自然場景圖像進(jìn)行實驗.實驗結(jié)果表明，該方法很好地完成了對測試集圖像的自動標(biāo)注，在查全率與查準(zhǔn)率上較CMRM模型有所提高.

圖像標(biāo)注;CMRM模型;相關(guān)關(guān)系;詞間相關(guān)性矩陣

有效的圖像描述方法［1］是圖像數(shù)據(jù)管理的基礎(chǔ).目前圖像描述方法主要采用人工標(biāo)注的方式進(jìn)行，但是由于人工方式耗時費力而且缺乏客觀性，因此需要對圖像進(jìn)行自動標(biāo)注.

此外，對圖像進(jìn)行自動的語義標(biāo)注是圖像檢索中重要且非常具有挑戰(zhàn)性的工作［2］.對于提高檢索系統(tǒng)的效率有著重要的意義.因此如何快速有效地進(jìn)行自動的圖像標(biāo)注就變得異常重要.

通過對CMRM算法的研究發(fā)現(xiàn)，該模型只考慮了視覺特征與標(biāo)注關(guān)鍵字之間的對應(yīng)關(guān)系，卻忽略了關(guān)鍵字本身所具有的相關(guān)性，因此，提出了一種基于詞間相關(guān)性的CMRM圖像標(biāo)注方法.首先利用CMRM模型對圖像進(jìn)行標(biāo)注，然后從訓(xùn)練集中提出關(guān)鍵字之間的相關(guān)關(guān)系，并利用圖學(xué)習(xí)算法，將這種相關(guān)關(guān)系在各個關(guān)鍵字之間進(jìn)行傳播，從而得到新的圖像標(biāo)注關(guān)鍵字.

1 CMRM圖像標(biāo)注方法

聯(lián)合媒體相關(guān)模型(cross－media relevance models，CMRM)將相關(guān)語言模型(relevance－based language model)［3－4］應(yīng)用到圖像標(biāo)注中，通過對訓(xùn)練圖像集的學(xué)習(xí)獲取圖像的視覺詞元與關(guān)鍵字的聯(lián)合概率分布.利用概率統(tǒng)計方法，獲得每個關(guān)鍵字作為圖像標(biāo)注的概率，并以此作為選擇標(biāo)注的依據(jù).該模型在圖像標(biāo)注領(lǐng)域取得了較好的成績，現(xiàn)在已經(jīng)成為各種新圖像標(biāo)注方法進(jìn)行性能對比的標(biāo)準(zhǔn)方法.

在利用CMRM算法對圖像進(jìn)行標(biāo)注過程中常用的圖像描述方法如下:

1)關(guān)鍵字記為wi，i=1，2，…，n.

2)視覺詞元記為bi，i=1，2，…，m.并用它對圖像進(jìn)行表示.

3)訓(xùn)練圖像記為Ji={b1，b2，…，bm，w1，w2，…，wn}，其中i為圖像的編號.

4)測試圖像記為I={b1，b2，…，bm}.

1.1 CMRM標(biāo)注的基本原理

CMRM模型采用一種生成式的語言建模方法［4－5］，該方法認(rèn)為每幅圖像的視覺特征與標(biāo)注關(guān)鍵字之間都有一種潛在概率分布P(·|I)，并且將這個分布看作是I的相關(guān)模型［4－6］.可以將圖像的視覺詞元表示{b1，b2，…，bm}看作是從P(·|I)中進(jìn)行m次隨機采樣得到的.同理，很自然地想到對圖像I進(jìn)行標(biāo)注可以看作是從它的相關(guān)模型P(·|I)中隨機抽樣n次得到了n個關(guān)鍵字.為了能對相關(guān)模型進(jìn)行抽樣需要對標(biāo)注集中每個關(guān)鍵字都估計概率.

由于P(·|I)本身是未知的，因此可以考慮利用條件概率P(w|b1，b2，…，bm)近似P(w|I)［6］，即

對于式(1)等號右邊的概率，可以首先利用已標(biāo)注的訓(xùn)練圖像集來估計在一幅圖像中同時觀察到關(guān)鍵字w和視覺詞元b1，b2，…，bm的聯(lián)合分布，然后對該分布按w進(jìn)行邊緣化得到.而聯(lián)合分布可以利用訓(xùn)練集中的圖像J的期望得到

假設(shè)某一幅訓(xùn)練圖像J被選定后，關(guān)鍵字w和視覺詞b1，b2，…，bm是否出現(xiàn)是相互獨立的［4－6］.因此可以將式(2)重寫為

式中:P(J)可以對訓(xùn)練集中的所有圖像保持一致.由于J中同時包含了全部視覺詞元與關(guān)鍵字，因此可以利用平滑的期望最大化算法對式(3)中的概率進(jìn)行估計，當(dāng)給定一幅訓(xùn)練圖像J時，可以同時觀察到關(guān)鍵字w和視覺詞元b的概率由式(4)、(5)給出.

式中:#(w，J)表示w出現(xiàn)在圖像J的標(biāo)注中的次數(shù)，因為同一個詞很少會多次出現(xiàn)在同一個標(biāo)題中，所以該值一般取為0或1;#(w，T)表示w出現(xiàn)在訓(xùn)練集T中的總次數(shù)，它等于用該關(guān)鍵字標(biāo)注的訓(xùn)練圖像的總數(shù);同理，#(b，J)和#(b，T)也表示相應(yīng)的次數(shù).利用式(1) ～ (5)［4－7］估計出概率P(w|I)后，就可以直接利用這個概率對圖像進(jìn)行標(biāo)注.本文中將αJ和βJ這2個參數(shù)經(jīng)評估后分別取為αJ=0.1，βJ=0.9.

1.2 CMRM的圖像標(biāo)注算法

利用聯(lián)合媒體相關(guān)模型對圖像進(jìn)行標(biāo)注的主要步驟總結(jié)如下:

1)從數(shù)據(jù)集的文件中統(tǒng)計出的基本信息.

#(w，J):每個關(guān)鍵字出現(xiàn)在每幅圖像的標(biāo)注中的次數(shù)，一般為0或1.

#(w，T):關(guān)鍵字出現(xiàn)在數(shù)據(jù)集中的總次數(shù).

#(b，J):視覺詞元b出現(xiàn)在每幅圖像中的次數(shù).

#(b，T):視覺詞元b出現(xiàn)在全部訓(xùn)練圖像中的次數(shù).

2)利用統(tǒng)計信息計算關(guān)鍵字和視覺詞元的條件概率P(w|J)和P(b|J).

3)利用條件概率對關(guān)鍵字和視覺詞元的聯(lián)合概率進(jìn)行估計.

4)利用p(w，b1，b2，…，bm)來近似p(w|b1，b2，…，bm).

2 基于詞間相關(guān)性的CMRM圖像標(biāo)注

CMRM算法是根據(jù)圖像的底層特征等對圖像進(jìn)行標(biāo)注的，由于“語義鴻溝”的存在，使得該算法的標(biāo)注性能受到影響.在利用CMRM對圖像進(jìn)行初始的標(biāo)注之后，利用圖學(xué)習(xí)方法，將從訓(xùn)練集中得到的詞間相關(guān)關(guān)系矩陣作用到初始標(biāo)注矩陣上，使得關(guān)鍵字之間的相關(guān)性在圖的各個頂點之間進(jìn)行傳播，從而實現(xiàn)了對標(biāo)注結(jié)果的改善.

2.1 詞間相關(guān)性描述

詞間相關(guān)性是指2個關(guān)鍵字同時標(biāo)注一幅圖像的特性.相關(guān)程度用詞間相關(guān)性矩陣表示.為了獲得關(guān)鍵字之間的相關(guān)性矩陣，可以對訓(xùn)練集中關(guān)鍵字出現(xiàn)的次數(shù)進(jìn)行統(tǒng)計，文中將2個關(guān)鍵字作為同一幅圖像的標(biāo)注出現(xiàn)的次數(shù)稱為它們的共生次數(shù).

要準(zhǔn)確地獲取關(guān)鍵字之間的詞間相關(guān)性矩陣，需要對訓(xùn)練集數(shù)據(jù)進(jìn)行統(tǒng)計和整理，并進(jìn)行相應(yīng)的計算.下面將詳細(xì)說明計算該矩陣的算法.算法的主要步驟如下:

1)讀入訓(xùn)練圖像集中的標(biāo)注信息，即訓(xùn)練圖像本身自帶的標(biāo)注關(guān)鍵字;

2)從訓(xùn)練集的標(biāo)注信息中，統(tǒng)計出任意2個關(guān)鍵字的共生次數(shù)，即K(w1，w2);

3)統(tǒng)計每個關(guān)鍵字在訓(xùn)練圖像集中作為標(biāo)注出現(xiàn)的次數(shù)n1;

4)按照式(6)計算出詞間相關(guān)性矩陣;

5)對矩陣進(jìn)行歸一化處理.

2.2 相關(guān)關(guān)系傳播算法

本文利用圖學(xué)習(xí)算法來實現(xiàn)詞間相關(guān)性在各個關(guān)鍵字之間的傳播.文獻(xiàn)［8］將圖學(xué)習(xí)算法應(yīng)用于圖像標(biāo)注中，所提出的基于圖學(xué)習(xí)的標(biāo)注框架首先進(jìn)行初始標(biāo)注，即以圖像為節(jié)點，以圖間相似性為邊建立圖，通過圖學(xué)習(xí)算法將標(biāo)注信息從已標(biāo)注圖像傳遞到未標(biāo)注圖像，然后對標(biāo)注結(jié)果進(jìn)行改善.這時，利用詞間相關(guān)性建立以詞為節(jié)點的圖，以初始標(biāo)注結(jié)果設(shè)置初始狀態(tài)向量，通過學(xué)習(xí)算法得到圖像的最終標(biāo)注結(jié)果.本文方法借鑒了這一框架.

設(shè)G=(V，E)表示圖，其中V={x1，x2，…，xn}是圖的頂點，對應(yīng)標(biāo)注的關(guān)鍵字;E代表圖的邊，邊上的權(quán)值對應(yīng)它所連接的2個關(guān)鍵字之間的相關(guān)強度.同時，設(shè)CMRM標(biāo)注結(jié)果用矩陣Y表示，它的元素yij表示第i幅圖像被標(biāo)注為第j個關(guān)鍵字的概率.結(jié)果矩陣R的元素表示每幅圖像被標(biāo)注為每個關(guān)鍵字的最終概率結(jié)果，由下面的迭代過程產(chǎn)生［8］:

式中:t表示迭代次數(shù)，其初值為0，R(0)=Yβ是傳播系數(shù)，它決定了相關(guān)矩陣對標(biāo)注結(jié)果的影響程度，本文中t的終值取500，β取0.25.

從上面的描述可以看出，迭代過程中有2個最重要的矩陣，相似矩陣S和初始標(biāo)注矩陣Y，前者對應(yīng)著上一節(jié)中得到的共生矩陣，而后者由CMRM算法對測試圖像進(jìn)行標(biāo)注而得到.

2.3 基于詞間相關(guān)性標(biāo)注算法

下面給出算法的具體步驟如下.

1)從數(shù)據(jù)集的文件中讀入訓(xùn)練數(shù)據(jù)信息，進(jìn)而完成對基本信息#(w，J)、#(w，T)、#(b，J)、#(b，T)的統(tǒng)計，并轉(zhuǎn)2).

2)估計關(guān)鍵字w和視覺詞元b的條件概率，并計算關(guān)鍵字與視覺詞元之間的聯(lián)合概率.

3)提取詞間相關(guān)性矩陣S.

4)將2)中得到標(biāo)注矩陣與式(7)中的初始狀態(tài)矩陣Y對應(yīng)，進(jìn)行迭代計算，直到收斂，得到的新矩陣就是最終標(biāo)注結(jié)果.

5)對矩陣每行的元素按概率值排序，取概率最大的N個作為最終的標(biāo)注關(guān)鍵字，在本文方法中N=5.

3 實驗結(jié)果與分析

3.1 實驗數(shù)據(jù)

本文采用帶有標(biāo)注字的 Corel5k圖像集［9］實驗.整個圖像集中共包含50個文件夾，每個文件夾100張圖像，共5 000張圖像.從每個文件夾中選取80張圖像作為訓(xùn)練圖像，再先取10張作為評估圖像集，用于對參數(shù)進(jìn)行評估，其余10張圖像作為測試圖像［4］.

對所有圖像均先利用NCut算法進(jìn)行圖像分割，取前10個面積較大的區(qū)域作為有效區(qū)域，進(jìn)行特征提取.區(qū)域的視覺特征為36維特征向量，包括18種顏色特征、12種紋理特征和6種形狀特征.對訓(xùn)練圖像，利用K－均值聚類算法(K=500)對所有有效區(qū)域進(jìn)行聚類，由聚類結(jié)果得到500個視覺詞元.

3.2 實驗結(jié)果

對500幅測試圖像進(jìn)行了自動的標(biāo)注，計算了每個關(guān)鍵字(標(biāo)注字)的平均查全率和平均查準(zhǔn)率.查全率(recall)度量出對單個詞查詢的完整性，查準(zhǔn)率(precision)反映出查詢的精度.對于給定的標(biāo)注字w，若在測試圖像集的手工標(biāo)注結(jié)果中包含w的圖像個數(shù)為Nm，使用自動標(biāo)注模型的標(biāo)注結(jié)果中包含該詞的圖像個數(shù)為Na，其中參照手工標(biāo)注結(jié)果有Nr個是正確的，則單個標(biāo)注字的查全率和查準(zhǔn)率為

采用標(biāo)注字的平均查準(zhǔn)率和平均查全率來考察本文方法的標(biāo)注性能.與CMRM算法相比，部分關(guān)鍵字的查全率與查準(zhǔn)率有明顯的提高，如圖1及圖2所示.

圖1 本文方法與CMRM模型的部分關(guān)鍵字的查全率對比Fig.1 Recall contrast results of partial words with CMRM model

圖2 本文方法與CMRM模型的部分關(guān)鍵字的查準(zhǔn)率對比Fig.2 Precision contrast results of partial words with CMRM model

對測試圖像集中500幅圖像的標(biāo)注結(jié)果進(jìn)行統(tǒng)計，對標(biāo)注性能最好的前49個標(biāo)注字的平均查全率為0.375，平均查準(zhǔn)率為0.38.本文方法與CMRM模型的標(biāo)注性能進(jìn)行了對比，見表1.

表1 與CMRM模型的性能對比Table 1 Efficiency contrast results with CMRM model

本文方法充分考慮了標(biāo)注關(guān)鍵字之間的相關(guān)性，這種相關(guān)性反映了各個關(guān)鍵字之間的語義聯(lián)系，通過相關(guān)性將2個緊密聯(lián)系的關(guān)鍵字的標(biāo)注概率進(jìn)行調(diào)整，并對CMRM的標(biāo)注結(jié)果進(jìn)行調(diào)整，使得標(biāo)注結(jié)果在查準(zhǔn)率和查全率上較CMRM有所提高.表2給出了部分圖像的標(biāo)注結(jié)果.

本方法無論在查全率還是查準(zhǔn)率方面，都較CMRM模型有所提高.但是由于圖像的視覺詞元對最終標(biāo)注結(jié)果的影響是非常大的，不可避免地出現(xiàn)了一些標(biāo)注效果不理想的情況.標(biāo)注性能受以下幾方面因素影響:1)顏色、形狀特征在全部特征中所占的比重，各種特征直接影響聚類的效果;2)對于詞間關(guān)系的提取不夠全面;3)所有圖像的標(biāo)注長度相同，影響了最終的查全率與查準(zhǔn)率.

4結(jié)論

本文在CMRM模型基礎(chǔ)上，利用標(biāo)注字之間的詞間相關(guān)性對CMRM標(biāo)注方法進(jìn)行了改進(jìn)，取得了更好的標(biāo)注效果.下一步的研究工作可以從以下幾個方面進(jìn)行.

1)優(yōu)化圖像的特征提取方法，在不影響算法性能的前提下，盡量全面地采用各種特征，以消除某些特征對聚類的影響.

2)對于共生關(guān)系矩陣的提取，可以借助一些結(jié)構(gòu)化的詞典來進(jìn)行，普林斯頓大學(xué)開發(fā)的WorldNet就是一個不錯的選擇，該詞典收錄了大量的單詞，且按語義對單詞進(jìn)行組織，能夠更加全面地衡量關(guān)鍵字之間的相關(guān)性.

3)可以對圖像進(jìn)行長度不固定的標(biāo)注，例如對圖像中每個區(qū)域進(jìn)行單獨的標(biāo)注，然后對于標(biāo)注相同的區(qū)域進(jìn)行融合，這樣可以更好地消除噪聲關(guān)鍵字對查全率和查準(zhǔn)率的影響.

［1］陳世亮，李戰(zhàn)懷，袁柳.一種基于區(qū)域特征關(guān)聯(lián)的圖像語義標(biāo)注方法［J］.計算機工程與應(yīng)用，2007，43(2):53－57.

CHEN Shiliang，LI Zhanhuai，YUAN Liu.Image semantic annotating method based on region features relevancy［J］.Computer Engineering and Applciations，2007，43(2):53－57.

［2］YU Feiyang，HORACE H S.Semantic content analysis and annotation of histological images［J］.Computers in Biology and Medicine，2008，38:635－649.

［3］LAVRENKO V，CROFT W.Relevance－based language models［C］//Proceedings of the 24th Annual International ACM SIGIR Conference.New Orleans，USA，2001:120－127.

［4］LAVRENKO V，CHOQUETTE M，CROFT W.Cross－lingual relevance models［C］//Proceedings of the 25th Annual International ACM SIGIR Conference.Tampere，F(xiàn)inland，2002:175－182.

［5］王斌.圖像檢索中自動標(biāo)注與快速相似搜索技術(shù)研究［D］.長沙:中國科學(xué)技術(shù)大學(xué)，2007:5－45.

WANG Bin.Researches on automatic image annotation and fast similarity searching technology in CBIR［D］.Changsha:University of Science and Technology of China，2007:5－45.

［6］袁曾任.人工神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用［M］.北京:清華大學(xué)出版社，1999:40－50.

［7］JEON J，LAVRENKO V，MANMATHA R.Automatic image annotation and retrieval using cross－media relevance models［C］//Proceedings of the 26th International ACM SIGIR Conference.Toronto，Canada，2003:119－126.

［8］盧漢清，劉靜.基于圖學(xué)習(xí)的自動圖像標(biāo)注［J］.計算機學(xué)報，2008，31(9):1629－1639.

LU Hanqing，LIU Jing.Image annotation based on graph learning［J］.Chinese Journal of Computers，2008，31(9):1629－1639.

［9］http://www.cs.arizona.edu/people/kobus/research/data/eccv_2002

［10］紀(jì)穎.一種基于實例的圖像自動語義標(biāo)注方法［J］.哈爾濱理工大學(xué)學(xué)報，2009，14(1):38－42.

JI Ying.An instance－based method for automatic image semantics annotation［J］.Journal of Harbin University of Science and Technology，2009，14(1):38－42.

劉詠梅，女，1973年生，副教授，碩士生導(dǎo)師，博士.主要研究方向為模式識別、圖像理解和生物信息學(xué).

代麗潔，女，1983年生，碩士，主要研究方向為圖像處理與模式識別、圖像標(biāo)注.

A method of CMRM image annotation based on inter-word correlation

LIU Yongmei，DAI Lijie
(School of Computer Science and Technology，Harbin Engineering University，Harbin 150001，China)

Automatic image annotation is significant for image understanding and retrieval of web images.As a result，it has become a hot research topic in recent years.On the basis of a CMRM image annotation model，an efficient image annotation method was proposed based on inter－word correlations.The correlations between the annotated words were picked up，and the inter－word correlation matrix was added to the initial labeling matrix by a graph learning algorithm.The proposed annotation approach was tested by a Corel5k database with natural scene images.The experimental result shows that the method can automatically label the images in the test set very well.The recall and precision are increased compared to CMRM.

image annotation;CMRM;correlation;word－correlation matrix

TP391

A

1673－4785(2011)04－0350－05

10.3969/j.issn.1673－4785.2011.04.012

2010－03－15.

中央高?；究蒲袠I(yè)務(wù)費專項資金資助項目(HEUCF100604).

劉詠梅.E－mail:liuyongmei@hrbeu.edu.cn.