Internet環(huán)境下在線圖像標(biāo)注軟件的設(shè)計(jì)與實(shí)現(xiàn)

李夢(mèng)縈　宋海玉　岳青宇　何炳金　侯建新　李俊華

摘要：文章旨在利用現(xiàn)有的圖像標(biāo)注模型，開(kāi)發(fā)一個(gè)能夠?yàn)橛脩籼峁┳詣?dòng)圖像標(biāo)注服務(wù)的軟件。為了使用戶能夠方便、即時(shí)地使用本軟件，軟件被設(shè)計(jì)為可以在網(wǎng)絡(luò)環(huán)境中運(yùn)行、訪問(wèn)的軟件。通過(guò)對(duì)比當(dāng)前主流的圖像自動(dòng)標(biāo)注模型，文章選取著名的多重伯努利相關(guān)模型作為基礎(chǔ)標(biāo)注模型，并針對(duì)多重伯努利模型的一些不足進(jìn)行了改進(jìn)。

關(guān)鍵詞：圖像標(biāo)注模型；網(wǎng)絡(luò)環(huán)境；多重伯努利模型；相關(guān)模型；Internet環(huán)境 文獻(xiàn)標(biāo)識(shí)碼：A

中圖分類號(hào)：TP317 文章編號(hào)：1009-2374（2016）05-0013-02 DOI：10.13535/j.cnki.11-4406/n.2016.05.007

近年來(lái)，隨著電子技術(shù)和多媒體的興盛，數(shù)碼產(chǎn)品變得普及，互聯(lián)網(wǎng)上可存取的圖像數(shù)據(jù)正在以爆炸性的速度增長(zhǎng)。在這種情況下，圖像數(shù)據(jù)每日以指數(shù)速度增長(zhǎng)，如何方便快捷地查詢圖像逐漸成了對(duì)圖像數(shù)據(jù)庫(kù)進(jìn)行有效管理的問(wèn)題之一。為了更好地利用這些圖像資源，20世紀(jì)70年代末出現(xiàn)了圖像數(shù)據(jù)庫(kù)管理系統(tǒng)。該系統(tǒng)以人的手工標(biāo)注作為基礎(chǔ)，但事實(shí)證明人工標(biāo)注存在著諸多問(wèn)題，因此20世紀(jì)90年代末出現(xiàn)了自動(dòng)圖像標(biāo)注的研究。圖像自動(dòng)標(biāo)注技術(shù)的應(yīng)用前景非常廣泛，針對(duì)于普通用戶，它可以提供更人性化的以Web圖像檢索為基礎(chǔ)的圖像檢索服務(wù)，提供圖像數(shù)據(jù)管理、分類、索引等便捷的功能。針對(duì)于一些應(yīng)用平臺(tái)，圖像自動(dòng)標(biāo)注技術(shù)也會(huì)發(fā)揮巨大的作用，例如建立和管理數(shù)字圖書(shū)館。數(shù)字化設(shè)備正在變得越來(lái)越普及，圖書(shū)館逐漸開(kāi)始把已有的館藏書(shū)籍轉(zhuǎn)化成數(shù)字圖像數(shù)據(jù)，存儲(chǔ)和索引數(shù)量巨大的圖像數(shù)據(jù)可以依靠圖像標(biāo)注的現(xiàn)有研究技術(shù)來(lái)完成。

1 多重伯努利模型

在多重伯努利模型中，參與圖像標(biāo)注運(yùn)算的數(shù)據(jù)是一個(gè)手工標(biāo)注的圖像數(shù)據(jù)集。使用T來(lái)代表這個(gè)手工標(biāo)注的圖像數(shù)據(jù)集，數(shù)據(jù)集T中每幅圖像都具有一定數(shù)量的標(biāo)注詞，使用V來(lái)代表數(shù)據(jù)集T中所有標(biāo)注詞的一個(gè)標(biāo)注關(guān)鍵字集合。假設(shè)圖像J是數(shù)據(jù)集T中的一幅圖像，那么圖像J的區(qū)域特征可以表示為：rJ={r1，r2，…，rn}，rJ是圖像J的特征集合，n表示圖像J被分割的區(qū)域個(gè)數(shù)，也代表圖像J的特征向量個(gè)數(shù)。圖像J的標(biāo)注詞可以表示為wJ={0，1}V，wJ表示圖像J的標(biāo)注詞集合，wJ是標(biāo)注詞集合V的一個(gè)子集，0和1代表圖像J中是否含有該標(biāo)注詞。假設(shè)一幅待標(biāo)注圖像A，那么綜合上述可以得到待標(biāo)注圖像A的圖像區(qū)域特征可以表示為：rA={g1，g2，…，gnA}，wB是標(biāo)注詞集合V中的一個(gè)隨機(jī)子集，對(duì)于待標(biāo)注圖像A中出現(xiàn)詞匯wB的概率可以使用rA和wB的聯(lián)合概率P（rA，wB）來(lái)表示。圖像標(biāo)注的大致步驟：對(duì)于一幅待標(biāo)注圖像A，計(jì)算圖像A的每個(gè)區(qū)域與訓(xùn)練集T中每幅圖像J的條件概率，然后把圖像A的n個(gè)區(qū)域與圖像J的條件概率乘積，以乘積后的結(jié)果作為圖像A與圖像J的特征相似度。然后使用兩幅圖像的特征相似度乘以圖像J與標(biāo)注詞wB的多重伯努利概率，至此便得到了標(biāo)注詞wB出現(xiàn)在待標(biāo)注圖像A中的概率，但是為了這種訓(xùn)練方法的偶然性，需要使用訓(xùn)練集T中的所有圖像重復(fù)上述的計(jì)算過(guò)程，最后使用訓(xùn)練集T中所有圖像的計(jì)算結(jié)果做平均值處理，以平均值作為wB與A聯(lián)合概率。計(jì)算公式如下：

根據(jù)式（1）的計(jì)算結(jié)果，可以得到A和V中標(biāo)注詞匯的聯(lián)合概率，取聯(lián)合概率最大的前5個(gè)詞匯作為圖像A的標(biāo)注結(jié)果。計(jì)算公式如下所示：

2 軟件系統(tǒng)模塊設(shè)計(jì)與實(shí)現(xiàn)

2.1 軟件模塊劃分

系統(tǒng)設(shè)計(jì)了兩個(gè)模塊：圖像自動(dòng)標(biāo)注功能模塊和圖像檢索功能模塊。其中圖像自動(dòng)標(biāo)注功能模塊是軟件系統(tǒng)的主要功能。圖像檢索功能模塊為提供輔助性的功能模塊。

2.2 圖像標(biāo)注功能模塊設(shè)計(jì)與實(shí)現(xiàn)

圖像標(biāo)注是解決海量圖像數(shù)據(jù)組織管理的關(guān)鍵技術(shù)之一，伴隨著圖像自動(dòng)標(biāo)注技術(shù)的發(fā)展，大量的人力和物力被投入到圖像自動(dòng)標(biāo)注技術(shù)的研究，涌現(xiàn)出了很多優(yōu)秀的圖像標(biāo)注算法。本文通過(guò)著名的圖像標(biāo)注算法MBRM算法，來(lái)完成軟件中的圖像標(biāo)注功能。

由于本文設(shè)計(jì)的是一個(gè)在網(wǎng)絡(luò)環(huán)境中運(yùn)行的在線圖像標(biāo)注軟件，圖像標(biāo)注功能模塊應(yīng)具有如下的三個(gè)功能：（1）可以通過(guò)用戶身邊的客戶端電腦使用瀏覽器訪問(wèn)本軟件；（2）可以上傳喜好的圖像進(jìn)行標(biāo)注；（3）標(biāo)注用戶上傳的圖像，在界面上向用戶提示標(biāo)注結(jié)果。

圖像自動(dòng)標(biāo)注模塊的具體實(shí)現(xiàn)主要分為兩個(gè)方面：一方面是圖像自動(dòng)標(biāo)注的模型算法，本文使用的模型算法為MBRM模型；另一方面是圖像的底層特征的選取和特征的提取方法。

圖像的視覺(jué)特征分為兩種：第一種，通用視覺(jué)特征。它一般用于描述圖像中的一些共有特征，與圖像的具體類型和內(nèi)容無(wú)關(guān)，其主要內(nèi)容有紋理特征、顏色特征和形狀特征。另一種為領(lǐng)域相關(guān)特征，它是建立在圖像內(nèi)容的一些先驗(yàn)知識(shí)上，與具體應(yīng)用有緊密聯(lián)系，例如人臉識(shí)別等。在本文中，我們只考慮使用通用的視覺(jué)特征。在通用特征中，我們選取顏色和紋理兩種類型的特征。

2.3 圖像檢索功能模塊設(shè)計(jì)與實(shí)現(xiàn)

圖像檢索功能模塊分成兩個(gè)部分：基于文本的圖像檢索和基于圖像內(nèi)容的圖像檢索。

（1）基于文本的圖像檢索。本文中基于文本的圖像檢索根據(jù)圖像標(biāo)注模塊得到的圖像數(shù)據(jù)進(jìn)行檢索，以圖像標(biāo)注結(jié)果中的標(biāo)注詞作為關(guān)鍵字。檢索時(shí)，根據(jù)數(shù)據(jù)集中已有的關(guān)鍵字匹配，返回通過(guò)匹配的圖像。（2）基于內(nèi)容的圖像檢索?；趦?nèi)容的圖像檢索允許輸入一幅圖像，以查找具有相同或者相似內(nèi)容的其他圖像，它是計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要研究分支。在基于內(nèi)容的圖像檢索主要依賴于兩個(gè)關(guān)鍵技術(shù)：圖像特征提取和圖像匹配算法。本文中基于內(nèi)容的圖像檢索中的特征提取方法使用著名詞袋方法（Bag-Of-Words，BOW），BOW的大體思想是通過(guò)對(duì)現(xiàn)有圖像的分類，對(duì)提取的圖像特征進(jìn)行聚類，將聚類得到的質(zhì)心作為BOW詞典中的詞，構(gòu)建BOW詞典。通過(guò)BOW的詞典來(lái)計(jì)算圖像的特征。

圖像檢索的匹配算法中，由于通過(guò)BOW提取的圖像特征向量中的數(shù)值比較離散，本文采用街區(qū)距離作為圖像的匹配算法。街區(qū)距離是數(shù)學(xué)模型中，計(jì)算空間中點(diǎn)到點(diǎn)距離的一種有效方法，距離越小，說(shuō)明圖像越相近。圖像匹配完成后，對(duì)訓(xùn)練集中所有圖像的距離進(jìn)行排序。取前500幅最相近的圖像返回。

3 結(jié)語(yǔ)

本文嘗試使用現(xiàn)有的圖像標(biāo)注技術(shù)來(lái)完成一個(gè)方便快捷的圖像標(biāo)注軟件，并希望能夠收集一些圖像數(shù)據(jù)，為圖像標(biāo)注技術(shù)發(fā)展提供參考。但是由于受到了技術(shù)發(fā)展的限制，本文中設(shè)計(jì)的軟件還存在很多的不足，今后的技術(shù)發(fā)展中，圖像自動(dòng)標(biāo)注軟件的開(kāi)發(fā)是一個(gè)長(zhǎng)期的發(fā)展目標(biāo)。

參考文獻(xiàn)

[1] 伊懷彬.基于語(yǔ)義的圖像多概念標(biāo)注[D].蘇州大學(xué)，2009.

[2] Y.G.Jiang，C.W.Ngo，and J.Yang.Towards optimal bag-of-features for object categorization and semantic video retrieval.In ACM CIVR，2007.

[3] 陳戀.基于圖像文檔模型的圖像語(yǔ)義自動(dòng)標(biāo)注[D].復(fù)旦大學(xué)，2007.

作者簡(jiǎn)介：李夢(mèng)縈（1995-），女，河北唐山人，大連民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院學(xué)生；宋海玉（1971-），男，河南安陽(yáng)人，大連民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院副教授，碩士研究生導(dǎo)師，博士，研究方向：圖像理解、計(jì)算機(jī)視覺(jué)；岳青宇（1991-），男，黑龍江尚志人，創(chuàng)世比特（北京）科技有限公司軟件工程師。

（責(zé)任編輯：周 瓊）