基于灰度直方圖與改進(jìn)Hu不變矩的維吾爾文關(guān)鍵詞圖像二次檢索?

宋志平，朱亞俐，徐學(xué)斌，吾爾尼沙·買買提，庫爾班·吾布力,2?

(1.新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830017；2.新疆多語種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830017)

0 引言

隨著文檔圖像規(guī)模越來越大，對(duì)于英文和中文的光學(xué)字符識(shí)別[1]（Optical Character Recognition,OCR）技術(shù)已經(jīng)十分成熟.在OCR識(shí)別技術(shù)的帶動(dòng)下，人們對(duì)于少數(shù)民族文字研究也越來越廣泛，其中印刷體維吾爾文文檔圖像檢索的研究可以加快維吾爾文數(shù)字圖書館的建設(shè)與發(fā)展，對(duì)促進(jìn)我國(guó)少數(shù)民族文化的發(fā)展具有極其重要的意義.

在文檔圖像領(lǐng)域中Manmatha等[2?3]第一次提出一種基于詞圖像匹配的關(guān)鍵詞檢索算法，在對(duì)手稿圖像進(jìn)行詞圖像分割的基礎(chǔ)上實(shí)現(xiàn)了手稿圖像的檢索，在接下來的研究工作中，該團(tuán)隊(duì)提取了手寫體單詞圖像的多維輪廓特征，并用動(dòng)態(tài)時(shí)間扭曲（Dynamic Time Warping,DTW）算法對(duì)單詞圖片進(jìn)行檢索.Rothfeder等[4]在檢索中對(duì)樣本圖像提取Harris角點(diǎn)序列，對(duì)查詢?cè)~也提取同樣的特征，度量值設(shè)置為像素灰度差的平方和（Sum of Squared Differences,SSD）的計(jì)算值.Vadivukarassi等[5]提出了一種提取關(guān)鍵圖像特征的HOG-SIFT算法，最后利用子空間聚類算法從圖像數(shù)據(jù)庫中提取目標(biāo)圖像.Niaz等[6]提出了一種基于索引和檢索的英語文檔索引系統(tǒng)，將含有英文文本的文檔圖像分成連接詞，每個(gè)文本用一組特征表示，分別提取圖像的DCT和DWT特征，然后利用歐氏距離進(jìn)行關(guān)鍵詞檢索.黃祥琳等[7]提出一種不經(jīng)過ORC識(shí)別情況下，將中文文檔圖像分割成單個(gè)中文字符圖片，再對(duì)中文字符圖像的筆畫特征數(shù)據(jù)進(jìn)行提取，最后利用WMHD進(jìn)行關(guān)鍵詞檢索.魏宏喜等[8]建立了基于詞定位法的蒙古文圖像檢索系統(tǒng)，系統(tǒng)中圖像通過文字輪廓、投影特征和筆畫的交集來表達(dá)，將視覺特征集成到BOVW[9]模型中并用于檢索任務(wù).

目前關(guān)于維吾爾文文檔圖像的研究進(jìn)展迅速，例如周文杰[10]用形態(tài)學(xué)梯度算法對(duì)維吾爾文文檔圖像進(jìn)行單詞切分，并通過切分后單詞圖像的LBP特征實(shí)現(xiàn)檢索.李靜靜等[11]提出層級(jí)匹配方法實(shí)現(xiàn)對(duì)關(guān)鍵詞進(jìn)行精確檢索.本文設(shè)計(jì)了一種由粗到細(xì)層次匹配的維吾爾文關(guān)鍵詞圖像二次檢索框架，該方法主要包括4部分：文檔圖像采集與預(yù)處理、單詞切分、粗略檢索、二次檢索，具體框架如圖1所示.首先，對(duì)預(yù)處理后的印刷體文檔圖像進(jìn)行單詞切分生成單詞數(shù)據(jù)集，并使用灰度直方圖特征對(duì)單詞圖像進(jìn)行粗略檢測(cè)，過濾掉無需檢索的單詞.其次，在粗略檢索的基礎(chǔ)上，使用Hu不變矩特征對(duì)粗略匹配檢索回的候選單詞圖像庫進(jìn)行二次精確檢索.

圖1 基于關(guān)鍵詞的文檔圖像系統(tǒng)檢索框架

1 基于印刷體關(guān)鍵詞檢索研究

1.1 文檔圖像采集與預(yù)處理

本文通過掃描維吾爾文版《馬列主義經(jīng)典著作選編》書籍，構(gòu)建了1 000張純文本文檔圖像數(shù)據(jù)庫，隨機(jī)抽取了115張文檔圖像進(jìn)行試驗(yàn).在將紙質(zhì)書籍文本掃描成電子文檔圖像的過程中，由于噪聲、設(shè)備及其它因素的干擾，降低了文檔圖像的質(zhì)量，從而影響了圖像特征有效信息的提取.因此本文通過圖像預(yù)處理方法來增強(qiáng)圖像質(zhì)量，預(yù)處理操作包括：灰度化（加權(quán)平均法）、二值化（Otus）、噪聲去除（中值濾波）及傾斜校正（Hough變換）.預(yù)處理前后效果如圖2（a）、圖2（b）所示，可以看出預(yù)處理后圖形中的字跡相比處理前更清晰，內(nèi)容結(jié)構(gòu)也比較容易辨識(shí)，這說明預(yù)處理后的圖像要比灰度圖像的特征更加明顯.文獻(xiàn)[12]采用連體段的特征聚類方式，將圖文混合布局的維吾爾文文檔圖像進(jìn)行單詞切分，由于本文使用的數(shù)據(jù)集是純文本版面，因此本文采用周文杰等[13]提出的基于形態(tài)學(xué)分析和像素積分投影算法對(duì)維吾爾文文檔印刷圖像的單詞進(jìn)行切分，效果如圖2（c）所示.

圖2 文檔圖像預(yù)處理

1.2 特征提取

1.2.1 灰度直方圖

灰度直方圖[14]（gray histogram）是灰度級(jí)的函數(shù)，它表示圖像中處于該灰度級(jí)具有的像素?cái)?shù)量.直方圖曲線的橫軸是圖像的像素灰度等級(jí)，縱軸表示該灰度級(jí)出現(xiàn)的概率，計(jì)算公式如下：

其中：i表示灰度級(jí)，L表示灰度級(jí)種類數(shù)，n表示圖像中具有灰度級(jí)i像素的個(gè)數(shù)，N表示圖像總的像素?cái)?shù).

1.2.2 灰度直方圖性質(zhì)

在圖像檢索算法中，灰度直方圖算法是最簡(jiǎn)單的算法之一，該算法容易實(shí)現(xiàn)，運(yùn)算速度快，具有旋轉(zhuǎn)、比例和位移不變性，檢索結(jié)果不會(huì)漏掉相似圖像[15].但該算法也存在缺陷，在圖像中各像素的灰度值都是具有二維位置信息的，而直方圖只統(tǒng)計(jì)某一灰度值像素的多少和其在圖像中的比例，對(duì)具有同一灰度的像素在圖像中的位置信息無法確定.這會(huì)導(dǎo)致不同的圖像具有相同直方圖，如圖3 (a)、圖3 (b)、圖3 (c)所示.

圖3 不同圖像具有相同直方圖

1.2.3 Hu不變矩

Hu不變矩（invariant momcnts）是Hu[16]在1962年首先提出用來描述圖像的形態(tài)特征，該特征具有旋轉(zhuǎn)、縮放和平移不變性，因此被廣泛用于圖像特征提取.假設(shè)圖像f(x,y)是分段連續(xù)的，其(p+q)階笛卡兒系幾何矩與幾何中心矩μpq定義為：

歸一化的(p+q)階中心矩ηpq定義為：

其中：γ=(p+q+2)/2,p+q=2,3,···.圖像的中心距具有平移不變性和縮放不變性的特點(diǎn).幾何中心矩可用于描述區(qū)域的形狀.

二維不變矩理論是在笛卡兒坐標(biāo)系下，通過歸一化中心矩ηpq從而推導(dǎo)出的7個(gè)不變矩，并被證明其對(duì)平移、縮放和旋轉(zhuǎn)具有不變性，這為圖像的不變矩研究奠定了理論基礎(chǔ)，使其廣泛的應(yīng)用在圖像處理上，7個(gè)二維不變矩的計(jì)算公式如下：

1.2.4 改進(jìn)的Hu不變矩

Hu不變矩是基于圖像區(qū)域且與圖像的灰度相關(guān)，其計(jì)算量大所以Hu矩也稱為區(qū)域矩.然而維吾爾文文字構(gòu)成筆畫簡(jiǎn)單且很多主體筆畫相同，其寬度和高度相互之間不等、書寫形式與一般字母不同，多由一些弧線和曲線所組成，屬于非區(qū)域結(jié)構(gòu).因此原始的Hu不變矩不能很好地對(duì)其邊界信息進(jìn)行有效描述，主要是因?yàn)棣?0是與區(qū)域相關(guān)的面積比例因子，然而對(duì)于邊界像素的計(jì)算使得μ00因子失效，不滿足邊界矩的不變性.為了得到適用于區(qū)域封閉和不封閉結(jié)構(gòu)的統(tǒng)一矩公式，本文利用矩之間的比值來消掉比例因子μ00，從而使不變矩與面積或結(jié)構(gòu)的比例縮放無關(guān)僅與幾何形狀有關(guān).改進(jìn)的Hu矩計(jì)算公式如下：

其中：Ψ1代表了形狀特征的曲率半徑，當(dāng)區(qū)域形狀為直線特征時(shí)曲率半徑為1.當(dāng)區(qū)域形狀為圓時(shí)曲率半徑為0.為了提高相對(duì)矩對(duì)形狀的描述能力，本文在Hu不變矩中加入離心率特征：

其中：離心率Ψ8表示形狀特征最大軸與最小軸的比值，滿足形狀特征的集合不變性.

2 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)在Windows10環(huán)境下展開，處理器型號(hào)為Intel Core I5-8300，運(yùn)行內(nèi)存8 GB，具體程序是在python3.7開發(fā)環(huán)境下編程調(diào)試，并借助OpenCV-3.4.2.16開發(fā)平臺(tái)實(shí)現(xiàn).文檔圖像數(shù)據(jù)庫源于《馬列主義經(jīng)典著作選編》維吾爾文版書籍，為模擬不同辦公環(huán)境，采用不同打印機(jī)，將紙質(zhì)文檔掃描為文檔圖像，尺寸為716×1 011，300 dpi.建立了1 000張文檔圖像，隨機(jī)選取了115張文檔圖像并切分成24 460張單詞圖像，然后在其中選取10個(gè)具有豐富意義的關(guān)鍵詞圖像作為查詢關(guān)鍵詞圖像，并在數(shù)據(jù)庫中進(jìn)行檢索實(shí)驗(yàn).檢索性能的評(píng)價(jià)指標(biāo)有準(zhǔn)確率（precision）、召回率（recall）、F值，TP（True Positive）：檢索為關(guān)鍵詞，實(shí)際也為關(guān)鍵詞；FP（False Positive）：檢索為關(guān)鍵詞，實(shí)際是非關(guān)鍵詞；TN（True Negative）：未被檢索到的關(guān)鍵詞，實(shí)際是非關(guān)鍵詞；FN（False Negative）：未被檢索到的關(guān)鍵詞，實(shí)際是關(guān)鍵詞，指標(biāo)計(jì)算公式如下：

2.1 基于灰度直方圖的粗略檢索實(shí)驗(yàn)

本文首先在維吾爾文單詞數(shù)據(jù)集上，評(píng)估了灰度直方圖算法在維吾爾文文檔數(shù)據(jù)集上的性能，通過調(diào)節(jié)閾值過濾掉不相關(guān)單詞圖像，在保持召回率的同時(shí)盡可能準(zhǔn)確地定位目標(biāo)關(guān)鍵詞.

表1展示了灰度直方圖特征的檢索結(jié)果，其檢索平均準(zhǔn)確率為47.35%，而這些正確的關(guān)鍵詞圖像占所標(biāo)注關(guān)鍵詞圖像總個(gè)數(shù)的91.33%，F(xiàn)值平均值為61.99%.由表1可知，第5個(gè)關(guān)鍵詞準(zhǔn)確率與F值在這10個(gè)查詢關(guān)鍵詞中最高，分別為60.52%、69.69%，即表示共檢索回76個(gè)單詞圖像，其中目標(biāo)關(guān)鍵詞包含46個(gè).相反也有準(zhǔn)確率較差的關(guān)鍵詞，第8個(gè)關(guān)鍵詞準(zhǔn)確率在這10個(gè)查詢關(guān)鍵詞中最差，為36.36%，即共檢索到55個(gè)單詞圖像，其中目標(biāo)關(guān)鍵詞圖像僅包含20個(gè).召回率效果最好的是第2、第9兩個(gè)關(guān)鍵詞，為100%.表示標(biāo)注關(guān)鍵詞均被召回；而召回率最差的是第5個(gè)關(guān)鍵詞，為82.14%，即從56個(gè)標(biāo)注關(guān)鍵詞圖像中成功召回46個(gè)目標(biāo)關(guān)鍵詞圖像.

表1 基于灰度直方圖的粗略匹配結(jié)果

經(jīng)分析得出，粗匹配階段準(zhǔn)確率普遍偏低，召回率較高.這是因?yàn)樵撾A段是關(guān)鍵詞初步篩選的過程，未對(duì)關(guān)鍵詞圖像提取有效的特征而直接使用像素信息進(jìn)行匹配，該階段僅僅對(duì)數(shù)據(jù)庫中一些不相關(guān)的詞圖像和切分錯(cuò)誤的單詞圖像進(jìn)行過濾，以保證盡可能多地召回目標(biāo)詞.目的在于如果對(duì)圖像庫中所有單詞圖像均進(jìn)行特征提取、匹配，明顯會(huì)增加檢索復(fù)雜度，做許多無意義的匹配.因此本文通過閾值的設(shè)置，過濾一部分無需匹配的單詞構(gòu)成候選單詞集合，并通過中間閾值的設(shè)定，在保證召回率的情況下盡可能準(zhǔn)確檢索到目標(biāo)關(guān)鍵詞.

2.2 基于Hu不變矩的二次檢索實(shí)驗(yàn)

本節(jié)前三組實(shí)驗(yàn)是在沒有粗略檢索的基礎(chǔ)上，比較了改進(jìn)Hu不變矩與原始的Hu不變矩算法在維吾爾文文檔圖像數(shù)據(jù)庫上檢索性能.表2中數(shù)據(jù)為使用Hu不變矩算法在維吾爾文文檔圖像中的匹配結(jié)果，其中準(zhǔn)確率平均值為39.79%，召回率的平均值為44.21%，F(xiàn)值平均值為36.82%.其中第5個(gè)查詢關(guān)鍵詞的檢索準(zhǔn)確率最高，為55.81%.即共檢索到43個(gè)單詞圖像，其中目標(biāo)關(guān)鍵詞包含24個(gè).準(zhǔn)確率最差的是第7個(gè)查詢關(guān)鍵詞，為28.20%，即共檢索回39個(gè)單詞圖像，其中正確單詞圖像為11個(gè).對(duì)于召回率而言，第8個(gè)關(guān)鍵詞圖像召回率最好，為65.21%，表示共標(biāo)注23個(gè)關(guān)鍵詞圖像，其中有15個(gè)目標(biāo)關(guān)鍵詞被召回.第3個(gè)關(guān)鍵詞圖像召回率最低，為32.14%.即共標(biāo)注56個(gè)關(guān)鍵詞圖像，其中召回18個(gè).表3是采用本文改進(jìn)后的Hu不變矩算法的檢索結(jié)果，其準(zhǔn)確率平均值為54.22%，召回率平均值為54.27%，F(xiàn)值平均值為53.86%.其中第6個(gè)查詢關(guān)鍵詞檢索準(zhǔn)確率最高，為62.79%，即表示共檢索回43個(gè)單詞圖像，其中關(guān)鍵詞圖像包含27個(gè).而第7、第8兩個(gè)關(guān)鍵詞圖像召回率在10個(gè)查詢關(guān)鍵詞中最高，均為65.21%.即表示共標(biāo)注23個(gè)關(guān)鍵詞圖像，其中15個(gè)目標(biāo)關(guān)鍵詞被召回.

表2 基于Hu不變矩的關(guān)鍵詞檢索結(jié)果

表3 基于改進(jìn)的Hu不變矩的關(guān)鍵詞檢索結(jié)果

由表3可知，本文改進(jìn)后的Hu不變矩算法相較于表2中原始的Hu不變矩算法，在準(zhǔn)確率和召回率上均有大幅提升.為進(jìn)一步驗(yàn)證本文方法的有效性、同時(shí)考慮實(shí)際掃描中可能存在的問題，通過對(duì)數(shù)據(jù)庫圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)縮放、隨機(jī)遮擋之后的檢索效果進(jìn)行對(duì)比，選擇以上3種變換的原因是考慮到存在書籍掃描發(fā)生傾斜、字體大小不一致和書籍破損與字跡不清等情況，為了模擬以上情況選擇了旋轉(zhuǎn)、縮放、遮擋3種變換，其檢索效果如圖4所示.

圖4 基于幾何變換下的實(shí)驗(yàn)結(jié)果對(duì)比

由圖4可知，在經(jīng)過幾何變換后，本文改進(jìn)后的Hu不變矩算法相對(duì)于原始Hu算法在檢索準(zhǔn)確率和召回率上都有明顯提升，從圖4左圖可以看出經(jīng)過縮放后的準(zhǔn)確率要優(yōu)于旋轉(zhuǎn)和遮擋，從圖4右圖可以看出經(jīng)過旋轉(zhuǎn)后的召回率要優(yōu)于其它兩種變換，而遮擋變換后的檢索效果是最差的，這是由于改進(jìn)后的Hu矩能有效地描述圖像的邊界和一些不封閉的結(jié)構(gòu)特征信息，可以過濾掉很多相似的圖形使得檢索準(zhǔn)確率更高.但其整體上效果并不理想，原因在于其特征維度較低未能完全表示出關(guān)鍵詞圖像的全部圖像信息，難免會(huì)檢索回與目標(biāo)關(guān)鍵詞無關(guān)的圖像.因此，可以看出單一特征對(duì)圖像的表達(dá)都具有局限性，無法從不同角度衡量圖像，但對(duì)不同特征進(jìn)行融合可以很好地解決這一問題.因此本文在灰度直方圖粗略匹配的基礎(chǔ)上，使用改進(jìn)后的Hu不變矩對(duì)粗略匹配檢索回的候選單詞圖像庫進(jìn)行二次精確檢索，其效果如表4所示.

表4 基于灰度直方圖+改進(jìn)的Hu不變矩的關(guān)鍵詞檢索結(jié)果

由表4可知，采用二次檢索的準(zhǔn)確率平均值為78.36%，召回率平均值為81.68%，F(xiàn)值的平均值為78.59%.其中第1個(gè)查詢關(guān)鍵詞圖像準(zhǔn)確率在這10個(gè)查詢關(guān)鍵詞中效果最好，為97.05%，即共檢索回34個(gè)單詞圖像，其中檢索正確的關(guān)鍵詞為33個(gè).而對(duì)于召回率而言，第2個(gè)關(guān)鍵詞檢索效果最好，為100%，即標(biāo)注關(guān)鍵詞均被召回.

該階段是關(guān)鍵詞圖像的二次精確檢索，將灰度直方圖特征與Hu不變矩特征進(jìn)行分層次融合，可以有效地描述圖像的邊界和空間幾何信息，其次能有效地彌補(bǔ)灰度直方圖不能描述圖像空間位置信息的缺點(diǎn)，通過在粗略匹配形成的候選單詞圖像集合中進(jìn)一步實(shí)現(xiàn)對(duì)關(guān)鍵詞的精確檢索.相比表1中灰度直方圖粗略匹配效果，其平均準(zhǔn)確率提升了31.01%，召回率降低了9.65%.而相比表3中改進(jìn)的Hu不變矩的檢索結(jié)果，其在準(zhǔn)確率和召回率上分別提升了24.14%、27.41%.相比第一階段的粗略匹配，需要進(jìn)行特征提取和匹配的單詞圖像數(shù)量已大幅度減少，能有效降低系統(tǒng)復(fù)雜度，提高檢索效率.

2.3 與現(xiàn)有方法對(duì)比

為進(jìn)一步驗(yàn)證本文提出方法的性能，在相同數(shù)據(jù)庫上和已有的Hu+MB-LBP+OSVM[10]關(guān)鍵詞檢索方法與模板匹配+HOG+OSVM[11]關(guān)鍵詞檢索方法做了比較，3種方法的準(zhǔn)確率、召回率對(duì)比情況見表5.由表5可知，基于Hu+MB-LBP+OSVM檢索方法的平均檢索準(zhǔn)確率為86.70%，平均召回率為78.30%.基于模板匹配+HOG+OSVM關(guān)鍵詞檢索方法的平均檢索準(zhǔn)確率為91.74%，平均召回率為79.31%.本文方法在維吾爾文文檔圖像關(guān)鍵詞檢索中的平均準(zhǔn)確率為78.36%，平均召回率為81.68%.相較Hu+MB-LBP+OSVM關(guān)鍵詞檢索方法，本文方法在準(zhǔn)確率上降低了8.34%，召回率提升了3.38%.而相較模板匹配+HOG+OSVM關(guān)鍵詞檢索方法，本文方法在準(zhǔn)確率上降低了13.38%，召回率提升了2.37%.相較前兩種關(guān)鍵詞檢索方法，本文方法在召回率上有大幅提升，在準(zhǔn)確率上還有較大的提升空間.

表5 基于維吾爾文文檔關(guān)鍵詞圖像檢索結(jié)果對(duì)比

3 結(jié)論

針對(duì)維吾爾文單詞圖像的特點(diǎn)提出了一種特征分層融合的關(guān)鍵詞圖像二次檢索方法，首先利用灰度直方圖特征簡(jiǎn)單快速地過濾掉部分不需要檢索的單詞圖像，其次采用改進(jìn)的Hu不變矩特征對(duì)粗略匹配檢索回的單詞圖像庫進(jìn)行二次精確檢索.通過在粗略檢索召回率略有損失的情況下極大提高圖像檢索的準(zhǔn)確率，并通過實(shí)驗(yàn)證明該方法的有效性.

隨著對(duì)關(guān)鍵詞檢索研究的深入，維吾爾文文檔圖像的關(guān)鍵詞檢索依然是一個(gè)具有挑戰(zhàn)性的研究方向，尤其是關(guān)鍵詞圖像特征選取的研究，因此我們下一步工作將更加深入分析維吾爾文單詞圖像的特點(diǎn)并通過尋找新的特征進(jìn)行融合來提高檢索效果.本文的研究主要是建立在純文本的印刷體維吾爾文文檔圖像上，而現(xiàn)實(shí)中的文檔圖像還包含表格、圖片等信息，因此，需增加具有復(fù)雜布局的文檔圖像以及手寫體的文檔圖像，同時(shí)單詞切分方法也有待改進(jìn)提高，實(shí)驗(yàn)中的測(cè)試關(guān)鍵詞數(shù)目以及文檔圖像規(guī)模還會(huì)繼續(xù)擴(kuò)大，進(jìn)而降低偶然因素對(duì)檢索結(jié)果的影響.