基于圖像處理的檔案盒標簽的檢測技術(shù)研究

李 婧,蘇 葉,徐寅林

(南京師范大學計算機與電子信息學院,江蘇 南京 210023)

目前國內(nèi)外常見的檔案檢測識別方法是基于條形碼、QR碼或RFID技術(shù),通過掃碼或讀取檔案盒電子標簽進行識別. 基于條形碼或QR碼技術(shù)需用機械手夾持條碼槍移動讀取,實時性差. RFID技術(shù)是將射頻讀卡器排列成行,與檔案盒標簽一一對應(yīng),該方法成本高且易受干擾. 由于檔案盒的檢測識別與圖書的檢測識別具有一定的相似性,因此可借鑒圖書的檢測識別技術(shù)來研究檔案盒檢測識別的相關(guān)技術(shù).

近年來,由于人工智能技術(shù)的快速發(fā)展,出現(xiàn)了通過拍攝圖書書脊進行檢測識別的技術(shù). 該方法利用攝像頭或其他成像設(shè)備采集到書架上的書脊圖像,通過識別書脊上的文字信息(如書名、作者、出版社等)來識別圖書[1-2],準確率高、實時性好且方便快捷. 由于不同圖書的書脊大小、書名及顏色等特征差異較大,書脊檢測識別可有一定的容錯度而不影響圖書的區(qū)分. 本文研究的檔案盒標簽往往差異不大,如人事檔案標簽一般單位、部門、籍貫等都一樣,只在具體姓名或編號部分略有不同,因此僅通過文字識別技術(shù)很難達到較高的檢測準確率. 本文提出一種基于圖像處理的檔案盒標簽檢測方案,利用攝像頭實時采集回轉(zhuǎn)庫檔案柜窗口區(qū)域的整排檔案盒的標簽圖像,通過深度學習U-Net[3]網(wǎng)絡(luò)將整排檔案盒標簽圖像進行分割,對一些形變的圖像進行仿射變換矯正,裁剪得到獨立的標簽圖片,最后使用surf[4]匹配算法對標簽圖像進行檢測. 實驗結(jié)果表明,本文提出的算法具有較高的匹配正確率.

1 圖像預處理

1.1 標簽圖像分割

將攝像頭固定在距離檔案柜窗口區(qū)前方約50 cm處,利用攝像頭視角范圍大、拍攝清晰且不易變形的特點,只需要設(shè)置兩個攝像頭即可以獲取回轉(zhuǎn)庫檔案柜窗口區(qū)全部檔案盒的標簽圖像. 攝像頭得到的是窗口區(qū)的全部檔案盒圖片,首先需要分割得到獨立的一本本檔案盒圖片才能進行后續(xù)的檢測識別. 由于傳統(tǒng)的分割方法易受噪聲等干擾[5],本文采用深度學習的U-Net網(wǎng)絡(luò)進行分割. U-Net模型是一個語義分割模型,可實現(xiàn)端到端的分割. 具體方法是利用卷積進行下采樣,提取出一層又一層的特征,利用這些特征再進行上采樣,最終得到類別數(shù)量的特征圖[6]. U-Net網(wǎng)絡(luò)通過上采樣過程中的級聯(lián),使得淺層特征和深層特征結(jié)合起來,在圖像分割效果上有著不錯的表現(xiàn).

首先對U-Net網(wǎng)絡(luò)進行訓練,以計算出最佳網(wǎng)絡(luò)參數(shù). U-Net分割模型的訓練需要原圖和與其對應(yīng)的標簽圖片兩個文件,其中標簽圖片通過labelme軟件對原圖進行手動標注可得. 圖1所示為具體的訓練與測試過程. 本文的訓練集包含107張樣本圖片,測試集包含37張圖片. 訓練過程中損失函數(shù)loss在迭代20次后趨于穩(wěn)定.

圖1 分割流程圖Fig.1 Segmentation flow chart

1.2 標簽圖像的“平直性”糾正

由于攝像頭固定在桌面上,必須以一定的仰角才能對準窗口區(qū)檔案盒背脊,因而拍攝出來的檔案盒圖片會有一定的角度傾斜,進行矩形裁剪可能會得到殘缺或冗余的檔案盒圖片. 為了提高后續(xù)檢測的正確率,需對圖片進行矯正. 攝像頭仰角拍攝造成的圖片畸變以剪切形變?yōu)橹?本文采用仿射變換對其進行角度調(diào)整.

對分割預測圖片進行輪廓檢測得到每本檔案盒輪廓的點的合集,通過最小外接矩形方法即可得到每本檔案盒的傾斜角度θ,角度范圍為-90°～0°. 實際計算時,若傾斜角度小于-45°,則在原來角度上增加90°;若傾斜角度大于-45°,則直接對角度反轉(zhuǎn),最終實現(xiàn)圖片的旋轉(zhuǎn). 最后,對每本檔案盒旋轉(zhuǎn)后的圖片進行裁剪,即得到單獨的檔案盒圖片.

2 圖像配準

由于檔案盒圖片大多背景相同,只有少數(shù)細節(jié)存在差異,因此圖書識別中常用的文字識別技術(shù)并不適用于檔案盒標簽的檢測識別. 考慮到檔案盒的局部差異性,本文采用surf匹配算法,主要包括特征點提取、特征點描述和特征點匹配. 首先構(gòu)建Hessian矩陣產(chǎn)生興趣點,然后構(gòu)建尺度空間,對特征點進行非極大值抑制得到最終穩(wěn)定的特征點,再利用特征點的Harr小波特征確定特征點主方向,生成特征描述子,最后計算出特征點之間的歐氏距離以確定匹配好壞[7].

2.1 圖像特征提取

surf算法的關(guān)鍵是利用Hessian矩陣來得到穩(wěn)定的特征點,為特征點提取做準備. Hessian矩陣為:

(1)

surf算法使用盒式濾波器,從而用積分圖像加速卷積. 圖2從左到右分別為y方向和xy方向的高斯二階偏導數(shù)模板及其近似表示,記為Dyy、Dxy,此時Hessian矩陣的判別式為:

圖2 高斯二階偏導數(shù)的近似表示Fig.2 Approximate representation of Gaussian second-order partial derivative

det(H)=DxxDyy-(ωDxy)2,

(2)

式中,Dxx為x方向的高斯二階偏導數(shù)近似表示;ω一般取0.9,可修正盒式濾波器的近似誤差.

surf算法在不改變目標圖像大小的情況下,逐漸增大盒式濾波器的模板尺寸,從而獲得圖像金字塔,該方法提高了運算效率.

通過Hessian矩陣判別式的值得到極值點后,對極值點進行非極大值抑制,將極值點與其圖像域和尺度域的所有相鄰點進行比較,當其大于所有相鄰點時,確定該點為特征點[8-9].

2.2 特征點描述

首先,為了確保特征點的旋轉(zhuǎn)不變性,需給每個特征點分配一個主方向. 在以特征點為中心的領(lǐng)域內(nèi),計算60°范圍內(nèi)所有點的Harr小波特征總和,再依次旋轉(zhuǎn)0.2個弧度重復計算[10],最終特征點的主方向為矢量值最大的方向.

提取特征點周圍4×4個矩形區(qū)域塊(每個區(qū)域邊長為5s×5s,s為盒式濾波器的邊長尺寸),方向沿著特征點主方向,使用尺寸為2s×2s模板的Harr小波計算每個區(qū)域塊內(nèi)25個像素點的Harr小波特征之和以及Harr小波特征絕對值之和,最終surf特征描述子共有4×4×4=64維[11].

2.3 特征點匹配

surf算法中常用歐式距離衡量特征點是否匹配,本文采用Flann(快速最近鄰搜索)匹配算法[12-13]. 在Flann算法中,第一個匹配的是最近鄰,第二個匹配的是次近鄰,可通過查看兩個特征點之間距離的不同來判斷是否匹配成功. 本文經(jīng)實驗對比,得到設(shè)定最近鄰與次近鄰距離比值小于0.7為最佳匹配;當設(shè)定閾值小于0.7時,隨著閾值減少,匹配錯誤數(shù)增多;當設(shè)定閾值大于0.7時,隨著閾值增大,誤匹配數(shù)增多.

3 實驗分析

論文設(shè)計了不同標簽的107個檔案盒作為實驗數(shù)據(jù)集. 首先,每本檔案都要錄入一個圖片作為比對的對象,即底庫照片,共有107張作為實驗比對的底庫標準集. 然后將每本檔案盒擺放在架子的不同位置拍攝,共采集到1 498張圖片. 數(shù)據(jù)集的制作方法有兩種,第一種將實際拍攝的圖片,按U-Net生成的預測圖片模板大小進行調(diào)整,然后分割、仿射變換后作為測試集1. 該方法預處理裁剪出來的單本檔案盒圖片寬度小,拍攝照片調(diào)整尺寸為正方形后造成圖片質(zhì)量下降,檔案盒圖片文字也不清晰,影響算法的正確率. 第二種方法是將U-Net得到的掩模圖片調(diào)回到原圖尺寸,對原圖進行掩模、分割、仿射變換、裁剪等一些列操作,可以得到高質(zhì)量的測試集2. 表1為兩種測試集在surf算法下的正確率,可以看出測試集圖片的質(zhì)量對算法有較大影響.

表1 不同測試集的匹配正確率Table 1 Matching accuracy of different test sets

3.1 Hessian閾值對surf算法的影響

由于在surf算法中Hessian閾值的設(shè)定對匹配結(jié)果的好壞有一定影響,閾值越高,檢測到的特征點越少,特征點越穩(wěn)定. 因此,可用試探法來得到該檔案盒匹配的最優(yōu)檢測. 圖3所示為不同Hessian閾值下對應(yīng)的匹配錯誤數(shù)目,可以看出,在閾值590-610之間,匹配的錯誤數(shù)最少,趨于穩(wěn)定不再減少;而當閾值過高時,則可能因為檢測到的特征點太少而無法匹配. 因此,本文取閾值600為最佳值,匹配正確數(shù)目為 1 492,正確率達到99.60%.

圖3 不同閾值下匹配錯誤數(shù)Fig.3 Number of matching errors underdifferent thresholds

3.2 surf算法的魯棒性研究

3.2.1 光照強度對圖片匹配正確率的影響

實際應(yīng)用場景下,可能存在各種各樣的環(huán)境光強,光照不變性是surf算法的一個優(yōu)點. 圖4所示為不同光照強度下的匹配正確數(shù),其中光照強度等于1.0為原圖. 從圖4可以看出,當光照強度為0.4～1.6,匹配正確數(shù)變化不大,匹配結(jié)果較好;當圖片過亮或過暗時,surf算法性能逐漸下降,這充分反應(yīng)了surf特征點檢測具有很強的光照不變魯棒性.

圖4 不同光照強度下匹配正確數(shù)Fig.4 Matching correct number underdifferent light intensity

3.2.2 噪聲對圖片匹配正確率的影響

實際場景中采集得到的檔案盒圖片還可能存在許多干擾,最典型的有角落位置檔案盒光照明暗不均、檔案盒存放時間過久紙張泛黃或者沾染上灰塵等. 為考察這些噪聲對圖片匹配正確率的影響,本文模擬測試了各種噪聲情況下surf算法的穩(wěn)定性,其匹配結(jié)果如表2所示. 其中明暗不均與泛黃圖片受干擾影響較少,穩(wěn)定的特征點較多,正確率較為穩(wěn)定;灰塵圖片受到較多噪聲點干擾,匹配效果較差.

表2 不同干擾下的匹配正確率Table 2 Matching accuracy under different interference

分析surf的工作原理可以發(fā)現(xiàn),特征點的提取主要依賴于Hessian矩陣判別式,判別式為局部極大值時,該點是領(lǐng)域內(nèi)最亮或最暗的點,從而確定特征點位置. 而矩陣判別式的值與高斯二階偏導數(shù)及圖像的卷積值有關(guān). 局部圖像灰度的緩慢變化對卷積值影響較小,因此surf算法對圖片偏亮、偏暗、緩慢變化的明暗不勻及泛黃具有很好的抗干擾能力. 對于灰塵干擾,其顆粒大小往往和圖像斑點尺度相近,這嚴重影響了surf的特征點提取,從而影響了圖片的匹配正確率.

對于實際場景下受到不同污染的檔案盒圖片,可以對其進行處理,以提高匹配的正確率. 對明暗不均和泛黃的檔案盒圖片,盡管surf算法抗干擾能力很強,但通過對圖片進行適當處理,可以使匹配效果更好. 本文考慮直方圖均衡算法和自動色彩均衡(ACE)算法進行處理. 由于直方圖均衡化算法一般用于灰度圖像,對于檔案盒圖片這種彩色圖像易出現(xiàn)顏色不均、失真等問題. 對明暗不均的加噪測試集進行直方圖均衡化,實驗測得的匹配正確率約為95.13%,反而降低了正確率. 自動色彩均衡(ACE)算法能夠考慮到圖像中亮度和顏色的空間位置關(guān)系,實現(xiàn)具有局部和非線性特征的圖像亮度、色彩及對比度調(diào)整,可有效提高匹配正確率.

對有灰塵的檔案盒圖片,本文考慮了中值濾波、非局部平均去噪等方法. 中值濾波是指在以某點像素為中心的鄰域內(nèi),對所有像素進行排序,將排序中的中值作為該點的響應(yīng). 該算法對于去除椒鹽噪聲效果顯著. 對灰塵圖片進行中值濾波,可明顯去除大部分噪聲,此時測得的正確率約為93.79%. 對于剩余的干擾可再采取非局部平均去噪的算法進行處理,該算法是通過對整幅圖像中相似區(qū)域求平均進行去噪,需注意亮度權(quán)重衰減參數(shù)h的選擇,該值設(shè)置高雖可更好地消除噪聲點,但同時也會消除圖片的細節(jié).

圖5顯示了不同亮度權(quán)重衰減參數(shù)測得的匹配錯誤數(shù),可以看出,當參數(shù)設(shè)為10.2時,匹配正確率最優(yōu). 由于灰塵檔案盒圖片本身對比度不高,經(jīng)中值濾波后直接進行非局部平均去噪處理會丟失很多細節(jié)信息,因此可以對灰塵檔案盒圖片先進行自動色彩均衡,增強對比度后再進行非局部平均去噪處理,以提升匹配效果. 經(jīng)處理后的檔案盒匹配正確率如表3所示.

圖5 不同h值下匹配情況Fig.5 Matching under different h values

表3 處理后的匹配正確率Table 3 Matching accuracy after processing

經(jīng)去噪處理后的圖片檢測到的特征點數(shù)增多,匹配點對數(shù)增多,誤匹配對數(shù)減少,匹配效果較未處理之前有顯著提升. 可見,surf算法對于一定程度下光照變化及實際情況下明暗不均、泛黃干擾均能保持著較好的匹配效果,魯棒性較好.

4 結(jié)論

本文闡述了基于圖像的檔案盒標簽檢測技術(shù),通過使用U-Net網(wǎng)絡(luò)進行檔案盒圖片分割、對形變檔案盒進行仿射變換等一系列預處理得到獨立檔案盒圖片,使用surf算法進行檔案盒圖片的匹配,并測試了在不同光照強度及不同噪聲干擾下surf算法的匹配性能,最后討論了在噪聲干擾下的應(yīng)對方法. 由實驗結(jié)果可知,該技術(shù)對回轉(zhuǎn)庫檔案盒的檢測有較好的效果.