復(fù)雜環(huán)境下快遞條形碼快速檢測(cè)系統(tǒng)

王建鋒，董學(xué)恒，李 軍

（1.長(zhǎng)安大學(xué) 道路交通智能檢測(cè)實(shí)驗(yàn)室，陜西 西安 710064；2.陜西省道路交通智能檢測(cè)與裝備工程技術(shù)研究中心，陜西 西安 710064；3.陜西碩軒信息科技有限公司，陜西 西安 710032）

0 引 言

隨著物流運(yùn)輸行業(yè)的快速發(fā)展，快遞件數(shù)量呈級(jí)數(shù)增長(zhǎng)，市場(chǎng)對(duì)物流快遞包裹的分揀效率和準(zhǔn)確率提出了更高的要求。通過(guò)檢測(cè)快遞件上的條形碼可以快速識(shí)別快遞的各種信息，提高快遞分揀的智能化水平。目前條形碼的檢測(cè)方法主要有基于激光掃描的方法、基于圖像處理的方法和基于深度學(xué)習(xí)的方法?；诩す鈷呙璧姆椒ㄊ峭ㄟ^(guò)人工利用激光掃描裝置識(shí)別條形碼，這種方法識(shí)別準(zhǔn)確率高，但效率較低?；趫D像處理的條形碼識(shí)別方法是采用圖像處理算法自動(dòng)搜索條形碼的位置、從圖像中分割出條形碼，然后按照條形碼的解碼方法識(shí)別出條形碼的信息。該方法提高了條形碼的識(shí)別效率，而且條形碼的識(shí)別過(guò)程不需要人工干預(yù)，實(shí)現(xiàn)了條形碼識(shí)別的自動(dòng)化?；谏疃葘W(xué)習(xí)的條形碼識(shí)別方法主要是建立深度學(xué)習(xí)模型，利用大量樣本對(duì)所建立模型的參數(shù)進(jìn)行訓(xùn)練，利用訓(xùn)練好的模型進(jìn)行條形碼識(shí)別，該方法對(duì)環(huán)境變化有較好的適應(yīng)性，但是對(duì)訓(xùn)練樣本的要求較高。

目前的條形碼檢測(cè)方法中，基于深度學(xué)習(xí)的方法需要進(jìn)行大量數(shù)據(jù)集的采集和標(biāo)注，并且無(wú)法直接實(shí)現(xiàn)條形碼區(qū)域提取之后的方向校正，還需進(jìn)一步對(duì)檢測(cè)結(jié)果進(jìn)行圖像處理，導(dǎo)致檢測(cè)速度下降?；趫D像處理的檢測(cè)方法不需要采集大量數(shù)據(jù)集進(jìn)行標(biāo)注，但是泛化性較差，難以處理復(fù)雜場(chǎng)景下的多目標(biāo)、多角度條形碼區(qū)域快速提取。針對(duì)這些問(wèn)題，本文提出一種基于顏色和形狀特征的條形碼快速檢測(cè)方法，用于復(fù)雜環(huán)境下快遞條形碼的快速多目標(biāo)檢測(cè)。

1 總體方案設(shè)計(jì)

快遞條形碼快速檢測(cè)系統(tǒng)的總體結(jié)構(gòu)如圖1所示。系統(tǒng)主要包括視覺(jué)識(shí)別模塊（相機(jī)）、輔助照明模塊、主控模型、顯示模塊和存儲(chǔ)模型。主控模塊采用STM32控制相機(jī)拍攝圖像，所拍攝的圖像由主控系統(tǒng)按照識(shí)別算法進(jìn)行條形碼識(shí)別，并將識(shí)別后的信息通過(guò)USB接口傳遞給顯示模塊進(jìn)行顯示，通過(guò)存儲(chǔ)模塊進(jìn)行檢測(cè)報(bào)表生成和數(shù)據(jù)存儲(chǔ)。照明模塊采用LED照明，實(shí)現(xiàn)拍攝圖像的輔助照明，用于提高圖像的拍攝質(zhì)量，提高條形碼識(shí)別的速度和精度。

圖1 系統(tǒng)總體結(jié)構(gòu)

2 條形碼快速檢測(cè)算法

本文提出的復(fù)雜環(huán)境下快遞條形碼檢測(cè)算法的流程為：首先根據(jù)顏色和形狀特征在原圖中提取出大面積白色矩形區(qū)域作為快遞單候選區(qū)域，獲取該區(qū)域的最小外接矩形的位置和大小，通過(guò)仿射變換對(duì)候選區(qū)域進(jìn)行方向校正，獲取豎直或水平放置的快遞單候選區(qū)域；再對(duì)這些候選區(qū)域進(jìn)行黑色條形碼的二次檢測(cè)，定位最終的條形碼區(qū)域，采用Zbar解碼器對(duì)其進(jìn)行解碼，提取條形碼的信息。算法的主要流程如圖2所示。

圖2 條形碼快速識(shí)別算法流程

2.1 快遞單候選區(qū)域定位

快遞單候選區(qū)域的快速定位主要步驟如下：

（1）將原圖進(jìn)行下采樣；

（2）對(duì)下采樣之后的圖像進(jìn)行圖像預(yù)處理，主要包含中值濾波、直方圖均衡化；

（3）使用Otsu分割算法對(duì)直方圖均衡化后的圖像進(jìn)行二值化；

（4）對(duì)二值化后的圖進(jìn)行膨脹和腐蝕操作；

（5）進(jìn)行輪廓檢測(cè)與輪廓凸包面積計(jì)算以及面積排序，取前兩大面積的10%作為面積閾值，過(guò)濾小面積區(qū)域；

（6）獲取候選區(qū)域的最小外接矩形，計(jì)算長(zhǎng)寬比，過(guò)濾長(zhǎng)條區(qū)域；

（7）根據(jù)下采樣次數(shù)，對(duì)過(guò)濾掉小面積區(qū)域和長(zhǎng)條區(qū)域的快遞候選區(qū)域的最小外接矩形位置及大小進(jìn)行參數(shù)還原，獲取候選區(qū)域在原圖上的位置；

（8）使用仿射變換，將含有角度信息的快遞單候選區(qū)域進(jìn)行提取和方向校正，獲取豎直或水平放置的白色快遞單區(qū)域。

2.2 有限對(duì)比適應(yīng)性直方圖均衡化

由于快遞包裝的材質(zhì)有所差異，光線(xiàn)對(duì)圖像的拍攝質(zhì)量影響較大。為了減小拍照過(guò)程中光線(xiàn)對(duì)圖像質(zhì)量的影響，采用有限對(duì)比適應(yīng)性直方圖均衡化（Contrast Limited Adaptive Histogram Equalization, CLAHE）方法對(duì)拍攝的圖像進(jìn)行均衡化處理。對(duì)快遞單圖像進(jìn)行直方圖均衡化的結(jié)果如圖3（a）所示。可以看出，直方圖均衡化后改變了圖像的對(duì)比度，突出了需要求取的白色快遞單區(qū)域，但是圖像陰影部分的顏色也加深了，這不利于后續(xù)的顏色分割。為了解決該問(wèn)題，采用CLAHE方法將整幅圖像分成8×8的子塊，分別對(duì)每一個(gè)子塊進(jìn)行直方圖均衡化，使每個(gè)子塊的直方圖集中在某一個(gè)小區(qū)域內(nèi)，并且對(duì)每個(gè)小區(qū)域采用對(duì)比度限幅來(lái)克服噪聲放大的問(wèn)題。該方法需要對(duì)圖像中每個(gè)像素計(jì)算鄰域直方圖及對(duì)應(yīng)的變換函數(shù)，其算法計(jì)算量大、處理時(shí)間長(zhǎng)。為了提高算法的執(zhí)行速度，本文在CLAHE方法中使用雙線(xiàn)性插值，在圖像均衡質(zhì)量幾乎沒(méi)有下降的前提下算法效率得到極大的提升。本文采用CLAHE方法均衡處理的效果如圖3（b）所示。

圖3 直方圖均衡化結(jié)果對(duì)比

從圖3可以看出，使用CLAHE方法均衡化處理后的圖像中快遞單區(qū)域受到的光照影響減小，快遞單區(qū)域的灰度值得到均衡，增加了對(duì)比度，同時(shí)背景區(qū)域變化不大。

2.3 基于顏色和形狀特征的快遞單候選區(qū)域識(shí)別

對(duì)預(yù)處理之后的圖像進(jìn)行形態(tài)學(xué)處理，通過(guò)多次腐蝕膨脹對(duì)圖像進(jìn)行去噪處理，使用開(kāi)閉運(yùn)算使快遞單區(qū)域盡量完整且獨(dú)立。對(duì)處理結(jié)果進(jìn)行外輪廓提取，對(duì)每個(gè)輪廓進(jìn)行凸包面積計(jì)算；按凸包面積大小對(duì)所有輪廓進(jìn)行面積排序，取前兩大面積的10%作為閾值過(guò)濾小面積區(qū)域；獲取余下大面積區(qū)域的最小外接矩形參數(shù)，根據(jù)最小外接矩形的長(zhǎng)寬比，過(guò)濾長(zhǎng)條區(qū)域。處理過(guò)程如圖4所示，可以看出該方法能精確地提取快遞單所在位置。

圖4 快遞單候選區(qū)提取過(guò)程

2.4 快遞單候選區(qū)方向校正

由于快遞放置的隨機(jī)性，提取到的條形碼區(qū)域通常具有隨機(jī)的角度。為了高效提取條形碼，需要對(duì)其進(jìn)行方向校正處理，即將快遞單調(diào)整到正向放置。采用仿射變換（Affine Transform, AT）進(jìn)行快遞單方向的校正處理。

AT是一種二維仿射變換，也是一種二維坐標(biāo)之間的線(xiàn)性變換。AT保持二維圖形的“平直性”（即變換后直線(xiàn)還是直線(xiàn)，圓弧還是圓?。┖汀捌叫行浴保ū３侄S圖形間的相對(duì)位置關(guān)系不變，平行線(xiàn)還是平行線(xiàn)）。AT可以通過(guò)一系列平移、縮放、翻轉(zhuǎn)、旋轉(zhuǎn)和錯(cuò)切等基本變換的復(fù)合來(lái)實(shí)現(xiàn)。

AT在向量空間中進(jìn)行一次線(xiàn)性變換（乘以一個(gè)矩陣）并加上一個(gè)平移（加上一個(gè)向量），變換為另一個(gè)向量空間的過(guò)程。通常使用2×3的矩陣來(lái)表示仿射變換。

只要知道3個(gè)點(diǎn)仿射變換前后的坐標(biāo)，就可以計(jì)算出轉(zhuǎn)換矩陣。利用就可以將圖像變換為新的圖像。

設(shè)變換前一個(gè)點(diǎn)的坐標(biāo)為(,)，變換后坐標(biāo)為(,)，則可用下式計(jì)算該點(diǎn)新的坐標(biāo)：

通過(guò)AT處理后得到結(jié)果如圖5所示。

圖5 快遞單方向校正效果

2.5 條形碼區(qū)域二次定位

在獲取經(jīng)過(guò)方向校正的快遞候選區(qū)域后，再進(jìn)行一次基于顏色和形狀特征的條形碼區(qū)域提取。取面積最大的區(qū)域作為條形碼候選區(qū)域，對(duì)候選區(qū)域用Zbar庫(kù)進(jìn)行解碼，若解碼成功，則在快遞圖像上框選出條形碼區(qū)域，并輸出解碼后的數(shù)字；若解碼失敗，則進(jìn)入剩余的條形碼候選區(qū)進(jìn)行解碼識(shí)別，直到判斷完所有候選區(qū)域。條形碼區(qū)域的提取過(guò)程如圖6所示。

圖6 條形碼區(qū)域提取過(guò)程

3 條形碼識(shí)別結(jié)果與分析

通過(guò)將多個(gè)快遞單隨機(jī)放置，利用所開(kāi)發(fā)的系統(tǒng)對(duì)多個(gè)條形碼進(jìn)行識(shí)別實(shí)驗(yàn)。拍攝的圖像如圖7所示?？梢钥闯觯疚姆椒軌蚩焖俣ㄎ坏桨咨目爝f單候選區(qū)域，并對(duì)其進(jìn)行方向校正；隨后進(jìn)行條形碼區(qū)域二次定位，并提取出各個(gè)條形碼；最后將識(shí)別出的信息顯示在條形碼框下，并存儲(chǔ)識(shí)別信息。識(shí)別得到結(jié)果如圖8所示。

圖7 快遞單候選區(qū)域檢測(cè)結(jié)果

圖8 多目標(biāo)條形碼識(shí)別結(jié)果

4 結(jié) 語(yǔ)

本文提出了一種基于圖像處理的復(fù)雜環(huán)境下的快遞條形碼多目標(biāo)檢測(cè)方法，開(kāi)發(fā)了條形碼快速檢測(cè)系統(tǒng)。通過(guò)實(shí)驗(yàn)證明該方法能夠有效減小復(fù)雜背景給條形碼區(qū)域帶來(lái)的影響，能夠快速定位所有條形碼區(qū)域，并進(jìn)行方向校正和解碼；還可以有效提升快遞分揀信息管理效率和智能化水平。