基于機(jī)器視覺的復(fù)雜背景下QR碼檢測(cè)

趙志偉,柳 鳴,張 根

（中南民族大學(xué)計(jì)算機(jī)科學(xué)學(xué)院，武漢 430074）

0 引言

自21世紀(jì)以來，智能制造技術(shù)引起了發(fā)達(dá)國家的關(guān)注和研究，紛紛制定“重返制造業(yè)”的發(fā)展方向，例如歐盟在2014實(shí)施“2020地平線”計(jì)劃，將智能型先進(jìn)制造系統(tǒng)作為創(chuàng)新研發(fā)的優(yōu)先項(xiàng)目。隨著以人工智能、大數(shù)據(jù)、區(qū)塊鏈為代表的新一代信息技術(shù)與制造業(yè)的加速融合，“十四五”期間，我國智能制造將從制造工藝、硬件設(shè)備、軟件架構(gòu)等多個(gè)維度持續(xù)推進(jìn)，保持我國制造業(yè)朝著數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展的方向不變，加快制造業(yè)高質(zhì)量發(fā)展進(jìn)程。而QR碼作為一種全新的自動(dòng)識(shí)別技術(shù)，被應(yīng)用于工業(yè)制造的產(chǎn)品檢驗(yàn)和分揀過程中。例如在快遞分揀時(shí)，我國快遞公司還存在著自動(dòng)化水平和機(jī)械化程度低等問題，在分揀系統(tǒng)中急需解決人工掃碼速度慢的難題；在牛奶生產(chǎn)階段，生產(chǎn)日期作為食品安全的一項(xiàng)重要標(biāo)準(zhǔn)，在噴印過程中不可避免的出現(xiàn)多種生產(chǎn)日期噴碼字符缺陷，如漏印、缺印、錯(cuò)印、墨跡污染等。如何快速定位識(shí)別出產(chǎn)品上的QR碼是一個(gè)值得研究的問題。因此，本文通過機(jī)器學(xué)習(xí)融合圖像處理的方法來實(shí)現(xiàn)工業(yè)流水線上的QR碼的高效定位與識(shí)別。

1 問題描述及相關(guān)工作

隨著“工業(yè)4.0”時(shí)代到來，QR碼作為連接智能生產(chǎn)系統(tǒng)與供應(yīng)商和決策部門的紐扣，也遇見了不少問題。因?yàn)槠鋺?yīng)用環(huán)境的多樣性和復(fù)雜性，對(duì)QR碼的識(shí)別在一定程度上增加了難度。QR碼是按照一定的規(guī)律在平面上分布的黑色與白色相間的圖形記錄符號(hào)，識(shí)別QR碼需先定位圖案，再是功能性數(shù)據(jù)，識(shí)別由數(shù)據(jù)碼和糾錯(cuò)碼共同組成的數(shù)據(jù)信息。

QR碼從被發(fā)明至今，國內(nèi)外學(xué)者對(duì)QR碼的定位研究沒有間斷過。在實(shí)現(xiàn)QR碼定位的研究中，張民提出了利用QR碼其自身符號(hào)的特征來進(jìn)行定位識(shí)別，掃描QR碼圖像尋找QR碼的3個(gè)位置探測(cè)圖形，確定QR碼所在的四邊形區(qū)域從而進(jìn)行校正和信息提取。同樣，朱仁歡等根據(jù)QR碼的位置探測(cè)圖形滿足三層包圍關(guān)系這一連通域特征，尋找圖像中的3個(gè)位置探測(cè)圖形來進(jìn)行定位。上述基于QR碼的3個(gè)位置探測(cè)圖形的定位方法，僅僅在圖像背景簡(jiǎn)單和位置探測(cè)圖形清晰的情況下有良好的表現(xiàn)，但面對(duì)圖像中有干擾因素時(shí)效果往往不太理想。在面對(duì)QR碼圖像存在模糊、過度曝光等復(fù)雜背景時(shí)，Xu等通過編碼曝光算法，估計(jì)模糊參數(shù)，利用反卷積來消除運(yùn)動(dòng)模糊的圖像，解決了模糊的QR碼的定位問題；Sun M等通過將一幅完整的QR碼圖像來進(jìn)行切分，然后對(duì)各個(gè)圖像塊提取其局部二值模式（Local Binary Pattern，LBP）的特征，最后用Spatial Boost算法訓(xùn)練分類器，篩選出QR碼的候選塊進(jìn)行合并。Chen C等對(duì)QR碼圖像通過查找器模式進(jìn)行邊緣檢測(cè)，然后進(jìn)行霍夫變換來尋找QR碼圖像。這些方法在使用于QR碼的復(fù)雜背景時(shí)的適應(yīng)性較差，比如QR碼出現(xiàn)畸變、過度曝光、文字背景干擾時(shí)，定位識(shí)別效果欠佳。

綜上所述，現(xiàn)有的QR碼定位算法雖然有一定的應(yīng)用效果，但仍然在面對(duì)工業(yè)上產(chǎn)品材料時(shí)，面對(duì)反光、文字背景干擾和相機(jī)角度引起的QR碼圖像模糊畸變等問題時(shí)，存在定位結(jié)果較差的情況。

2 OMQR識(shí)別檢測(cè)方法

基于MQR（Microvision QR）識(shí)別檢測(cè)方法，本文提出一個(gè)OMQR（Optimized Microvision，QR）識(shí)別檢測(cè)方法。針對(duì)工業(yè)流水線場(chǎng)景的需求，通過工業(yè)相機(jī)采集圖像制作成人工數(shù)據(jù)集，利用方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征和支持向量機(jī)（Support Vector Ma?chine，SVM）分類器實(shí)現(xiàn)對(duì)QR碼數(shù)據(jù)集的初分類，將數(shù)據(jù)集中的不包含QR碼或QR碼信息殘缺的負(fù)樣本圖像去除。是針對(duì)實(shí)際場(chǎng)景遇到采集圖像中負(fù)樣本較多的問題所提出的解決方案。再通過圖像處理的方法對(duì)QR碼實(shí)現(xiàn)定位。

在OMQR中，圖像處理部分采取常規(guī)的圖像預(yù)處理的操作，例如高斯濾波進(jìn)行平滑、對(duì)QR碼圖像進(jìn)行對(duì)比度增強(qiáng)、邊緣檢測(cè)、腐蝕膨脹等處理。根據(jù)預(yù)處理后的效果采取針對(duì)性的QR碼定位方法進(jìn)行定位。在QR碼定位的基礎(chǔ)上，對(duì)QR碼圖像發(fā)生旋轉(zhuǎn)的情況，計(jì)算圖像與水平或者垂直的角度，再根據(jù)角度進(jìn)行相應(yīng)的旋轉(zhuǎn)后得到校正后的QR碼圖像。在畸變復(fù)原方面，本文采用透視變換加雙線性插值法。策略具體流程如圖1所示。

圖1 OMQR檢測(cè)流程

2.1 基于HOG和SVM去除負(fù)樣本

通過工業(yè)相機(jī)采集到的圖像因?yàn)橄鄼C(jī)曝光等原因的影響，會(huì)出現(xiàn)圖像中不包含QR碼或QR碼信息不全等情況。因?yàn)椴杉降膱D片數(shù)量龐大，如果人工篩選或?qū)D像全部進(jìn)行后續(xù)QR碼的識(shí)別處理，會(huì)大大影響對(duì)產(chǎn)品檢測(cè)的整體速度。為了解決這一問題，本文提出一種基于HOG和SVM分類相結(jié)合的負(fù)樣本去除方法，通過HOG算子計(jì)算QR碼正負(fù)樣本數(shù)據(jù)集的圖像特征，將其對(duì)SVM分類器進(jìn)行訓(xùn)練，最后保留完整QR碼信息的圖像。

方向梯度直方圖的基本特征是梯度直方圖的統(tǒng)計(jì)。

HOG描述符先將圖像劃分為小區(qū)域單元，然后捕獲每個(gè)像素點(diǎn)的梯度直方圖單元，最后把該直方圖組合起來構(gòu)成HOG特征描述符。詳細(xì)實(shí)現(xiàn)HOG特征提取的過程如下：

（1）標(biāo)準(zhǔn)化Gamma空間和顏色空間。首先進(jìn)行Gamma標(biāo)準(zhǔn)化處理整個(gè)圖像。Gamma壓縮公式為

（2）計(jì)算圖像的梯度。對(duì)QR碼圖像中的像素點(diǎn)(,)進(jìn)行計(jì)算，其梯度幅值和梯度方向?yàn)?/p>

式（4）和（5）中，G（，）、G（，）、（，）分別代表輸入QR碼圖像中的像素點(diǎn)（，）處水平和垂直方向的梯度值以及像素灰度值。

（3）梯度方向直方圖構(gòu)建。計(jì)算每個(gè)細(xì)胞單元的梯度大小及方向，將像素梯度幅值作為權(quán)值，然后進(jìn)行投影，用梯度方向決定向哪一維進(jìn)行投影，就可以得到對(duì)應(yīng)單元的梯度方向直方圖。

（4）收集HOG特征。在對(duì)單元格進(jìn)行梯度強(qiáng)度計(jì)算后對(duì)所有掃描結(jié)束后得到的特征進(jìn)行歸類，總結(jié)得到圖像中QR碼的外形特征，便于后續(xù)支持向量機(jī)對(duì)QR碼的分類使用。

支持向量機(jī)SVM是一類按監(jiān)督學(xué)習(xí)方式對(duì)數(shù)據(jù)進(jìn)行二元分類的廣義線性分類器，其決策邊界是對(duì)學(xué)習(xí)樣本求解的最大邊距超平面。因此可以利用SVM根據(jù)QR碼的訓(xùn)練樣本做出最佳分類預(yù)測(cè)。分類步驟如下：

（1）準(zhǔn)備正負(fù)樣本數(shù)據(jù)集。正樣本是包含完整QR信息的圖像，負(fù)樣本是指包含缺失的QR碼或者不包含QR碼的圖像。為了提高分類的準(zhǔn)確率，在本文中，正負(fù)樣本的數(shù)量分別為400和380。

（2）對(duì)QR碼數(shù)據(jù)集進(jìn)行訓(xùn)練。經(jīng)過對(duì)正負(fù)樣本集的HOG值進(jìn)行計(jì)算進(jìn)而存入到HOG特征矩陣，將其輸入到SVM分類器中進(jìn)行訓(xùn)練。

（3）訓(xùn)練好的SVM分類器中加入測(cè)試集進(jìn)行測(cè)試，設(shè)置閾值ans的值，分別為0.5，0.6，0.7，0.8，0.9。為了達(dá)到分類效果最佳，最終選擇設(shè)置ans的值為0.7。測(cè)試效果如圖2所示。

圖2 QR碼分類結(jié)果

2.2 QR碼的定位

經(jīng)過HOG特征加SVM分類器將工業(yè)相機(jī)采集的圖像數(shù)據(jù)集經(jīng)過初分類后，留下包含完整QR碼信息的圖像。但是由于會(huì)受到諸多外界環(huán)境因素的干擾，最終得到的圖片可能與現(xiàn)實(shí)的圖像并不一致。通常表現(xiàn)為圖像畸變、模糊、對(duì)比度過小或過大、過度曝光或者亮度不夠、噪聲干擾等各種問題。為了得到較好的定位結(jié)果，需要進(jìn)行相應(yīng)的預(yù)處理操作。具體工作流程如圖3所示。

圖3 QR碼定位流程

受光照或產(chǎn)品自身材料等因素的干擾產(chǎn)生的高斯噪聲，需要使用高斯濾波將整個(gè)圖像進(jìn)行加權(quán)平均處理來去除噪聲。針對(duì)圖像經(jīng)過去噪之后亮度不夠，本文基于直方圖均衡化來增強(qiáng)整個(gè)QR碼圖像的對(duì)比度。

為了減少由于光照不均或者存在文字背景等復(fù)雜場(chǎng)景下噪聲的干擾，使用形態(tài)學(xué)中的基礎(chǔ)運(yùn)算腐蝕與膨脹對(duì)增強(qiáng)后的QR碼圖像進(jìn)行操作。具體公式如（6）和（7）所示：

其中，（，）表示處理后灰度圖像，D表示結(jié)構(gòu)元素的定義域。對(duì)QR碼圖像進(jìn)行膨脹運(yùn)算，每個(gè)結(jié)構(gòu)元素的位置上，這一點(diǎn)的膨脹值是在跨度D的區(qū)間內(nèi)（，）于之和的最大值，結(jié)果是圖像中黑色模塊的區(qū)域減小而白色模塊的區(qū)域增大；腐蝕運(yùn)算則是每個(gè)結(jié)構(gòu)元素的位置上，這一點(diǎn)的膨脹值是在跨度D的區(qū)間內(nèi)（，）于之和的最小值，結(jié)果會(huì)使黑色模塊區(qū)域增大而白色模塊的區(qū)域減小。經(jīng)過腐蝕和膨脹運(yùn)算后的QR碼圖像如圖4所示。

圖4 QR碼形態(tài)學(xué)處理

邊緣檢測(cè)是檢測(cè)圖像周圍灰度像素中是否存在階躍性變化，并將這些特征邊緣連接成完整的像素邊界。Canny算子的誤檢和漏檢概率較小且檢測(cè)到邊緣點(diǎn)的位置距離實(shí)際邊緣點(diǎn)的位置最近。因此本文選取Canny算子作為本次實(shí)驗(yàn)的邊緣檢測(cè)方法，以達(dá)到檢測(cè)QR碼邊緣特征的目的。將QR碼的圖像經(jīng)過Canny算子邊緣檢測(cè)后，結(jié)果如圖5所示。

圖5 邊緣檢測(cè)后的QR碼

經(jīng)過邊緣檢測(cè)后的QR碼信息清晰可見，下一步就是根據(jù)邊緣檢測(cè)出的圖像找出QR碼的3個(gè)位置探測(cè)圖形。基于QR碼自身特征，根據(jù)位置探測(cè)圖形之間的距離關(guān)系來確定出位置探測(cè)圖形。QR碼的3個(gè)位置探測(cè)圖形，分別位于QR碼的右上角、左上角和左下角，符合1∶1∶3∶1∶1的比例，并且隨著QR碼圖像的大小和旋轉(zhuǎn)，這一比例并不會(huì)發(fā)生改變，所以可以根據(jù)這一特征來尋找位置探測(cè)圖形的位置。具體實(shí)現(xiàn)步驟如下：

（1）掃描圖像每一行，并保存黑白模塊的長度。

（2）記錄具有連續(xù)5個(gè)像素顏色的行，計(jì)算和提取其比例。

（3）檢查是否符合1∶1∶3∶1∶1的比例，且第一個(gè)像素模塊為黑色。

（4）找到位置探測(cè)圖形的中心位置，并保存該點(diǎn)位置，直到找到3個(gè)位置探測(cè)圖形。

本文方法檢測(cè)的QR碼位置探測(cè)圖形如圖6所示。

圖6 檢測(cè)出3個(gè)位置探測(cè)圖形

接著，需要根據(jù)3個(gè)位置探測(cè)圖形的坐標(biāo)判斷QR碼圖像第四個(gè)角點(diǎn)的位置信息，從而利用包圍盒將QR碼圖像框住。具體實(shí)現(xiàn)步驟如下：

（1）基于找到的3個(gè)位置探測(cè)圖形位置，計(jì)算3個(gè)定位圖案之間的距離，推算出當(dāng)前QR碼的方向，判斷頂點(diǎn)定位圖形。

（2）根據(jù)當(dāng)前QR碼的方位以及3個(gè)定位圖案的對(duì)應(yīng)關(guān)系。獲取所有定位圖案的4個(gè)頂點(diǎn)的坐標(biāo)。

（3）根據(jù)4個(gè)頂點(diǎn)的坐標(biāo)，對(duì)QR碼第4個(gè)角點(diǎn)的位置進(jìn)行推算。

（4）通過形態(tài)學(xué)進(jìn)行透視變換，規(guī)范QR碼的位置。

定位及定位框進(jìn)行校正結(jié)果如圖7所示。

圖7 QR碼定位結(jié)果

3 實(shí)驗(yàn)結(jié)果及分析

本文基于實(shí)際的機(jī)器視覺設(shè)備，進(jìn)行實(shí)驗(yàn)來驗(yàn)證本文提出的OMQR方法的有效性。實(shí)驗(yàn)采取維視智造的MRP300機(jī)器視覺運(yùn)動(dòng)旋轉(zhuǎn)實(shí)驗(yàn)開發(fā)平臺(tái)，驅(qū)動(dòng)電機(jī)帶動(dòng)圖像采集系統(tǒng)以及LED照明系統(tǒng)，實(shí)現(xiàn)圖像的實(shí)時(shí)采集。圖像采集系統(tǒng)中的工業(yè)相機(jī)選用維視智造的MVEM120C千兆網(wǎng)相機(jī)，使用維視智造的AFTRL5428-38的LED環(huán)形光源作為照明系統(tǒng)。

3.1 實(shí)驗(yàn)硬件環(huán)境

實(shí)驗(yàn)所用到的硬件環(huán)境設(shè)備以及相關(guān)參數(shù)詳細(xì)見表1—表3。

表1 MV-EM120C工業(yè)相機(jī)參數(shù)

表2 AFT-1236ZMP可變焦工業(yè)鏡頭參數(shù)

表3 環(huán)形光源參數(shù)

3.2 實(shí)驗(yàn)場(chǎng)景

針對(duì)工業(yè)流水線上QR碼的定位識(shí)別，模擬產(chǎn)品在生產(chǎn)過程中的QR碼遇到的檢測(cè)問題。維視智造在這方面已經(jīng)取得了進(jìn)展，通過工業(yè)相機(jī)對(duì)流水線上產(chǎn)品的QR碼進(jìn)行采集定位，與市面上主流使用的方法，比如Halcon軟件的datacode等進(jìn)行了對(duì)比，定位識(shí)別效果好。因此，本文工作選擇維視智造的MQR碼識(shí)別方法進(jìn)行對(duì)比實(shí)驗(yàn)。

3.3 數(shù)據(jù)集

本實(shí)驗(yàn)真實(shí)模擬工業(yè)流水線上產(chǎn)品采集的QR碼圖像制作人工數(shù)據(jù)集，工業(yè)相機(jī)進(jìn)行實(shí)時(shí)采集，采集到的圖像共2540張，經(jīng)過分類后留下的正樣本圖像作為本實(shí)驗(yàn)數(shù)據(jù)集共1680張。數(shù)據(jù)集中的一些圖像如圖8所示，包含過度曝光、光線過暗、模糊等復(fù)雜背景。

圖8 存在復(fù)雜背景的QR碼

3.4 實(shí)驗(yàn)結(jié)果

當(dāng)QR碼處于復(fù)雜背景下，比如文字干擾、畸變、暗光、模糊程度較大時(shí)，MQR碼識(shí)別方法找不到位置探測(cè)圖形從而導(dǎo)致定位失敗，而本文提出的OMQR方法能取得較好的效果（如圖9所示）。原因是MQR方法在尋找QR碼的位置探測(cè)圖形時(shí)對(duì)圖像的掃描角度出現(xiàn)了問題，QR碼邊界像素比較密集，導(dǎo)致邊緣兩條直線相交不到邊緣頂點(diǎn)，找不到對(duì)應(yīng)的頂點(diǎn)從而導(dǎo)致識(shí)別失敗。而本文方法是針對(duì)整個(gè)圖像進(jìn)行掃描，從而提高了對(duì)位置探測(cè)圖形的檢測(cè)效果，所以定位識(shí)別效果更好。

圖9 QR碼定位結(jié)果對(duì)比

按照數(shù)據(jù)集中的QR碼圖像中復(fù)雜背景種類進(jìn)行詳細(xì)對(duì)比，包括無復(fù)雜背景、存在文字背景干擾、過度曝光、暗光、畸變、模糊。以定位準(zhǔn)確率為衡量標(biāo)準(zhǔn)，計(jì)算方法如式（8）所示。

詳細(xì)結(jié)果如表4所示。

表4 QR碼定位結(jié)果

綜上可知，本文提出的OMQR方法相較于MQR碼識(shí)別方法，在檢測(cè)準(zhǔn)確率方面有較大的提升，尤其是針對(duì)在應(yīng)對(duì)復(fù)雜背景下的QR碼，定位準(zhǔn)確率有明顯的提高，且識(shí)別速度也有不小的提升。

4 結(jié)語

為了提高工業(yè)上產(chǎn)品查驗(yàn)的效率，確保產(chǎn)品的生產(chǎn)質(zhì)量，將智能制造技術(shù)和QR碼技術(shù)引入到產(chǎn)品質(zhì)量檢測(cè)的生產(chǎn)過程中，對(duì)QR碼進(jìn)行掃描從而確定產(chǎn)品在生產(chǎn)過程中是否發(fā)生紕漏從而導(dǎo)致產(chǎn)品質(zhì)量有問題。以維視智造Microvi?sion為基礎(chǔ)，針對(duì)其對(duì)QR碼存在復(fù)雜背景時(shí)產(chǎn)生QR碼定位識(shí)別難等問題。本文采用HOG特征加SVM分類器去除工業(yè)相機(jī)采集到的負(fù)樣本圖像，再對(duì)QR碼進(jìn)行對(duì)比度增強(qiáng)、形態(tài)學(xué)處理等圖像處理后，對(duì)采集到的圖像中的QR碼進(jìn)行定位。實(shí)驗(yàn)證明，與MQR相比較，OMRQ在識(shí)別的準(zhǔn)確度上有較大提升。下一步工作是引入深度神經(jīng)網(wǎng)絡(luò)，對(duì)QR碼的定位方法進(jìn)行改進(jìn)，改善當(dāng)圖像存在多個(gè)QR碼、模糊程度大或畸變系數(shù)大時(shí)，定位識(shí)別效果較差的情況。