一種基于分塊思想的多紙張缺陷一次提取算法

王偉剛 周強(qiáng) 肖強(qiáng)宏

摘 要：為了解決紙張缺陷檢測中多個(gè)紙病區(qū)域的提取實(shí)時(shí)性問題，提出了一種采用“先分塊、后合并”思想直接對實(shí)時(shí)圖像數(shù)據(jù)流進(jìn)行處理的并行化紙病提取算法。該算法充分利用現(xiàn)場可編程門陣列（FPGA）的并行處理特性，在跨時(shí)鐘域?qū)D像數(shù)據(jù)進(jìn)行傳輸?shù)耐瑫r(shí)，在另一個(gè)分支流程中并行地對分塊缺陷連通域進(jìn)行標(biāo)記以獲取每個(gè)缺陷的相對位置坐標(biāo)，最后以包圍盒的形式提取出紙張缺陷區(qū)域。該算法基于分塊思想，分支處理過程不需要消耗主流程額外的處理時(shí)間且硬件資源占用率極小。實(shí)驗(yàn)結(jié)果表明，該算法能夠準(zhǔn)確、快速地提取出各種常見紙張缺陷，具有很強(qiáng)的靈活性和實(shí)時(shí)性，能夠滿足在線紙病檢測的實(shí)時(shí)性要求。

關(guān)鍵詞：紙病檢測；現(xiàn)場可編程門陣列；連通域標(biāo)記；包圍盒

中圖分類號：TS736+.2

文獻(xiàn)標(biāo)識碼：A

DOI：10.11981/j.issn.1000-6842.2018.04.36

目前，紙病在線檢測系統(tǒng)普遍采用“電荷耦合器件（Charge Coupled Device，CCD）相機(jī)+計(jì)算機(jī)”的硬件結(jié)構(gòu)模式，通過CCD高速相機(jī)實(shí)時(shí)采集紙張圖像數(shù)據(jù)并傳送至檢測系統(tǒng)PC端，系統(tǒng)的核心處理器利用圖像處理技術(shù)對紙張圖像進(jìn)行處理和辨識，實(shí)現(xiàn)對黑斑、孔洞、劃痕、裂邊等缺陷的識別和分類[1-3]。但是隨著紙機(jī)車速的提升、紙幅的加寬以及對紙病辨識精度的提高，CCD相機(jī)采集到的海量圖像數(shù)據(jù)，給系統(tǒng)的快速性甚至穩(wěn)定性帶來了巨大沖擊，如何解決打破紙病辨識快速性這一瓶頸已成為當(dāng)前研究紙病檢測技術(shù)的關(guān)鍵問題。

為此，本課題提出了“CCD相機(jī)+FPGA+計(jì)算機(jī)”的結(jié)構(gòu)模式，該結(jié)構(gòu)模式下由現(xiàn)場可編程門陣列（Field-Programmable Gate Array，F(xiàn)PGA）完成圖像的一次辨識，對疑似紙病區(qū)域進(jìn)行初步辨識、提取疑似紙病區(qū)域并發(fā)送至計(jì)算機(jī)，由計(jì)算機(jī)再對紙病區(qū)域進(jìn)行二次辨識，實(shí)現(xiàn)紙病的精準(zhǔn)識別和分類。

傳統(tǒng)的紙張缺陷提取算法主要采用包圍盒或連通域標(biāo)記的原理獲取紙張缺陷位置信息，從而將紙張缺陷區(qū)域提取出來。包圍盒是指包含目標(biāo)像素的最小外接矩形，基于包圍盒原理的提取算法結(jié)構(gòu)簡單、處理成本低、易于硬件實(shí)現(xiàn)，但僅僅適用于單缺陷的提取。連通域標(biāo)記是指將二值圖像中符合某種連通規(guī)則（4鄰域、8鄰域等）的多目標(biāo)區(qū)域進(jìn)行標(biāo)記，以便提取出各目標(biāo)區(qū)域的位置信息及特征等參數(shù)，基于連通域標(biāo)記的提取算法按其實(shí)現(xiàn)方式主要分為3類[4]：隨機(jī)讀取算法、兩次遍歷算法、多次遍歷算法，其中隨機(jī)讀取算法主要采用鏈碼的形式提取連通域邊界，二次遍歷算法和多次遍歷算法均采用處理等價(jià)標(biāo)號的思想對連通域進(jìn)行標(biāo)記，獲取位置信息，兩次和多次掃描算法的區(qū)別在于處理等價(jià)標(biāo)號的方式不同。

近年來，不同學(xué)者對缺陷的初步識別和提取做了大量的研究。劉勇等[5-6]提出的算法采用包圍盒原理，只適用于單缺陷識別的場合。劉慧忠等[7-8]基于FPGA平臺上對缺陷區(qū)域進(jìn)行提取，但并沒有說明具體的實(shí)現(xiàn)方式。湯偉等[9]提取含有紙張缺陷的整幅紙病圖像并上傳至計(jì)算機(jī)，大量圖像數(shù)據(jù)會降低計(jì)算機(jī)端處理速度。李茜等[10]采用了隨機(jī)讀取算法，但該算法需要提前緩存圖像數(shù)據(jù)，不適合實(shí)時(shí)數(shù)據(jù)流處理實(shí)現(xiàn)。馬毅超等[11-17]均采用二次遍歷算法對缺陷區(qū)域進(jìn)行標(biāo)記，至少需要遍歷圖像兩次。王凱等[18]提出了一種快速掃描算法，單次遍歷中實(shí)現(xiàn)標(biāo)號跟蹤，該算法的理論運(yùn)行時(shí)間為（M×N+4）個(gè)時(shí)鐘周期。王堯等[19]將傳統(tǒng)的二次掃描算法改進(jìn)成單次掃描方式，可以提取出單目標(biāo)缺陷。Pandey等[20]對等價(jià)標(biāo)號的合并方法進(jìn)行了優(yōu)化，但仍需要多次遍歷。以上文獻(xiàn)中雖采用各種方法和手段對算法進(jìn)行了改進(jìn)和優(yōu)化，并沒有改變以像素點(diǎn)作為最小單元的處

理模式，仍需要單次或多次對幀圖像進(jìn)行遍歷，才能輸出缺陷的位置坐標(biāo)，浪費(fèi)大量的時(shí)間，無法滿足實(shí)時(shí)硬件數(shù)據(jù)流的處理要求。

針對以上缺陷提取算法的不足，本課題提出了一種基于分塊思想的多紙張缺陷一次提取算法。該算法利用“先分塊、后合并”的思想，在圖像預(yù)處理主流程中采用包圍盒原理獲取各個(gè)分塊缺陷的外接矩形坐標(biāo)，待預(yù)處理完一幀圖像后，在圖像緩存到同步動(dòng)態(tài)隨機(jī)存儲器（Synchronous Dynamic Random Access Memory， SDRAM）階段中的另一分支，對跨塊的缺陷區(qū)域進(jìn)行合并標(biāo)記，對合成的缺陷外接矩形坐標(biāo)進(jìn)行更新。缺陷提取算法的主要處理過程在分支流程中完成，不需要消耗額外的主流程處理時(shí)間，且無需打斷連續(xù)的數(shù)據(jù)流，大大地提高了硬件系統(tǒng)中缺陷提取算法的處理效率。

1 紙病檢測系統(tǒng)硬件平臺搭建

本課題的紙病檢測系統(tǒng)平臺采用“CCD相機(jī)+FPGA+計(jì)算機(jī)”的結(jié)構(gòu)模式，該系統(tǒng)主要由CCD相機(jī)、FPGA數(shù)據(jù)處理系統(tǒng)、上位機(jī)3部分構(gòu)成。該紙病檢測系統(tǒng)硬件結(jié)構(gòu)框圖如圖1所示。其中，CCD相機(jī)選用DALSA公司S2系列線陣相機(jī)S2-12-02K40-00-L，其靈敏度高、對光照的要求更低。FPGA芯片采用Altera公司Cyclone IV系列芯片ep4ce115f29c7n，內(nèi)部含有豐富的硬件資源。SDRAM采用IS42S16160D，主要用于跨時(shí)鐘域傳輸中對圖像數(shù)據(jù)的緩存。以太網(wǎng)芯片采用DM9000A，該芯片內(nèi)部集成10/100M自適應(yīng)收發(fā)器，用于FPGA與上位機(jī)的通信。

FPGA在整個(gè)硬件系統(tǒng)中起到協(xié)處理器的作用，主要是利用FPGA的數(shù)據(jù)并行流水線處理能力對紙病進(jìn)行一次辨識，判斷出疑似紙病，提取出疑似紙病區(qū)域并通過以太網(wǎng)接口將該區(qū)域發(fā)送至計(jì)算機(jī)，而計(jì)算機(jī)則負(fù)責(zé)紙病的二次辨識，對紙病進(jìn)行精確的識別和分類。由于FPGA承擔(dān)了98%以上的圖像數(shù)據(jù)處理任務(wù)，從而解決了系統(tǒng)的實(shí)時(shí)性問題[3]。本文主要說明利用FPGA實(shí)現(xiàn)基于分塊思想的多紙張缺陷一次提取算法。

2 多紙病提取算法

2.1 算法思想

該算法采用“先分塊、后合并”的思想將整張圖像劃分成多個(gè)區(qū)域塊，利用包圍盒原理初步獲取存在缺陷的各分塊缺陷外接矩形坐標(biāo)，對于跨區(qū)域塊缺陷則需要進(jìn)一步采用連通域標(biāo)記算法對區(qū)塊進(jìn)行合并，得到合并后的完整缺陷外接矩形坐標(biāo)信息，從而完成對所有紙張缺陷區(qū)域的提取。

多紙病區(qū)域提取算法流程圖如圖2所示。主要包括紙張圖像分塊、包圍盒處理、缺陷連通域標(biāo)記、更新缺陷外接矩形坐標(biāo)、存儲參數(shù)5部分，其中紙張圖像分塊和包圍盒處理兩部分位于主處理流程中，消耗2個(gè)時(shí)鐘周期。缺陷連通域標(biāo)記、更新缺陷外接矩形坐標(biāo)、存儲參數(shù)部分處于分支流程中，不占用主流程處理時(shí)間。

總的來說，該算法占用資源少、處理速度快，尤其適用于在圖像目標(biāo)的檢測場合中實(shí)現(xiàn)硬件加速，因此該算法不僅適用于在線紙病檢測系統(tǒng)，同時(shí)也適用于其他實(shí)時(shí)性較強(qiáng)的應(yīng)用中，可以針對不同的應(yīng)用場合靈活控制分塊的數(shù)量，完成對圖像目標(biāo)的檢測和提取，以提高系統(tǒng)的實(shí)時(shí)性。

4 結(jié) 論

針對紙病檢測系統(tǒng)中多紙張缺陷提取的實(shí)時(shí)性要求，提出了一種基于分塊思想的多紙張缺陷一次提取算法。算法結(jié)合包圍盒和連通域標(biāo)記的特點(diǎn)，采用“先分塊、后合并”的思想，在實(shí)時(shí)數(shù)據(jù)流處理的分支中完成紙張缺陷目標(biāo)的檢測，并以包圍盒的形式給出位置坐標(biāo)，從而準(zhǔn)確地提取出常見各類紙張缺陷區(qū)域。與目前常用的缺陷區(qū)域標(biāo)記算法相比較，該算法具有以下優(yōu)勢：①可以針對不同場合缺陷的出現(xiàn)概率以及檢測精度，靈活控制分塊的數(shù)量，從而進(jìn)一步提高算法的執(zhí)行效率；②占用硬件資源少，且算法結(jié)構(gòu)簡單，易于硬件的并行實(shí)現(xiàn)；③運(yùn)行速度塊，在本文實(shí)驗(yàn)測試環(huán)境下，該算法的運(yùn)行時(shí)間僅僅為其他算法的1/100，有效地保證了紙病檢測系統(tǒng)的實(shí)時(shí)性要求。

參 考 文 獻(xiàn)

[1] WANG Ya-bo， ZHOU Qiang， WANG Wei-gang， et al. The Secondary Identification of Paper Defects Based on Adaptive Neural-fuzzy Inference System[J]. China Pulp & Paper， 2017， 36（12）： 56.

王亞波， 周 強(qiáng)， 王偉剛， 等. 基于自適應(yīng)神經(jīng)模糊推理系統(tǒng)的紙病二次辨識[J]. 中國造紙， 2017， 36（12）： 56.

[2] ZHOU Qiang， CHEN Ying， SHEN Tian-yu， et al. Review on the Development of Paper Defect Detection System Based on Machine Vision Technology[J]. China Pulp & Paper， 2016， 35（5）： 72.

周 強(qiáng)， 陳 穎， 沈天宇， 等. 基于機(jī)器視覺的紙病檢測系統(tǒng)發(fā)展綜述[J]. 中國造紙， 2016， 35（5）： 72.

[3] WANG Zheng， ZHOU Qiang， LI Min， et al. Optimal Control of Light Source in Paper Defect Detection System Based on Bacterial Colony Algorithm[J]. Transactions of China Pulp and Paper， 2017， 32（4）： 47.

王 崢， 周 強(qiáng)， 李 敏， 等. 基于菌群算法的紙病檢測系統(tǒng)光源優(yōu)化控制[J]. 中國造紙學(xué)報(bào)， 2017， 32（4）： 47.

[4] YUAN Kui， HE Wen-hao， XIAO Han. Design for Embedded Image Processing on FPGAs[M]. Beijing： Publishing House of Electronics Industry， 2013： 300.

原 魁， 何文浩， 肖 晗. 基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)[M]. 北京： 電子工業(yè)出版社， 2013： 300.

[5] LIU Yong， ZHOU Qiang， LIU Tao， et al. Paper Defect Pretreatment System Based on FPGA[J]. China Pulp & Paper， 2013， 32（8）： 46.

劉 勇， 周 強(qiáng)， 劉 濤， 等. 基于FPGA的紙病預(yù)處理系統(tǒng)[J]. 中國造紙， 2013， 32（8）： 46.

[6] DAI Hua-dong， HU Mou-fa， LU Huan-zhang， et al. Design and implementation of target detection algorithm based on connected-domain labeling[J]. Modern Electronic Technology， 2015， 38（20）： 71.

戴華東， 胡謀法， 盧煥章， 等. 基于連通域標(biāo)記的目標(biāo)檢測算法設(shè)計(jì)與實(shí)現(xiàn)[J]. 現(xiàn)代電子技術(shù)， 2015， 38（20）： 71.

[7] LIU Hui-zhong， TANG Wei. The Implement of Web Inspection Preprocessing Algorithm Based on FPGA[J]. Transactions of China Pulp and Paper， 2014， 29（1）： 53.

劉慧忠， 湯 偉. 基于FPGA的紙病檢測預(yù)處理算法的實(shí)現(xiàn)[J]. 中國造紙學(xué)報(bào)， 2014， 29（1）： 53.

[8] DANG Hong-she， WANG Li， ZHOU Qiang. Design of Paper Defect Extraction System Based on FPGA[J]. Transactions of China Pulp and Paper， 2014， 29（3）： 43.

黨宏社， 王 黎， 周 強(qiáng). 基于FPGA的紙病提取系統(tǒng)的設(shè)計(jì)[J]. 中國造紙學(xué)報(bào)， 2014， 29（3）： 43.

[9] TANG Wei， WANG Xian-tong， WANG Feng， et al. Design and Implementation of Web Inspection System Based on FPGA and CCD Camera[J]. China Pulp & Paper， 2016， 31（1）： 57.

湯 偉， 王先通， 王 鋒， 等. 基于FPGA和CCD相機(jī)的紙病檢測系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 中國造紙學(xué)報(bào)， 2016， 31（1）： 57.

[10] LI Qian， WEN Hao， QU Yun-hui， et al. Application of Edge Tracking Algorithm to Multiple Paper Defects Segmentation[J]. China Pulp & Paper， 2017， 36（8）： 41.

李 茜， 文 豪， 曲蘊(yùn)慧， 等. 邊緣跟蹤算法在多紙病圖像分割中的應(yīng)用[J]. 中國造紙， 2017， 36（8）： 41.

[11] MA Yi-chao， TAO Ya-fan， WU Long-sheng， et al. FPGA-Based Binary Connected Component Detection and Labeling Algorithm[J]. Microelectronics & Computer， 2017， 34（1）： 119.

馬毅超， 陶亞凡， 吳龍勝， 等. 基于 FPGA 的二值圖片連通區(qū)域標(biāo)記算法[J]. 微電子學(xué)與計(jì)算機(jī)， 2017， 34（1）： 119.

[12] He Lifeng， Chao Yuyan， Suzuki Kenji， et al. Fast connected-component labeling[J]. Pattern Recognition， 2009， 42（9）： 1977.

[13] LUO Zhi-Zao， ZHOU Ying-wu， ZHENG Zhong-kai. Optimizing Algorithm of Labeling Connected Components in Binary Images[J]. Journal of Anqing Normal University（Natural Science Edition）， 2010， 16（4）： 34.

羅志灶， 周贏武， 鄭忠楷. 二值圖像連通域標(biāo)記優(yōu)化算法[J]. 安慶師范大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2010， 16（4）： 34.

[14] ZHAO Fei， ZHANG Lu， ZHANG Zhi-yong， et al. A Hardware Acceleration Based Algorithm for Real-time Binary Image Connected-component Labeling[J]. Journal of Electronics & Information Teclonogy， 2011， 33（5）： 1069.

趙 菲， 張 路， 張志勇， 等. 基于硬件加速的實(shí)時(shí)二值圖像連通域標(biāo)記算法[J]. 電子與信息學(xué)報(bào)， 2011， 33（5）： 1069.

[15] NIU Lian-qiang， PENG Min， SUN Zhong-li， et al. Fast Connected Components Labeling by Propagating Labels of Run Sets[J]. Journal of Computer-Aided Design and Computer Graphics， 2015， 27（1）： 128.

牛連強(qiáng)， 彭 敏， 孫忠禮， 等. 利用游程集合的標(biāo)號傳播實(shí)現(xiàn)快速連通域標(biāo)記[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2015， 27（1）： 128.

[16] MA Yi-hang， ZHAN Li-jun， XIE Chuan-jie， et al. Parallelization of Connected Component Labeling Algorithm[J]. Geography and Geo-Information Science， 2013， 29（4）： 67.

馬益杭， 占利軍， 謝傳節(jié)， 等. 連通域標(biāo)記算法的并行化研究[J]. 地理與地理信息科學(xué)， 2013， 29（4）： 67.

[17] TAN Xu-bin， XIE Yi-zhuang， CHEN He， et al. Design and Implementation of Connected Domain Markers Based on FPGA[J]. Signal Processing， 2011， 27（11）： 1729.

譚許彬， 謝宜壯， 陳 禾， 等. 基于FPGA的連通域標(biāo)記設(shè)計(jì)與實(shí)現(xiàn)[J]. 信號處理， 2011， 27（11）： 1729.

[18] WANG Kai， SHI Long-zhao. Design and implementation of fast connected component labeling algorithm based on FPGA[J]. Computer Engineering and Applications， 2016， 52（18）： 192.

王 凱， 施隆照. 基于FPGA的快速連通區(qū)域標(biāo)記算法的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程與應(yīng)用， 2016， 52（18）： 192.

[19] WANG Yao， YU Zu-jun， WANG Zhong-wei， et al. Hardware Implementation of Detection Algorithm for Clearance Based on FPGA[J]. Journal of The China Railway Society. 2016， 38（3）： 84.

王 堯， 余祖俊， 王中衛(wèi)， 等. 基于FPGA的鐵路異物檢測算法的硬件實(shí)現(xiàn)[J]. 鐵道學(xué)報(bào)， 2016， 38（3）： 84.

[20] Pandey J G， Karmakar A， Mishra A K， et al. Implementation of an improved connected component labeling algorithm using FPGA-based platform[C]// International Conference on Signal Processing and Communications. IEEE， 2014： 255.