無(wú)紡布疵點(diǎn)實(shí)時(shí)檢測(cè)技術(shù)與系統(tǒng)設(shè)計(jì)

鄧澤林 劉 行 董云龍 袁 燁 ，

無(wú)紡布具有強(qiáng)度高、透氣性好、質(zhì)地柔軟等優(yōu)點(diǎn)，是生產(chǎn)口罩、干濕擦布等醫(yī)用紡織品的重要原材料[1].在無(wú)紡布實(shí)際生產(chǎn)制造過(guò)程中，質(zhì)量檢測(cè)至關(guān)重要.現(xiàn)階段國(guó)內(nèi)主流的無(wú)紡布質(zhì)量檢測(cè)環(huán)節(jié)大量依賴人工來(lái)完成，用工成本高且自動(dòng)化程度低下，導(dǎo)致效率難以提升.無(wú)紡布的產(chǎn)量大，實(shí)際鋪網(wǎng)生產(chǎn)速度可高達(dá)幾十米/min.而無(wú)紡布的瑕疵尺度通常小于0.5 mm (如圖1 所示)，導(dǎo)致人工檢測(cè)的難度大、檢出率低.根據(jù)李比希最低定律[2]，如果質(zhì)量檢測(cè)員的檢測(cè)效率遠(yuǎn)低于生產(chǎn)效率，則上游的無(wú)紡布生產(chǎn)設(shè)備難以發(fā)揮全部性能.人工檢測(cè)方式不僅制約了無(wú)紡布產(chǎn)能，而且在長(zhǎng)時(shí)間檢測(cè)中質(zhì)檢員也易發(fā)生視覺疲勞，給產(chǎn)品質(zhì)量上引入了嚴(yán)重隱患.因此開展對(duì)無(wú)紡布瑕疵自動(dòng)檢測(cè)的研究，對(duì)提高無(wú)紡布的生產(chǎn)效率和質(zhì)量管控具有深遠(yuǎn)意義.

圖1 無(wú)紡布生產(chǎn)過(guò)程中產(chǎn)生的瑕疵，第1 行為點(diǎn)狀疵點(diǎn)，第2 行為絲狀瑕疵Fig.1 Defects generated in the production process of non-woven fabrics.The dotted defects and filamentary defects are shown in the first and second row

目前對(duì)布匹缺陷檢測(cè)方法主要可分為4 類[3]:基于頻譜、基于統(tǒng)計(jì)、基于模型和基于學(xué)習(xí)等方法.基于頻譜主要是通過(guò)傅里葉變換[4]、小波變換[5-6]和Gabor[7-8]變換等.通過(guò)傅里葉變換的方法無(wú)法在空間上定位瑕疵位置.而小波變換和Gabor 變換的計(jì)算開銷大，難以用于生產(chǎn)過(guò)程中的實(shí)時(shí)檢測(cè).基于統(tǒng)計(jì)學(xué)是通過(guò)直方圖統(tǒng)計(jì)[9-10]、灰度共生矩陣和形態(tài)學(xué)方法對(duì)疵點(diǎn)進(jìn)行特征描述，這類方法[11]計(jì)算開銷小，但是對(duì)光照等噪聲敏感，其錯(cuò)檢、漏檢率較高.基于模型的方法是通過(guò)自回歸模型和馬爾科夫隨機(jī)場(chǎng)模型[12]，判斷織物的紋理是否符合此模型.但是基于模型的方法實(shí)用性不強(qiáng)，近幾年對(duì)其研究較少.

近年來(lái)隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的方法在布匹疵點(diǎn)[13-14]以及其他各類缺陷[15-16]的檢測(cè)中都取得了很好的效果.同時(shí)也有大量的公開數(shù)據(jù)集[17-19]，為織物疵點(diǎn)檢測(cè)技術(shù)的發(fā)展提供了數(shù)據(jù)上的支持.基于學(xué)習(xí)的檢測(cè)方法可分為候選區(qū)域的兩階段式和端到端的單階段式，其中候選區(qū)域的兩階段式檢測(cè)方法有著很高的召回率，廣泛應(yīng)用于包括布匹瑕疵在內(nèi)的各類缺陷檢測(cè)任務(wù)中.基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò) (Region convolutional neural network，R-CNN)[20]的布匹瑕疵檢測(cè)方法通過(guò)滑窗將高分辨的布匹圖像裁剪成2 000 余個(gè)48×48 像素的圖像塊，并將圖像塊作為輸入，以神經(jīng)網(wǎng)絡(luò)作為一個(gè)二元分類器判斷輸入的圖像塊是否存在瑕疵.但是這種方法的計(jì)算開銷大，難以用于實(shí)時(shí)檢測(cè)中.基于Fast R-CNN[21-22]的布匹瑕疵檢測(cè)算法，通過(guò)在高層的特征圖中選取候選區(qū)域以提高效率.但是無(wú)紡布的缺陷尺寸通常小于0.5 mm，在經(jīng)過(guò)卷積后的高層特征圖中存在細(xì)節(jié)紋理信息丟失，因此這種方法選取的候選區(qū)域容易遺漏缺陷區(qū)域.

目前對(duì)于無(wú)紡布疵點(diǎn)檢測(cè)的研究較少，主要使用邊緣檢測(cè)與動(dòng)態(tài)閾值相結(jié)合的經(jīng)典機(jī)器視覺方法[23].這種方法有較高的檢測(cè)效率，但是精度和召回率都較低.研究人員對(duì)于織物的疵點(diǎn)檢測(cè)展開了大量研究，基于深度神經(jīng)網(wǎng)絡(luò)的方法有效地提升了檢測(cè)的召回率和精度，但檢測(cè)效率依然低下.對(duì)于256×256 像素的織物圖像平均檢測(cè)耗時(shí)達(dá)198 ms[24]，無(wú)法滿足無(wú)紡布的實(shí)時(shí)檢測(cè)要求.無(wú)紡布生產(chǎn)過(guò)程中，布匹寬度大、傳送速度快的特點(diǎn)會(huì)產(chǎn)生大量圖像數(shù)據(jù)，基于卷積神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)方法難以滿足無(wú)紡布檢測(cè)的實(shí)時(shí)性.因此，目前已有的基于深度學(xué)習(xí)的織物檢測(cè)方法無(wú)法直接應(yīng)用于無(wú)紡布的實(shí)時(shí)檢測(cè)中.

綜上所述，基于傳統(tǒng)機(jī)器視覺的檢測(cè)方法計(jì)算開銷大或難以適應(yīng)噪聲的干擾.對(duì)于無(wú)紡布中尺寸微小的疵點(diǎn)，目前基于神經(jīng)網(wǎng)絡(luò)的布匹檢測(cè)方法難以平衡檢測(cè)的召回率和效率.本文提出了一種基于最大穩(wěn)定極值區(qū)域分析和深度學(xué)習(xí)協(xié)同的無(wú)紡布瑕疵檢測(cè)方法，能夠同時(shí)兼顧檢測(cè)的精度與效率.本文主要貢獻(xiàn)如下:

1) 提出了一種基于最大穩(wěn)定極值區(qū)域和深度學(xué)習(xí)協(xié)同的無(wú)紡布瑕疵檢測(cè)方法，可用于無(wú)紡布生產(chǎn)過(guò)程的瑕疵實(shí)時(shí)檢測(cè).

2) 通過(guò)最大穩(wěn)定極值區(qū)域 (Maximally stable extremal regions，MSER)[25]算法提取候選區(qū)域的錨點(diǎn)中心.在不降低分辨率和檢測(cè)精度的情況下，有效地提高檢測(cè)的效率.

3) 設(shè)計(jì)了一種分布式無(wú)紡布疵點(diǎn)實(shí)時(shí)檢測(cè)系統(tǒng)，降低對(duì)計(jì)算能力與通信帶寬的需求，提高了系統(tǒng)運(yùn)行的可靠性.

1 瑕疵檢測(cè)算法

本文提出了一種基于最大穩(wěn)定極值區(qū)域分析和深度學(xué)習(xí)協(xié)同的無(wú)紡布瑕疵檢測(cè)方法，并通過(guò)預(yù)檢測(cè)和精確檢測(cè)兩級(jí)檢測(cè)的方式保證精度與效率.

1.1 候選區(qū)域生成

本文使用的是兩階段的區(qū)域候選檢測(cè)方案，區(qū)域候選檢測(cè)方案有著較高的召回率[26]，廣泛用于各類缺陷檢測(cè)中.但是簡(jiǎn)單使用滑窗式的區(qū)域候選方法產(chǎn)生候選區(qū)域過(guò)多，難以滿足實(shí)時(shí)的檢測(cè)要求.而在特征圖中選取候選區(qū)域的方法，會(huì)遺漏微小的無(wú)紡布疵點(diǎn).

如圖1 所示，可以看到無(wú)紡布中的疵點(diǎn)通常與鄰域的灰度值存在差異，因此本文使用最大穩(wěn)定極值區(qū)域(MSER)來(lái)選取候選區(qū)域.MSER 作為一種圖像中斑點(diǎn)區(qū)域檢測(cè)的方法，常用于圖像中文本區(qū)域檢測(cè)的任務(wù).而無(wú)紡布通常為淺色，疵點(diǎn)為深色，和文本與背景的關(guān)系相似.MSER 無(wú)需平滑處理即可快速地對(duì)多尺度目標(biāo)進(jìn)行檢測(cè)，提取無(wú)紡布中不同尺寸的疵點(diǎn).MSER 的思路為:通過(guò)一系列的閾值對(duì)灰度化的圖像進(jìn)行二值化操作，并獲取不同閾值條件下二值圖像的聯(lián)通區(qū)域.分析各個(gè)聯(lián)通區(qū)域的面積隨閾值增長(zhǎng)時(shí)的變化率，如果聯(lián)通區(qū)域能夠在很寬的閾值范圍內(nèi)保持較小的面積變化率，則為穩(wěn)定區(qū)域.其實(shí)施細(xì)節(jié)如算法1 所示.MSER 可以有效地生成合格的疵點(diǎn)候選區(qū)域，并且可以通過(guò)調(diào)整閾值τ以滿足對(duì)不同等級(jí)缺陷的定制檢測(cè)要求.

算法 1.最大穩(wěn)定極值區(qū)域算法

MSER 可以產(chǎn)生有效且可控的候選點(diǎn)，如圖2所示.通過(guò)MSER 算法提取了候選點(diǎn)后，以候選點(diǎn)為中心提取48×48 像素大小的矩形區(qū)域作為預(yù)檢測(cè)模型和精確檢測(cè)模型的輸入.

1.2 預(yù)檢測(cè)模型

當(dāng)復(fù)卷機(jī)工作在高速模式時(shí)，首先由預(yù)檢測(cè)攝像頭組獲得圖像數(shù)據(jù)，經(jīng)過(guò)MSER 算法提取候選區(qū)域，預(yù)檢測(cè)模型作為二元分類器判斷候選區(qū)域中是否存在瑕疵.為了防止池化操作丟失細(xì)節(jié)紋理信息而造成疵點(diǎn)的漏檢，模型中沒有使用池化層來(lái)減少模型的參數(shù)，以保證預(yù)檢測(cè)過(guò)程的召回率.

圖2 在不同閾值 τ 時(shí)MSER 算法產(chǎn)生的候選區(qū)域，圖中點(diǎn)代表候選區(qū)域的中心Fig.2 In the candidate regions generated by the MSER algorithm at different thresholdsτ，the dots represent the center position of the candidate region

圖3 本文采用的預(yù)檢測(cè)模型結(jié)構(gòu)圖.輸入疵點(diǎn)圖像經(jīng)過(guò)三個(gè)不同尺度的卷積后得到三個(gè)特征圖，特征圖拼接后作為稠密連接模塊的輸入.稠密連接模塊輸出與全連接層和softmax 層相連.其中虛線矩形框出部分為展開稠密連接模塊的具體形式Fig.3 The structure diagram of the pre-detection model used in this paper.The input defect image is convolved at three different scales to obtain three feature maps，and the feature maps are concatenated as the input of the dense block.The output of the dense block is connected to the fully connected layer and the softmax layer.Among them.The dashed rectangle outlines the specific form of the dense block

預(yù)檢測(cè)的模型結(jié)構(gòu)如圖3 所示，輸入的48×48像素的圖像經(jīng)過(guò) 1×1，3×3，5×5 的卷積層得到3 個(gè)特征圖，3 種不同尺度的卷積核可以實(shí)現(xiàn)不同大小的感受野，提高特征感知與整合能力.將3 個(gè)特征圖拼接后作為稠密連接模塊[27]的輸入，稠密連接模塊中的每一層的輸入來(lái)自之前所有層的輸出，能夠充分保留細(xì)節(jié)信息，提高網(wǎng)絡(luò)的特征感知能力.稠密連接模塊能夠加強(qiáng)特征圖中特征的傳遞，如在稠密連接模塊的最后一層仍然保留輸入圖像的高分辨率信息.這種連接方式可防止在多層卷積計(jì)算的過(guò)程中，丟失無(wú)紡布圖像細(xì)微的疵點(diǎn)語(yǔ)義信息.稠密連接模塊的輸出與全連接層相連，預(yù)測(cè)結(jié)果最后通過(guò)softmax函數(shù)將輸出映射至 [0，1].

預(yù)檢測(cè)模型的輸入為經(jīng)過(guò)MSER 提取的48×48像素大小的候選區(qū)域，輸出為此區(qū)域存在疵點(diǎn)的概率.訓(xùn)練時(shí)使用二值交叉熵?fù)p失函數(shù)作為損失函數(shù):

其中，xi，yi表示訓(xùn)練數(shù)據(jù)的輸入和標(biāo)注，f1(·) 表示預(yù)檢測(cè)二元分類器.

1.3 精確檢測(cè)模型

當(dāng)預(yù)檢測(cè)模型檢測(cè)到當(dāng)前無(wú)紡布存在缺陷時(shí)，主機(jī)控制機(jī)將復(fù)卷機(jī)的工作模式切換為低速.在低速工作模式下，精確檢測(cè)攝像頭組開始采集圖像，并通過(guò)精確檢測(cè)模型預(yù)測(cè)疵點(diǎn)的外接矩形框.精確檢測(cè)模型的結(jié)構(gòu)示意圖如圖4 所示.

圖4 本文采用的精確檢測(cè)模型.其中 tx，ty，tw，th 分別表示檢測(cè)矩形框的橫坐標(biāo)、縱坐標(biāo)、寬度與高度，C 表示疵點(diǎn)檢測(cè)置信度Fig.4 The precise detection model used in this paper.tx，ty，tw，th are the abscissa，ordinate，width and height of the detection rectangle，and C is the confidence of defect detection

精確檢測(cè)模型采用RetinaNet[28]目標(biāo)檢測(cè)模型相似的結(jié)構(gòu)，由特征金字塔部分和全連接部分組成.特征金字塔部分采用了特征金字塔結(jié)構(gòu)[29]，特征金字塔由下采樣和上采樣兩部分組成.下采樣通過(guò)一系列卷積和最大池化操作，不斷地提高特征圖的語(yǔ)義信息維度并降低特征圖分辨率.上采樣再通過(guò)卷積提高特征圖的分辨率并降低語(yǔ)義信息維度.連續(xù)的上采樣和下采樣操作，生成了各個(gè)尺度的特征圖.由于疵點(diǎn)屬于微小的紋理特征，為了防止在下采樣和上采樣恢復(fù)的過(guò)程中細(xì)節(jié)紋理信息的丟失，通過(guò)側(cè)枝結(jié)構(gòu)將高分辨率的特征圖與上采樣的特征圖進(jìn)行合并.合并后的特征圖包含了更加豐富的語(yǔ)義信息，并作為特征金字塔部分的輸出.特征金字塔部分輸出的各個(gè)尺度的特征圖與全連接層相連，并在全連接層中進(jìn)行多尺度語(yǔ)義特征信息融合，精確定位疵點(diǎn)外接矩形.

外接矩形預(yù)處理方式借鑒YOLOv3[30]，精確檢測(cè)網(wǎng)絡(luò)預(yù)測(cè)tx，ty，tw，th四個(gè)系數(shù)和矩形中包含瑕疵的置信度C，四個(gè)系數(shù)與外接矩形B=[bx，by，bw，bh]之間的轉(zhuǎn)換式如式(1)所示.

其中，pw，ph為初始矩形的寬和高，(cx，cy) 表示初始矩形的中心坐標(biāo).tx，ty為橫縱坐標(biāo)上的偏移量，并經(jīng)過(guò)了sigmoid 函數(shù)進(jìn)行非線性壓縮.bx，by，bw，bh分別表示預(yù)測(cè)的外接矩形的中心的橫縱坐標(biāo)和矩形的寬高.

為了初始化矩形框能夠包含相應(yīng)的疵點(diǎn)，初始化矩形通常包含真實(shí)的矩形框.在初始化矩形與真實(shí)矩形為包含關(guān)系時(shí)，IoU (Intersection over union)損失函數(shù)[31]的輸出為零.故精確檢測(cè)模型使用CIoU (Complete-IoU)[32]作為損失函數(shù)，如式(2)所示.與IoU 損失函數(shù)相比，CIoU 還考慮了兩個(gè)矩形之間的中心點(diǎn)距離、長(zhǎng)寬比.因此CIoU 損失函數(shù)在兩個(gè)矩形框?yàn)榘P(guān)系時(shí)模型依然能夠很好地收斂.

精確檢測(cè)模型預(yù)測(cè)的外接矩形框之間存在著較大的重合，還需通過(guò)非極大值抑制(Non-maximum suppression，NMS)算法進(jìn)行后處理才可得到最終的預(yù)測(cè)結(jié)果，如圖5 所示.不斷計(jì)算置信度缺陷最大的矩形與其余矩形的IoU，如果IoU 值大于設(shè)定的閾值T，則認(rèn)為是非極大值并去除.非極大值抑制算法細(xì)節(jié)如算法2 所示.

圖5 NMS 算法處理效果圖Fig.5 NMS algorithm processing effect diagram.(a) is the original image;(b) is the network prediction effect diagram，the network prediction rectangle is drawn with a red rectangle;and (c) is the effect diagram processed by the NMS algorithm.

算法 2.非極大值抑制算法

本文所提出算法的整體思路與具體流程如圖6所示.

2 實(shí)時(shí)檢測(cè)系統(tǒng)設(shè)計(jì)

2.1 整體設(shè)計(jì)

無(wú)紡布的疵點(diǎn)實(shí)時(shí)檢測(cè)系統(tǒng)主要由復(fù)卷機(jī)、高速工業(yè)攝像頭、工業(yè)控制機(jī)集群以及系統(tǒng)控制軟件組成.本文設(shè)計(jì)的系統(tǒng)整體結(jié)構(gòu)如圖7 所示，生產(chǎn)過(guò)程中的無(wú)紡布比較松軟，需要通過(guò)復(fù)卷機(jī)進(jìn)行切邊、分切以及接頭等操作，達(dá)到一定規(guī)格、張力要求才能出廠.系統(tǒng)通過(guò)在復(fù)卷機(jī)上加裝工業(yè)攝像頭來(lái)實(shí)時(shí)采集無(wú)紡布圖像.生產(chǎn)的無(wú)紡布在傳動(dòng)滾軸帶動(dòng)下，無(wú)紡布依次通過(guò)攝像頭的視野范圍.布匹在復(fù)卷機(jī)上進(jìn)行疵點(diǎn)檢測(cè)過(guò)程中，當(dāng)檢測(cè)到疵點(diǎn)時(shí)復(fù)卷機(jī)停止運(yùn)轉(zhuǎn)，由于慣性會(huì)在停止后向前繼續(xù)滾動(dòng)滑出清除面板.為了解決這個(gè)問題，本系統(tǒng)將復(fù)卷機(jī)的工作分為高速和低速兩種模式，并通過(guò)主機(jī)控制機(jī)切換復(fù)卷機(jī)的工作模式.高速工作模式的無(wú)紡布傳送速度為30 m/min，低速時(shí)為3 m/min，在低速模式下布匹緩沖距離較小.

由于視頻流數(shù)據(jù)量巨大，單個(gè)千兆網(wǎng)口只能負(fù)擔(dān)兩路視頻流.系統(tǒng)通過(guò)工業(yè)控制機(jī)集群分布式處理工業(yè)攝像頭采集的無(wú)紡布視頻流數(shù)據(jù)，每臺(tái)工控機(jī)負(fù)責(zé)采集兩路視頻流并通過(guò)交換機(jī)獲取當(dāng)前運(yùn)行狀態(tài)與上傳檢測(cè)結(jié)果.

本文采用兩個(gè)攝像頭組的兩級(jí)檢測(cè)方式，兩級(jí)檢測(cè)使用兩個(gè)結(jié)構(gòu)不同的模型，能夠在保證檢測(cè)效率的情況下精確地檢測(cè)無(wú)紡布中的疵點(diǎn).通過(guò)預(yù)檢測(cè)攝像頭組和精確檢測(cè)攝像頭組協(xié)同工作，兩個(gè)攝像頭之間安裝兩個(gè)存在一定間距.當(dāng)預(yù)檢測(cè)攝像頭組檢測(cè)到缺陷時(shí)，主機(jī)控制機(jī)將復(fù)卷機(jī)調(diào)為低速模式.在低速工作模式下，精確檢測(cè)攝像頭組開始獲取圖像，并檢測(cè)無(wú)紡布圖像中的缺陷.預(yù)檢測(cè)模型使用較簡(jiǎn)單的結(jié)構(gòu)提高檢測(cè)的速率，并且要求預(yù)檢測(cè)模型有著較高的召回率.精確檢測(cè)由于工作在低速傳送的模式下，對(duì)檢測(cè)的效率要求較低.故模型設(shè)計(jì)上可使用較為復(fù)雜的模型結(jié)構(gòu)，以提高檢測(cè)精度.同時(shí)在模型的功能設(shè)計(jì)上，由于預(yù)檢測(cè)模型為二元分類器來(lái)判斷是否存在瑕疵.而精確檢測(cè)模型除了要對(duì)缺陷進(jìn)行分類外，還需要預(yù)測(cè)出瑕疵的外接矩形框.

圖6 無(wú)紡布疵點(diǎn)檢測(cè)算法流程圖Fig.6 Flow chart of non-woven fabric defect detection algorithm

圖7 無(wú)紡布疵點(diǎn)檢測(cè)系統(tǒng)總體組成.(I) 代表工業(yè)控制機(jī)集群，(II) 代表高速工業(yè)攝 像頭，攝像頭發(fā)出的光線代表攝像頭的視野.下方的攝像頭組用于預(yù)檢測(cè)，上方的攝像頭組用于精確檢測(cè)Fig.7 The overall composition of the non-woven defect detection system.In the design diagram (I) represents the industrial control machine cluster，(II) represents the high-peed industrial camera，and the light from the camera represents the camera's field of view.The lower camera group is used for pre-detection，and the upper camera group is used for precise detection

2.2 分布式設(shè)計(jì)

無(wú)紡布寬較大，通常接近3 m，單一攝像頭視野難以覆蓋.本系統(tǒng)通過(guò)16 個(gè)工業(yè)高速攝像頭呈兩排布局來(lái)獲取完整的無(wú)紡布圖像.本系統(tǒng)使用的工業(yè)高速攝像頭的分辨率為500 萬(wàn)像素，采集幀率為10 赫茲.由于視頻流數(shù)據(jù)量巨大，單個(gè)千兆網(wǎng)口只能負(fù)擔(dān)兩路視頻流.本系統(tǒng)通過(guò)工業(yè)控制機(jī)集群分布式處理工業(yè)攝像頭采集的無(wú)紡布視頻流數(shù)據(jù)，每臺(tái)工控機(jī)負(fù)責(zé)采集兩路視頻流并通過(guò)交換機(jī)獲取當(dāng)前運(yùn)行狀態(tài)與上傳檢測(cè)結(jié)果，具體如圖8 所示.

圖8 系統(tǒng)分布式設(shè)計(jì)結(jié)構(gòu)Fig.8 System distributed design structure

系統(tǒng)將16 個(gè)攝像頭分為預(yù)檢測(cè)和精確檢測(cè)兩組，每組8 個(gè)攝像頭.每組攝像頭的視頻流數(shù)據(jù)由4 個(gè)從機(jī)處理器負(fù)責(zé)，每個(gè)從機(jī)處理器處理兩個(gè)相鄰攝像頭產(chǎn)生的視頻流數(shù)據(jù).兩個(gè)攝像頭與一個(gè)從機(jī)工業(yè)控制機(jī)組成一個(gè)子網(wǎng)，從機(jī)控制機(jī)的計(jì)算能力能夠?qū)崟r(shí)地處理兩個(gè)攝像頭采集的視頻流數(shù)據(jù).同時(shí)，系統(tǒng)采用的千兆以太網(wǎng)也能在子網(wǎng)中流暢地傳輸兩個(gè)攝像頭視頻流數(shù)據(jù).在從機(jī)處理器中使用本文的疵點(diǎn)檢測(cè)算法進(jìn)行處理，并將檢測(cè)的疵點(diǎn)結(jié)果和降分辨率的視頻流數(shù)據(jù)通過(guò)以太網(wǎng)發(fā)送給主機(jī)控制機(jī).主機(jī)控制機(jī)根據(jù)各個(gè)從機(jī)的檢測(cè)結(jié)果，給復(fù)卷機(jī)發(fā)送相應(yīng)的控制指令從而控制整個(gè)瑕疵檢測(cè)流程.系統(tǒng)采用控制功能分散、顯示操作集中、兼顧分而自治和綜合協(xié)調(diào)的設(shè)計(jì)原則[33]，有效地提高了系統(tǒng)運(yùn)行的可靠性.

2.3 軟件設(shè)計(jì)

為了實(shí)現(xiàn)更好的數(shù)據(jù)采集與人工交互方式，本系統(tǒng)還配套開發(fā)了疵點(diǎn)實(shí)時(shí)檢測(cè)系統(tǒng)的終端軟件，如圖9 所示.軟件主要用于控制復(fù)卷機(jī)的啟動(dòng)、停止等上層邏輯操作、數(shù)據(jù)集的手工標(biāo)注，以及從機(jī)控制機(jī)識(shí)別結(jié)果的實(shí)時(shí)顯示.軟件的具體功描述如下:

1) 無(wú)紡布數(shù)據(jù)采集的標(biāo)注功能.軟件可控制復(fù)卷機(jī)進(jìn)入低速模式，同時(shí)從機(jī)控制機(jī)不執(zhí)行檢測(cè)功能，直接將采集到的視頻流數(shù)據(jù)轉(zhuǎn)發(fā)至主機(jī)控制機(jī).軟件從視頻流數(shù)據(jù)中提取圖像幀，存儲(chǔ)為未標(biāo)注的數(shù)據(jù)集.通過(guò)軟件對(duì)無(wú)紡布數(shù)據(jù)集進(jìn)行交互式標(biāo)注，支持不同類型的疵點(diǎn)使用不同的標(biāo)注進(jìn)行區(qū)分.

2) 控制復(fù)卷機(jī)的工作.軟件設(shè)計(jì)了相應(yīng)的人機(jī)交互接口，通過(guò)軟件可以顯示目前復(fù)卷機(jī)的工作狀態(tài).同時(shí)，也可控制復(fù)卷機(jī)的停止、工作，以及高速和低速工作模式之間的切換.

圖9 疵點(diǎn)檢測(cè)系統(tǒng)終端軟件Fig.9 Defect detection system terminal software

3) 各個(gè)從機(jī)控制機(jī)疵點(diǎn)檢測(cè)的集中顯示功能.從機(jī)控制機(jī)對(duì)其負(fù)責(zé)的兩個(gè)攝像頭的視頻流數(shù)據(jù)進(jìn)行疵點(diǎn)檢測(cè)，將檢測(cè)結(jié)果和降低分辨率的視頻流傳輸給主機(jī)控制機(jī).主機(jī)控制機(jī)可將檢測(cè)結(jié)果進(jìn)行集中顯示，將檢測(cè)到的疵點(diǎn)通過(guò)矩形框出，并統(tǒng)計(jì)瑕疵的數(shù)目、面積作為無(wú)紡布生產(chǎn)質(zhì)量的定量指標(biāo).

3 實(shí)驗(yàn)

本文的所有程序均在Intel Xeon E3 1 230-v3@3.4 GHz，Nvidia GTX 1 080，32 GB RAM，Ubuntu 16.04 中進(jìn)行.使用Pytorch 框架進(jìn)行訓(xùn)練，開始的50 個(gè)epoch 的學(xué)習(xí)率是 1×10-4，在接下來(lái)的50 個(gè)epoch 學(xué)習(xí)率線性下降到 1×10-6.

3.1 實(shí)施細(xì)節(jié)

在復(fù)卷機(jī)上加裝的高速工業(yè)攝像頭組獲取無(wú)紡布圖像數(shù)據(jù)，通過(guò)NMS 算法選取候選區(qū)域后，手工標(biāo)注疵點(diǎn)并構(gòu)成對(duì)應(yīng)的數(shù)據(jù)集.數(shù)據(jù)集共包含無(wú)紡布圖像2 000 幅，其中的80%用于訓(xùn)練，20%用于測(cè)試.通過(guò)添加高斯噪聲、隨機(jī)裁剪和馬賽克等方式進(jìn)行數(shù)據(jù)增強(qiáng).訓(xùn)練時(shí)的相關(guān)超參數(shù)配置如表1所示.

系統(tǒng)中所使用工業(yè)攝像頭、工業(yè)控制器和交換機(jī)的硬件相關(guān)參數(shù)如表2 所示.

本文采用精度和召回率來(lái)評(píng)估無(wú)紡布疵點(diǎn)檢測(cè)結(jié)果.精度P和召回率R的計(jì)算式為

其中，TP，F(xiàn)P，F(xiàn)N分別表示真正例、假正例和真反例.

表1 訓(xùn)練超參數(shù)配置Table 1 Training hyperparameter configuration

表2 硬件設(shè)備參數(shù)Table 2 Hardware device information

3.2 實(shí)驗(yàn)結(jié)果

MSER 算法對(duì) 2 400×600 像素?zé)o紡布圖像的平均處理速度為12.7 ms.預(yù)檢測(cè)模型和精確檢測(cè)模型分別訓(xùn)練后，在測(cè)試集上對(duì)其進(jìn)行測(cè)試.在測(cè)試集上，兩個(gè)模型在不同閾值τ的精度和召回率如表3 所示，結(jié)果表明可以調(diào)節(jié)不同的閾值來(lái)滿足對(duì)不同程度疵點(diǎn)的定制化檢測(cè).兩個(gè)模型在測(cè)試集的預(yù)測(cè)速度如表4 所示，完全符合復(fù)卷機(jī)在低速和高速模式下預(yù)測(cè)速度要求.測(cè)試集上部分疵點(diǎn)的檢測(cè)效果如圖10 所示.

圖10 通過(guò)本文算法對(duì)疵點(diǎn)進(jìn)行檢測(cè)的結(jié)果Fig.10 The result of defect detection through the algorithm of this paper

表3 模型在不同閾值下的檢測(cè)精度和召回率Table 3 The detection accuracy and recall rate of the model under different thresholds

表4 模型預(yù)測(cè)速度測(cè)試 (ms)Table 4 Model prediction speed test (ms)

YOLOv3、RetianNet、SSD[35]以及本文方法的精度和召回率在不同閾值τ下的對(duì)比如圖10 和圖11所示，由圖11 和圖12 可知本文在精度與召回率上均為最優(yōu).為了驗(yàn)證算法的魯棒性，在不同程度的光照下對(duì)不同紋理的無(wú)紡布使用本文算法進(jìn)行提取疵點(diǎn).實(shí)驗(yàn)結(jié)果如圖13 所示，結(jié)果表明本算法能夠較好地克服無(wú)紡布紋理與外部光照的干擾，精確地檢測(cè)出無(wú)紡布疵點(diǎn).

將訓(xùn)練好的兩級(jí)模型分別部署于工業(yè)控制機(jī)中，使用本文所設(shè)計(jì)系統(tǒng)對(duì)復(fù)卷機(jī)上的無(wú)紡布進(jìn)行疵點(diǎn)檢測(cè).不同類型疵點(diǎn)的檢測(cè)精度和召回率測(cè)試結(jié)果如表5 所示.實(shí)驗(yàn)結(jié)果表明，對(duì)于0.3 mm 以上的疵點(diǎn)召回率為100%，對(duì)0.1 mm 的絲狀疵點(diǎn)召回率98.8%.

圖11 不同模型在不同閾值 τ 下的精度對(duì)比Fig.11 Comparison of the accuracy of different models under different thresholds τ

圖12 不同模型在不同閾值 τ 下的召回率對(duì)比Fig.12 Comparison of recall rates of different models under different thresholds τ

圖13 不同光照和紋理?xiàng)l件下疵點(diǎn)檢測(cè)結(jié)果Fig.13 Defect detection results under different lighting and texture conditions

4 結(jié)論

無(wú)紡布的質(zhì)量檢測(cè)問題直接關(guān)系到其生產(chǎn)效率與質(zhì)量.為了提高無(wú)紡布生產(chǎn)過(guò)程中疵點(diǎn)檢測(cè)的自動(dòng)化程度，本文提出了一種基于最大穩(wěn)定極值區(qū)域與卷積神經(jīng)網(wǎng)絡(luò)協(xié)同的疵點(diǎn)實(shí)時(shí)檢測(cè)系統(tǒng).針對(duì)無(wú)紡布生產(chǎn)過(guò)程中，布匹寬度大、速度快的特點(diǎn).系統(tǒng)通過(guò)預(yù)檢測(cè)與精確檢測(cè)兩級(jí)檢測(cè)機(jī)制，兩級(jí)檢測(cè)分別使用不同結(jié)構(gòu)的模型，在不影響檢測(cè)效率的情況下精確地檢測(cè)無(wú)紡布中的疵點(diǎn).并通過(guò)分布式計(jì)算處理架構(gòu)設(shè)計(jì)，解決了高速工業(yè)攝像頭產(chǎn)生視頻流數(shù)據(jù)過(guò)大的問題.實(shí)驗(yàn)證明本文提出的算法對(duì)疵點(diǎn)的檢測(cè)精度高，且可達(dá)到實(shí)時(shí)的檢測(cè)效率.本文提出的系統(tǒng)對(duì)于0.3 mm 以上疵點(diǎn)召回率100%，對(duì)0.1 mm 絲狀疵點(diǎn)召回率98.8%，完全能夠滿足無(wú)紡布生產(chǎn)現(xiàn)場(chǎng)疵點(diǎn)檢測(cè)的效率與精度要求，可廣泛地推廣應(yīng)用于無(wú)紡布生產(chǎn)的疵點(diǎn)實(shí)時(shí)監(jiān)測(cè)中.目前對(duì)于無(wú)紡布疵點(diǎn)的清除工作還依賴于人工，下一步將在本文的基礎(chǔ)上，對(duì)檢測(cè)出的疵點(diǎn)通過(guò)機(jī)械裝置進(jìn)行去除，進(jìn)一步提高無(wú)紡布生產(chǎn)的自動(dòng)化水平.

表5 不同類型疵點(diǎn)的檢測(cè)精度和召回率測(cè)試Table 5 Testing accuracy and recall rate of different types of defects