基于視覺感知機(jī)制的織物疵點(diǎn)輪廓檢測①

師 昕, 趙雪青

(西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 西安 710048)

織物疵點(diǎn)檢測是紡織品質(zhì)量監(jiān)控中一項(xiàng)最重要的工序, 織物疵點(diǎn)主要指紡織品在紡紗、織造、印染等過程中由于原材料質(zhì)量、機(jī)械故障、工人疏漏等原因造成的表面瑕疵, 不僅對織物成品的質(zhì)量造成負(fù)面影響, 同時(shí)會(huì)帶來較大的經(jīng)濟(jì)損失[1].因此, 在坯布進(jìn)行再加工之前, 需要進(jìn)行嚴(yán)格的質(zhì)量檢測.然而, 現(xiàn)有的織物質(zhì)量檢測仍多依賴于人工作業(yè), 不僅枯燥且重復(fù)性極強(qiáng), 要求作業(yè)工人精力高度集中, 通過視覺發(fā)現(xiàn)織物疵點(diǎn)并進(jìn)行修整和標(biāo)注, 這種檢測方法不僅耗時(shí)而且嚴(yán)重傷害工人的視覺[2,3], 面臨日益上漲的人工成本, 已難以滿足市場對高質(zhì)量紡織品的需求.因此, 順應(yīng)工業(yè)4.0時(shí)代的發(fā)展要求, 紡織行業(yè)的智能化已成為不可避免的趨勢, 其中使用機(jī)器視覺代替人工進(jìn)行疵點(diǎn)檢測,不僅可以提高檢測效率和精度, 更能有效控制成本, 已成為眾多紡織企業(yè)的迫切需求[4].

近年來, 隨著計(jì)算機(jī)視覺、數(shù)字圖像等信息技術(shù)的不斷發(fā)展, 其在紡織品生產(chǎn)及質(zhì)量控制上的應(yīng)用也吸引眾多國內(nèi)外學(xué)者進(jìn)行研究[5-7].通常, 數(shù)字化的織物疵點(diǎn)圖像在空間域上可由灰度值矩陣表示, 疵點(diǎn)與背景的區(qū)別主要表現(xiàn)在灰度值無規(guī)律的突變, 在一定范圍內(nèi)可表示為織物圖像的邊緣[8].因此, 結(jié)合圖像邊緣檢測技術(shù)進(jìn)行織物疵點(diǎn)檢測是非常有效的方法.常用的邊緣檢測方法有Canny、Sobel、Laplacian、Prewitt等方法, 其中, Canny因其檢測精度高, 信噪比大等優(yōu)點(diǎn), 在織物疵點(diǎn)檢測領(lǐng)域得到廣泛應(yīng)用[9].然而, 傳統(tǒng)圖像邊緣檢測過程中, 通常結(jié)合專家經(jīng)驗(yàn)和視覺感知來界定圖像邊緣[10], 基于Canny的方法僅利用圖像中的梯度值與梯度方向來確定邊緣, 并未考慮視覺感知這一因素對邊緣檢測結(jié)果的影響, 因此, 使用基于Canny的方法檢測出的織物疵點(diǎn), 常與實(shí)際視覺檢測的結(jié)果產(chǎn)生差異, 從而導(dǎo)致錯(cuò)檢, 多檢等問題[11].

本文受到人類視覺系統(tǒng)中視覺通路對圖像邊緣信息處理機(jī)理的啟發(fā), 提出一種基于視覺感知機(jī)制的自適應(yīng)織物疵點(diǎn)輪廓檢測方法.首先, 模擬視覺系統(tǒng)中視網(wǎng)膜感受野對視覺信息的處理機(jī)制構(gòu)建織物疵點(diǎn)圖像濾波模型, 該模型可在濾除織物疵點(diǎn)圖像噪聲信息的同時(shí), 增強(qiáng)疵點(diǎn)信息的強(qiáng)度; 其次, 基于視覺通路初級視皮層(V1)區(qū)對視覺信息響應(yīng)的方向選擇性建立織物疵點(diǎn)圖像邊緣檢測模型, 實(shí)現(xiàn)對織物疵點(diǎn)圖像邊緣信息的提取; 最后, 根據(jù)織物疵點(diǎn)圖像的邊緣檢測結(jié)果,采用自適應(yīng)閾值選擇的方法[12], 對織物疵點(diǎn)邊緣檢測結(jié)果進(jìn)行二次檢測, 獲得織物疵點(diǎn)的輪廓.

1 視覺信息處理機(jī)制

生物實(shí)驗(yàn)研究表明, 人類獲取的視覺信息, 主要通過外界光刺激視網(wǎng)膜, 經(jīng)視覺神經(jīng)傳導(dǎo)并最終在大腦視覺中樞進(jìn)行加工和分析后獲得的主觀感覺[13].如圖1所示, 視網(wǎng)膜和大腦皮層是視覺信息形成的最為重要的兩個(gè)功能區(qū), 其中, 視網(wǎng)膜負(fù)責(zé)感光成像, 且由于視網(wǎng)膜細(xì)胞感受野的存在, 對成像信息具有增強(qiáng)/抑制的功能[14].大腦皮層中與視覺有關(guān)的神經(jīng)細(xì)胞群形成視覺中樞, 對經(jīng)由視覺神經(jīng)傳導(dǎo)而來的信息進(jìn)行整合加工, 進(jìn)而形成完整的視覺認(rèn)知, 其中, 對邊緣信息的加工主要位于大腦皮層的初級視皮(V1)區(qū)域[15].

圖1 視覺信息處理機(jī)制流程圖

2 織物疵點(diǎn)檢測模型

2.1 織物疵點(diǎn)圖像預(yù)處理

針對織物疵點(diǎn)圖像進(jìn)行預(yù)處理, 模擬視覺系統(tǒng)中視網(wǎng)膜感受野對視覺信息的處理機(jī)制構(gòu)建織物疵點(diǎn)圖像濾波模型進(jìn)行濾波, 同時(shí), 針對濾波后的織物疵點(diǎn)圖像采用圖像增強(qiáng)的方法進(jìn)行疵點(diǎn)增強(qiáng).視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞, 其感受野(單個(gè)細(xì)胞接收刺激的區(qū)域)在空間上的分布表現(xiàn)為同心圓結(jié)構(gòu)[16,17].Rodieck[18]通過生物實(shí)驗(yàn)證明, 同心圓結(jié)構(gòu)感受野的中心和周圍區(qū)域具有拮抗性, 且均服從高斯分布, 但感受野中心區(qū)域的敏感度更高.根據(jù)感受野的反應(yīng)敏感性, 可將其分為兩類,中心興奮-周圍抑制型(on型)及中心抑制-周圍興奮型(off型), 由于中心區(qū)域和周圍區(qū)域的響應(yīng)強(qiáng)度與刺激時(shí)間有關(guān), 基于以上生理學(xué)研究, 提出on型視網(wǎng)膜感受野模型如式(1)所示.

式中,Rc(t)和Rs(t)為根據(jù)生理學(xué)實(shí)驗(yàn)得到視網(wǎng)膜響應(yīng)關(guān)于時(shí)間變化的函數(shù)[19], σc和 σs分別為感受野模型中心區(qū)域和周圍區(qū)域的半徑, 且 σc≈1/3×σs.Gσ(x)為高斯函數(shù), 定義為式(2).

其中, σ為高斯函數(shù)的方差.off型視網(wǎng)膜感受野模型為on型視網(wǎng)膜感受野模型的相反數(shù), 即Retinaoff(x)=-Retinaon(x).

圖2所示為本文模擬視網(wǎng)膜感受野的生理學(xué)基礎(chǔ)所提出的濾波器在不同時(shí)間取值下的頻域示意圖.明顯地, 當(dāng)時(shí)間取值合適(如t=30 ms)時(shí), 該濾波器呈現(xiàn)出帶通特性.因此, 使用式(1)定義的視網(wǎng)膜感受野模型對織物疵點(diǎn)圖像進(jìn)行帶通濾波, 既可以濾除低頻區(qū)域的噪聲信息, 又可以增強(qiáng)位于高頻區(qū)域的疵點(diǎn)邊緣信息.

圖2 視網(wǎng)膜感受野模型的頻率域示意圖

2.2 方向選擇性邊緣檢測模型

相關(guān)生物生理學(xué)研究表明, 作為哺乳動(dòng)物的視覺神經(jīng)中樞, 初級視皮層V1區(qū)的神經(jīng)元呈現(xiàn)出方向選擇特性, 即單個(gè)神經(jīng)元細(xì)胞僅對特定方向的邊緣、輪廓信息有響應(yīng).此外, 視網(wǎng)膜細(xì)胞的輸出沿特定方向排列決定初級視皮層V1區(qū)神經(jīng)元的方向選擇性[20].以上研究為符合人類視覺感知的輪廓檢測方法[21]提供了生物學(xué)依據(jù).

首先, 初級視皮層V1區(qū)的神經(jīng)元細(xì)胞接收來自視網(wǎng)膜細(xì)胞的輸出作為輸入, 如式(3):

其中,Imageinput為灰度化和歸一化后的織物疵點(diǎn)圖像,Retinaδ(x,y)為式(1)定義的視網(wǎng)膜感受野模型,δ決定感受野極性為on型或off型.使用視網(wǎng)膜感受野模型對織物疵點(diǎn)圖像進(jìn)行卷積操作, 得到視網(wǎng)膜細(xì)胞的輸出.

其次, 對空間上臨近的若干個(gè)視網(wǎng)膜細(xì)胞的輸出進(jìn)行加權(quán)求和形成子單元的響應(yīng), 如式(4), 式(5)所示:

根據(jù)神經(jīng)生理學(xué)對人眼視網(wǎng)膜特性的研究, 本文中設(shè)置d0=2,α=0.9為固定參數(shù).

最后, V1區(qū)細(xì)胞的方向選擇性由多個(gè)子單元沿特定方向排列而成, 定義為這些子單元的幾何加權(quán)平均,如式(7), 式(8)所示:

其中, Sδi,σi,ρi,φi(x,y)為式(4)得到的若干個(gè)視網(wǎng)膜細(xì)胞加權(quán)求和形成的子單元響應(yīng), ωi定義為關(guān)于視網(wǎng)膜細(xì)胞相對于子單元中心的幅值 ρi的高斯函數(shù),C為組成V1區(qū)細(xì)胞響應(yīng)的多個(gè)子單元集合.當(dāng)且僅當(dāng)所有的子單元都被激活時(shí), 這些子單元組成的初級視皮層V1區(qū)的細(xì)胞才被激活.

初級視皮層V1區(qū)細(xì)胞針對不同方向的選擇性可以通過改變子單元位置參數(shù)得到, 模型中定義 ψ (C)為一系列不同方向角度對應(yīng)的子單元位置參數(shù)集合.使用具有不同方向選擇性的模型對輸入的織物疵點(diǎn)圖像進(jìn)行處理, 即可以獲得織物疵點(diǎn)圖像在各個(gè)方向的邊緣.最后, 使用最大化操作方法對各個(gè)方向的邊緣圖像進(jìn)行合并, 如式(9):

為了盡可能排除干擾, 保留相對較明顯的邊緣信息, 對合并后的織物疵點(diǎn)邊緣圖像進(jìn)行非極大值抑制,僅保留某邊緣梯度方向上的局部最大值, 得到最終的織物疵點(diǎn)邊緣響應(yīng)圖像.

2.3 織物疵點(diǎn)輪廓檢測

通過邊緣檢測和非極大值抑制得到的織物疵點(diǎn)邊緣圖像, 采用閾值控制來濾除噪聲及微小變化引起的偽邊緣, 從而獲得織物疵點(diǎn)的輪廓圖像.本文使用Otsu法[22]對織物疵點(diǎn)的邊緣圖像進(jìn)一步分割, 將取得最大類間方差時(shí)的分割值作為閾值, 對織物疵點(diǎn)邊緣檢測結(jié)果進(jìn)行二次檢測, 獲得織物疵點(diǎn)的最終輪廓, 從而實(shí)現(xiàn)自適應(yīng)的檢測織物疵點(diǎn)檢.其中, 類間方差定義如式(10):

其中, ω1,ω2分別為疵點(diǎn)像素和非疵點(diǎn)像素占比,μ1,μ2為疵點(diǎn)像素和非疵點(diǎn)像素平均邊緣響應(yīng)強(qiáng)度, μ為織物疵點(diǎn)邊緣圖像總平均強(qiáng)度, 定義如式(11)所示:

通過大量的實(shí)驗(yàn)對不同類型的織物疵點(diǎn)圖像進(jìn)行輪廓提取, 可以提取出較好的織物疵點(diǎn)輪廓信息時(shí), 閾值約為77.

2.4 織物疵點(diǎn)檢測算法及流程

本文提出的算法步驟如算法1所示.

算法1.基于視覺感知機(jī)制的織物疵點(diǎn)輪廓檢測算法輸入: 待檢測織物疵點(diǎn)圖像I(x, y), 大小為M×N輸出: 織物輪廓圖像J(x, y), 大小為M×N 1.對待檢測的織物疵點(diǎn)圖像I(x, y)進(jìn)行灰度化和歸一化;2.根據(jù)式(1)和式(3)對織物疵點(diǎn)圖像進(jìn)行帶通濾波;images/BZ_330_594_2033_657_2062.png3.根據(jù)式(4)-式(8)生成由 定義的各個(gè)方向的織物疵點(diǎn)邊緣圖像;4.根據(jù)式(9)對各個(gè)方向上的織物疵點(diǎn)邊緣圖像進(jìn)行合并;5.對第4步得到的織物疵點(diǎn)邊緣圖像進(jìn)行非極大值抑制;

6.根據(jù)式(10)和式(11)進(jìn)行自適應(yīng)閾值選擇, 二值化圖像并得到最終的織物輪廓圖像J(x, y).

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)及評價(jià)指標(biāo)

為驗(yàn)證本文算法的有效性與可行性, 本文選取TILDA[23]公開數(shù)據(jù)庫中破洞、紗疵、油污、跳經(jīng)4種典型的織物疵點(diǎn)圖像進(jìn)行驗(yàn)證, 其中每種類型的疵點(diǎn)圖像各50張, 共200張.實(shí)驗(yàn)平臺的硬件配置如下:Intel Core i5-8250U CPU 1.6 GHz; 內(nèi)存 16 GB; SSD 512 GB; 操作系統(tǒng)Windows 10.程序基于Anaconda 4.3.30的軟件平臺的Python語言開發(fā).

為進(jìn)一步驗(yàn)證本文方法的有效性, 實(shí)驗(yàn)中采用基于不同閾值的Canny疵點(diǎn)檢測方法[9]、基于小波變換的方法[24]及基于Gabor變換的方法[25]作為對比, 分別從主觀感受和客觀指標(biāo)評價(jià)兩個(gè)角度進(jìn)行比較與分析.分別對200張疵點(diǎn)圖像使用C/B比值指標(biāo)進(jìn)行測試并取每類疵點(diǎn)的C/B平均值見表1所示.C/B比值法, 是一種反應(yīng)邊緣線性連接程度的基于連通成分的評價(jià)方法, 其中C表示4連通成分?jǐn)?shù), B表示8連通成分?jǐn)?shù),n連通成分?jǐn)?shù)定義為滿足式(12)的集合S的個(gè)數(shù),

表1 不同方法的C/B比值對比

其中,UImage表示織物疵點(diǎn)圖像所有像素組成的集合,Nn(i)稱為像素i的n鄰域.文獻(xiàn)[26]中提出, 通過數(shù)學(xué)歸納法證明可知, C/B比值越小時(shí), 邊緣線性連接程度越好, 提取出的邊緣效果越好.

3.2 實(shí)驗(yàn)結(jié)果及分析

首先, 對不同方法的檢測結(jié)果從主觀感受角度進(jìn)行定性分析.如圖3所示, 為不同方法對破洞、紗疵、油污、跳經(jīng)4類疵點(diǎn)的檢測結(jié)果, 其中圖3(a)為原始的織物疵點(diǎn)圖像, 圖3(b)為設(shè)置高閾值為0.3的Canny算法檢測結(jié)果, 圖3(c)為設(shè)置高閾值為0.7的Canny算法檢測結(jié)果, 圖3(d)為基于Gabor變換的檢測結(jié)果, 圖3(e)為基于小波變換的檢測結(jié)果, 圖3(f)為本文提出的方法得到的檢測結(jié)果.針對破洞類疵點(diǎn),Canny算法可以檢測出其輪廓信息, 但是由于Canny算法中的雙閾值控制部分選擇的閾值不同, 較小閾值(0.3)如圖3(b)所示, 雖可以保留更多邊緣信息, 但同時(shí)會(huì)引入較多偽邊緣, 而較大的閾值(0.7)如圖3(c)所示, 在剔除掉偽邊緣的同時(shí)也會(huì)誤刪部分真實(shí)輪廓信息.基于Gabor變換的檢測方法, 如圖3(d)所示, 雖可以準(zhǔn)確定位破洞疵點(diǎn)輪廓, 但是由于Gabor濾波器的方向選擇性由不同參數(shù)的排列組合決定, 最終檢測結(jié)果由各個(gè)方向上的邊緣融合而成, 因此會(huì)導(dǎo)致粗邊緣的產(chǎn)生.基于小波變換的檢測方法, 如圖3(e)所示, 也可準(zhǔn)確定位出疵點(diǎn)輪廓, 但是受到噪聲影響較大.而本文提出的方法, 如圖3(f)所示, 不僅可以準(zhǔn)確定位出破洞疵點(diǎn)的完整輪廓, 而且受到噪聲影響較小.針對紗疵類疵點(diǎn), 4種方法的輪廓檢測效果均差強(qiáng)人意, 主要原因可能由于原始疵點(diǎn)圖像中, 疵點(diǎn)輪廓信息并不明顯導(dǎo)致.針對跳經(jīng)類疵點(diǎn), Canny算法可檢測出疵點(diǎn)在水平方向上的斷裂信息, 但是整體的輪廓提取或受噪聲影響較大(高閾值為0.3的Canny算法)或提取不完整(高閾值為0.7的Canny算法), 基于Gabor變換和小波變換的方法, 無法提取出跳經(jīng)類疵點(diǎn).本文提出的方法,可以完整提取出跳經(jīng)類疵點(diǎn)在垂直方向上的輪廓, 但無法反映出水平方向上的斷裂信息.針對油污類疵點(diǎn),0.3閾值的Canny算法引入過多噪聲, 0.7閾值的Canny算法輪廓定位不完整, 基于Gabor變換的方法會(huì)得到粗邊緣, 而基于小波變換的方法, 無法提取出輪廓信息.本文提出的方法, 可以定位出油污輪廓, 且受噪聲影響可忽略.

圖3 不同方法針對破洞、紗疵、跳經(jīng)及油污4種典型織物疵點(diǎn)類型的檢測效果對比圖

其次, 對不同檢測方法取得的織物疵點(diǎn)輪廓圖像進(jìn)行C/B比值的計(jì)算, 表1為本文方法與對比方法的C/B比值數(shù)據(jù)表.由表1可知, 使用本文提出的織物疵點(diǎn)輪廓檢測方法對破洞、紗疵、跳經(jīng)和油污4類織物疵點(diǎn)圖像進(jìn)行疵點(diǎn)檢測, 其檢測結(jié)果的C/B比值均小于其他方法.具體地, 針對不同種類疵點(diǎn), 本文方法的檢測結(jié)果均得到最小的C/B比值.其余方法的C/B比值按照從大到小的順序依次為, 高閾值為0.7的Canny算法, 高閾值為0.3的Canny算法, 基于Gabor變換的方法, 基于小波變換的方法, 這與主觀感受分析結(jié)果較為符合.此外, 針對破洞、紗疵、跳經(jīng)、油污這4類疵點(diǎn), 本文方法的C/B比值相較于高閾值為0.7的Canny算法, 分別降低了38%、22%、15.8%和43%, 這說明本文提出的方法可以獲得連接效果較好的輪廓線.

綜上, 通過對實(shí)驗(yàn)結(jié)果的主觀感受和客觀指標(biāo)C/B比值法進(jìn)行分析可知, 使用本文提出的方法進(jìn)行疵點(diǎn)檢測, 不僅無需對參數(shù)進(jìn)行手工設(shè)置即可自適應(yīng)的完成整個(gè)檢測流程, 而且可較為準(zhǔn)確地提取出破洞類和油污類疵點(diǎn)的輪廓信息以及跳經(jīng)類疵點(diǎn)在垂直方向上的輪廓信息, 且檢測結(jié)果受到噪聲的影響較小.

4 結(jié)論

本文提出一種基于視覺感知的自適應(yīng)織物疵點(diǎn)檢測方法, 對視覺通路中的視網(wǎng)膜具有的濾波功能及初級視覺皮層(V1)區(qū)細(xì)胞具有的方向選擇性進(jìn)行建模,實(shí)現(xiàn)織物疵點(diǎn)圖像的邊緣檢測, 并通過自適應(yīng)閾值控制, 對織物疵點(diǎn)邊緣圖像進(jìn)行二次處理, 最終提取出織物疵點(diǎn)的輪廓.實(shí)驗(yàn)結(jié)果表明, 使用本文方法對含有疵點(diǎn)的織物圖像進(jìn)行檢測, 尤其是對油污和破洞類疵點(diǎn)的檢測效果較好, 跳經(jīng)類疵點(diǎn)的檢測效果次之, 對于紗疵類疵點(diǎn), 雖然能夠檢測出該類型疵點(diǎn)的存在, 但是對其疵點(diǎn)輪廓區(qū)域的定位較差.其主要原因是由于紗疵類疵點(diǎn)的輪廓不顯著, 難以準(zhǔn)確定位, 下一步研究工作將針對紗疵類疵點(diǎn)的準(zhǔn)確定位展開研究.