基于機(jī)器視覺的布匹色差在線檢測(cè)系統(tǒng)

解國(guó)升，徐 洋，董 蓬，余智祺，孫以澤

(東華大學(xué) 機(jī)械工程學(xué)院，上海201620)

色差是布匹等級(jí)評(píng)定的重要指標(biāo)，直接影響產(chǎn)品的質(zhì)量[1]?，F(xiàn)階段大多數(shù)紡織印染廠采用人工抽檢的方式對(duì)布匹進(jìn)行色差檢測(cè)，該方法勞動(dòng)強(qiáng)度高，受工人主觀因素影響大，且誤檢率較高[2]。隨著機(jī)器視覺技術(shù)的發(fā)展，利用機(jī)器視覺技術(shù)代替人工進(jìn)行色差檢測(cè)成為色差檢測(cè)新途徑[3-4]。國(guó)外色差檢測(cè)系統(tǒng)起步較早，但成本昂貴，對(duì)工人操作水平要求高；而國(guó)內(nèi)色差檢測(cè)系統(tǒng)研究較晚，應(yīng)用較少。

國(guó)內(nèi)外學(xué)者對(duì)基于機(jī)器視覺的布匹色差檢測(cè)系統(tǒng)，特別是色差檢測(cè)算法以及軟件系統(tǒng)構(gòu)架進(jìn)行了大量探索。此外，國(guó)內(nèi)學(xué)者金守峰[5]通過線陣相機(jī)采集圖像，并利用色差公式和視覺檢測(cè)系統(tǒng)對(duì)布匹色差進(jìn)行統(tǒng)計(jì)檢測(cè)，但未對(duì)色差檢測(cè)算法及色差檢測(cè)軟件進(jìn)行研究。寧雨薇[6]提出了一種基于T-S模糊神經(jīng)網(wǎng)絡(luò)分塊色差檢測(cè)算法，通過訓(xùn)練大量圖像完成RGB到Lab空間的轉(zhuǎn)換，并設(shè)計(jì)了一個(gè)基礎(chǔ)的軟件界面，但其軟件是基于單張圖片設(shè)計(jì)的，且訓(xùn)練過程比較復(fù)雜，計(jì)算量大，故不適合應(yīng)用在工業(yè)在線檢測(cè)過程中。Zhou等[7]采用灰狼算法優(yōu)化支持向量機(jī)的方法對(duì)染色品色差進(jìn)行分類，但其算法未應(yīng)用于色差在線檢測(cè)系統(tǒng)。Shams-Nateri[8]采用基于神經(jīng)網(wǎng)絡(luò)和多項(xiàng)式回歸方法來(lái)估計(jì)紡織品色差的模型,其計(jì)算量大，過程復(fù)雜。因此探索能夠適應(yīng)布匹色差在線檢測(cè)算法，并設(shè)計(jì)在線檢測(cè)色差的軟件系統(tǒng)，成為降低工廠色差檢測(cè)成本的有效途徑[9]。

本文設(shè)計(jì)了經(jīng)編布匹在線檢測(cè)算法，搭建了布匹色差在線檢測(cè)平臺(tái)，編寫了經(jīng)編布匹色差在線檢測(cè)軟件。經(jīng)過工廠試驗(yàn)驗(yàn)證，色差檢測(cè)系統(tǒng)能夠滿足工廠實(shí)時(shí)性要求。此外，本研究設(shè)計(jì)了可視化的軟件界面，使軟件能夠?qū)崿F(xiàn)相機(jī)等硬件和算法的結(jié)合，以便將布匹檢測(cè)結(jié)果更好地呈現(xiàn)給檢測(cè)人員。

1 布匹色差在線檢測(cè)硬件系統(tǒng)組成

布匹色差在線檢測(cè)系統(tǒng)硬件主要由送布裝置、條形光源、防抖裝置、線掃彩色相機(jī)、計(jì)算機(jī)、圖像采集卡、歐姆龍編碼器組成，其結(jié)構(gòu)示意圖如圖1所示。經(jīng)編布匹在送布裝置和卷布裝置帶動(dòng)下經(jīng)過相機(jī)視野區(qū)域。編碼器放置在布匹上方，其觸發(fā)脈沖為1 000 p/r,主要功能為控制相機(jī)觸發(fā)采集布匹圖像。線掃彩色相機(jī)距離布匹1 m，以保證視野大于布匹幅寬。

圖1 經(jīng)編布匹色差檢測(cè)系統(tǒng)示意圖Fig.1 Diagram of warp knitted fabric color difference detection system

搭建布匹色差在線檢測(cè)硬件系統(tǒng)時(shí)，要保證布匹水平運(yùn)動(dòng)的振動(dòng)小，光源與線掃彩色相機(jī)垂直；要調(diào)整編碼器的丟棄脈沖個(gè)數(shù)，保證采集的圖像不失真、不壓縮、不擴(kuò)張。卷布裝置和送布裝置保證布匹運(yùn)動(dòng)速度為0.8 m/s。D65條形光源為隧道光源。在進(jìn)行檢測(cè)時(shí)，線掃彩色相機(jī)需對(duì)準(zhǔn)光源縫隙，以保證相機(jī)能夠采集一行經(jīng)編布匹圖像。

2 布匹色差在線檢測(cè)算法

布匹色差在線檢測(cè)算法是系統(tǒng)的核心，主要包含圖像邊緣處理、標(biāo)準(zhǔn)圖的構(gòu)建、圖像尺寸處理、布匹色差值計(jì)算、色差合格率計(jì)算等5個(gè)部分。首先，將采集到的待測(cè)布匹進(jìn)行邊緣處理，去除圖像黑邊；其次，構(gòu)建待測(cè)布匹的標(biāo)準(zhǔn)圖；然后，利用圖像金字塔降低圖像尺寸；最后，進(jìn)行色差與色差合格率的計(jì)算。

2.1 圖像邊緣處理

布匹色差檢測(cè)過程中要保證布匹的完整性，因此，線掃相機(jī)在采集圖像的時(shí)候會(huì)抓取多余的圖像，使得圖像存在黑邊，如圖1所示。后續(xù)色差檢測(cè)會(huì)受圖像黑邊的影響，因此需要選取合適的方式去除圖像的黑邊。目前圖像截取方法主要有矩形截取法、閾值截取法。

矩形截取法是在采集到的圖像中尋找其最大內(nèi)接矩形，并以最大內(nèi)接矩形來(lái)截取圖像區(qū)域進(jìn)行后續(xù)處理，如圖2所示。色差在線檢測(cè)算法中矩形截取法可以快速截取圖像區(qū)域，但在截取過程中會(huì)損失圖像邊緣的一些信息。

圖2 截取圖像示意圖Fig.2 Interception of image schematics

閾值截取法，其核心是找到閾值在一定范圍內(nèi)的圖像區(qū)域。由于在布匹驗(yàn)布過程中，其閾值穩(wěn)定地集中在一定區(qū)域內(nèi)，因此可用閾值截取法來(lái)截取圖像區(qū)域。截取過程如圖3所示。

圖3 閾值截取法流程示意圖Fig.3 Flow diagram of threshold interception method

2.2 標(biāo)準(zhǔn)圖的構(gòu)建

標(biāo)準(zhǔn)圖的構(gòu)建是色差檢測(cè)的重要步驟，目前工廠中色差檢測(cè)采用比色卡對(duì)比法[10]，其中比色卡是其標(biāo)準(zhǔn)圖。如何將標(biāo)準(zhǔn)圖應(yīng)用于在線檢測(cè)中是算法的關(guān)鍵。采集不存在色差的布匹圖像，提取圖像中各點(diǎn)像素平均值，再利用各點(diǎn)像素平均值構(gòu)建標(biāo)準(zhǔn)圖像，從而構(gòu)建色差檢測(cè)標(biāo)準(zhǔn)圖。

色差在線檢測(cè)軟件中會(huì)應(yīng)用到色差波動(dòng)計(jì)算標(biāo)準(zhǔn)圖和色差合格率計(jì)算標(biāo)準(zhǔn)圖2種方法。其中：色差波動(dòng)計(jì)的算標(biāo)準(zhǔn)圖大小為1 024像素×256像素；色差合格率計(jì)算的標(biāo)準(zhǔn)圖大小為128像素×32像素。

2.3 圖像尺寸處理

利用8 192×2型線掃彩色相機(jī)采集彩色圖像。圖像尺寸為8 192像素×2 048像素，空間尺寸為1.00 m×0.25 m。在處理過程中，每張圖像平均存儲(chǔ)大小為40 MB，每秒將會(huì)有3張圖片進(jìn)入色差檢測(cè)系統(tǒng)。但圖像尺寸過大會(huì)導(dǎo)致PC機(jī)處理速度降低，不能滿足算法的實(shí)時(shí)性要求，因此需要對(duì)其尺度空間進(jìn)行處理，減小存儲(chǔ)圖像尺寸大小。

圖像金字塔技術(shù)是降低圖像尺寸的有效途徑，其原理是將圖像進(jìn)行內(nèi)核卷積，去除部分偶數(shù)行和列，經(jīng)過3次降采樣之后，圖像尺寸由8 192像素×2 048像素降為1 024像素×256像素，其內(nèi)存大小降為2.1 MB。利用圖像金字塔原理將原有的圖像處理速度由1張/s提升至3 張/s，降低圖像尺寸可以使其滿足在線檢測(cè)要求。

2.4 布匹色差值計(jì)算

紡織企業(yè)中驗(yàn)布過程大部分采用人眼觀察方式，也有利用Datacolor測(cè)色儀進(jìn)行色差抽樣檢測(cè)，該色差檢測(cè)儀利用分光光度方法測(cè)量布匹的L、a、b值，再根據(jù)顏色測(cè)量委員會(huì)推薦的CMC(l∶c)色差公式計(jì)算布匹色差值[11]，如式(1)～(7)所示。

(1)

(2)

(3)

SH=Sc(F·T+1-F)

(4)

(5)

(6)

(7)

式中：Ls、ΔCab,s、Δhab由標(biāo)準(zhǔn)顏色經(jīng)編布匹的色度參數(shù)；Sl、Sc、SH為CMC橢圓半軸；l、c為色差計(jì)算公式因數(shù)，一般取值為2、1。

布匹色差值計(jì)算過程如圖4所示。由圖4可知：輸入圖像是已經(jīng)進(jìn)行邊緣處理并降低尺寸后的圖像，將其顏色空間由RGB轉(zhuǎn)到CIE Lab顏色空間中，并提取圖像中所有L、a、b值；隨后將圖像按照像素點(diǎn)位置均勻地劃分為左中右3張圖，再根據(jù)提取的L、a、b值將單張圖片中每一行像素取平均值，計(jì)算每一行與標(biāo)準(zhǔn)圖的色差值。

圖4 布匹色差計(jì)算流程圖Fig. 4 Flow chart of cloth color difference calculation

利用經(jīng)編布匹每一行色差計(jì)算出色差值ΔECMC(l∶c)，具體布匹色差值的計(jì)算結(jié)果可繪制經(jīng)編布匹色差波動(dòng)圖。試驗(yàn)選取12 m長(zhǎng)的經(jīng)編布匹，其色差波動(dòng)圖如圖5所示。由圖5可知,色差超標(biāo)區(qū)域?yàn)椴计?1.8 m處。

圖5 經(jīng)編布匹色差波動(dòng)圖Fig.5 Diagram of warp knitted fabric color difference wave diagram

2.5 布匹色差合格率算法

通過觀察布匹色差值波動(dòng)圖可知布匹的左、中、右色差波動(dòng)變化，在工廠驗(yàn)布過程中僅有色差值無(wú)法直觀反映布匹色差狀況。因此本文還利用直方圖交叉法設(shè)計(jì)了圖像色差合格率計(jì)算法，其計(jì)算過程如圖6所示。

圖6 色差合格率算法流程圖Fig. 6 Flow chart of color difference eligibility rate algorithm

通過計(jì)算多通道布匹圖像的各像素值，將各像素直方圖歸一化到0～1，利用標(biāo)準(zhǔn)圖和待測(cè)圖像的差異性來(lái)衡量布匹色差是否合格。兩個(gè)直方圖的差異可以用巴氏距離d(H1,H2)來(lái)衡量，如式(8)所示。

(8)

式中：H1為標(biāo)準(zhǔn)圖的直方圖；H2為待測(cè)圖像的直方圖。

d(H1,H2)的取值范圍為(0，1)：其值為0時(shí)，表示標(biāo)準(zhǔn)圖與待測(cè)圖一樣；其值為1時(shí)，表示兩者不相關(guān)，即存在較大的色差。計(jì)算如圖7所示的紅色待測(cè)樣本和藍(lán)色待測(cè)樣本。在實(shí)驗(yàn)室中初步設(shè)定閾值為0.5，在工廠測(cè)試過程中此閾值可根據(jù)實(shí)際需要適度調(diào)整。

(a) 帶有疵點(diǎn)的紅色樣本 (b) 帶有油污的藍(lán)色樣本圖7 紅色待測(cè)樣本和藍(lán)色待測(cè)樣本Fig.7 Red and blue samples to be tested

計(jì)算采集到帶有疵點(diǎn)的紅色圖像的色差合格率，網(wǎng)格化劃分圖像為8×8，經(jīng)過計(jì)算圖像第12個(gè)子圖巴氏距離d為0.58，判定此處色差不合格，出現(xiàn)色差不合格原因是圖像中存在疵點(diǎn)，計(jì)算得出該幅圖像色差合格率為98.43%。

含有大片油污的藍(lán)色經(jīng)編布匹的圖像經(jīng)過計(jì)算，其第10個(gè)子圖的巴氏距離d為0.94，判定子圖色差不合格，該幅含有油污的藍(lán)色經(jīng)編布匹圖像色差合格率為53.1%，表示其色差不合格區(qū)域過多。

3 布匹色差在線檢測(cè)系統(tǒng)及測(cè)試

結(jié)合本文色差在線檢測(cè)算法，本文設(shè)計(jì)了基于DALSA相機(jī)SDK開發(fā)的色差在線檢測(cè)系統(tǒng)。系統(tǒng)主要包含相機(jī)硬件設(shè)置模塊、色差檢測(cè)顯示模塊、歷史查詢模塊。同時(shí)，人性化的軟件界面能夠清晰地反映布匹色差波動(dòng)情況及色差統(tǒng)計(jì)結(jié)果。色差在線檢測(cè)系統(tǒng)軟件界面如圖8所示。

圖8 色差檢測(cè)系統(tǒng)軟件界面Fig.8 Software interface of color difference detection system

(1) 相機(jī)硬件設(shè)置模塊。相機(jī)硬件設(shè)置模塊是在開始布匹檢測(cè)時(shí)對(duì)相機(jī)采集的數(shù)據(jù)進(jìn)行設(shè)置的模塊，主要用于設(shè)置相機(jī)的采樣頻率和相機(jī)觸發(fā)模式。此外還要選擇相機(jī)多對(duì)應(yīng)的圖像采集卡，以完成多相機(jī)同時(shí)采集功能。

(2) 色差檢測(cè)顯示模塊。色差檢測(cè)界面可以實(shí)時(shí)顯示布匹整體色差波動(dòng)值ΔE、左側(cè)色差波動(dòng)值ΔEL，中間色差值波動(dòng)ΔEm，右側(cè)色差值波動(dòng)ΔEr。坐標(biāo)圖的橫坐標(biāo)為布匹長(zhǎng)度位置，可以通過拖動(dòng)下方坐標(biāo)實(shí)時(shí)顯示該坐標(biāo)下的色差值。

(3) 歷史查詢模塊。歷史查詢模塊是軟件系統(tǒng)將檢測(cè)歷史存儲(chǔ)查詢功能，在此模塊里，通過輸入布匹ID，就可以查看色差檢測(cè)歷史。

為評(píng)估算法實(shí)用性與軟件系統(tǒng)穩(wěn)定性，選取墨綠色625碼待測(cè)經(jīng)編布匹進(jìn)行測(cè)試。布匹幅寬為1.8 m，采用雙相機(jī)采集圖像，利用多線程處理圖像方式處理采集到的經(jīng)編布匹圖像。人工驗(yàn)布速度為0.2 m/s，色差在線檢測(cè)系統(tǒng)速度為0.8 m/s。

檢驗(yàn)3種顏色經(jīng)編布匹，將經(jīng)編布匹色差檢測(cè)系統(tǒng)測(cè)量的結(jié)果與人工檢測(cè)結(jié)果對(duì)比，結(jié)果如表1所示。工廠的色差抽樣檢測(cè)過程利用CMC(2∶1)色差計(jì)算公式計(jì)算布匹色差時(shí)，設(shè)定ΔE=1為閾值，經(jīng)編布匹色差值超過ΔE=1時(shí)認(rèn)定存在色差。圖9(a)為綠色經(jīng)編布匹色差波動(dòng)范圍，圖9(b)為藍(lán)色經(jīng)編布匹色差波動(dòng)范圍。根據(jù)設(shè)定閾值ΔE=1可知，綠色經(jīng)編布和藍(lán)色經(jīng)編布不存在色差。

(b) 藍(lán)色經(jīng)編布匹

由表1可知，經(jīng)編布匹色差在線檢測(cè)系統(tǒng)不但能檢測(cè)布匹色差波動(dòng)而且與人工檢測(cè)結(jié)果保持一致，能夠很好地反映布匹色差值變化。利用經(jīng)編布匹色差在線檢測(cè)系統(tǒng)降低了工人勞動(dòng)強(qiáng)度，豐富了色差檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn)，提高了色差檢測(cè)精度。

表1 人工檢測(cè)與檢測(cè)系統(tǒng)對(duì)比

4 結(jié) 語(yǔ)

本文提出了布匹色差在線檢測(cè)算法，設(shè)計(jì)了色差在線檢測(cè)系統(tǒng)，并利用布匹色差在線檢測(cè)系統(tǒng)將檢測(cè)硬件與檢測(cè)算法結(jié)合。采用布匹色差在線檢測(cè)算法，將采集到的布匹圖像進(jìn)行邊緣處理、分割、色差值計(jì)算、色差合格率計(jì)算。結(jié)果表明：利用布匹色差在線檢測(cè)系統(tǒng)驗(yàn)布與人工驗(yàn)布的結(jié)果具有一致性，并將驗(yàn)布速度由人工的0.2 m/s提高至0.8 m/s， 有效提高了布匹色差檢測(cè)精度，降低了工人檢測(cè)勞動(dòng)強(qiáng)度。