基于線陣CCD的小物體掉落自動(dòng)檢測(cè)系統(tǒng)

陳 平，李毅紅

（中北大學(xué) 電子測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，太原 030051）

0 引言

隨著自控產(chǎn)業(yè)的發(fā)展，現(xiàn)代工業(yè)中常遇到的分揀工作、摻雜工作，都改變了傳統(tǒng)的手工分揀模式，采用自動(dòng)控制模式執(zhí)行，如：螺絲的分揀裝包、鋼化玻璃中摻雜小鋼珠等等[1]。而自動(dòng)化流程執(zhí)行的穩(wěn)定性和可靠性，需要相應(yīng)的檢測(cè)系統(tǒng)作為技術(shù)保障，因此小物體掉落的自動(dòng)檢測(cè)成為主攻關(guān)鍵。

考慮到光電檢測(cè)技術(shù)的非接觸、適應(yīng)能力強(qiáng)、快速高效、準(zhǔn)確、柔性好、可靠性高等特點(diǎn)，光電檢測(cè)成為實(shí)現(xiàn)小物體掉落檢測(cè)的首選方法[2,3]。而且隨著光電檢測(cè)技術(shù)的發(fā)展，小物體掉落檢測(cè)技術(shù)也逐漸成熟。如美國(guó)歐姆龍、日本基恩士等公司都已生產(chǎn)出了相應(yīng)的光電傳感器，但是此類光電傳感器只能檢測(cè)物體是否掉落，不具備掉落位置識(shí)別功能，如此對(duì)于某些行業(yè)中的一排多組掉落情況，則需要增加光電傳感器的數(shù)目，實(shí)現(xiàn)每組掉落情況的識(shí)別，這樣系統(tǒng)的整體成本較高，不適宜工程化[4]。此外，此類傳感器隨著物體尺寸的減小，其價(jià)格也逐漸翻倍增加。因此，從成本角度考慮，在滿足檢測(cè)精度前提下，應(yīng)盡量減少檢測(cè)系統(tǒng)數(shù)目，即一個(gè)檢測(cè)系統(tǒng)應(yīng)能夠滿足多組掉落情況的檢測(cè)，對(duì)此成像方法將成為有效檢測(cè)方法。

產(chǎn)生于上世紀(jì)70年代初的電荷耦合器件（Charge Coupled Device，CCD）作為現(xiàn)代最重要的圖像傳感器之一，它是由一種高感光度的半導(dǎo)體材料制成的模擬集成電路芯片，借助光學(xué)系統(tǒng)和驅(qū)動(dòng)電路可以實(shí)現(xiàn)物體表面的光反射信息的獲取，其具有靈敏度高、結(jié)構(gòu)簡(jiǎn)單、成本低廉，在檢測(cè)檢測(cè)方面有諸多應(yīng)用。如：利用線陣CCD可以實(shí)現(xiàn)物體運(yùn)動(dòng)速度、物體外形尺寸等測(cè)量[5～8]。面陣CCD可以實(shí)現(xiàn)物體跟蹤，3D成像、表面缺陷識(shí)別等方面的應(yīng)用[9～12]。對(duì)于一排多組的小物體掉落的檢測(cè)，僅需線陣CCD即可，但是對(duì)于一排多組的檢測(cè)系統(tǒng)設(shè)計(jì)、設(shè)備選型依據(jù)、以及滿視野成像的光照自適應(yīng)性等方面還需進(jìn)一步研究。

考慮上述問題，本文針對(duì)一組多排的掉落情況進(jìn)行了研究，設(shè)計(jì)了基于線陣CCD的小物體掉落自動(dòng)檢測(cè)系統(tǒng)。論文首先針對(duì)一組多排的掉落情況，設(shè)計(jì)了線陣CCD檢測(cè)系統(tǒng)，并對(duì)系統(tǒng)部件的選型進(jìn)行了說明，同時(shí)針對(duì)系統(tǒng)所涉及的相關(guān)技術(shù)進(jìn)行了詳細(xì)論述，最后針對(duì)玻璃加工過程中摻雜鋼珠的實(shí)例，進(jìn)行了工程應(yīng)用，驗(yàn)證了系統(tǒng)的穩(wěn)定性和有效性。

1 系統(tǒng)構(gòu)成及其工作原理

1.1 系統(tǒng)構(gòu)成及工作原理

圖1為小物體掉落檢測(cè)系統(tǒng)原理圖。 它主要由照明子系統(tǒng)、光學(xué)成像子系統(tǒng)、圖像采集子系統(tǒng)以及計(jì)算機(jī)等組成。照明子系統(tǒng)由光源、光源控制器構(gòu)成。光學(xué)成像子系統(tǒng)由變焦鏡頭等組成。圖像采集子系統(tǒng)由CCD相機(jī)和圖像采集卡等構(gòu)成。進(jìn)行檢測(cè)時(shí)，由成像系統(tǒng)獲取圖像數(shù)據(jù)，由軟件進(jìn)行掉落情況與掉落位置的識(shí)別。

圖1 測(cè)量系統(tǒng)原理圖

如圖1所示，依據(jù)生產(chǎn)線在線檢測(cè)環(huán)境設(shè)計(jì)光學(xué)成像子系統(tǒng)，并由圖像采集子系統(tǒng)控制數(shù)據(jù)采集，所采集的圖像數(shù)據(jù)經(jīng)圖像采集卡傳輸?shù)接?jì)算機(jī)?？紤]實(shí)際檢測(cè)需求，在光學(xué)成像子系統(tǒng)中需要設(shè)計(jì)相應(yīng)的照明子系統(tǒng)，為了提高系統(tǒng)控制的智能性，照明子系統(tǒng)與計(jì)算機(jī)之間通過光源控制器，以串口通信方式進(jìn)行光照度的自動(dòng)調(diào)節(jié)。最后通過對(duì)采集回來的數(shù)據(jù)進(jìn)行處理與識(shí)別，并結(jié)果反饋生產(chǎn)設(shè)備，進(jìn)行反饋控制。

1.2 系統(tǒng)部件選型

1.2.1 線陣相機(jī)

線陣相機(jī)的選型主要取決于相機(jī)的分辨率、采集頻率以及鏡頭焦距。相機(jī)的分辨率由檢測(cè)物體的直徑?jīng)Q定，采集頻率由物體運(yùn)動(dòng)速度決定，鏡頭焦距由分辨率和視野大小決定。

對(duì)于掉落的檢測(cè)，假設(shè)檢測(cè)物體直徑為d，一排有n組掉落，n組總寬為D。為了提高檢測(cè)的穩(wěn)定性，對(duì)于直徑d的掉落物在圖像上應(yīng)至少反應(yīng)為2～3個(gè)像素，則可按如下公式（1）確定圖像分辨率M：

掉落物屬于自由落體運(yùn)動(dòng)，假設(shè)在距離掉落點(diǎn)s處進(jìn)行檢測(cè)，根據(jù)重力加速度可計(jì)算出檢測(cè)點(diǎn)處的掉落物運(yùn)動(dòng)速度v為：

公式（2）中的g為重力加速度9.8 m / s。依據(jù)公式（2）可知1秒鐘，掉落運(yùn)動(dòng)距離為v，假設(shè)在運(yùn)動(dòng)v的過程中，線陣相機(jī)應(yīng)至少抓拍一行。依據(jù)公式（1）可知，每行對(duì)應(yīng)的實(shí)際視場(chǎng)尺寸為d / 2，則相機(jī)的采樣頻率k應(yīng)為：

假設(shè)相機(jī)安裝在距離掉落物L(fēng)處，同時(shí)依據(jù)公式（1）（3）進(jìn)行相機(jī)定型后，CCD芯片尺寸為 d'，從而依據(jù)三角成像原理可確定鏡頭焦距l(xiāng)為：

根據(jù)上述公式（1）、（2）、（3）、（4），待檢測(cè)對(duì)象和檢測(cè)空間尺寸確定后，可以進(jìn)行相機(jī)和鏡頭的選型及設(shè)計(jì)。

1.2.2 光源

由于線陣相機(jī)感光性能差，同時(shí)掉落的物體一般尺寸較小，所以系統(tǒng)采用背光源作為圖像背景。在檢測(cè)過程中，通過相機(jī)獲取背光源的圖像。當(dāng)有物體掉落時(shí)，在背光源的亮背景上出現(xiàn)陰影，所獲得圖像就是包括該陰影的圖像信息，在此基礎(chǔ)上，利用相關(guān)圖像處理技術(shù)，提取掉落物體的空間信息，實(shí)現(xiàn)掉落物體的檢測(cè)。

在光電檢測(cè)中，通常采用高密度LED陣列面提供高強(qiáng)度背光照明，能夠凸顯物體的外形特征，為了避免自然光的影響，系統(tǒng)采用紅色背光源進(jìn)行光源補(bǔ)償。同時(shí)對(duì)于滿視野成像，由于鏡頭的一致性問題往往導(dǎo)致所獲取的圖像，中間較亮邊緣較暗，圖像灰度的一致性較差，不利于圖像邊緣區(qū)域的檢測(cè)[13]。為此照明子系統(tǒng)設(shè)計(jì)為三路獨(dú)立控制結(jié)構(gòu)，將中心區(qū)域光照強(qiáng)度調(diào)弱，邊緣區(qū)域相對(duì)調(diào)強(qiáng)，以保證滿視野成像范圍內(nèi)的圖像灰度一致性。

2 系統(tǒng)軟件實(shí)現(xiàn)的關(guān)鍵技術(shù)

2.1 多線程同步

對(duì)于高速運(yùn)動(dòng)的物體，一般要求線陣相機(jī)具有較高的幀頻，一般能夠達(dá)到幾KHz，甚至幾十KHz，如果采用常規(guī)的單線程軟件處理方法，將會(huì)占用系統(tǒng)資源較多，主控界面無法實(shí)時(shí)刷新。在此基礎(chǔ)上進(jìn)行相關(guān)圖像處理工作，將會(huì)直接影響數(shù)據(jù)采集的正常性，不易于高速運(yùn)動(dòng)物體的檢測(cè)。

而隨著操作系統(tǒng)技術(shù)的發(fā)展，先后出現(xiàn)了多通道程序設(shè)計(jì)、分時(shí)系統(tǒng)等許多技術(shù)，提高了系統(tǒng)運(yùn)行的效率。多線程技術(shù)的引入，不但可以挖掘潛在的CPU空閑時(shí)間，而且還可以提高應(yīng)用程序反應(yīng)的速度，其優(yōu)點(diǎn)在有多個(gè)任務(wù)需要完成和有巨大數(shù)據(jù)流量的程序中反映的尤為突出[14]。因此可以采用多線陣程序設(shè)計(jì)方法，對(duì)該系統(tǒng)的數(shù)據(jù)采集與數(shù)據(jù)處理進(jìn)行分時(shí)同步執(zhí)行。對(duì)于多線線程的同步時(shí)程序設(shè)計(jì)首要解決的問題，要保證有數(shù)據(jù)可處理，無數(shù)據(jù)重復(fù)處理過程，對(duì)此采用事件促發(fā)模式進(jìn)行響應(yīng)，當(dāng)有新數(shù)據(jù)采集時(shí)，促發(fā)數(shù)據(jù)處理事件，執(zhí)行數(shù)據(jù)處理線程。在整個(gè)軟件執(zhí)行過程中，數(shù)據(jù)采集線程始終處于觸發(fā)狀態(tài)，保證信息獲取的有效性。

2.2 基于內(nèi)存遞歸訪問的數(shù)據(jù)處理方法

在程序執(zhí)行過程中，受數(shù)據(jù)處理算法復(fù)雜度的影響，數(shù)據(jù)采集時(shí)間往往大于數(shù)據(jù)處理時(shí)間，易造成在數(shù)據(jù)處理的同時(shí)由于內(nèi)存沖突無法實(shí)現(xiàn)新數(shù)據(jù)的獲取，影響掉落物的檢測(cè)穩(wěn)定性。對(duì)此，系統(tǒng)采用了內(nèi)存遞歸訪問方法，避免了內(nèi)存沖突。

該方法首先申請(qǐng)N塊小內(nèi)存組成的大內(nèi)存，每塊小內(nèi)存的大小等同于相機(jī)一次數(shù)據(jù)采集的數(shù)據(jù)量。在數(shù)據(jù)采集線程中，依照時(shí)間順序?qū)⒉杉臄?shù)據(jù)依次存放于N塊小內(nèi)存中，并賦予相應(yīng)的標(biāo)志變量。當(dāng)存到第N+1次時(shí)，又循環(huán)到第一小內(nèi)存中執(zhí)行。而數(shù)據(jù)處理線程采用同步執(zhí)行方式，依次遞歸處理有標(biāo)記的小塊內(nèi)存數(shù)據(jù)，處理完畢后清空標(biāo)志，待數(shù)據(jù)采集線程進(jìn)行新的數(shù)據(jù)填入。如此可通過兩個(gè)線程對(duì)N塊小內(nèi)存處理的時(shí)間差，避免內(nèi)存沖突問題，確保檢測(cè)的穩(wěn)定性。當(dāng)然小內(nèi)存塊數(shù)N由計(jì)算機(jī)操作系統(tǒng)決定，如果計(jì)算機(jī)CPU主頻相對(duì)較高，N的數(shù)目可偏小，反之偏大。

具體執(zhí)行過程如圖2所示：

圖2 內(nèi)存遞歸訪問示意圖

2.3 基于鄰域空間的掉落物自動(dòng)識(shí)別

對(duì)于一排多組掉落情況，除了需要判斷物體掉落與否，還需判斷物體的掉落位置，實(shí)現(xiàn)掉落物的自動(dòng)識(shí)別。由于系統(tǒng)采用分區(qū)域光強(qiáng)可調(diào)的背光源照明補(bǔ)償，所獲取的圖像背景較單一，灰度一致性較好，可利用閾值分割實(shí)現(xiàn)掉落物的特征提取，如公式（5）所示：

在公式（5）中，I表示相機(jī)采集回來的圖像， I'表示閾值分割后目標(biāo)提取的圖像，(x, y)表示像素空間位置，T表示分割閾值。掉落物在背光源的補(bǔ)償照明下，由于光路遮擋，圖像灰度較暗，對(duì)此可采用最大類間方差方法自動(dòng)獲取分割閾值T，進(jìn)行圖像分割，并將掉落物以“1”像素表征于二值圖像中。

而掉落物定位是基于分割后二值圖像，利用鄰域空間標(biāo)識(shí)進(jìn)行識(shí)別。二值圖像的鄰域標(biāo)記是從“0”像素（表示背景）和“1”像素（表示掉落物）組成的一幅點(diǎn)陣圖像中，將鄰近空間內(nèi)（4-鄰域或8-鄰域）的“1”值像素集合提取出來，并用位移的標(biāo)記值進(jìn)行標(biāo)記。通過處理位于一個(gè)完整目標(biāo)對(duì)象（相同標(biāo)記值）內(nèi)所有像素特性，從而獲得掉落的整體性能和參數(shù)。

在檢測(cè)對(duì)象鄰域分析過程中，受光照等影響，易出現(xiàn)干擾像元影響掉落物的識(shí)別，對(duì)此可依據(jù)掉落外形尺寸先驗(yàn)對(duì)所標(biāo)記的領(lǐng)域空間尺寸進(jìn)行限制，去除干擾因素，凸顯目標(biāo)信息。對(duì)所提取的目標(biāo)信息進(jìn)行重心計(jì)算，并依據(jù)成像視野的空間位置確定掉落位置，從而實(shí)現(xiàn)掉落位置的識(shí)別。

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)系統(tǒng)

在玻璃加工中，為了改變玻璃相關(guān)成分的應(yīng)力分布，一般通過摻雜0.3～0.5mm的小鋼珠，而且對(duì)小鋼珠的掉落位置以及掉落數(shù)量有嚴(yán)格要求。針對(duì)該背景，利用本文系統(tǒng)進(jìn)行了實(shí)驗(yàn)驗(yàn)證。系統(tǒng)設(shè)計(jì)如圖3所示。

圖3 檢測(cè)系統(tǒng)示意圖

在鋼珠的掉落過程中，為了保證視覺可檢性，在鋼珠掉落通路上安裝薄壁透明玻璃管（11個(gè)），玻璃管兩端接PVC管，保證鋼珠能落在玻璃的指定區(qū)域。線陣相機(jī)只獲取玻璃管固定架下端一條線上的小鋼珠掉落信息。

在檢測(cè)系統(tǒng)的安裝過程中，線陣相機(jī)距離檢測(cè)對(duì)象為450mm，有效成像視野寬為450mm，相機(jī)檢測(cè)位置位于玻璃管口部往下20mm處，依據(jù)2.2節(jié)的設(shè)備選型依據(jù)，選擇4K的線陣相機(jī)，采集頻率設(shè)置為5KHz，采用45mm的相機(jī)鏡頭。為了保證數(shù)據(jù)采集效率，采用以太網(wǎng)數(shù)據(jù)傳輸模式。相機(jī)采集采用多線程實(shí)時(shí)采集，每次采集返回的圖像分辨率為：4096×60。經(jīng)在CPU主頻2.6GHz，內(nèi)存2G的計(jì)算機(jī)上測(cè)試，選用小內(nèi)存塊數(shù)N為7塊。

3.2 實(shí)驗(yàn)過程與結(jié)果

為了能夠識(shí)別鋼珠的掉落位置，首先獲取未掉落時(shí)的背景信息，提取每路鋼珠掉落的具體位置。

圖4 鋼珠未掉落時(shí)的背景信息

從圖4可以看出，由于采用了分區(qū)域光強(qiáng)可調(diào)的背光源，所獲取的滿視野圖像的灰度一致性較好，在圖中可以清晰地看見透明玻璃管信息。對(duì)該圖進(jìn)行區(qū)域分割，提取每路鋼珠的可運(yùn)動(dòng)空間位置，如圖5所示。

圖5 運(yùn)動(dòng)空間標(biāo)識(shí)圖

如圖5所示，白色區(qū)域?qū)⑹敲柯蜂撝榈袈鋾r(shí)可運(yùn)動(dòng)的自由空間，以此作為基準(zhǔn)，可實(shí)現(xiàn)鋼珠掉落位置的識(shí)別。圖6是相機(jī)獲取的若干路鋼珠掉落情況的示意圖。

圖6 實(shí)際獲取的鋼珠掉落圖像

對(duì)圖6進(jìn)行特征提取，結(jié)果如圖7所示。

圖7 鋼珠掉落圖像的特征提取

在上述實(shí)驗(yàn)中，圖6（a）和圖6（c）僅是掉落一顆鋼珠，圖6（b）是在短時(shí)間內(nèi)連續(xù)掉了兩顆鋼珠，從識(shí)別結(jié)果來看，該系統(tǒng)能夠有效地對(duì)其掉落數(shù)量進(jìn)行識(shí)別。同時(shí)根據(jù)識(shí)別結(jié)果重心X的位置，并結(jié)合圖5所提出的鋼珠可自由運(yùn)動(dòng)的空間區(qū)域，能夠?qū)崿F(xiàn)鋼珠掉落位置的識(shí)別。

表1 圖6的識(shí)別結(jié)果

4 結(jié)束語

本文結(jié)合光電檢測(cè)技術(shù)，針對(duì)一排多組的小物體掉落檢測(cè)需求，利用線陣CCD相機(jī)設(shè)計(jì)了成像檢測(cè)系統(tǒng)。同時(shí)以玻璃加工行業(yè)中的小鋼珠掉落為實(shí)驗(yàn)對(duì)象，對(duì)系統(tǒng)進(jìn)行了驗(yàn)證，實(shí)現(xiàn)了一排11路0.3～0.5mm的小鋼珠同時(shí)掉落情況的識(shí)別。結(jié)果表明，系統(tǒng)成像質(zhì)量良好，能夠?qū)崿F(xiàn)一排多組掉落情況的掉落數(shù)量及掉落位置識(shí)別，系統(tǒng)性能穩(wěn)定、可靠性好，在分揀、摻雜等行業(yè)具有巨大應(yīng)用前景。

[1] 張英,張九六,李春生,周銘. LED高速高精度自動(dòng)測(cè)試分揀設(shè)備研制[J].中國(guó)計(jì)量學(xué)院學(xué)報(bào), 2011, 22(2):120-123.

[2] A.L. Yuille. Com pu ter v ision needs a co re and foundations[J]. Image and V ision Com puting. 2012,30:469-471.

[3] Fuqiang Z, Yi C, Bin P, Yexin W. A novel optim ization m ethod o f cam era param eters used f o r v ision measurement[J]. Optics & Laser Technology. 2012,44:1840-1849.

[4] 陳驥,王鑫,曹久大,周兆豐.高速CCD激光位移傳感器[J].光學(xué)精密工程.2008,16(4): 612-616.

[5] 艾莉莉,袁峰,丁振良.應(yīng)用線陣CCD的空間目標(biāo)外姿態(tài)測(cè)量系統(tǒng)[J]. 光學(xué)精密工程. 2008, 16(1):161-165.

[6] 倪小芳,吳平輝.利用線陣CCD對(duì)物體尺寸測(cè)量的研究[J].光學(xué)儀器.2011, 33(6):11-13.

[7] Wei W, Zheng L, Mo C, X iaom ing Y, X iaohai H. An automated vision system for container-code recognition[J].Expert Systems w ith Applications. 2012, 39:2842-2855.

[8] 郭強(qiáng)生,靳衛(wèi)國(guó),周慶亞.集成電路粘片機(jī)視覺檢測(cè)技術(shù)研究[J].電子工業(yè)專用設(shè)備. 2005, 34(7):34-40.

[9] Vassilis M P, Iannis E P, Fani L, A lexios G, Maroudio K.A compter-vision system and methodology for the analysis of fish behavior[J]. Aquacultural Engineering. 2012,46:53-59.

[10] PING C,YAN H. The Algorithm of Vehicles Trajectory Extraction Based on Video Image Sequences[J]. CISP’10.2010: 1018-1022.

[11] 唐啟敬,田行斌,耿明超,周游,趙鐵石.CCD視覺檢測(cè)系統(tǒng)的整體標(biāo)定[J]. 光學(xué) 精密工程. 2011, 19(8):1903-1908.

[12] G.C.H.E. de Croon, C.De W agter,B.D.W. Remes,R.Ruijsink.Sub-sampling: real-time vision for m icro air vehicles[J].Robotics and Autonomous System s. 2102,60:167-181.

[13] 關(guān)澈,王延杰.CCD相機(jī)實(shí)時(shí)自動(dòng)調(diào)光系統(tǒng)[J].光學(xué)精密工程.2008, 16(2):358-365.

[14] 湯伊黎,于敏,戴振東,楊松祥.基于多線程技術(shù)的運(yùn)動(dòng)控制與數(shù)據(jù)采集程序設(shè)計(jì)[J].工業(yè)控制計(jì)算機(jī).2007, 20(3):46-47.