基于機(jī)器視覺的穿梭車安全運(yùn)行檢測(cè)系統(tǒng)

文/張廣喜 李春杰 胡遵寶

一、項(xiàng)目研究依據(jù)

1.項(xiàng)目研究背景和目的

在倉(cāng)儲(chǔ)系統(tǒng)中，貨物搬運(yùn)與運(yùn)輸占據(jù)著重要的地位，是連接生產(chǎn)與倉(cāng)儲(chǔ)的必要的中間環(huán)節(jié)。在煙草企業(yè)的物流運(yùn)輸過(guò)程中，貨物搬運(yùn)和運(yùn)輸普遍采用自動(dòng)化無(wú)人監(jiān)管穿梭車運(yùn)輸?shù)姆绞揭蕴岣咦鳂I(yè)效率（如圖1）。

相對(duì)于傳統(tǒng)的固定運(yùn)輸方式，穿梭車具備智能化、速度快、可靠性高和穩(wěn)定性好等特點(diǎn)。煙廠穿梭車運(yùn)輸軌道一般為敞開式，兩側(cè)不設(shè)置柵欄、小車周圍亦未添加擋板，這種方式可以提升分揀速度及工作效率，但同時(shí)存在生產(chǎn)安全問(wèn)題，例如工作人員檢修維護(hù)、無(wú)意識(shí)穿越、貨運(yùn)平臺(tái)貨物掉落導(dǎo)致的生產(chǎn)故障等。

機(jī)器視覺又稱為計(jì)算機(jī)視覺，是一種將圖像處理，圖像分析和圖像識(shí)別等相結(jié)合的技術(shù)，隨著計(jì)算機(jī)軟件、硬件技術(shù)的發(fā)展，以及機(jī)器視覺檢測(cè)、模式識(shí)別理論的發(fā)展和完善，已逐漸在生產(chǎn)安全領(lǐng)域得到研究和應(yīng)用。

針對(duì)此現(xiàn)狀，本項(xiàng)目研究基于機(jī)器視覺的生產(chǎn)線安全監(jiān)測(cè)系統(tǒng)，擬采用機(jī)器視覺的方法檢測(cè)穿梭車軌道區(qū)域是否有人員闖入或軌道上是否有貨物掉落，判定運(yùn)輸軌道是否安全，并將軌道區(qū)域安全與否信號(hào)輸出給物流調(diào)度控制系統(tǒng)，以解決煙草企業(yè)現(xiàn)場(chǎng)的全自動(dòng)化物流運(yùn)輸軌道區(qū)域的安全隱患問(wèn)題。項(xiàng)目基于視覺檢測(cè)，輔以紅外熱釋電檢測(cè)方法，以VC++6.0為軟件開發(fā)平臺(tái)，通過(guò)實(shí)現(xiàn)圖像處理算法檢測(cè)，設(shè)計(jì)開發(fā)一套煙廠生產(chǎn)線物流穿梭車運(yùn)行軌道安全實(shí)時(shí)檢測(cè)系統(tǒng)，以保證生產(chǎn)的高效、安全、可靠進(jìn)行。

2.同類技術(shù)的研究現(xiàn)狀

廈門煙草工業(yè)有限責(zé)任公司的鐘毅虹申請(qǐng)了《穿梭車安全距離檢測(cè)裝置》的實(shí)用新型發(fā)明專利，該專利采用在穿梭車車體上安裝光電管檢測(cè)穿梭車行進(jìn)方向是否存在障礙物來(lái)檢測(cè)穿梭車安全，該方法對(duì)于障礙物對(duì)光電管光信號(hào)產(chǎn)生遮擋時(shí)有效，但對(duì)于光信號(hào)未遮擋和突發(fā)狀況等的情形無(wú)效；北京郵電大學(xué)的王小寧對(duì)直線往復(fù)式軌道穿梭車的避讓策略進(jìn)行仿真研究，該研究主要是對(duì)穿梭車的運(yùn)行軌跡進(jìn)行優(yōu)化仿真以實(shí)現(xiàn)生產(chǎn)線的快速、合理運(yùn)行，但未針對(duì)運(yùn)行軌道區(qū)域安全檢測(cè)和控制策略進(jìn)行研究。

圖1：生產(chǎn)現(xiàn)場(chǎng)穿梭車

圖2：項(xiàng)目研究思路

圖3：項(xiàng)目系統(tǒng)組成示意圖

圖4：紅外熱釋電(PIR)傳感器報(bào)警結(jié)構(gòu)圖

圖5：紅外熱釋電檢測(cè)示意圖

圖6：紅外熱釋電測(cè)試實(shí)物圖

圖7：機(jī)器視覺檢測(cè)與識(shí)別流程圖

北京交通大學(xué)的魯欣研究了《基于機(jī)器視覺的道岔安全檢測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》以解決鐵路道岔口的突發(fā)安全問(wèn)題；浙江工業(yè)大學(xué)林璐璐針對(duì)自動(dòng)門的安全研究《基于全方位視覺的自動(dòng)門安全和節(jié)能檢測(cè)技術(shù)》；蘭州交通大學(xué)馬宏峰針對(duì)鐵路運(yùn)營(yíng)中異物侵限事故頻發(fā)，嚴(yán)重影響列車行車安全的問(wèn)題，研究《基于機(jī)器視覺的鐵路異物侵限分布式智能監(jiān)控技術(shù)研究》，通過(guò)機(jī)器視覺技術(shù)實(shí)現(xiàn)鐵路異物侵限的檢測(cè)與識(shí)別，并達(dá)到鐵路行車安全全過(guò)程的監(jiān)測(cè)、預(yù)警及安全管理；東北大學(xué)楊麗針對(duì)汽車行駛車道安全研究《基于機(jī)器視覺的車道安全預(yù)警算法的研究與實(shí)現(xiàn)》提高道路交通安全。

通過(guò)查閱大量文獻(xiàn)，目前尚未有專門針對(duì)穿梭車運(yùn)行安全的研究或報(bào)導(dǎo)，基于機(jī)器視覺安全檢測(cè)的研究在鐵路和城市道路交通等領(lǐng)域有集中體現(xiàn)。煙草企業(yè)現(xiàn)場(chǎng)生產(chǎn)線的高度自動(dòng)化和智能化、穿梭車安全可靠運(yùn)行是保證高效生產(chǎn)的重要前提，因此本項(xiàng)目針對(duì)穿梭車運(yùn)行作業(yè)現(xiàn)場(chǎng)工況特點(diǎn)和目標(biāo)特征，提出基于機(jī)器視覺的生產(chǎn)線穿梭車安全運(yùn)行檢測(cè)系統(tǒng)。

二、項(xiàng)目的研究?jī)?nèi)容

1.研究思路

穿梭車生產(chǎn)線安全監(jiān)測(cè)的目標(biāo)事件包括人員闖入和軌道異常（有異物）兩部分。本項(xiàng)目研究實(shí)時(shí)獲取安裝在軌道斜上方的工業(yè)攝像機(jī)所采集的運(yùn)輸軌道與穿梭車圖像數(shù)據(jù)，并對(duì)所獲取的圖像數(shù)據(jù)進(jìn)行預(yù)處理、識(shí)別判定軌道的安全狀態(tài)；為嚴(yán)格保障人身安全，通過(guò)在軌道首尾四角安裝紅外熱釋電傳感器以檢測(cè)并獲得人員闖入軌道運(yùn)輸區(qū)域的觸發(fā)信號(hào)，該觸發(fā)信號(hào)有效則判定軌道有人員闖入，項(xiàng)目研究思路，如圖2，系統(tǒng)組成示意圖，如圖3。

2.研究?jī)?nèi)容

基于上述研究思路，本項(xiàng)目研究?jī)?nèi)容主要分為兩大部分：紅外熱釋電檢測(cè)、機(jī)器視覺識(shí)別檢測(cè)。

（1）紅外熱釋電檢測(cè)

圖8：攝像機(jī)圖像和感興趣區(qū)域獲取

圖9：運(yùn)動(dòng)目標(biāo)檢測(cè)過(guò)程

圖10：陰影消除結(jié)果

圖11：形態(tài)學(xué)處理

圖12：運(yùn)動(dòng)目標(biāo)識(shí)別過(guò)程

圖13：軌道內(nèi)區(qū)域分析

紅外熱釋電 (PIR)傳感器，也稱為熱紅外傳感器，是一種能檢測(cè)人體發(fā)射的紅外線的新型高靈敏度紅外探測(cè)元件。它能以非接觸形式檢測(cè)出人體輻射的紅外線能量的變化，并將其轉(zhuǎn)換成電壓信號(hào)輸出。而且，該傳感器可以鑒別出運(yùn)動(dòng)的生物與其它非生物。

紅外熱釋電報(bào)警器將菲涅爾透鏡和熱釋電紅外傳感器相結(jié)合使用，其工作原理示意圖，如圖4。

該結(jié)構(gòu)圖中的菲涅爾透鏡利用透鏡的特殊光學(xué)原理，在探測(cè)器前方產(chǎn)生交替變化的“盲區(qū)”和“高靈敏區(qū)”，以提高它的探測(cè)接收靈敏度。當(dāng)有人從透鏡前走過(guò)時(shí)，人體發(fā)出的紅外線不斷交替從“盲區(qū)”進(jìn)入“高靈敏區(qū)”，這樣就使接收到的紅外信號(hào)以忽強(qiáng)忽弱的脈沖形式輸入，從而增強(qiáng)其能量幅度。

人體輻射的紅外線中心波長(zhǎng)為9～10μm，而探測(cè)元件的波長(zhǎng)靈敏度在0.2～20μm范圍內(nèi)幾乎穩(wěn)定不變。在傳感器頂端開設(shè)了一個(gè)裝有濾光鏡片的窗口，濾光片可通過(guò)光的波長(zhǎng)范圍為7～10μm，正好適合于人體紅外輻射的探測(cè)，而對(duì)其它波長(zhǎng)的紅外線由濾光片予以吸收，這樣便形成了一種專門用作探測(cè)人體輻射的紅外線傳感器，如圖5。

為提高報(bào)警器的可靠性，該報(bào)警器除了利用紅外熱釋電進(jìn)行人體探測(cè)外，還使用微波進(jìn)行人體的探測(cè)，雙重檢測(cè)可將誤報(bào)降到最低。

針對(duì)人員的安全，本項(xiàng)目已設(shè)計(jì)紅外熱釋電報(bào)警電路，具體測(cè)試模塊，如圖6，主要包括紅外熱釋電報(bào)警器、主控電路板、電源等。經(jīng)過(guò)實(shí)驗(yàn)測(cè)試，紅外熱釋電報(bào)警電路可實(shí)現(xiàn)準(zhǔn)確的人體探測(cè)報(bào)警，當(dāng)有人員闖入穿梭車軌道區(qū)域，電路即發(fā)出報(bào)警信號(hào)并將該信號(hào)送入物流調(diào)度控制系統(tǒng)。

圖14：人的識(shí)別

圖15：物的識(shí)別

（2）機(jī)器視覺檢測(cè)與識(shí)別模型

為檢測(cè)是否有人進(jìn)入煙廠生產(chǎn)線，視覺檢測(cè)算法流程主要包括圖像獲取、運(yùn)動(dòng)目標(biāo)檢測(cè)和運(yùn)動(dòng)目標(biāo)識(shí)別三個(gè)過(guò)程（如圖7）。與之相對(duì)應(yīng)，從圖像處理技術(shù)角度看，主要涉及圖像采集、圖像增強(qiáng)、灰度化、閾值分割、特征提取和模板匹配等環(huán)節(jié)。圖像增強(qiáng)用以提高目標(biāo)圖像中的背景（本項(xiàng)目圖像中的運(yùn)輸軌道）和前景（感興趣目標(biāo)，例如在本項(xiàng)目的出現(xiàn)在運(yùn)輸軌道上的運(yùn)輸小車、人或掉落的貨物）的差異程度；圖像灰度化和閾值分割則是為后續(xù)的特征提取做準(zhǔn)備，目的是將感興趣目標(biāo)和圖像背景盡量分成不同的亮度特征集合；特征提取則為提取感興趣目標(biāo)的輪廓或統(tǒng)計(jì)等的信息；最后將目標(biāo)的輪廓或統(tǒng)計(jì)信息通過(guò)模式匹配的方式進(jìn)行判定，以確定運(yùn)輸軌道區(qū)域是否與正常生產(chǎn)模式相符合，生產(chǎn)是否安全。整個(gè)系統(tǒng)框架，如圖7。

①高質(zhì)量圖像獲取

為了抓拍生產(chǎn)線穿梭車和人圖像，通過(guò)調(diào)節(jié)照相機(jī)的亮度和參數(shù)設(shè)置，使得相機(jī)獲得清晰的圖像。其中，光照的均勻程度、相機(jī)的相關(guān)參數(shù)配置和興趣區(qū)圖像的獲取是獲取高質(zhì)量的關(guān)鍵（本項(xiàng)目在實(shí)驗(yàn)室搭建了視覺檢測(cè)平臺(tái)），圖像和感興趣區(qū)域獲取，如圖8。

②運(yùn)動(dòng)目標(biāo)檢測(cè)

運(yùn)動(dòng)目標(biāo)分割：如圖9，采用混合高斯模型進(jìn)行建模，其本質(zhì)是建立一個(gè)和當(dāng)前幀進(jìn)行比較的背景圖片，其背景圖像通過(guò)對(duì)過(guò)去圖像序列的學(xué)習(xí)來(lái)獲得，并能夠很好地描述當(dāng)前時(shí)刻的背景信息。該建模方法其優(yōu)勢(shì)在于，建模和更新的過(guò)程能夠較好的描述存在一定周期變化和緩慢變化的背景，對(duì)緩慢的光照變化也有較好的適應(yīng)能力，而且計(jì)算較為簡(jiǎn)單。

陰影消除：通過(guò)運(yùn)動(dòng)目標(biāo)分割得到的運(yùn)動(dòng)目標(biāo)區(qū)域，是包含大量噪聲和運(yùn)動(dòng)目標(biāo)的陰影，這一問(wèn)題會(huì)對(duì)后續(xù)目標(biāo)提取操作有極大的影響，其目標(biāo)區(qū)域的分割結(jié)果直接決定著目標(biāo)模型的匹配和更新的像素范圍。所以，必須要消除圖像中的陰影。我們通過(guò)排除亮度信息的影響，依據(jù)色調(diào)不受陰影影響的特點(diǎn)來(lái)解決這一問(wèn)題。在RGB空間中，陰影會(huì)使背景亮度減低，并一定程度影響色飽和度，但不影響其色調(diào)，來(lái)分辨可能的陰影區(qū)域（具體處理結(jié)果，如圖10）。

形態(tài)學(xué)處理：經(jīng)過(guò)陰影處理后的圖像目標(biāo)包含大量孔洞，背景區(qū)域也存在很多噪聲點(diǎn)，采用形態(tài)學(xué)處理方法進(jìn)行處理。其基本操作是膨脹和腐蝕，或組合成開/閉操作來(lái)對(duì)形狀進(jìn)行過(guò)濾。

為提高計(jì)算效率，我們針對(duì)噪聲不嚴(yán)重的情況，我們只刪除前景點(diǎn)中的孤立點(diǎn)；當(dāng)噪聲嚴(yán)重時(shí)，我們采用先開后閉的操作，對(duì)整個(gè)前景檢測(cè)結(jié)果進(jìn)行過(guò)濾。將二值圖像數(shù)據(jù)打包成整型變量中的位數(shù)據(jù)，再以位操作來(lái)實(shí)現(xiàn)膨脹和腐蝕操作中的“或”和“與”的運(yùn)算，可以極大地提高形態(tài)學(xué)操作的速度（處理結(jié)果，如圖11）。

③運(yùn)動(dòng)目標(biāo)識(shí)別

運(yùn)動(dòng)目標(biāo)識(shí)別過(guò)程，如圖12。

特征描述：由于局部特征描述子在外觀變化中表現(xiàn)出很強(qiáng)的魯棒性，并能自適應(yīng)地處理的目標(biāo)分割和部分遮擋的情況，我們選用SIFT（Scale-invariant feature transform）描述子。為了提高計(jì)算效率，我們提取軌道內(nèi)的區(qū)域進(jìn)行分析，如圖13。

目標(biāo)識(shí)別：支持向量機(jī)識(shí)別方法（SVM），其優(yōu)勢(shì)在于它有高維和稀疏的特性，使用線性核方法已經(jīng)足夠達(dá)到分類效果，同時(shí)保證了分類和學(xué)習(xí)的效率，識(shí)別結(jié)果和過(guò)程如下：

（a）通過(guò)特征描述建立特征子訓(xùn)練庫(kù)，并進(jìn)行量化（描述圖像的特征頻率統(tǒng)計(jì)向量）。

（b）通過(guò)將輔助信息（車、人和物體等信息）進(jìn)行增量SVM學(xué)習(xí)；

（c）根據(jù)學(xué)習(xí)的特征，進(jìn)行決策識(shí)別（本項(xiàng)目視覺檢測(cè)對(duì)人的識(shí)別結(jié)果，如圖14，對(duì)物的識(shí)別，如圖15）。

三、結(jié)束語(yǔ)

穿梭車的運(yùn)行環(huán)境決定了其存在生產(chǎn)安全問(wèn)題，通過(guò)圖像識(shí)別技術(shù)和紅外熱釋電技術(shù)來(lái)檢測(cè)穿梭車運(yùn)行軌道上的異物或者人員，來(lái)自動(dòng)控制穿梭車減速、停車，避免發(fā)生安全事故造成人員和設(shè)備的損傷。為智能物流智慧設(shè)備提供一種解決方案，提高設(shè)備的可靠性和安全性。