基于計算機視覺的儲備糧智能稽核方法

宋立明,李秀華,李萬龍

(長春工業(yè)大學 計算機科學與工程學院,長春 130012)

0 引 言

目前,我國儲備糧食監(jiān)管和稽核采用的都是人工操作,且國家儲備糧庫具有分散性,所以精確而又有效地監(jiān)管和稽核儲備糧成為監(jiān)管部門的一大難題,虛庫、偷盜和虛報貼息等不良現(xiàn)象影響了國家對糧食的宏觀調(diào)控能力,給國家造成了巨大的經(jīng)濟損失[1]。數(shù)字圖像的獲取、傳輸和圖像可識別技術的發(fā)展為儲備糧食的自動監(jiān)管和稽核問題提供了有效的解決方案。因此,基于機器視覺的糧食數(shù)量自動識別系統(tǒng)將成為糧食監(jiān)管部門的管理需求。

目前,儲備糧數(shù)量檢測方法主要有稱重計量法、主動測量法和圖像識別法。其中稱重計量法和主動測量法用時多,對設備要求高,維護成本也較高。圖像識別法中的雙(多)目視覺法存在立體匹配、三維信息恢復、匹配精度[2]等許多問題需要研究和解決;單目視覺法中,單CCD圖像是二維的,缺乏三維信息,因此三維重建會出現(xiàn)多義性和病態(tài)。

鑒于此,筆者提出一種基于激光測距及三維重構技術的方法,給出了所需的實驗設備及其安裝要求。從理論上分析了利用激光測距傳感器測得的距離信息對攝像機進行標定,以及利用這些距離信息和具有激光光斑的二維圖像進行三維坐標計算,以獲得糧面高度信息的原理及過程,并論述了該方法相對現(xiàn)有方法的優(yōu)越性。

1 糧食數(shù)量檢測方法

目前,糧食數(shù)量檢測的方法可歸納為3種。

1)稱重計量法。物體通過放置地衡的通道時可以自動稱重,隨后把稱重結果發(fā)給管理者審核。我國少量的國家級大型儲備庫采用此方法。此方法對設備要求高,維護成本也較高。

2)主動測量法。某一物體表面與檢測探頭間的距離信息是應用激光、全球定位系統(tǒng)(GPS：Global Positioning System)和紅外掃描等技術測定,然后應用坐標由空間3點計算的原理,將多個探頭獲取的數(shù)據(jù)進行擬合,以獲得物體的全數(shù)字化表達。最后重積分數(shù)字化的物體獲取體積,物體的重量就是該體積與密度的乘積。由于此方法要掃描物體的多個點,所以用時多,并且設備成本高。

3)圖像識別法。主要有雙(多)目視覺法及單目視覺法兩種。雙(多)目視覺法需要從兩個(或多個)視角觀測同一物體,物體的三維(立體)信息利用三角測量獲取,但同時要計算圖像與圖像間的視差。這種方法還有立體匹配、三維信息恢復、匹配精度等許多問題需要研究和解決。單目視覺法中,單CCD(Charge-Coupled Device)圖像作為單目視覺法的識別目標,識別二維的圖像并計算相關的三維信息,以便把二維圖像變成人們想要的三維圖像。單CCD圖像是二維的,缺乏三維信息,因此,三維重建會出現(xiàn)多義性和病態(tài)。

4)基于激光測距及三維重構技術的方法。將激光測距及三維重構技術應用于散裝倉糧食數(shù)量識別中,是筆者提出的一種新的糧食數(shù)量識別方法。它是將激光器與攝像頭安裝在兩個云臺上。通過轉動云臺獲得不同角度的激光器到糧面的距離信息,利用這些距離信息對攝像機進行標定,這是一種快速的新方法； 利用測得的距離信息和具有激光光斑的二維圖像進行三維坐標計算,以獲得糧面高度信息。該方法將主動測量法與單目視覺法相結合,僅用一個攝像頭和一臺激光器,結構簡單,攝相機標定快速,且設備價格較低。

目前,基于圖像識別技術的袋裝倉和表面平整的散裝倉的糧食數(shù)量識別方法已有一些論文研究,但未見產(chǎn)品； 對于表面凸凹不平的散裝倉和露天糧堆的數(shù)量識別并未有報道,筆者提出的方法,可解決這類問題。

2 基于圖像的袋裝糧倉數(shù)量識別方法

文獻[3]提出了基于圖像識別的袋裝糧倉數(shù)量識別方法,通過攝像機對糧倉現(xiàn)場進行圖像采集,然后對糧堆相鄰3個面上橢圓狀“魚鱗體”的數(shù)目進行識別,即可得到糧袋數(shù)量,從而得到糧食數(shù)量。

該方法的實現(xiàn)過程如下。

1)圖像降噪。圖像在采集、傳輸?shù)倪^程中會產(chǎn)生各種噪聲。先把圖像轉化為灰度圖像,再判斷圖像中的噪聲像素,然后使用中值濾波有效地去除噪聲。

2)“魚鱗體”特征突顯。對降噪后的圖像進行“魚鱗體”的特征提取。先進行二值化,即用Sobel算子檢測圖象的邊緣； 然后根據(jù)已定義的閾值范圍,判斷非邊緣像素點是在橢圓內(nèi)還是在邊界上,若在橢圓內(nèi),像素值被設置為255,否則設置為0。

采用鄰域推斷法進行閉合化,以免把相鄰的兩袋糧食誤判為一袋。某點周圍的4個鄰域中如果有3個以上與該點像素值一樣,則該點像素值f′(i,j)被保留； 否則該點像素值被設置為：255-f′(i,j)。

3)“魚鱗體”參數(shù)表達?！棒~鱗體”參數(shù)用幾何矩法獲取。該方法是先計算每個閉合像素塊(R)的矩特征值,即：計算方向角θ、質(zhì)心(a,b)和長短軸； 之后對比閉合像素塊(R)和與該像素塊近似的橢圓的特征參數(shù)(方向角、長短軸之比、面積等),置信區(qū)間內(nèi)若在80%以上相等,則該閉合像素塊(R)被判斷為一個糧袋； 最后計算此橢圓“魚鱗體”的橢圓度[4],以此確定糧袋所屬面。

3 基于標尺的散裝糧倉數(shù)量識別方法

文獻[5]是基于矩形標尺的表面平整的散裝倉糧食數(shù)量識別方法。其主要思想概述如下：假設散裝糧倉底面積為S,高為H,糧食的密度為ρ。如果得到糧面以上矩形標尺的長度L,則糧食的質(zhì)量M=ρV,體積V=S(H-L)。所以,關鍵問題是對糧面以上矩形標尺長度的識別和測算。矩形標尺的顏色、尺寸和長寬比例等因素影響著識別的精度。

矩形標尺的識別過程如下。

1)顏色提取。將攝像頭采集到的RGB(紅、綠、藍)格式圖像轉換到HIS(色調(diào)、飽和度和強度)模型空間[6]。在HIS彩色模型中,紅色區(qū)域分布在315°～360°和0°～23°內(nèi)。據(jù)此可提取矩形標尺的紅色區(qū)域,即確定 ROI區(qū)域[7]。

2)邊緣檢測。采用Robert邊緣檢測算子進行邊緣提取,以更加精確地減少ROI區(qū)域像素點。

3)矩形標尺的判定。對已標記的ROI邊緣區(qū)域進行邊緣平滑處理[8],然后進行矩形標尺的確定。先根據(jù)矩形的4個內(nèi)角均為90°的特征,利用角度隸屬函數(shù)確定ROI區(qū)域； 再根據(jù)矩形的鄰邊長度不等的特征,利用鄰邊隸屬函數(shù)[9]進一步確定ROI區(qū)域； 最后再對其進行視角誤差校正。根據(jù)校正后的對象體與原始標尺的比例關系確定其尺寸,即可得到糧面以上矩形標尺長度L,則糧面高度為(H-L),從而可以計算糧食質(zhì)量。

4 基于激光測距及三維重構技術的散裝糧倉數(shù)量識別方法

筆者提出的基于激光測距及三維重構技術的散裝糧倉數(shù)量識別方法,既適用于表面平整的糧倉,又適用于凸凹不平的散裝倉和露天糧堆。其實現(xiàn)過程如下。

1)激光測距。利用脈沖激光測距法進行測距,激光經(jīng)準直瞄準后照射被測目標,遇到目標后,激光脈沖的部分能量從目標返回到接收器上。當光速為c,發(fā)射信號和回波信號的時間間隔為t時,目標距離L=1/2ct。

這里擬采用FPGA(Field-Programmable Gate Array)實現(xiàn)延遲線插入法進行高精度時間間隔測量[10],測時精度小于0.3 ns,測距精度為9.2 cm左右。

2)激光測距用于攝像機標定。攝像機的參數(shù)可能會隨著溫度、濕度、氣壓等環(huán)境的變化而變化,所以需要對攝像機進行標定。目前己經(jīng)有許多攝像機標定的方法,如Tsai[11]提出的基于二維標定參照物的標定方法,該方法需要一套昂貴的精密標定設備； Zhang[12]提出了基于二維平面模板的標定方法,該標定法需要從不同角度拍攝同一標定模板2幅以上圖像。

由于糧倉內(nèi)環(huán)境的限制,以上方法不適用,故筆者提出用激光測距儀對攝像機進行標定。

圖1 圖像坐標系

實現(xiàn)時,把攝像機和激光測距儀分別安裝到兩個云臺上,調(diào)整云臺使攝像機和激光測距儀在合適初始位置,定標過程中轉動載有測距儀的云臺,用攝像機獲取帶有激光光斑圖像并存儲在計算機中。

存儲在計算機中的數(shù)字圖像坐標系可用像素坐標(u,v)和物理坐標(x,y)兩種方法表示(見圖1)。假定像素點大小為k×n(設單位為mm),像素坐標原點為圖像的左下角,物理坐標原點為圖像的中心,兩種坐標表示方法的關系是

(1)

攝像機坐標系(Xc,Yc,Zc)是以攝像機鏡頭的光心為原點,Xc軸和Yc軸與圖像坐標系的x軸和y軸平行,并且Zc軸垂直于圖像平面的直角坐標系。

世界坐標系(Xw,Yw,Zw)是以安裝激光測距儀的云臺的轉動中心為世界坐標系原點,Zw的方向為最初的激光測距儀的激光發(fā)射方向。攝像機坐標系和世界坐標系的關系是

(2)

其中R3×3=(rx,ry,rz)為旋轉矩陣,t3×1=(tx,ty,tz)T為平移矩陣。

控制載有激光測距儀的云臺的水平和垂直運動角度,可以測得不同的距離,利用這些距離,可計算激光測距儀光斑在世界坐標系下的坐標。光斑在圖像中的坐標可運用平均背景法得到[13],為提高精度可用亞像素級坐標進行計算。

在攝像機的標定過程中,激光測距儀的光斑點P在圖像上的成像位置可用中心射影模型表示。光斑點P在攝像機坐標系下坐標為(Xc,Yc,Zc),在圖像上所成的像點p的物理坐標為(x,y),根據(jù)比例關系有：x=fXc/Zc,y=fYc/Zc,f為焦距。用齊次坐標表示為

(3)

綜上所述,可得到世界坐標系下P點坐標和其投影點p在圖像坐標系下坐標(u,v)之間的關系

(4)

即

(5)

其中ax=f/k,ay=f/n,M1包含攝像機的內(nèi)參數(shù),M2包含攝像機的外參數(shù),M稱為投影矩陣。如果解出矩陣M,即可分解出攝像機的所有內(nèi)外參數(shù)。

把式(5)寫成

(6)

其中(Xwi,Ywi,Zwi,1)為第i個空間點Pi的坐標,(ui,vi,1)為Pi對應的圖像點的坐標。

通過移動載有激光測距儀的云臺,可知n個空間點和圖像點的坐標Pi和pi,把式(6)展開并消去Zc,得到2n個關于投影矩陣M元素的線性方程

Km=U

(7)

其中

由于矩陣M乘以任意不為零的常數(shù)不影響Pi和pi的關系,所以指定式中的m34=1,其中K,U為已知,利用最小二乘法解出m=(KTK)-1KTU,利用正交性即可從向量m中分解出攝像機的內(nèi)外參數(shù)。

3)三維重構。用立體視覺的方法進行三維重構,通常需要兩幅或多幅二維圖像恢復物體的三維幾何形狀。筆者采用的方法是借助激光測距儀得到物體表面點的三維坐標。

由攝像頭獲取帶有激光光斑的二維圖像。由于設定世界坐標系的原點在載有激光測距儀云臺的軸心,Z軸方向為初始的激光測距儀發(fā)射激光的方向,XOY平面與Z軸垂直。所以初始狀態(tài)下,由激光測距儀測得的距離l,即為光斑點的Z軸坐標,光斑的X和Y軸坐標值為0。當載有測距儀的云臺轉動時,水平和垂直方向的轉動角度分別為α和β,利用公式

Yw=lsinβ,Xw=lcosβsinα,Zw=lcosβcosα

(8)

可計算光斑在世界坐標系下的三維坐標(XW,YW,ZW),二維圖像中的光斑采用平均背景法提取,然后計算光斑在圖像坐標系下的坐標(u,v)。

當載有攝像機的云臺轉動時,在知道云臺水平轉動角度θ和垂直轉動角度φ的前提下,利用標定時的初始攝像機外參數(shù)(不需要重新標定攝像機的外參數(shù),只是其旋轉矩陣R發(fā)生改變,平移向量t沒有發(fā)生變化),就可計算攝像機旋轉后的旋轉矩陣(用θ和φ表示)。

當攝像機繞Y軸做水平轉動的轉動角度為θ時,旋轉矩陣是Rry(θ)； 當攝像機繞X軸做水平轉動的轉動角度為φ時,旋轉矩陣是Rrx(φ)； 攝像機不用繞Z軸旋轉,所以其旋轉角度是0,旋轉矩陣是Rrz(0)。總的旋轉矩陣Rr是Rry(θ),Rrx(φ)和Rrz(0)的乘積。

按照旋轉順序,Rr=RryRrxRrz。所以攝像機旋轉后的旋轉矩陣為RRr。

通過控制載有激光測距儀的云臺移動來控制激光光斑的位置,并根據(jù)需要加入輔助激光點,從而得到物體表面點的三維坐標。

對于表面是平整的散裝倉,在攝像機標定后,只要檢測出糧面上一點的三維坐標,即可得到糧面高度H。糧倉的形狀(圓形或矩形)是已知的,所以底面積S可求,則糧食數(shù)量為：ρSH(ρ為糧食密度)。對于表面凸凹不平的散裝倉或是露天糧堆,需要檢測出糧面上多點的三維坐標,然后進行曲線擬合、重積分得到其體積,再以體積乘以密度即可得到糧食數(shù)量。

5 結 語

基于圖象識別的袋裝倉和散裝倉糧食數(shù)量識別方法均未考慮攝像機標定問題。由攝像頭獲取圖像,必須對攝像頭內(nèi)部和外部參數(shù)進行標定,否則獲取的圖像與真實圖像有區(qū)別,甚至相差甚遠,影響識別效果。筆者提出的基于激光測距及三維重構技術的散裝倉糧食數(shù)量識別方法,將激光技術用于攝像機標定,由攝像頭獲取帶有激光光斑的二維圖像,以圖像中的激光光斑的位置為參考點,進行射影變換得到點的三維坐標,再由得到的有限點進行曲面擬合以得到場景的全局結構。此種三維重構法能克服單目視覺法因二維圖像缺少立體維度信息,而導致三維重建多義性的缺點。

國家儲備糧自動與遠程監(jiān)管、稽核的關鍵技術是糧食數(shù)量的自動識別。一直以來由于技術的限制,國內(nèi)外沒有行之有效的措施與設備。隨著圖像處理和計算機技術的發(fā)展,基于機器視覺的糧食數(shù)量自動識別將成為儲備糧自動監(jiān)管和稽核的必然趨勢。

參考文獻：

[1]楊光焰.我國糧食宏觀調(diào)控面臨的七大矛盾[J].糧食問題研究,2005(1):7-9.

YANG Guang-yan.Seven Big Contradictions Facing in our Country Grain Macro-Control[J].Study on Grain Problem,2005(1):7-9.

[2]尤路,付永慶,王詠勝.USB攝像頭平行雙目視覺系統(tǒng)在面積測量中的應用[J].應用科技,2008,35(2):1-4,16.

YOU Lu,FU Yong-qing,WANG Yong-sheng.The Application of Parallel Binocular Vision System Using USB Cameras in Area Measurement[J].Application Science and Technology,2008,35(2):1-4,16.

[3]林鷹.儲備糧智能監(jiān)管與稽核系統(tǒng)關鍵技術研究[D].天津:天津大學計算機科學與技術學院,2008.

LIN Ying.Research on the Key Technologies of Reserved Grain Intelligent Supervision and Audit System[D].Tianjin:College of Computer Science and Technology,Tianjin University,2008.

[4]唐毅,鄭麗敏,任發(fā)政,等.基于幾何特征的圖像感興趣區(qū)域的自動定位研究[J].計算機工程,2007,33(1):200-202.

TANG Yi,ZHENG Li-min,REN Fa-zheng,et al.Study on Automatic Location for Interested Region of Image Based on Geometrical Features[J].Computer Engineering,2007,33(1):200-202.

[5]鄧玉華,馮運義.基于Visual C++矩形標尺智能識別[J].糧食儲藏技術,2007,36(6):13-16.

DENG Yu-hua,FENG Yun-yi.Intelligent Identification of Rectangle Benchmark Based on Visual C++[J].Grain Storage Technique,2007,36(6):13-16.

[6]GONZALEZ R C,WOOD R E.Digital Image Processing[M].2nd ed.New York:Prentice Hall,2002:77-86.

[7]STEPHEN PRATA.C++ Primer Plus[M].4th ed.Beijing:Posts &Telecom Press,2002.

[8]袁修貴,龔正,孟正中.基于邊緣方向性的小波邊緣檢測算法[J].計算機科學與工程,2010,32(3):49-51.

YUAN Xiu-gui,GONG Zheng,MENG Zheng-zhong.A Wavelet Transform-Based Edge Detection Algorithm Based on Edge Direction[J].Computer Engineering &Science,2010,32(3):49-51.

[9]KITTLER J,HATEF M,DUIN R P W.On Combining Classifiers[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(3):226-239.

[10]胡春生.脈沖半導體激光器高速三維成像激光雷達研究[D].北京:國防科學技術大學光電科學工程學院,2005.

HU Chun-sheng.Study on High-Speed 3D-Imaging Ladar Using a Pulse Laser Diode[D].Beijing:School of Opto-Electronic Science and Engineering National Defense Science and Technology University,2005.

[11]TSAI R Y.An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision[C]∥Proc of IEEE Conference of Computer Vision and Pattern Recgonition.Miami Beach,FL:[s.n.],1986:364-374.

[12]ZAHNG Zheng-you.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[13]GARY BRADSKI,ADRIAN KAEBLER.Learning Open CV (Computer Vision with the Open CV Library)[M].[S.l.]:O’Relly Media,Inc,2008:271-276.