基于Kinect傳感器的羊體體尺測量方法

趙建敏　趙忠鑫　李琦

摘要：在基于機(jī)器視覺的羊體體尺測量中，當(dāng)受到光線、背景等干擾時，彩色圖像無法精確提取羊體輪廓。此外，羊體站姿的變化也會造成測量誤差。為解決彩色鏡頭受背景干擾的問題，采用Kinect傳感器采集羊體彩色、深度圖像，利用深度信息不受光干擾的特點(diǎn)，提出彩色與深度圖像相結(jié)合的方法提取羊體輪廓；在特征點(diǎn)提取中，采用U弦長曲率得到臀部點(diǎn)，位置關(guān)系掃描得到前蹄點(diǎn)、后蹄點(diǎn)、耆點(diǎn)；為解決站姿干擾問題，利用傳感器深度信息建立羊體空間輪廓線擬合平面，并計算其與像平面夾角，進(jìn)行體位站姿糾偏，計算出羊體體尺數(shù)據(jù)。最后，基于VS2010軟件搭建測量系統(tǒng)，經(jīng)過實地測試，準(zhǔn)確測量得到羊體體尺數(shù)據(jù)，且相對誤差小于4.3%。

關(guān)鍵詞：機(jī)器視覺；輪廓提??；特征點(diǎn)；體尺測量；Kinect

中圖分類號： S818文獻(xiàn)標(biāo)志碼： A文章編號：1002-1302（2015）11-0495-04

收稿日期：2014-11-19

基金項目：內(nèi)蒙古科技大學(xué)大學(xué)生科技創(chuàng)新基金（編號：2012NCL027）。

作者簡介：趙建敏（1982—），男，內(nèi)蒙古包頭人，碩士，講師，主要從事人機(jī)交互、模式識別研究。E-mail：zhao479059413@163.com。

通信作者：趙忠鑫，碩士研究生，主要從事機(jī)器視覺、圖像處理研究。E-mail：zhao479059413@163.com?；跈C(jī)器視覺的家畜體尺測量是非接觸式測量手段。劉同海等利用背景減法、去除噪聲算法去除背景干擾，尋找豬體體尺測點(diǎn)[1]。劉波等將自動閾值分割與形態(tài)學(xué)處理相結(jié)合，進(jìn)行輪廓分割[2]。江杰等利用基于灰度的背景差分法提取羊體輪廓[3]。以上基于機(jī)器視覺的家畜體尺測量研究均在無干擾環(huán)境下利用背景差法或閾值分割法提取家畜輪廓。實際應(yīng)用中，當(dāng)背景與家畜顏色相近時，彩色圖像差分結(jié)果殘缺，閾值難以確定，導(dǎo)致無法單純分割出目標(biāo)家畜。此外，以往研究往往忽略了家畜與像平面夾角，對體尺計算造成很大誤差。為解決這些問題，本研究采用Kinect傳感器，將彩色、深度圖像多元信息相融合，提取羊體輪廓線，保證羊體輪廓完整的同時，利用傳感器深度信息建立輪廓點(diǎn)三維坐標(biāo)，通過擬合平面對羊體與像平面夾角進(jìn)行計算，進(jìn)行體尺糾偏后得到更加準(zhǔn)確的體尺數(shù)據(jù)，旨在為精確測量家畜體尺提供依據(jù)。

1輪廓提取

為克服單一鏡頭抗干擾能力差的問題，本研究利用Kinect傳感器，采用彩色與深度圖像相結(jié)合的方法提取羊體輪廓。Kinect傳感器可同時采集彩色、深度圖像，利用連續(xù)光（近紅外光）對測量空間進(jìn)行照射編碼，再通過CMOS感應(yīng)器得到編碼后的光線，將數(shù)據(jù)傳給ps1080系統(tǒng)級芯片SoC進(jìn)行解碼運(yùn)算，最終得到具有深度的圖像[4]。本研究利用NuiInitialize（NUI_INITIALIZE_FLAG_USES_COLOR ）、NuiInitialize（NUI_INITIALIZE_FLAG_USES_DEPTH）函數(shù)對彩色、深度視頻流進(jìn)行初始化，采用逐幀讀取視頻流的方法，通過CvCapture結(jié)構(gòu)體保存圖像捕獲的信息。CvCapture自動獲取下一幀的位置，每獲取一幀，這些信息立即更新，獲取下一幀回復(fù)，通過截取深度、彩色數(shù)據(jù)流獲得現(xiàn)場圖像（圖1）。

Kinect傳感器獲取的羊體彩色與深度圖像如圖2所示，標(biāo)記羊A為目標(biāo)羊，其所處環(huán)境背景復(fù)雜，提取輪廓時，單一彩色圖像中背部存在顏色干擾，單一深度圖像中腿部深度差不明顯。為準(zhǔn)確提取目標(biāo)羊A輪廓，將彩色圖像單獨(dú)閾值分割后，與深度圖像同時進(jìn)行輪廓提取，經(jīng)過去除噪聲干擾，采用膨脹法得到羊體閉合輪廓線。

1.1預(yù)處理

本研究采用8鄰域窗口對圖像進(jìn)行平滑處理[5]。濾波時，遍歷原始彩色圖像像素點(diǎn)，把其灰度值設(shè)置成8鄰域中灰度值的中值。根據(jù)局部自適應(yīng)閾值算法將圖2-a二值化，成功地將羊A腿部色差較大部分完整分割出來。采用Canny邊緣檢測算子對彩色圖像閾值分割后的結(jié)果及深度圖像進(jìn)行邊緣檢測，結(jié)果如圖3所示。

為去除干擾，規(guī)定8鄰域連通區(qū)域面積（像素點(diǎn)個數(shù)）小于20時為干擾。首先標(biāo)記8連通區(qū)域，分別計算每個連通區(qū)域面積，若小于閾值則將其顏色更改為背景色。圖4-a、圖4-b 分別為彩色、深度圖像輪廓提取去除干擾后的結(jié)果。

圖2、圖4表明：彩色圖像中，羊A背部輪廓由于位于其身后羊體干擾導(dǎo)致缺失，彩色圖像無法進(jìn)行恢復(fù)，深度圖像同一位置處不受干擾；深度圖像中，由于蹄部與地面之間深度差距小，導(dǎo)致前蹄、后蹄區(qū)域輪廓損失嚴(yán)重，但彩色圖像中此處輪廓完好。因此，借助彩色、深度圖像結(jié)合的方法可以克服上述問題，準(zhǔn)確提取目標(biāo)羊體A的輪廓線。

1.2閉合輪廓線提取

圖4中輪廓線處像素點(diǎn)灰度為255，其余部分灰度為0。在目標(biāo)羊A處生成1個灰度值為200的標(biāo)記點(diǎn)。規(guī)定與像素點(diǎn)a有公共邊的像素為其鄰位，如b1、b2、b3、b4為a鄰位（圖5）。

若灰度值為200的像素點(diǎn)a鄰位存在灰度值為0的像素點(diǎn)，則稱a為奇異點(diǎn)。定義奇異點(diǎn)的膨脹操作為將鄰位中灰度值為0的位置灰度改變?yōu)?00。閉合輪廓提取算法流程如圖6。算法以標(biāo)記點(diǎn)開始膨脹，在判斷無奇異點(diǎn)的情況下，羊體A區(qū)域被灰度值為200的像素點(diǎn)填充，輪廓提取算法中取閾值T=200，此處閾值分割公式如下：

分割后圖像被二值化（圖7），再經(jīng)Canny算子提取輪廓，最終得到羊體閉合輪廓。閉合輪廓線利用彩色、深度圖像的各自優(yōu)勢，提取過程克服了單一鏡頭信息不足的缺點(diǎn)，得到了

目標(biāo)羊體閉合輪廓線。

2羊體特征點(diǎn)提取

根據(jù)傳統(tǒng)羊體測量方法，得知羊體體尺特征點(diǎn)包括臀部特征點(diǎn)、前后蹄點(diǎn)、耆點(diǎn)[6]。本研究采用羊體側(cè)面輪廓線提取各特征點(diǎn)（圖8）。

2.1臀部特征點(diǎn)檢測

由于羊體臀部骨骼突起，造成其輪廓在一定范圍內(nèi)曲率最大，且臀部位置與羊的移動關(guān)系較小，曲率不會發(fā)生較大變化。背部輪廓線屬于離散曲線[7]，故本研究采用U弦長曲率[8]尋找臀部特征點(diǎn)。

由約束條件：

確定。其中U>0，需初始設(shè)定，為任意兩像素點(diǎn)間歐式距離，即：

數(shù)字化曲線具有離散性，故上述結(jié)果只可近似滿足約束條件公式（3），根據(jù)參考文獻(xiàn)[9]中的隱式精化數(shù)字曲線策略提高其準(zhǔn)確性，使公式（2） 能被精確地滿足，令

根據(jù)條件，‖pipif‖=U，求出待定系數(shù)u的值，從而確定領(lǐng)域前端點(diǎn)pif，同理可得領(lǐng)域后端點(diǎn)pib，此時領(lǐng)域被調(diào)整。

計算曲線曲率時，利用與支持領(lǐng)域前、后臂矢量夾角相關(guān)的某一余弦值作為離散曲率。本研究取角∠pifpipib的余弦值為離散曲率（圖9）。以輪廓上Pi點(diǎn)為中心，以U為半徑的支持領(lǐng)域，逐步迭代計算曲率。

Pi點(diǎn)離散曲率：

cosθ=‖pipib‖2+‖pipif‖2-‖pibpif‖22×‖pipib‖×‖pipif‖。（6）

臀部特征點(diǎn)位于羊體上輪廓線后半部分，因此分解出羊體上輪廓線，保留后半部分。在有可能出現(xiàn)臀部特征點(diǎn)的一定區(qū)域內(nèi)逐點(diǎn)計算輪廓線曲率。經(jīng)過篩選，得到曲率最大值所對應(yīng)的點(diǎn)為臀部特征點(diǎn)。研究結(jié)果表明，U在6～20范圍內(nèi)結(jié)果較好。

2.2前蹄、后蹄點(diǎn)檢測

前蹄、后蹄點(diǎn)處于所得的圖像中最下方位置，根據(jù)此關(guān)系，采用逐點(diǎn)掃描的方法，由最底行向上，由最左列向右遍歷各點(diǎn)，第1個像素值非零點(diǎn)即為一蹄點(diǎn)。圖像空間分辨率為640×480，在可疑區(qū)域內(nèi)搜索另一蹄點(diǎn)，可疑區(qū)域為：

式中：x為行數(shù)，y為列數(shù)，px（top）為輪廓最上端像素點(diǎn)對應(yīng)的行數(shù)，py（d）為檢測到的第1個蹄點(diǎn)像素點(diǎn)列數(shù)。

2.3耆點(diǎn)檢測

根據(jù)前蹄點(diǎn)像素點(diǎn)位置，沿著行數(shù)減小的方向?qū)ふ?，耆點(diǎn)與前足點(diǎn)列坐標(biāo)相同。設(shè)fy為前足點(diǎn)所在列，因此耆點(diǎn)也在第fy列。找出輪廓線上所有列數(shù)為fy的點(diǎn)，所在行數(shù)分別為T1、T2、T3，…，Tn。最終根據(jù)限定條件：

坐標(biāo)（x，y）即為耆點(diǎn)坐標(biāo)。

2.4特征點(diǎn)檢測結(jié)果

圖10為獲取的部分羊體上輪廓線，共186個輪廓點(diǎn)。

根據(jù)公式（6）依次計算獲取上輪廓線上各個點(diǎn)所對應(yīng)的曲率角余弦值，選定支撐領(lǐng)域半徑U=9，結(jié)果如圖11所示。

橫坐標(biāo)為輪廓像素點(diǎn)的點(diǎn)數(shù)，縱坐標(biāo)為對應(yīng)的余弦值。橫坐標(biāo)x=43所對應(yīng)的輪廓點(diǎn)余弦值最大，即此點(diǎn)處曲率最大，經(jīng)計算其值為-0.791。輪廓線左起半徑U=9范圍內(nèi)的9個點(diǎn)不參與計算余弦值，所以輪廓線左起第52個點(diǎn)，即圖10中K點(diǎn)為臀部特征點(diǎn)，其對應(yīng)的坐標(biāo)為（264，262）。按上述前蹄點(diǎn)、后蹄點(diǎn)、耆點(diǎn)尋找方法對樣本羊體輪廓進(jìn)行檢測，得其特征點(diǎn)的坐標(biāo)值（表1）。

3站姿糾偏

實際測量中，由于羊體站姿存在一定隨機(jī)性，導(dǎo)致羊體中心線與測量平臺中心線并不平行，存在一定的角度θ（圖12）。

二維圖像中測量得到的體尺數(shù)據(jù)L′ 為真實體尺L在二維圖像平面上的投影長度。若不考慮特征點(diǎn)深度值則測量結(jié)果會產(chǎn)生一定誤差，因此結(jié)合深度信息進(jìn)行測量。

3.1建立空間直角坐標(biāo)系

由羊體二值化輪廓線坐標(biāo)結(jié)合深度圖像中獲得的深度值可以構(gòu)成羊體空間輪廓線。本研究以x、y軸表征輪廓點(diǎn)位置，z軸表征深度信息，建立三維直角坐標(biāo)系。

3.2空間分辨率

體尺測量中，需要確定空間分辨率，即確定圖像上2個像素點(diǎn)的距離所代表的實際尺寸。每個像素（u，v）在x軸與y軸方向上的物理尺寸為dx、dy，則圖像中任一像素的坐標(biāo)為：

實際操作時，攝像頭與羊體監(jiān)控位置保持不變，根據(jù)墻面標(biāo)記點(diǎn)A、B標(biāo)定攝像頭，已知AB距離為2 m，A、B處于同一行，相隔469個像素，故可確定dx=dy=0.427 cm（圖13）。

羊體深度圖像由Kinect獲取，本研究選用的深度圖像灰度值為0～255，根據(jù)Kinect相關(guān)信息，深度值分辨率為1.6 cm。

3.3剔除不可信點(diǎn)

考慮到計算量等因素，將隨機(jī)采樣空間輪廓線上部分點(diǎn)表示到三維直角坐標(biāo)系中。獲取深度信息時，由于深度傳感器Kinect自身的因素，對羊體邊緣部分的深度測量存在許多隨機(jī)誤差與不確定的結(jié)果，而且往往由于深度干擾，會出現(xiàn)虛假邊緣的判定，這些點(diǎn)的深度信息不可靠，應(yīng)將其剔除。求出采樣輪廓點(diǎn)深度值的均值：

di為第i個采樣點(diǎn)的深度值，設(shè)定閾值：

dmax為采樣點(diǎn)中的最大深度值。利用閾值對采樣點(diǎn)進(jìn)行限制，滿足條件：|di-d|

3.4擬合平面

得到較為可信的羊體空間輪廓點(diǎn)之后，根據(jù)各個點(diǎn)的坐標(biāo)位置可基本確定羊體在空間中的站位姿態(tài)，為了更加精確表征羊體站姿狀態(tài)，采用最小二乘法，對可信的空間輪廓線采樣點(diǎn)進(jìn)行擬合運(yùn)算得到擬合平面?？臻g平面的一般表達(dá)式為：

對于空間中分布的n（n≥3）個點(diǎn)，坐標(biāo)為（xi，yi，zi），根據(jù)最小二乘法則，用這n個點(diǎn)擬合上述平面方程。部分輪廓采樣點(diǎn)坐標(biāo)見表2。

利用最小二乘法對輪廓采樣點(diǎn)進(jìn)行平面擬合，得到采樣點(diǎn)擬合平面的一般表達(dá)式的各個參數(shù)A=-0.000 797 2，B=0.000 265 7，C=-0.005 4。因此擬合平面的一般方程為：-0.000 797 若M′、N′為2特征點(diǎn)坐標(biāo)，將特征點(diǎn)坐標(biāo)沿z軸映射到擬合平面上，得點(diǎn)M（x1，y1）、N（x2，y2）。在不考慮深度坐標(biāo)時，測量得到的羊體體尺長度L′為真實體尺長度L在xoy坐標(biāo)平面的投影長度。所以線段L（MN）的長度為體尺數(shù)據(jù)的真實值（圖16）。

將體尺計算由二維平面轉(zhuǎn)入三維空間，對克服羊體站姿問題有一定幫助。

4試驗結(jié)果

本研究基于VS2010軟件，結(jié)合微軟公司提供的SDK，搭建羊體尺測量系統(tǒng)，主界面如圖17所示。

5結(jié)論

本研究采用Kinect傳感器采集羊體彩色、深度圖像，采用彩色、深度圖像融合的方法分割得到羊體輪廓線，有效克服了現(xiàn)場背景復(fù)雜、光線及羊體站姿變化的干擾，在實地測量中，所得體尺數(shù)據(jù)相對誤差在4.3%之內(nèi)，對機(jī)器視覺技術(shù)在家畜體尺測量方面的應(yīng)用具有積極意義。

參考文獻(xiàn)：

[1]劉同海，滕光輝，付為森，等. 基于機(jī)器視覺的豬體體尺測點(diǎn)提取算法與應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報，2013，29（2）：161-168.

[2]劉波，朱偉興，霍冠英. 生豬輪廓紅外與光學(xué)圖像的融合算法[J]. 農(nóng)業(yè)工程學(xué)報，2013，29（17）：113-120.

[3]江杰，周麗娜，李剛. 基于機(jī)器視覺的羊體體尺測量[J]. 計算機(jī)應(yīng)用，2014，34（3）：846-850，887.

[4]趙建敏，許曉偉，賈慧媛. 基于Kinect體感傳感器的心理宣泄系統(tǒng)的實現(xiàn)[J]. 傳感器與微系統(tǒng)，2014，33（8）：119-122.

[5]王琰濱，蔣龍泉，馮瑞. 一種低圖像質(zhì)量車輛牌照的字符分割方法[J]. 計算機(jī)應(yīng)用與軟件，2013，30（3）：108-110，117.

[6]田亞磊，高騰云，白繼武，等. 河南小尾寒羊體尺與體重的相關(guān)性分析[J]. 中國畜牧獸醫(yī)，2009，36（11）：200-202.

[7]王德超，涂亞慶，張鐵楠. 一種多尺度Harris角點(diǎn)檢測方法[J]. 計算機(jī)應(yīng)用與軟件，2008，25（12）：242-243，262.

[8]郭娟娟，鐘寶江. U弦長曲率：一種離散曲率計算方法[J]. 模式識別與人工智能，2014，27（8）：683-691.

[9]鐘寶江，廖文和. 基于精化曲線累加弦長的角點(diǎn)檢測技術(shù)[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2004，16（7）：939-943.許健才. 一種非下采樣輪廓波變換域水果圖像預(yù)處理方法[J]. 江蘇農(nóng)業(yè)科學(xué)，2015，43（11：499-501.