田志宏,田 碩,李瑤瑤,趙昱煒,寧培英,于 揚
(1. 天津科技大學電子信息與自動化學院,天津 300222;2. 榮耀智慧(天津)工程設計有限公司,天津 300070)
智能化發(fā)展使得各式各樣智能機器人廣泛應用于工業(yè)、教育、醫(yī)療等領域,服務于老人、殘障人士的服務型智能機器人也不斷在發(fā)展,載有機械臂的電動輪椅是服務型機器人的重要分支[1].
載有機械臂的電動輪椅可以在日常生活中完成如開門、倒水等一些基本動作,可以為老人以及殘疾人服務,以提高他們的生活靈活性,所以對此類輪椅的研究具有一定的社會和現(xiàn)實意義[2-3].在電動輪椅機械臂抓取目標的過程中,通過圖像分割實現(xiàn)目標定位.定位的準確性與圖像分割好壞緊密相關,也是后續(xù)準確求解輪椅與目標物間距離參數(shù)的基礎.因此,本文對圖像分割部分進行了進一步研究,旨在通過圖像分割算法,實現(xiàn)對目標物的準確分割,進而可以準確獲取目標物的位置坐標,以實現(xiàn)目標物定位.
在數(shù)字圖像處理方面,傳統(tǒng)彩色圖像采用的是RGB(紅、綠、藍色)色彩模式,但RGB色彩模式各個通道間的冗余信息較多,亮度一旦改變,R、G、B這 3個分量都會改變,沒有穩(wěn)定的描述規(guī)則;且一些目標物與背景的 RGB顏色差異不明顯,不利于描述二者的顏色模型,對圖像分割有一定困難.HSI(色調(diào)、飽和度、強度)顏色空間則更符合人視覺系統(tǒng)的感知彩色模式,其中H和S分量與人感受的方式緊密結合,很容易從中提取色彩信息,并且 H和 S分量結合進行圖像分割,有利于目標物與背景的分離,所以采用HSI顏色空間的H和S分量進行彩色特性分析[4].
數(shù)字圖像處理的重要內(nèi)容之一是圖像分割技術,圖像處理的好壞會直接影響到后續(xù)的定位過程.目前,圖像分割技術多種多樣,常用分割方法有:基于閾值分割,例如基于直方圖閾值分割、Otsu閾值分割;基于聚類的分割,例如K-均值聚類、模糊C均值分類,雖然聚類分割缺乏對噪聲等的魯棒性,但通過研究者不斷地改進,使得分割精度不斷提高;基于特定理論分割方法,例如遺傳算法、人工神經(jīng)網(wǎng)絡算法等.以上方法都能很好地對目標物進行分割[5-7].脈沖耦合神經(jīng)網(wǎng)絡(pulse couple neural networks,PCNN)模型為仿動物視覺系統(tǒng)建立的模型,也逐漸成為機器視覺領域的熱門課題之一.
PCNN算法對圖像分割效果顯著,一些作者也對其進行一定改進[8-10],例如簡化 PCNN 算法,或者與其他算法結合,例如與遺傳算法相結合,實現(xiàn)對PCNN參數(shù)的確定等.以電動輪椅作為移動平臺,機械臂所抓取的目標物并非在相同位置,目標物受到的光照強度會有所不同,而光線因素會對圖像分割產(chǎn)生影響.因此在本文中,考慮光線條件對分割的影響以及目標抓取中遇到的多個目標物選其一的情況,提出區(qū)域生長算法與 PCNN算法相結合的圖像分割方法.在 HSI顏色空間,以 H和 S分量作為區(qū)域生長算法的生長準則,將相似像素生長為同一區(qū)域,采用信息熵算法控制 PCNN算法的迭代次數(shù),最終實現(xiàn)圖像分割.
Eckhorn等提出的單個PCNN神經(jīng)元模型,如圖1所示,該模型包括3部分:輸入?yún)^(qū)、連接輸入?yún)^(qū)以及脈沖發(fā)生器[11-12].
圖1 PCNN模型Fig. 1 PCNN model
PCNN模型的離散數(shù)學迭代方程見式(1)—式(6)[13].
式中:n代表迭代次數(shù);αF和VF分別為反饋輸入域的衰減時間常數(shù)和放大系數(shù);Sij為數(shù)字圖像中的像素灰度值,是神經(jīng)元的外部刺激;αL和 VL分別為耦合連接域的衰減時間常數(shù)和放大系數(shù);β是內(nèi)部活動項的連接系數(shù);Mijkl和 Wijkl分別為反饋輸入域和耦合連接域的權值矩陣,用歐幾里得公式表示;Eij為脈沖發(fā)生器的組成部分;VT為閾值的放大系數(shù),可以使脈沖的高電平迅速降為低電平.
在 PCNN數(shù)字圖像處理模型中,神經(jīng)元與像素為一一對應關系.該模型具有周期性點火的特性,在無耦合的情況下,像素值與點火周期關系如圖2所示.
圖2 點火周期與像素值關系Fig. 2 Relationship between ignition period and pixel value
由圖 2可知,在無耦合情況下,像素值越大,越先點火.因PCNN具有耦合關系,像素Sij和Skl(其中Sij大于Skl)具有如下關系:
熵作為圖像統(tǒng)計特性的一種表現(xiàn)形式,反映的是圖像信息量的大?。诿看蜳CNN循環(huán)迭代后,計算輸出的二值圖像 []Y n的信息量,即熵值,見式(8)[14].
式中:P1、P0分別是 Y [ n]為 1、0的概率.熵值越大,說明包含的原圖信息量越大,所以將求得的熵值最大為 H1max(P)時的迭代次數(shù)作為PCNN循環(huán)迭代次數(shù),即 PCNN每迭代一次計算熵值 H1( P),當 H1( P)的值下降時停止迭代,此時輸出的 Y[ n]二值圖像所包含的信息量最大,即為最佳輸出圖像.
RGB圖像各通道間冗余信息復雜,難以控制,而HSI空間更符合人的視覺特性.將 RGB空間轉換到HSI,首先將R、G、B歸一化,即R,G,B[0,1]∈,則轉化公式為
其中色調(diào) H的取值范圍為 0°~360°,飽和度 S、亮度I取值范圍[0,1].HSI顏色空間模型如圖3所示[15].
圖3 HSI顏色空間模型Fig. 3 HSI color space model
色調(diào)(H)分量描述的是一種純色的顏色屬相(如紅色、黃色、綠色),飽和度(S)分量是一種純色被白光稀釋的程度,即顏色的濃淡程度,亮度(I)分量描述顏色的亮暗程度,中心軸代表著圖像的灰度圖.
物體因自身表面受到的光照強度不同,導致傳統(tǒng)PCNN算法無法實現(xiàn)物體的正確分割,其參數(shù)對同步點火的像素值范圍難以控制,而區(qū)域生長方法是根據(jù)像素的相似性質,將同一目標物體區(qū)域內(nèi)的像素進行聚集的方法.結合生長區(qū)域算法,可以避免該現(xiàn)象產(chǎn)生.
區(qū)域生長是指從某個選定的像素出發(fā),根據(jù)某種準則,逐步加入鄰近像素,滿足一定條件,就停止區(qū)域生長[16].其主要步驟為:以選取的一個小鄰域或單個像素作為生長種子點.從該種子點開始,將相鄰的或其他區(qū)域像素,根據(jù)事先規(guī)定好的生長準則進行判別,符合準則的像素歸入該種子點區(qū)域.
圖4為區(qū)域生長算法的過程圖.
圖4 不同門限值T下的生長區(qū)域(已知種子點)Fig. 4 Growth region with different T value
圖 4(a)為選擇的種子點(已在原圖中標出),假設其生長準則為:以所考慮區(qū)域的像素灰度值與種子像素的灰度值的差值的絕對值作為門限值,小于門限值T,則所考慮像素與種子像素為同一區(qū)域.圖4(b、c、d)分別為門限值 T為 2、3、7時的生長結果圖.在區(qū)域生長算法中,關鍵在于生長準則的選擇以及種子點的選取[17].本文采用半交互式方法確定種子點和生長準則.
針對本文提出的基于區(qū)域生長的 PCNN圖像分割算法,對其進行方法描述:
(1) 首先選擇目標物,即ROI區(qū)域.
(2) 將 ROI區(qū)域的 RGB空間模型轉換為 HSI顏色空間模型.
(3) 對 ROI區(qū)域執(zhí)行區(qū)域生長算法.種子點選擇方法為計算 ROI區(qū)域灰度直方圖,像素數(shù)最大所對應的像素值即為種子點像素值.生長準則確定方法:在目標物所在圖像區(qū)域分別求 H和 S分量的最大值Simax和最小值Simin,并判斷ROI區(qū)域內(nèi)每個像素 S i(x,y)∈ROI的 H和 S分量是否在其對應的 [Simin,Simax]范圍內(nèi),若在此范圍內(nèi)則令 S i(x,y)∈ROI等于種子點像素值,不滿足則其值不變.
(4) 執(zhí)行公式(1)—(6),獲得點火矩陣 Yi,并根據(jù)公式(8)獲得每次迭代的信息熵,信息熵減小時則停止迭代,即可獲得分割結果.
(5) 根據(jù)分割結果獲得目標物輪廓,并計算目標物在原圖像中的形心坐標,即為目標物位置的像素坐標.
為驗證本文所提方法對目標物分割進而求得目標物像素位置坐標的有效性、準確性和實時性,并結合研究背景中目標物位置可以不固定,需要考慮目標物會受不同光線因素影響以及在多個同種目標物中只選擇其中一個抓取的情況,設計如下實驗:目標物處于不同光線環(huán)境、目標物具有一定反光特性、多個同種目標物只定位其中一個,并與 OTSU算法和傳統(tǒng)PCNN分割方法進行實驗對比.
通過實驗獲得的圖 5—圖 8的 PCNN參數(shù)見表 1.
β和 VL相結合,可以控制 PCNN同時點火的像素值范圍,VT決定了高電平到低電平的快慢,這幾個參數(shù)對圖像分割起主要作用.結合其他研究者對參數(shù)的確定以及獲得的實驗效果,最終確定表1中的參數(shù)值.
表1 PCNN參數(shù)Tab. 1 PCNN parameters
圖5、圖6分別為某一目標物在不同光亮條件下的分割結果.
圖5 光線較暗條件實驗結果圖Fig. 5 Experimental results under dark light condition
圖 5為在光線較暗條件下測試的結果.其中圖5(c)實現(xiàn)的生長準則為:滿足 H 值在[80,123]內(nèi),且S值在[0.34,1]范圍內(nèi)的像素生長為同一區(qū)域. PCNN算法通過信息熵控制其迭代次數(shù)為15次.對圖5(b、c、d)進行對比,可看出傳統(tǒng) PCNN 方法因目標物表面受到的光照強度不同而導致其無法正確分割,而本文方法實現(xiàn)的分割效果比傳統(tǒng) PCNN方法準確,較完善地保留了目標物信息.因目標物與背景間的最大類間方差值較小,導致 OTSU算法未能將目標物與背景準確分離.
圖 6為與圖 5同一目標物在光線較亮條件下的測試結果,其中圖 6(c)的生長準則為:H 值在[63,85]區(qū)域內(nèi),S值在[0.3,1]區(qū)域內(nèi)的像素生長為同一區(qū)域,且PCNN迭代次數(shù)為13次.由圖6可見,本文分割方法大大改善了傳統(tǒng) PCNN算法與 OTSU算法分割目標物不完整的缺陷,可以相對完整分割目標物.
圖6 光線較亮條件實驗結果圖Fig. 6 Experimental results under brighter condition
為進一步驗證本文算法的有效性,對一個具有反光特性,并有一定強光照射的目標物進行測試.圖 7為在該實驗條件下的測試結果圖.
圖7 強光條件下實驗結果圖Fig. 7 Experimental results under strong light condition
其中圖7(c)以H值在[6,50]內(nèi),且S值在[0.01,0.5]內(nèi)作為區(qū)域生長準則,將滿足條件的像素生長為同一區(qū)域,迭代 15次得到的分割結果.從圖中可看出,因強光照射再伴隨目標物具有反光特性,目標物像素值受到嚴重干擾,傳統(tǒng) PCNN算法和 OTSU算法對該目標物分割的輪廓邊緣嚴重損壞.而通過本文方法實現(xiàn)的分割,雖未能準確分割,但基本保留其邊緣信息.
考慮在多個相同目標物中選擇其一實現(xiàn)抓取的情況,對該條件進行實驗,結果如圖8所示.
圖8 多目標物條件下實驗結果Fig. 8 Experimental results under multi-target condition
由圖 8可以看出,傳統(tǒng) PCNN算法分割圖像得到的邊緣信息不完善,OTSU算法產(chǎn)生干擾信息較多,而本文方法對目標物分割效果相對較好,雖然有無關信息存在,但獲取輪廓時,本文算法會對輪廓進行選擇性篩選,所以最終可以獲得目標物位置信息.圖 8(c)的生長準則為:H和 S分量滿足H∈[351.455,362.8],S∈[0.37,0.5]的像素生長為同一區(qū)域,且PCNN迭代次數(shù)為13次.
圖 9為本文算法對圖 5—圖 8中目標物進行實驗最終獲得的輪廓圖.
圖9 本文方法獲得目標物輪廓圖Fig. 9 Contour of target obtained with the new algorithm
本文在不同光照條件下,并與傳統(tǒng) PCNN算法和 OTSU算法進行對比實驗,可知本文分割方法可以改善因光線原因造成的圖像分割不完善的現(xiàn)象,且可以將目標物與背景很好地分離,具有一定魯棒性,也能滿足多目標物而只選其一的需求.
結合表 1參數(shù)可知,PCNN參數(shù)雖很多,但將區(qū)域生長算法與 PCNN算法相結合,對于不同的實驗以及目標物,參數(shù)改變范圍較小,在一定程度上可以減輕對參數(shù)值確定的工作量.
通過分割獲得目標物輪廓,進而可求得目標物位置信息.為進一步驗證本方法獲得目標物位置像素坐標的準確性以及實時性,將本文算法獲得坐標結果與實際坐標進行比較,結果見表2.
結果證明該算法通過圖像分割最終求得目標物位置的像素坐標的準確率可達到 98%.此外,通過CPU為3.10GHz的PC機,僅對ROI區(qū)域實現(xiàn)圖像處理,減少對無關信息處理而消耗的時間,因而最終獲得坐標的平均時間為 1.61s,實驗證明,該算法對目標物位置坐標的獲取具有一定實時性.
光線因素會對圖像分割產(chǎn)生影響,進而影響對目標物位置坐標的獲得,針對此問題,本文提出了一種基于生長區(qū)域的 PCNN目標定位算法.該方法以 H和S分量作為生長準則的門限值,將符合條件的區(qū)域劃分為同一區(qū)域,結合 PCNN算法以及最大信息熵準則,實現(xiàn)了對目標物的自動分割,同時獲取了目標物輪廓和目標物的形心像素坐標點.通過對不同光線條件下的目標物,以及多目標物選其一情況進行實驗,可知此方法獲得像素系位置坐標約需 1.61s,具有較高實時性.同時相對于傳統(tǒng) PCNN方法和OTSU方法,該方法分割效果更準確,且對目標物位置的獲取,準確率達到 98%,可以實現(xiàn)對目標物的分割與定位,進而為后續(xù)機械臂在電動輪椅移動平臺控制下實現(xiàn)目標物的自動抓?。?/p>