魏武 姜莉 王新梅
(1.華南理工大學 自動化科學與工程學院,廣東 廣州 510640;2.中國地質大學 機械與電子信息學院,湖北 武漢 430074)
視頻圖像序列中機器人分割方法,即基于特定分割算法實現(xiàn)機器人采集圖像中具有特殊意義的不同區(qū)域按一致性條件分開的方法[1-2],其實質是圖像分割,是圖像處理理論的重要內容.蛇形機器人是一種能模仿生物蛇“無肢運動”、多關節(jié)、多冗余度的新型機器人,具有穩(wěn)定性好、橫截面積小、步態(tài)多變和柔性高等特點,在復雜地形也能靈活運動[3-5].實現(xiàn)蛇形機器人步態(tài)的有效分割,是進行步態(tài)定位等后續(xù)工作的關鍵,將為實現(xiàn)蛇體自動無損檢測橋梁纜索表面缺陷提供技術支持.
一般的機器人分割算法主要是針對圖像中目標和背景的單閾值分割[6-7],即利用圖像中目標與背景的灰度值差異,取某一灰度值作為閾值(門限值),把圖像中每個像素的灰度值和閾值進行比較,從而以閾值為界把目標與背景分割開來. 這種分割方法只適于單個目標與背景的簡單分割,不能分割出目標的細節(jié).對于更復雜的圖像分割,F(xiàn)rucci 基于Beucher 和Mohamadian 的分水嶺檢測輪廓法[8-9],提出一種多閾值分割方法[10],即利用灰度分布性把灰度圖像分割成多個區(qū)域. 但是該分割方法只在圖像中目標相鄰兩區(qū)域間有明顯差異時有效;陶立超等[11]受Hog 特征啟發(fā),提出一種分塊重疊的顏色直方圖多閾值分割算法,該方法雖然優(yōu)于傳統(tǒng)的顏色直方圖分割法,但是需要實時更新某一顏色變化較大塊的直方圖,并計算與參考模型間的巴氏距離,計算量大,分割效率及對光線的魯棒性難以保證;吳濤等[12]提出圖像的二維閾值分割方法,借助圖像的空間信息,建立圖像的二維直方圖,引入數(shù)據(jù)場的思想,但是該方法忽略了目標的紋理、顏色等信息. 針對以上問題,文中根據(jù)色調-飽和度-亮度(HSV)顏色空間對顏色變化的不敏感特性,設置圖像的感興趣區(qū)域(ROI)減少計算量,利用改進的Otsu 最小類內方差法尋找各個局部區(qū)域的最優(yōu)閾值,從而實現(xiàn)高效、準確的機器人多閾值分割.
為研究蛇形機器人的步態(tài)定位,需準確提取蛇體特征,文中將蛇形機器人的15 個關節(jié)依次平均分成5 組,用5 種不同的顏色標記各組關節(jié),為方便表示,把個關節(jié)組分別命名為區(qū)域1 -5(如圖1 所示),并采集蛇體運動過程中的視頻序列圖像.
圖1 蛇形機器人關節(jié)組的命名Fig.1 Name of snake-like robot’s joint group
顏色分布特征一般來說對運動目標變形、旋轉、尺度變化具有一定的魯棒性和持續(xù)性.RGB 顏色空間具有無需換算、簡便易用的優(yōu)點,但是對光照、物體反射特性敏感.文中采用對光照不敏感的HSV 空間.HSV 表示3 個互相獨立的分量和值(色相H、飽和度S 和值V),克服了通用RGB 顏色模型中兩者耦合、對光照亮度變化比較敏感的缺陷. HSV 本質上與RGB 模式?jīng)]有區(qū)別,只是產(chǎn)生顏色的方式不同.文中算法首先將圖像由RGB 顏色空間轉化到HSV 顏色空間,如圖2 所示,選取原圖像的H 分量圖進行后續(xù)處理.應對智能識別領域經(jīng)常遇到的多目標識別的情況.因此,文中針對Otsu 單閾值分割算法進行改進,提出多閾值分割算法.
蛇形機器人在運動過程中拍攝的視頻圖像,由于成像系統(tǒng)、傳輸介質等的不完善,受到多種噪聲的污染,極大降低了圖像質量,影響圖像特征分割的效果.為保證分割的精確度,文中借助二維中值濾波法抑制圖像背景噪聲(包括陰影、光斑、簡單背景)、平滑直方圖.二維中值濾波分別對圖像的行列進行中值濾波,且兩者彼此獨立,濾波效果要優(yōu)于一維的中值濾波,在消除噪聲的同時還能保持圖像中的細節(jié)部分,防止邊緣模糊;其用濾波掩模確定的鄰域內像素的平均灰度值去代替圖像每個像素點的值,這種處理減小了圖像灰度的“尖銳”變化(背景噪聲).為盡量減少背景干擾,同時考慮保留細節(jié)信息,文中選擇5 ×5 的平滑濾波模板對H 直方圖濾波(見圖3),并在此基礎上進行后續(xù)工作. 另外,HSV 空間對光照、顏色變化的不敏感性和二維濾波的去噪作用,可極大減小圖像中關節(jié)陰影、少量光斑及簡單背景對圖像整體效果的影響.
圖2 蛇形機器人的蠕動爬行步態(tài)Fig.2 Peristalsis crawl gait of snake-like robot
閾值分割的基本思想是利用圖像中目標與背景之間的灰度值差異,取一個或幾個灰度值作為閾值,把圖像中每個像素的灰度值和閾值進行比較,以閾值為界對圖像分類,從而把目標與背景分割開來.設(x,y)是圖像中任意像素點,f(x,y)為輸入圖像在該點的灰度值,g(x,y)為輸出圖像在該點的灰度值,閾值為T,則有
閾值分割的基本流程是先確定閾值,然后根據(jù)閾值把圖像分割歸類. 圖像分割中,確定閾值是關鍵,閾值決定了最終二值化的效果.已經(jīng)出現(xiàn)的閾值選擇方法多達十幾種[13],最具代表性的有最大熵法、Otsu 法等.這些方法大多是單閾值法,不能有效
圖3 經(jīng)濾波后的H 分量直方圖Fig.3 Filtered H histogram
Otsu 法[14]也稱為最大類間方差法或最小類內方差法,是由日本學者大津展之(Otsu)在最小二乘法基礎上提出的.該方法基于圖像的直方圖,以目標和背景的類間方差最大或類內方差最小為閾值選取準則,在很多情況下都能取得良好的分割效果.這種傳統(tǒng)的Otsu 法在進行多閾值圖像分割時效果不理想,如圖3 所示的直方圖中存在多個峰值,且峰值間距較大,各個峰值所在區(qū)間窄小,不適合采用傳統(tǒng)的最小類內方差法.
傳統(tǒng)最小類內方差分割法的算法實現(xiàn)步驟如下:
(1)通過直方圖統(tǒng)計得出該圖像的最大和最小灰度值M、m,取T0=(M +m)/2 作為分割目標與背景的初始閾值,將圖像分C1和C2兩類,如圖4 所示.
圖4 閾值分割原理Fig.4 Principle of threshold segmentation
(2)分別計算兩類像素在圖像中的分布概率p1、p2,
式中:N=nC1+nC2,表示整副圖像的所有像素數(shù);nC1表示圖像中C1類的像素數(shù),nC2表示圖像中C2類的像素數(shù).計算分布概率密度主要是為了統(tǒng)計該類像素對整幅圖像的影響程度.概率密度越大,則該類像素在整幅圖中的比重越大.
(3)分別計算兩類的類內均值μ、方差σ,
(4)選擇最佳閾值T=T*,使類內方差為最小.
最小類內方差法可以計算得到統(tǒng)計意義上的最佳分割閾值,有效實現(xiàn)目標和背景的分割.但該方法在多閾值分割中不滿足這一條件. 從另一個角度分析,該方法的實質是在直方圖中相鄰兩個波峰間找到一個統(tǒng)計意義上的最佳波谷,劃分開兩個獨立的波峰,從而區(qū)分開目標、背景.從這點出發(fā),文中把最小類內方差單閾值分割法推廣到多閾值分割應用中.
下面將對Otsu 單閾值分割算法進行改進,提出最小類內方差多閾值分割算法.由于標準的最小類內方差分割算法需要計算2 次統(tǒng)計量,通過窮盡搜索整個直方圖計算最佳閾值,雖能夠得到全局最優(yōu)解,但是計算量大、用時長、效率不高.為縮小搜索范圍,減少整體計算量,提高運算速度,文中按照使搜索區(qū)域中最大限度地包含蛇體步態(tài)信息的原則,提取整幅圖像的感興趣區(qū)域(ROI),然后在ROI 內劃分局部子區(qū)域,再在各子區(qū)域內運用最小類內方差法搜索定位局部最優(yōu)閾值,進而實現(xiàn)整幅圖像的多閾值分割.
ROI 提取技術在圖像處理中應用廣泛,有多種提取算法[15-17].文中借鑒Tang 等[15]提出的算法,采用基于像素點的區(qū)域生長法.觀察圖3 所示的直方圖,波谷區(qū)間寬,交疊成分少,圖像中各個顏色子區(qū)域的差異較大,近似獨立區(qū)域.自動捕捉子區(qū)域內峰值點像素(x0,y0)為生長的起點種子,遍歷該像素點的相鄰4 像素(xi,yi)(其中i =1,2,3,4),以(xi,yi)的顏色信息屬于(x0,y0)的H 分量直方圖統(tǒng)計區(qū)域作為生長條件;當相鄰像素與種子像素有相似H 分量性質時,則合并到種子像素所在的區(qū)域中;再將這些新像素當作新的種子繼續(xù)上面的過程,直到?jīng)]有滿足條件的像素可被包括進來.這樣一個區(qū)域就生長成了.為包含更多的圖像信息,更直觀地反映出感興趣部分,文中在采用區(qū)域生長法基礎上,結合基于用戶交互的ROI 提取方法[18-19],借助簡單易實現(xiàn)的通用方形框來包含顯示待檢索的范圍.提取結果如圖5 所示.可以看出,ROI 方框區(qū)域包含了所有蛇體步態(tài)信息,同時減小了背景的比重,這將極大地縮小搜索范圍.
圖5 提取ROI 區(qū)域Fig.5 Extraction of ROI region
由于文中給出的直方圖中各個波峰細長,間距大,波谷區(qū)間寬,所以各個局部峰值即可看作獨立峰值.這樣,在ROI 區(qū)域內將目標按局部獨立峰值分割成[C1,C2]、[C2,C3]、[C3,C4]、[C4,C5]共4 個局部區(qū)域,見圖6.
另外,為加大在局部區(qū)域的搜索范圍,提高搜索精度,引入松弛變量s.由于圖像中各關節(jié)組子區(qū)域在ROI 內比重小,其直方圖統(tǒng)計量也較少,經(jīng)多次實驗發(fā)現(xiàn),當各個獨立區(qū)域內擴大搜索范圍不超過2 個像素,即取s=0.05%Ci時,分割效果最佳;此時算法在局部區(qū)域搜索的范圍為[Ci-s,Ci+1+s],其中Ci、Ci+1(i =1,2,3,4)是ROI 內直方圖相鄰的兩波峰值.之后每次在各子區(qū)域內運用最小類內方差法的步驟(1)-(4),求解出局部最佳閾值;當各個局部區(qū)域完成了分割時,表示整幅圖像完成了多閾值分割.
改進的算法的流程圖和步驟如圖7 所示.明顯分析出當前所屬的具體的步態(tài)類型,整體分割效果較理想.采用傳統(tǒng)灰度多閾值分割算法的效果如圖9 所示,其分割過程慢于改進算法.
圖8 改進算法的分割效果Fig.8 Segmentation results of improved algorithm
圖6 ROI 內劃分的4 個子區(qū)域Fig.6 Four sub-regions divided within ROI
圖7 改進算法的流程圖Fig.7 Flowchart of improved algorithm
運用文中提出的改進的最小類內方差多閾值分割算法,對圖2 所示的原圖像進行多目標的多閾值分割,效果如圖8 所示.
由圖8 可看出,經(jīng)過該算法的處理,蛇形機器人的5 個關節(jié)組均被清楚地分割出來,通過與原圖對照可見,步態(tài)的走向和蛇體的彎曲程度保持良好,能明顯分析出當前所屬的具體的步態(tài)類型,整體分割效果較理想. 采用傳統(tǒng)灰度多閾值分割算法的效果如圖 9 所示,其分割過程慢于改進算法
圖9 傳統(tǒng)分割算法的分割效果Fig.9 Segmentation results of traditional segmentation algorithms
可明顯看出,采用傳統(tǒng)灰度多閾值分割算法不能準確地分割出蛇形機器人的各個關節(jié)組,某些分段的分割效果模糊,邊緣不連續(xù),無法識別判定出蛇體的具體關節(jié)組和步態(tài)走向,整體分割效果較差.
為證明本算法對各種步態(tài)變化分割效果的魯棒性,文中又做出如下驗證:選取蛇形機器人從螺旋步態(tài)轉化到蜿蜒爬行步態(tài)的視頻幀,在線采用本算法進行處理,得到如圖10 所示的分割效果.從圖10 可看出,盡管視頻拍攝中受到光照、運動扭曲、關節(jié)遮擋、步態(tài)變換等外界干擾的影響,但是圖像整體的分割效果依然很理想:蛇形機器人各個關節(jié)組被清楚地分割出來,能識別出當前步態(tài)的走向和蛇體的彎曲程度,對抗光線和步態(tài)變化干擾的魯棒性得到體現(xiàn).
文中提出的改進的最小類內方差分割算法是在傳統(tǒng)Otsu 單閾值分割算法的基礎上提出的,是一種有效的多閾值自動分割方法.在該方法中,通過把圖像轉化到HSV 顏色空間提高對光照、光線反射等的魯棒性,分析被分割圖像H 分量直方圖的多峰特點,設置感興趣區(qū)域(ROI),極大地減少了算法整體計算量;在ROI 子區(qū)域內引入松弛變量,極大減少分割的盲目性,確保得到的閾值具有統(tǒng)計意義上的局部最優(yōu)性.文中提出的方法能夠自動得到具有實際物理意義的多分割閾值. 它為復雜圖像的多目標分割處理提供了一種很好的方法,將有助于后續(xù)的對蛇形機器人步態(tài)的定位、跟蹤、校準等工作的進行.
圖10 螺旋步態(tài)和蜿蜒爬行步態(tài)的分割效果Fig.10 Segmentation results of spiral gait and winding crawl gait
由此可見,文中基于改進的Otsu 最小類內方差分割算法得到的閾值有很明確的物理意義. 將算法用于蛇形機器人的其他步態(tài)也能得到很好的分割效果,說明該算法對光線及步態(tài)的魯棒性和自適應性較好.
對于利用蛇形機器人從事實際檢測工作時所發(fā)生的關節(jié)遮擋問題,在步態(tài)的動態(tài)規(guī)劃理論中有相應解決辦法.由于將在機器人本體安放多個攝像頭,位于首、尾的兩攝像頭在優(yōu)化步態(tài)下近似雙目視覺系統(tǒng),更多地負責蛇體自身的姿態(tài)采集,能避免圖像拍攝時的關節(jié)遮擋問題.
蛇形機器人的工作環(huán)境較簡單,在蛇體上迷你攝像頭采集的視頻圖像中,背景所占比重小,顏色較單一;當有復雜背景顏色與蛇體某組關節(jié)顏色相近時,經(jīng)濾波和ROI 處理后,復雜背景顏色對蛇體整體的步態(tài)走向和蛇體的彎曲程度影響不大,可以識別出當前步態(tài).
[1]林開顏,吳軍輝,徐立鴻.彩色圖像分割方法綜述[J].中國圖象圖形學報,2005,10(1):1-10.Lin Kai-yan,Wu Jun-hui,Xu Li-hong. A survey on color image segmentation techniques[J].Journal of Image and Graphics,2005,10(1):1-10.
[2]郭臻,陳遠知.圖像閾值分割算法研究[J].中國傳媒大學學報:自然科學版,2008,15(2):77-82.Guo Zhen,Chen Yuan-zhi. Research of thresholding methods for image segmentation[J].Journal of Communication University of China:Science and Technology,2008,15(2):77-82.
[3]孫洪.攀爬蛇形機器人的研究[D].上海:上海交通大學機械工程學院,2007.
[4]Song Tianlin,Zao Ling,Shen Xuanxuan. The research on remote control robot snake driving by servo[J].Procedia Engineering,2011,15:762-766.
[5]Liljeb?ck P,Pettersen K Y,Stavdahl O,et al.A review on modelling,implementation,and control of snake robots[J].Robotics and Autonomous Systems,2012,60(1):29-40.
[6]Sezgin M,Sankur B.Survey over image thresholding techniques and quantitative performance evaluation[J].Journal of Electronic Imaging,2004,13(1):146-168.
[7]潘春雨,盧志剛,秦嘉.基于區(qū)域閾值的圖像分割方法研究[J].火力與指揮控制,2011,36(1):118-121,137.Pan Chun-yu,Lu Zhi-gang,Qin Jia. Research of image segmentation based on area threshold[J].Fire Control &Command Control,2011,36(1):118-121,137.
[8]Beucher S,Lantuejoul C.Use of watersheds in contour detection[C]∥International Workshop on Image Processing:Real-Time Edge and Motion Detection/Estimation.Rennes:[s.n.],1979.
[9]Ye Z,Mohamadian H,Ye Y.Gray level image processing using contrast enhancement and watershed segmentationwith quantitative evaluation[C]∥Proceedings of CBMI.[S.l.]:IEEE,2008:470-475.
[10]Frucci M. Over-segmentation reduction by flooding regions and digging watershed lines [J]. International Journal of Pattern Recognition and Artificial Intelligence,2006,20(1):15-38.
[11]陶立超,趙宇明.基于分塊顏色直方圖和粒子濾波的物體跟蹤[J].計算機工程與應用,2012,48(7):165-168.Tao Li-chao,Zhao Yu-ming.Object tracking based on subblock color histogram and particle filter[J]. Computer Engineering and Applications,2012,48(7):165-168.
[12]吳濤,秦昆,區(qū)磊海,等.圖像二維閾值分割的數(shù)據(jù)場方法[J].華南理工大學學報:自然科學版,2010,38(11):128-134.Wu Tao,Qin Kun,Ou Lei-hai,et al.Data field-based method for image segmentation with two-dimension threshold[J]. Journal of South China University of Technology:Natural Science Edition,2010,38(11):128-134.
[13]譚優(yōu),王澤勇.圖像閾值分割算法實用技術研究與比較[J].微計算機信息,2007,23(24):289-299,233.Tan You,Wang Ze-yong. Study on applied technology arithmetic of image threshold segmentation[J]. Microcomputer Information,2007,23(24):289-299,233.
[14]Otsu Nobuyuki.A threshold selection method from graylevel histograms [J]. IEEE Transactions on Systems,Man and Cybernetics,1979,9(1):62-66.
[15]Tang Jun.A color image segmentation algorithm based on region growing [C]∥Proceedings 2010 2nd International Conference on Computer Engineering and Technology(ICCET).Chengdu:IEEE,V6-634-V6-637.
[16]Zhang KeDai,Lu HanQing,Duan MiYi,et al.Automatic salient regions of interest extraction based on edge and region integration[C]∥Proceedings of 2006 IEEE International Symposium on Industrial Electronics.Montreal:IEEE,2006:620-623.
[17]斯白露,高文,盧漢青,等.基于感興趣區(qū)域的圖像檢索方法[J].高科技通訊,2003,13(5):13-18.Si Bai-lu,Gao Wen,Lu Han-qing,et al. An image retrieval method based on regions of interest [J]. High Technology Letters,2003,13(5):13-18.
[18]唐俊華,閻保平.基于用戶定義感興趣區(qū)域的圖像檢索算法[J].計算機應用,2002,22(11):20-22.Tang Jun-hua,Yan Bao-ping. Image retrieval based on user defined region-of-interest [J]. Computer Application,2002,22(11):20-22.
[19]楊益軍,趙榮椿.一個快速的人際交互式目標分割系統(tǒng)[J].西北工業(yè)大學學報,2000,18(2):289-292.Yang Yi-jun,Zhao Rong-chun. A fast interactive system for object segmentation [J]. Journal of Northwestern Polytechnical University,2000,18(2):289-292.