基于聯合標定的圖像分割

，，

(哈爾濱工業(yè)大學機器人技術與系統(tǒng)國家重點實驗室，黑龍江 哈爾濱 150001)

基于聯合標定的圖像分割

張騰飛，李瑞峰，王亮亮

(哈爾濱工業(yè)大學機器人技術與系統(tǒng)國家重點實驗室，黑龍江 哈爾濱 150001)

針對普適環(huán)境下人體區(qū)域的提取問題，提出一種基于彩色攝像頭和深度攝像頭聯合標定的圖像分割方法。首先根據深度攝像頭采集的深度信息易處理和受外界環(huán)境影響小的優(yōu)點，利用大律法從深度圖像中快速提取出人體區(qū)域；然后建立世界坐標系中彩色圖像坐標系和深度圖像坐標系的對應關系，實現彩色信息和深度信息的相對位置映射；最后根據分割的深度圖像及其在彩色圖像中的映射，在彩色圖像中完成人體區(qū)域分割。通過在復雜背景和不同光照條件下的圖像分割實驗，驗證了本方法具有良好的精度和魯棒性。

普適環(huán)境；彩色圖像；深度圖像；聯合標定；圖像分割

0 引言

復雜背景及光照等交互場景的差異往往會直接影響人體區(qū)域的快速準確提取，其精度和魯棒性對自然人機交互過程起著至關重要的作用。近年來，圖像中人體區(qū)域的分割一直是人機交互領域研究的熱點和難點[1-3]。研究的理論相對而言比較成熟，國內外普遍將圖像分割方法分為基于區(qū)域的方法、基于邊界的方法和數學形態(tài)學方法[4]。但是上述方法往往不能自動實現區(qū)域的分割，需要手動選取部分的待分割區(qū)域的像素點，實時性差、易受光照和復雜背景的影響。采用一種基于聯合標定的人體區(qū)域提取方法，將人體區(qū)域從具有復雜背景的彩色圖像和深度圖像中同時分割出來。

1 分割流程

深度攝像頭具有對深度信息采集速度快，受外界環(huán)境影響小的優(yōu)點，所以在光照變化，交互環(huán)境具有復雜背景的情況下，其分割仍可以具有很好的魯棒性和實時性。深度和彩色圖像由Kinect攝像頭采集得到，利用深度圖像中提取的人體區(qū)域的距離信息，采用大津法在深度圖像中選擇合適的閾值，使得背景和目標之間的類間方差最大，達到錯分概率最小，實現深度圖像人體區(qū)域的快速提??；再對Kinect攝像頭的深度攝像頭和彩色攝像頭進行聯合標定，求得深度圖像到彩色圖像的轉換矩陣，最后將深度圖像中的人體區(qū)域通過轉換矩陣對應到彩色圖像中，即可完成彩色圖像中人體區(qū)域的提取。分割方法的整個流程如圖1所示。

圖1 分割流程

2 攝像頭標定

2.1 彩色攝像頭標定

在彩色攝像頭的單獨標定過程中，內部參數的獲得使用常用的棋盤格標定法進行標定，即張正友標定法,通過選取棋盤格標定板不同視角下的平面和彩色圖像中的角點，對彩色攝像頭內部參數進行標定[5]。從彩色攝像頭坐標系到彩色圖像坐標系的轉換關系為：

(1)

[Xr,Yr,Zr]為空間中點在彩色攝像頭坐標系下的坐標；[Ur,Vr]為點在彩色圖像中的坐標；fx，fy，u0和v0為彩色攝像頭的內部參數。

2.2 深度攝像頭標定

深度攝像頭的標定不同于一般攝像頭的標定過程，自然光照射下無法從深度圖像中區(qū)分色彩信息，圖像角點無法獲取，現有文獻中還未有統(tǒng)一的標定方法。鄧志紅等人[6]提出鏤空的棋盤格標定法，在深度圖像中獲取的角點效果較差，鏤空區(qū)域的角點位置不穩(wěn)定，標定結果的重復性差。Herrera D等人[7]選取室內較大物體，如桌子等，選取該物體在深度圖像和彩色圖像中的邊緣點完成標定過程，但在深度圖像和彩色圖像中物體的邊緣點難以準確對應及獲取，同時為了獲得多組匹配點,一般需要多次的切換視角。針對上述方法中存在的問題，采用一種更加實用，計算更加簡便，結果更加準確的標定方法：深度攝像頭的標定通過采集紅外燈照射下的棋盤格的紅外圖像進行標定，如此檢測到的角點位置更精確，角點數量更多，通過對多次標定結果的擬合，即可得到轉換矩陣。

Kinect的深度攝像頭是只對紅外光成像的攝像頭，深度圖像中為距離信息，從直接采集的深度圖像中無法區(qū)分彩色信息，導致無法提取角點。所以將Kinect的紅外發(fā)射器擋住，另外用一束未經過編碼的紅外光照射棋盤格，則深度攝像頭采集到的圖像仍為彩色信息，但點的坐標對應關系并未發(fā)生改變。內部參數的獲得仍然使用常用的棋盤格標定法進行標定，從深度攝像頭坐標系到彩色圖像坐標系的轉換關系為：

(2)

(3)

Zd=d

(4)

[Xd,Yd,Zd]為空間中點在深度攝像頭坐標系下的坐標；[Ud,Vd]為點在深度圖像中的坐標；d為深度圖像中像素點的深度值；Du,Dv,Dx,Dy為深度攝像頭的內部參數。

2.3 聯合標定

設定空間中S點在世界坐標系下坐標為[Xw,Yw,Zw]；在彩色攝像頭坐標系下坐標為[Xr,Yr,Zr]，彩色攝像頭的外參數矩陣中的旋轉矩陣為Rr，平移向量為Tr；在深度攝像頭坐標系下坐標為[Xd,Yd,Zd]，深度攝像頭的外參數矩陣中的旋轉矩陣為Rd，平移向量為Td。則攝像頭坐標系與世界坐標系間變換關系為：

(5)

(6)

通過選取同一視角下的深度圖像與彩色圖像進行標定，選擇一張正面棋盤的標定圖像即可得到Rr,Tr,Rd,Td。

則深度攝像頭坐標系與彩色攝像頭坐標系之間的轉換矩陣為：

(7)

(8)

(9)

3 圖像坐標轉換

將式(1)～式(4)化為齊次坐標形式，得：

(10)

(11)

由式(7)、式(10)和式(11)可得：

(12)

將式(10)代入式(12)可得最終的坐標轉換關系為：

(13)

fx，fy，u0，v0，Du，Dv，Dx，Dy在攝像頭單獨標定時已經得到，Zr可由式(12)得到，Rdtr與Tdtr在聯合標定時得到。這樣就得到了彩色圖像與深度圖像的坐標轉換關系。

4 基于大律法的人體區(qū)域提取

大律法是由日本學者大律于1979年提出的，是一種自適應的閾值確定方法，又叫最大類間方差法，簡稱OTSU[8]。在深度圖像中，人體區(qū)域和背景的深度值有明顯的區(qū)分。因此,使用大律法選擇最佳的分割閾值，該方法計算簡單速度快，通過自適應閾值滿足前景區(qū)域深度值和背景區(qū)域深度值之間的類間方差最大，將深度圖像中的人體前景區(qū)域和背景區(qū)域兩部分進行分割。

采集的深度圖像中像素點的深度值可由該點的灰度值計算得到：

(14)

對深度圖像Image，記為前景與背景的分割閾值，前景點數占圖像比例為w0，平均深度為d0；背景點數占圖像比例為w1，平均深度為d1。圖像的總平均深度為：d=w0d0+w1d1。從最小深度值到最大深度值遍歷t，當t使得值g=w0(μ0-t)2+w1(μ1-t)2最大時，t即為分割的最佳閾值。對大津法可作如下理解：該式實際上就是類間方差值，閾值t分割出的前景和背景2部分構成了整幅圖像，而前景取值d0，概率為w0，背景取為d1，概率為w1，總均值為d，根據方差的定義即得該式。因方差是灰度分布均勻性的一種度量,方差值越大,說明構成圖像的2部分差別越大, 當部分目標錯分為背景或部分背景錯分為目標都會導致2部分差別變小。因此，使類間方差最大的分割意味著錯分概率最小。

將深度圖像中得到的人體區(qū)域按式(13)的坐標轉換關系映射到彩色圖像中，對應點構成的圖像即為彩色圖像中的人體區(qū)域。

5 實驗

5.1 攝像頭標定

選取12張不在同的視角下拍攝的11×7的棋盤格得到彩色攝像頭內部參數的標定結果如表1所示。

表1 彩色攝像頭標定結果

選取12張在不同的視角下拍攝的11×7的棋盤格得到深度攝像頭內部參數的標定結果如表2所示。

表2 深度攝像頭標定結果

選擇一張正面棋盤同一視角下的深度圖像與彩色圖像進行標定，得到：

由于標定的時候，棋盤格間距按1mm來進行計算，所以，平移矩陣應乘以棋盤格間距為30mm。最終得到：

5.2 提取效果驗證

根據背景復雜程度和光照條件的不同將實驗圖片分為4組。①簡單背景理想光照條件下的人體姿態(tài),如圖2a所示;②復雜背景和理想光照條件下的人體姿態(tài)，如圖2b所示;③簡單背景和較暗光照條件下的人體姿態(tài)，如圖2c所示;④復雜背景和較暗光照條件下的人體姿態(tài)，如圖2d所示。

圖2 原始圖像采集

分割效果如圖3～圖4所示。由圖4的提取效果對比中可以看出，背景的復雜程度對提取效果幾乎無影響，這是由于深度圖像提取人體區(qū)域時，進行分割的閾值只與距離有關系，與人體和背景的色彩紋理沒有關系。

同時可以看出，提取效果幾乎不受光線的影響，甚至可以看到較暗光照下分割效果略微好于理想光照，這是由于深度圖像的分割效果只與深度攝像頭接收到的紅外光線有關，光照較強時陽光中的紅外線會對攝像頭本身的紅外光線產生一些影響，但從實驗結果看到影響很小，可以忽略。

圖3 深度圖像分割效果

圖4 彩色圖像分割效果

6 結束語

針對彩色圖像中人體區(qū)域提取較困難的問題，嘗試將彩色圖像與深度圖像結合起來使用。在對彩色攝像頭和深度攝像頭聯合標定的過程中，深度攝像頭的標定方法不同于以往的方法，以往的方法往往實現起來較復雜，標定結果不可靠，利用未經編碼的紅外光照射棋盤格得到標定圖像，實現起來更加容易，從提取效果來看標定的結果是精確可靠的。

提出的基于聯合標定的人體區(qū)域提取方法，不僅適用于Kinect的2個獨立的深度攝像頭和彩色攝像頭，也可以利用此方法，來實現對普適環(huán)境中人體區(qū)域的準確提取。

[1] Bruce J,Balch T,Veloso M.Fast and inexpensive color image segmentation for interactive robots[J].Intelligent Robots and Systems,2000.(IROS 2000).Proceedings,2000IEEE/RSJ International Conference on,2000(3):2061-2066.

[2] Cheng S C.Region-growing approach to color segmentation using 3D clustering and relaxation labeling[J].Vision,Image and Signal Processing,2003,150(4):270-276.

[3] Parker J R.Gray level thresholding in badly illuminated images[J].Pattern Analysis and Machine Intelligence,1991,13(8):813-819.

[4] 曹雛清.面向多方式人際交互的肢體動作識別研究[D].哈爾濱:哈爾濱工業(yè)大學,2012.

[5] 狄海進.基于三維視覺的手勢跟蹤及人機交互中的應用[D].南京:南京大學，2011.

[6] 鄧志紅,劉明陽,付夢印.一種改進的視覺傳感器與激光測距雷達特征匹配點提取算法[J].光學技術,2010,36(1):43-47.

[8] 卜濤濤,盧超.圖像分割算法研究[J].電腦知識與技術,2010,6(8):1944-1946.

Image Segmentation Based on Joint Calibration

ZANGTengfei,LIRuifeng,WANGLiangliang

(State Key Laboratory of Robotic and System,Harbin Institute of Technology,Harbin 150001,China)

Concerning the problem that it’s difficult to extract the body region under pervasive environment,we proposed an image segmentation method based on joint calibration of color camera and depth camera.In a complex environment indoors or outdoors,as a depth camera can capture information fast and won’t be affected by the environment,we use OTSU to extract body region from a depth image.Then we use the joint calibration method proposed in this article to get the body region from the color image.At last,by experiments of different backgrounds and illumination conditions,the validity of the method is verified.In this way,our method eliminates the effect of light and complex background on the extraction.Also,our method can extract dynamic or static body region quickly and accurately.Our method is robust and real-time.

pervasive environment;color image;depth image;joint calibration;image segmentation

2014-04-01

國家自然科學基金資助項目(61273339)

TP751

A

1001-2257(2014)08-0003-04

張騰飛(1990-),男，河北定州人，碩士研究生，研究方向為機器視覺;李瑞峰(1965-),男，山西大同人，教授,博士研究生導師,研究方向為智能服務機器人、先進工業(yè)機器人;王亮亮(1987-),男，山東臨沂人，博士研究生,研究方向為機器視覺。