基于深度相機與色彩跟蹤原理的AI 伴老寵物機器人的設計

方志剛 湯玉堅 龐偉業(yè) 張其文*

（蘭州理工大學計算機與通信學院，甘肅 蘭州 730050）

1 概述

當前隨著社會經(jīng)濟的發(fā)展，子女面臨著巨大的工作和生活壓力，導致他們對于父母老人陪伴的時間少之又少，不少子女只有逢年過節(jié)才會回家看望獨居的老人。長期以往，獨居老人出現(xiàn)孤獨、抑郁等心理問題，便會飼養(yǎng)寵物陪伴自己。

但是，傳統(tǒng)寵物因為主人行動不便、飼養(yǎng)條件不滿足、沒有科學的飼養(yǎng)知識和易感染疾病等問題，給社會、環(huán)境和飼養(yǎng)主人帶來了很大的困擾。比如，由于主人疏于看管，頻頻出現(xiàn)的寵物傷人問題；不少人對于寵物的毛發(fā)過敏；寵物隨地大小便，帶來的環(huán)境衛(wèi)生問題等。在此背景下，迫切需要一種可以替代傳統(tǒng)寵物的電子寵物。該項目的需求分析如圖1 所示。

2 陪伴型寵物機器人研究現(xiàn)狀

自20 世紀80 年代開始，我國就有相關(guān)高校和科研院所對四足機器人展開系統(tǒng)研究，雖然基礎較弱、起步較晚，但得到了國家的極大重視。目前國內(nèi)一些公司也研制出陪護型寵物機器人，例如哈瑞斯實業(yè)有限公司所研制的仿生智能語音機器狗、南京好兒優(yōu)機器人科技有限公司研制的可旺智能仿生機器狗等，這些雖然不是大面積被用戶使用，但都較好的實現(xiàn)了智能對話、觸摸交互的功能。

面對日本社會老齡化的壓力，人們投入了大量的人力物力來研究機器人，并取得了一定的成果。例如，日本aist 工業(yè)技術(shù)研究所的柴田正德開發(fā)了一種海豹型老年陪伴機器人paro，它可以感受到主人不同部位的觸摸，產(chǎn)生相應的互動反應，調(diào)整運動，并能感受外部聲音以及識別主人的聲音和命令；日本歐姆龍公司開發(fā)了一種完全模擬人類交流的新型機器寵物貓，叫做尼奎羅，它集成了機器人感應，控制和人工智能技術(shù)，能夠?qū)χ魅说挠|摸做出反應，并表達他們的感受。

綜上所述，無論是國外還是國內(nèi)的陪護機器人，都僅在某一方面或幾個功能上進行的設計，不能滿足老人的全部需求，且使用的技術(shù)與當前物聯(lián)網(wǎng)等的高速發(fā)展相比較為陳舊。同時，對于外觀上的設計大體是傳統(tǒng)的機器人模型，不符合寵物的外形；在行走方面，帶有沉重的機械感和較高分貝的噪音，對于老人的使用并不友好。

3 系統(tǒng)設計方案

3.1 介紹

本文的最終目標是設計制造一款可以替代傳統(tǒng)寵物的仿生電子寵物，它不僅可以實現(xiàn)傳統(tǒng)統(tǒng)寵物具有的各項能力，而且具有面部識別、人機對話、疾病監(jiān)控、定位跟蹤、危險報警等多項功能。最終實現(xiàn)對獨居老人的人身安全、健康狀況和心靈情感起到雙重的守護和慰藉。該仿生電子寵物的內(nèi)部結(jié)構(gòu)和外觀設計如圖2、3 所示。

圖2 仿生電子寵物的內(nèi)部結(jié)構(gòu)

圖3 仿生電子寵物的外觀設計

3.2 視覺跟蹤系統(tǒng)的設計

本文選取色彩跟蹤算法作為圖像跟蹤的主要方法，基于深度相機設計仿生電子寵物的巡線，將Intel Atom 作為處理器，配合intel realsense d435i 深度相機、串行總線舵機等元件及供電裝置構(gòu)成視覺巡線。該設計能夠使仿生電子寵物自主巡線、自主識別紅色標識線、自主完成前后、左右、上下運動，可以原地轉(zhuǎn)彎、低姿態(tài)行走等一系列的基本動作。在完成這些基本的動作后，還可以設計更多新的步態(tài)動作等，在不影響外部形象的同時還能有效提了仿真性和靈活性。進而實現(xiàn)在仿生電子寵物陪伴老人的過程中，它會更為精確的識別與跟蹤主人或特定的物品。

圖5 深度圖

3.2.1 深度相機的圖像獲取

本文選用了intel realsense d435i 深度相機用于獲取圖像信息，在Ubuntu-ROS 操作系統(tǒng)下搭建視覺方面的配置環(huán)境，所得到的RGB 圖和深度圖如圖4、5 所示。在程序中，我們設置了兩個線程，一個控制設備的狀態(tài)，如設置深度數(shù)據(jù)流和視頻流的模式，切換數(shù)據(jù)流，最重要的是注冊數(shù)據(jù)流的回調(diào)函數(shù)，在這個回調(diào)函數(shù)中主要是對接收到的數(shù)據(jù)流進行處理，如數(shù)據(jù)流的深度偽彩色處理。另一個線程連續(xù)顯示偽彩色視差和彩色圖像。該步驟的關(guān)鍵是對視差圖進行格式化，并將圖像保存到深度數(shù)據(jù)流處理功能中。但是，深度相機采取到的深度圖中含有環(huán)境中的各種信息，如人、花草、地板、障礙物等，其中絕大多信息是干擾無用的。為了能精確確認指令，采取色彩跟蹤算法進行優(yōu)化設計。

圖4 RGB 圖

3.2.2 色彩跟蹤的主要原理與實驗設計

色彩跟蹤的原理是提取選中目標物體的顏色特征，在把新一幀圖像中的像素點分為與之相似顏色和不相似顏色的兩類點（二值化），并將圖像中的噪點去除；在下一幀中，搜索具有相似特征的像素的連通區(qū)域，接近前一幀中物體的位置，得到物體在新幀中的位置。其優(yōu)勢在于計算量適中，適合用于電量有限的小型實時嵌入式系統(tǒng)，可根據(jù)用戶意愿隨時更新所選擇的跟蹤目標，也可以根據(jù)目標色彩的面積推斷物體的距離，還可以用于跟蹤視頻流中運動的物體，并且不會被圖像中遠離目標物體的相似物體干擾。

在該項目中我們采用三幀差分法， 三幀差分法采用了連續(xù)三幀的圖像進行差分運算，然后對兩個運算的結(jié)果進行邏輯與運算獲取包含的共同部分，消除了由于目標位移造成的背景噪聲影響，從而能夠更加精確的提取目標信息。三幀差分法的計算公式如下：

其中In（x，y）為第n 幀的視頻圖像，Dn（x，y）為第n 幀的差分圖像，Bn（x，y）為差分圖像通過閾值threshold 二值化后的結(jié)果圖像。

我們基于三幀差分算法采集該寵物機器人拍攝的視頻，對視頻流序列圖像目標提取實驗結(jié)果比較分析。視頻圖像的分辨率為1080*720，視頻幀率為每秒29.97 幀，視頻總幀數(shù)為2697.3幀，運動目標為視頻中的凳子。實驗數(shù)據(jù)分別為視頻流序列圖像中的第2000 到2100 幀，截取其中的2050 幀、2060 幀、2070幀用于結(jié)果演示，目標提取實驗的結(jié)果如圖6、7、8 所示。

圖6 第2050 幀

圖7 第2060 幀

圖8 第2070 幀

由采集圖像所得，我們所設計的電子寵物適用場合為室內(nèi)，因此可以不用考慮戶外光線等影響因素，所采取的三幀差分算法不僅保證了目標整體輪廓，同時降低了提取錯誤率，能夠準確的提取出運動目標的整體信息。

4 結(jié)論

目前，深度相機廣泛應用于智能人機交互、人臉技術(shù)、三維重建、機器人技術(shù)、AR 等領(lǐng)域。本文在基于深度相機的圖像獲取技術(shù)下設計了一款更為仿真與精確識別的陪伴型機器人，該設計將照顧老人與智能機器人結(jié)合起來，充分利用了現(xiàn)代人工智能的優(yōu)勢，解決了照顧老人的距離問題。從服務設計的角度開發(fā)寵物伴侶機器人，不僅可以實現(xiàn)產(chǎn)品的功能創(chuàng)新，而且可以通過技術(shù)的不斷發(fā)展創(chuàng)造新的價值，追求美好生活的意義。