基于改進(jìn)CenterNet的托盤定位方法①

朱丹平,朱 明,周恒森

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院,合肥 230026)

1 引言

隨著我國(guó)物流行業(yè)的發(fā)展,以及勞動(dòng)力成本的不斷上升,自動(dòng)化倉(cāng)儲(chǔ)物流近年來(lái)不斷發(fā)展,自動(dòng)化運(yùn)輸設(shè)備的需求不斷提升.自動(dòng)叉車是一種自動(dòng)駕駛車輛,可以完成對(duì)貨物的自動(dòng)搬運(yùn),能有效降低人力成本,被廣泛應(yīng)用于自動(dòng)化物流中.在倉(cāng)儲(chǔ)物流中,因?yàn)樨浳锏耐庥^存在大小、形狀、顏色等明顯的差異,所以直接對(duì)貨物定位非常困難.而托盤用于承載和搬運(yùn)貨物,且具有通用的規(guī)格和形狀.因此自動(dòng)叉車一般通過(guò)托盤定位來(lái)叉取和搬運(yùn)貨物.

托盤定位方法主要分為以下3 類: 第1 類是基于激光雷達(dá)傳感器的檢測(cè)方法.趙俊宏等人[1]根據(jù)2D 激光雷達(dá)掃描結(jié)果分析托盤的距離和姿態(tài).雖然基于激光雷達(dá)的方法對(duì)光照有比較好的魯棒性,但是激光雷達(dá)成本高昂、不利于大規(guī)模普及.第2 類是傳統(tǒng)圖像處理的方法.Cui 等人[2]使用傳統(tǒng)圖像處理的方法直接分析圖像本身特征,如角點(diǎn)、邊緣和顏色等特征來(lái)檢測(cè)托盤.Seelinger 等人[3]提出了一種利用標(biāo)簽來(lái)定位托盤的方法,但存在標(biāo)簽安裝和維護(hù)的成本,而且在使用過(guò)程中容易損壞.武文漢[4]使用tof 相機(jī)和紙標(biāo)簽分別完成了對(duì)遠(yuǎn)距離托盤和近距離托盤的檢測(cè)定位,但是算法速度較慢,實(shí)時(shí)性不高,因此難以應(yīng)用于工業(yè)場(chǎng)景.此類方法易受到光照等環(huán)境因素影響,魯棒性較差.第3 類是基于深度學(xué)習(xí)的托盤檢測(cè)方法.Mohamed 等人[5]使用了Faster R-CNN[6]來(lái)訓(xùn)練模型,實(shí)現(xiàn)了對(duì)托盤的定位.李天健等人[7]使用改進(jìn)的SSD 算法[8]實(shí)現(xiàn)了倉(cāng)儲(chǔ)環(huán)境中托盤的定位.葉偉[9]首先使用YOLOv4 算法[10]對(duì)托盤進(jìn)行目標(biāo)檢測(cè),再使用GrabCut 分割方法[11]提高精度.此類方法準(zhǔn)確率高,抗干擾能力強(qiáng),而且成本遠(yuǎn)低于激光雷達(dá),適合部署于實(shí)際工業(yè)場(chǎng)景中.

在實(shí)際物流場(chǎng)景中,自動(dòng)叉車為完成自動(dòng)叉卸貨任務(wù),需要將叉鏟對(duì)準(zhǔn)托盤中心點(diǎn),將叉鏟方向與托盤水平方向保持一致,以保證安全無(wú)碰撞地叉取托盤.因此托盤定位任務(wù)可分為2 部分: (1)托盤中心點(diǎn)定位;(2)托盤水平方向估計(jì).目前基于目標(biāo)檢測(cè)的托盤定位算法,一般使用矩形框進(jìn)行定位,只能檢測(cè)托盤區(qū)域位置,使用目標(biāo)框中心點(diǎn)對(duì)托盤中心點(diǎn)定位精度不高,且無(wú)法有效估計(jì)托盤水平方向,難以應(yīng)用于自動(dòng)叉車系統(tǒng)中.基于此問(wèn)題,本文提出了一種基于改進(jìn)Center-Net[12]的托盤定位方法.在目標(biāo)檢測(cè)的基礎(chǔ)上,通過(guò)托盤關(guān)鍵點(diǎn)檢測(cè),在精準(zhǔn)定位托盤中心點(diǎn)的同時(shí),完成對(duì)托盤水平方向的估計(jì).

本文的貢獻(xiàn)如下: (1)本文使用遷移學(xué)習(xí)的方法,將人體姿態(tài)估計(jì)引入托盤定位任務(wù),完成了托盤關(guān)鍵點(diǎn)定位.(2)針對(duì)托盤定位任務(wù),本文對(duì)CenterNet 網(wǎng)絡(luò)做出2 點(diǎn)改進(jìn): 1)改進(jìn)關(guān)鍵點(diǎn)分組方法,提出基于托盤關(guān)鍵點(diǎn)位置的區(qū)域約束方法; 2)提出關(guān)鍵點(diǎn)回歸評(píng)價(jià)指標(biāo)與自適應(yīng)補(bǔ)償,提高關(guān)鍵點(diǎn)檢測(cè)精度.(3)在關(guān)鍵點(diǎn)定位的基礎(chǔ)上,提出基于幾何約束的托盤中心點(diǎn)計(jì)算方法,以及托盤水平方向估計(jì)方法.(4)使用RGB 攝像頭拍攝并標(biāo)注了托盤數(shù)據(jù)集.

2 相關(guān)工作

Mohamed 等人[5]、李天健等人[7]與葉偉[9]所使用的目標(biāo)檢測(cè)算法,都需要人工設(shè)計(jì)特定長(zhǎng)寬比的錨框,以訓(xùn)練出更好的檢測(cè)器.但是人工設(shè)計(jì)的錨框難以兼顧所有長(zhǎng)寬比的目標(biāo),針對(duì)此問(wèn)題,Law 等人提出了CornerNet[13],通過(guò)檢測(cè)目標(biāo)的左上角和右下角關(guān)鍵點(diǎn)來(lái)檢測(cè)目標(biāo),不需要人工設(shè)計(jì)錨框.ExtremeNet[14]通過(guò)檢測(cè)目標(biāo)的頂部、底部、最左側(cè)、最右側(cè)和中心點(diǎn)這5 點(diǎn)信息來(lái)完成目標(biāo)檢測(cè).以上兩種無(wú)錨框目標(biāo)檢測(cè)算法在關(guān)鍵點(diǎn)檢測(cè)之后,都需要進(jìn)行復(fù)雜且耗時(shí)的后處理步驟,這大大降低了算法的實(shí)時(shí)性.而Zhou 等人[12]提出的CenterNet 較好解決了這個(gè)問(wèn)題.CenterNet 將目標(biāo)檢測(cè)簡(jiǎn)化成為對(duì)目標(biāo)中心點(diǎn)的檢測(cè).使用3×3 最大池化選取目標(biāo)中心點(diǎn),從而避免了NMS 等后處理步驟.

2.1 CenterNet 目標(biāo)檢測(cè)算法

CenterNet 可選取3 種不同的骨干網(wǎng)絡(luò),分別為Hourglass[15]、ResNet[16]、DLA[17],都是編碼-解碼結(jié)構(gòu).其中Hourglass 在3 種骨干網(wǎng)絡(luò)中精度最高但預(yù)測(cè)速度較慢,而使用DLA 可以得到較好的精度以及較快的速度,因此選擇DLA 作為算法的骨干網(wǎng)絡(luò).如圖1 所示,CenterNet 網(wǎng)絡(luò)的頭部可分為3 個(gè)互相獨(dú)立的部分,分別完成目標(biāo)框中心點(diǎn)、中心點(diǎn)偏置和目標(biāo)框?qū)捀叩臋z測(cè).CenterNet 使用二維高斯核函數(shù)將輸入圖像映射成為熱力圖作為訓(xùn)練目標(biāo).二維高斯核函數(shù)的公式為:

圖1 CenterNet 網(wǎng)絡(luò)結(jié)構(gòu)圖

其中,Yxyc是歸一化后的熱力圖,(x,y)為熱力圖中點(diǎn)的坐標(biāo),(p～x,p～y)為目標(biāo)中心點(diǎn)4 倍下采樣后的坐標(biāo)(向下取整),σp是自適應(yīng)標(biāo)準(zhǔn)差[13].CenterNet 目標(biāo)檢測(cè)任務(wù)中損失函數(shù)為L(zhǎng)det:

Ldet由3 部分組成,分別為置信度損失Lk、下采樣損失Loff和目標(biāo)框?qū)捀邠p失Lsize,超參數(shù)λsize為0.1,λoff為1.Lk用來(lái)訓(xùn)練目標(biāo)中心點(diǎn)位置.由于正樣本遠(yuǎn)少于負(fù)樣本數(shù)量,為了使模型在訓(xùn)練時(shí)更加關(guān)注于難檢測(cè)的樣本,Lk使用focal loss[18].因?yàn)檩敵龅臒崃μ卣鲌D為原圖大小的0.25 倍,所以中心點(diǎn)位置預(yù)測(cè)存在離散化誤差,Loff用來(lái)訓(xùn)練下采樣偏置的大小.

其中,Yxyc=1表示正樣本,Y?xyc是目標(biāo)檢測(cè)的預(yù)測(cè)值.N是圖像中正樣本的數(shù)量.超參數(shù)α 和 β分別為2 和4.

其中,為預(yù)測(cè)的中心點(diǎn)偏置大小,p為中心點(diǎn)真實(shí)值坐標(biāo),R為下采樣倍數(shù),中心點(diǎn)坐標(biāo)p下采樣R倍后向下取整得到.

其中,sk=(wk,hk)為目標(biāo)k的寬高,為寬高估計(jì)值.

2.2 CenterNet 人體姿態(tài)估計(jì)

CenterNet 具有良好可擴(kuò)展性,可以將CenterNet應(yīng)用到人體姿勢(shì)估計(jì)任務(wù)中.人體姿勢(shì)估計(jì)的任務(wù)要求估計(jì)出圖像中每個(gè)人體實(shí)例的人體關(guān)鍵點(diǎn)位置.首先直接回歸每個(gè)關(guān)鍵點(diǎn)與中心點(diǎn)之間的偏移量,得到關(guān)鍵點(diǎn)的初步定位,使用L1 損失函數(shù)Lreg進(jìn)行訓(xùn)練.然后為了細(xì)化關(guān)鍵點(diǎn)定位,類似目標(biāo)檢測(cè),通過(guò)熱力特征圖以及中心點(diǎn)偏置來(lái)進(jìn)行關(guān)鍵點(diǎn)檢測(cè),并以初步定位位置為依據(jù)進(jìn)行分組.關(guān)鍵點(diǎn)檢測(cè)使用目標(biāo)檢測(cè)任務(wù)中的置信度損失LK和偏移損失Loff進(jìn)行訓(xùn)練.

其中,E為關(guān)鍵點(diǎn)個(gè)數(shù),M為關(guān)鍵點(diǎn)掩碼,對(duì)于圖像中被遮擋等不可見(jiàn)的關(guān)鍵點(diǎn)Mki=0,可見(jiàn)關(guān)鍵點(diǎn)Mki=1.=(xkj,ykj)為第k個(gè)目標(biāo)的第j個(gè)關(guān)鍵點(diǎn)坐標(biāo)的偏移量.關(guān)鍵點(diǎn)檢測(cè)失函數(shù)為L(zhǎng)key=Lk+Loff+Lreg,得到總損失函數(shù)Loss:

在多人姿態(tài)檢測(cè)場(chǎng)景中,通過(guò)關(guān)鍵點(diǎn)檢測(cè)得到的結(jié)果無(wú)法確定屬于哪個(gè)人體實(shí)例.CenterNet 使用初步定位結(jié)果作為分組依據(jù),使用3 項(xiàng)規(guī)則進(jìn)行匹配:(1)所匹配的熱力特征圖關(guān)鍵點(diǎn)置信度得分大于0.1;(2)匹配歐氏距離最近的初步定位位置; (3)僅匹配目標(biāo)框內(nèi)的關(guān)鍵點(diǎn).

3 算法

3.1 算法框架

如圖2 所示,不同類型托盤外觀存在一定差異,主要可分為兩柱形托盤和三柱形托盤.為適應(yīng)不同類型托盤,選取托盤正面外輪廓的4 個(gè)角點(diǎn)作為關(guān)鍵點(diǎn).從左上角點(diǎn)開(kāi)始順時(shí)針將關(guān)鍵點(diǎn)分別編號(hào)為1,2,3,4.托盤定位算法可分為托盤檢測(cè)、托盤關(guān)鍵點(diǎn)檢測(cè)以及托盤中心點(diǎn)計(jì)算與水平方向估計(jì)的后處理部分.算法框架如圖3 所示,其具體流程如算法1 所示.算法1 中的所有步驟均在圖3 中標(biāo)出,其中本文提出的工作用星號(hào)標(biāo)記,在原算法基礎(chǔ)上改進(jìn)的工作用菱形標(biāo)記.

圖2 托盤類型圖

圖3 托盤定位算法圖

算法1.托盤定位算法1)將輸入圖片通過(guò)仿射變換轉(zhuǎn)為512×512 固定大小輸入;2)通過(guò)骨干網(wǎng)絡(luò)生成128×128 高分辨率熱力特征圖;3)基于熱力特征圖進(jìn)行托盤檢測(cè)獲得托盤目標(biāo)框;4)直接回歸得到托盤關(guān)鍵點(diǎn)初步定位位置;5)使用自適應(yīng)補(bǔ)償對(duì)初步定位位置進(jìn)行調(diào)整;6)使用熱力特征圖進(jìn)行關(guān)鍵點(diǎn)檢測(cè);

7)以托盤目標(biāo)框和關(guān)鍵點(diǎn)初步定位位置為分組依據(jù),對(duì)步驟6)的結(jié)果進(jìn)行關(guān)鍵點(diǎn)分組;8)基于托盤關(guān)鍵點(diǎn)定位結(jié)果,計(jì)算托盤中心點(diǎn),估計(jì)托盤的水平方向.

3.2 基于關(guān)鍵點(diǎn)位置的區(qū)域約束

CenterNet 網(wǎng)絡(luò)為了對(duì)關(guān)鍵點(diǎn)進(jìn)行分組,只對(duì)目標(biāo)框內(nèi)的關(guān)鍵點(diǎn)進(jìn)行匹配.由于托盤關(guān)鍵點(diǎn)分布于托盤邊緣,托盤檢測(cè)輕微的精度誤差就可能導(dǎo)致目標(biāo)框無(wú)法包含關(guān)鍵點(diǎn)位置,嚴(yán)重影響關(guān)鍵點(diǎn)分組結(jié)果,針對(duì)此問(wèn)題,本文根據(jù)托盤關(guān)鍵點(diǎn)分布特點(diǎn),如圖4 所示,分別為左右兩邊的關(guān)鍵點(diǎn)設(shè)置了兩組約束區(qū)域.

圖4 區(qū)域約束對(duì)比圖

其中,Pleft和Pright分別為托盤左右兩邊關(guān)鍵點(diǎn)的約束區(qū)域,(xm,ym)為托盤目標(biāo)框中心點(diǎn),(w,h)為托盤目標(biāo)框?qū)捀?(x,y)為圖像中點(diǎn)的坐標(biāo).

3.3 關(guān)鍵點(diǎn)回歸自適應(yīng)補(bǔ)償

關(guān)鍵點(diǎn)回歸結(jié)果作為關(guān)鍵點(diǎn)定位的初步結(jié)果,是關(guān)鍵點(diǎn)檢測(cè)的分組依據(jù).較差的關(guān)鍵點(diǎn)回歸結(jié)果,會(huì)直接影響關(guān)鍵點(diǎn)定位的最終精度.因?yàn)殛P(guān)鍵點(diǎn)分布于托盤外邊緣,所以關(guān)鍵點(diǎn)的最小外接矩形與托盤的目標(biāo)框相近.托盤目標(biāo)框中心點(diǎn)與第i個(gè)關(guān)鍵點(diǎn)的歐式距離為,目標(biāo)框中心點(diǎn)與目標(biāo)框角點(diǎn)歐式距離Ddet.Ddet反映了目標(biāo)的大小情況,對(duì)有一定參考意義.在與Ddet數(shù)值差距較大時(shí),認(rèn)為托盤關(guān)鍵點(diǎn)回歸效果較差.根據(jù)二者大小關(guān)系得到關(guān)鍵點(diǎn)回歸評(píng)價(jià)指標(biāo).

其中,=(xi,yi)為第i個(gè)托盤關(guān)鍵點(diǎn)回歸的坐標(biāo).將目標(biāo)框角點(diǎn)從左上角按順時(shí)針編號(hào)為1,2,3,4,=(,)為第i個(gè)托盤目標(biāo)框角點(diǎn)坐標(biāo).當(dāng)與Ddet接近時(shí),接近于1,關(guān)鍵點(diǎn)回歸效果好,補(bǔ)償比重小;當(dāng)與Ddet差距較大時(shí),接近于0,關(guān)鍵點(diǎn)回歸效果差,補(bǔ)償比重大.

3.4 基于幾何約束的托盤中心點(diǎn)計(jì)算方法

自動(dòng)叉車相機(jī)與托盤空間關(guān)系如圖5 所示,坐標(biāo)系z(mì)軸指向相機(jī)正前方,y軸垂直向下.因?yàn)橥斜P承載貨物一般水平放置于地面,所以設(shè)定托盤放置平面與自動(dòng)叉車相機(jī)坐標(biāo)系xz平面平行.Pi為托盤關(guān)鍵點(diǎn)(i=1,2,3,4),Pi在自動(dòng)叉車相機(jī)坐標(biāo)系中的坐標(biāo)為(Xi,Yi,Zi).Pc為托盤中心點(diǎn),在自動(dòng)叉車相機(jī)坐標(biāo)系中的坐標(biāo)為(Xc,Yc,Zc).pi為托盤關(guān)鍵點(diǎn)在歸一化平面中的坐標(biāo)(xi,yi),pc為托盤中心點(diǎn)在歸一化平面的坐標(biāo)(xc,yc).基于針孔相機(jī)模型,本文提出基于幾何約束的托盤中心點(diǎn)計(jì)算方法,通過(guò)托盤關(guān)鍵點(diǎn)計(jì)算托盤中心點(diǎn).

圖5 叉車相機(jī)與托盤空間關(guān)系圖

其中,K為相機(jī)內(nèi)參矩陣.因?yàn)橥斜P放置平面與自動(dòng)叉車相機(jī)坐標(biāo)系xz平面平行,在自動(dòng)叉車相機(jī)坐標(biāo)系中Z1=Z4,Z2=Z3,根據(jù)式(11)可得:

托盤中心點(diǎn)Pc與托盤關(guān)鍵點(diǎn)的空間關(guān)系為:

將式(12)-式(15)帶入式(11)得到托盤中心點(diǎn)坐標(biāo)(xc,yc):

3.5 托盤水平方向估計(jì)

為了估計(jì)托盤水平方向,本文在自動(dòng)叉車相機(jī)坐標(biāo)系中分析了托盤關(guān)鍵點(diǎn)坐標(biāo)與水平方向的關(guān)系.如圖5,定義托盤水平方向的角度θ為托盤正面所在平面P1P2P3與坐標(biāo)系x軸正方向所成夾角,設(shè)定Z1＜Z2時(shí)θ為正,反之為負(fù).通過(guò)托盤關(guān)鍵點(diǎn)p1和p2的y坐標(biāo)之差Δy=y1-y2來(lái)估計(jì)托盤水平方向.關(guān)鍵點(diǎn)P1和P2在空間中的關(guān)系如式(17),其中W為關(guān)鍵點(diǎn)P1和P2的空間距離,也即托盤正面長(zhǎng)度.

將式(17)帶入式(11),得到:

在Z1不變的前提下,Δy對(duì)θ求導(dǎo):

由式(18)和式(19)可知,當(dāng) θ為0 時(shí),p1和p2的y 坐標(biāo)之差 Δy為0; 當(dāng)θ大于0 時(shí),Δy大于0; 當(dāng)θ小于0 時(shí),Δy小于0.同一距離下 Δy在θ ∈[-0.5π,0.5π]的區(qū)間內(nèi)單調(diào)遞增,因此通過(guò) Δy可以有效估計(jì)托盤水平方向.考慮到關(guān)鍵點(diǎn)檢測(cè)誤差,設(shè)Δy∈[-10,10]時(shí),托盤水平方向正對(duì); Δy＜-10時(shí),托盤水平方向左偏; Δy＞10時(shí),托盤水平方向右偏.

4 實(shí)驗(yàn)分析

4.1 數(shù)據(jù)集

本文采用的數(shù)據(jù)集為筆者自己采集制作的數(shù)據(jù)集.筆者使用1920×1080分辨率的RGB 攝像頭拍攝了一個(gè)數(shù)據(jù)集.如圖6 所示,攝像頭安裝在自動(dòng)叉車系統(tǒng)前方的叉齒架上.叉齒架可上升下降,在不同高度拍攝托盤照片.整個(gè)數(shù)據(jù)集拍攝了合力叉車公司2 種類型的托盤,在多個(gè)場(chǎng)景中采集了時(shí)長(zhǎng)60 分鐘的視頻.從中選取1 251 幀圖片,使用coco-annotator 工具標(biāo)注.將其中80%圖片作為訓(xùn)練集,10%用作驗(yàn)證集,10%用作測(cè)試集.

圖6 數(shù)據(jù)集采集裝置圖

4.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)所用的機(jī)器配置如表1 所示.實(shí)驗(yàn)有兩個(gè)評(píng)價(jià)指標(biāo).第1 個(gè)是關(guān)鍵點(diǎn)定位精度指標(biāo)APkp,用以衡量關(guān)鍵點(diǎn)定位的精度,APkp越高代表托盤關(guān)鍵點(diǎn)定位越精確.第2 個(gè)指標(biāo)是筆者提出的托盤中心點(diǎn)定位指標(biāo)平均定位精度ALP(average location precision),通過(guò)托盤定位中心點(diǎn)與托盤實(shí)際中心點(diǎn)的歐式距離Dc和托盤真實(shí)框面積Abbox得到.

表1 訓(xùn)練所用機(jī)器配置表

在ALP中只考慮檢測(cè)目標(biāo)框和真實(shí)框IOU大于0.5的樣本,式(20)中N為樣本數(shù)量.ALP越高代表對(duì)托盤中心點(diǎn)定位越準(zhǔn)確.因?yàn)閿?shù)據(jù)集規(guī)模較小,模型在訓(xùn)練時(shí)隨機(jī)對(duì)輸入圖像進(jìn)行反轉(zhuǎn),同時(shí)疊加一個(gè)服從正態(tài)分布的隨機(jī)白噪聲,用以提高模型的魯棒性.學(xué)習(xí)率設(shè)為0.000 25,訓(xùn)練的epoch 設(shè)為120,為了防止過(guò)擬合,筆者在驗(yàn)證集Loss 不再下降時(shí)停止訓(xùn)練.

4.3 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文對(duì)CenterNet 算法提出改進(jìn)方法的有效性,筆者使用關(guān)鍵點(diǎn)定位精度指標(biāo)APkp,做了模型自身的縱向?qū)Ρ葘?shí)驗(yàn).將關(guān)鍵點(diǎn)位置約束設(shè)為改進(jìn)1,關(guān)鍵點(diǎn)回歸自適應(yīng)補(bǔ)償設(shè)為改進(jìn)2,實(shí)驗(yàn)結(jié)果如表2 所示,兩項(xiàng)改進(jìn)均顯著提高了APkp,證明了本文方法的有效性.

表2 縱向?qū)Ρ葘?shí)驗(yàn)表

為了驗(yàn)證本文方法定位托盤中心點(diǎn)的有效性,筆者使用評(píng)價(jià)指標(biāo)ALP,與其他目標(biāo)檢測(cè)算法進(jìn)行了橫向?qū)Ρ葘?shí)驗(yàn).對(duì)于其他目標(biāo)檢測(cè)算法,筆者使用托盤目標(biāo)框中心點(diǎn)作為托盤中心點(diǎn)的定位結(jié)果.實(shí)驗(yàn)結(jié)果如表3 所示.可以看到,本文方法對(duì)比其他目標(biāo)檢測(cè)算法,中心點(diǎn)定位精度均有顯著提高.

表3 橫向?qū)Ρ葘?shí)驗(yàn)表

為驗(yàn)證本文方法估計(jì)托盤水平方向的有效性,筆者分別選取托盤左偏、右偏與正對(duì)3 種具有代表性的情況進(jìn)行實(shí)際測(cè)試.結(jié)果如圖7 所示,圖7(a)中,關(guān)鍵點(diǎn)p1和p2的y坐標(biāo)之差Δy=-75,托盤水平方向左偏;圖7(b)中,Δy=1,托盤水平方向正對(duì); 圖7(c)中,Δy=59,托盤水平方向右偏.通過(guò) Δy可有效對(duì)托盤水平方向進(jìn)行估計(jì).

圖7 托盤方向估計(jì)圖

5 結(jié)論與展望

本文提出了一種基于關(guān)鍵點(diǎn)檢測(cè)的托盤定位方法.首先將CenterNet 人體姿態(tài)估計(jì)引入到托盤定位任務(wù)中,完成對(duì)托盤外邊緣4 個(gè)關(guān)鍵點(diǎn)的檢測(cè).然后改進(jìn)關(guān)鍵點(diǎn)分組約束,并提出關(guān)鍵點(diǎn)回歸自適應(yīng)補(bǔ)償,顯著提高了托盤關(guān)鍵點(diǎn)定位精度.在關(guān)鍵點(diǎn)檢測(cè)的基礎(chǔ)上,提出了托盤中心點(diǎn)計(jì)算與托盤水平方向估計(jì)方法,提高了托盤中心點(diǎn)的定位精度,解決了目前目標(biāo)檢測(cè)算法無(wú)法有效估計(jì)托盤水平方向的問(wèn)題.與其他托盤檢測(cè)方法相比,本文提出的方法表現(xiàn)優(yōu)異,下一步計(jì)劃將本文方法應(yīng)用于自動(dòng)叉車系統(tǒng)中.