改進(jìn)ＹＯＬＯｖ５ 和ＤｅｅｐＳＯＲＴ 的多目標(biāo)跟蹤算法

摘 要 針對(duì)多目標(biāo)因相互交錯(cuò)或被遮擋以及檢測目標(biāo)外觀外貌和背景顏色相近等現(xiàn)象 導(dǎo)致目標(biāo)跟蹤的漏檢 錯(cuò)檢ID 分配紊亂等問題 提出了一種改進(jìn)YOLOv5 DeepSORT和 跟蹤算法 為加強(qiáng)網(wǎng)絡(luò)對(duì)全局上下文特征的提取能力 文章提出優(yōu)化DeepSORT 的特征提取網(wǎng)絡(luò)模型 并通過去掉1 層卷積層 增加4 層殘差層以及采用自適應(yīng)平均池化層和增加網(wǎng)絡(luò)的深度與寬度 對(duì)行人提取更加深層次的語義信息 最后 通過實(shí)驗(yàn)驗(yàn)證了DeepSORT 目標(biāo)跟蹤算法的優(yōu)越性 其能夠準(zhǔn)確地對(duì)目標(biāo)進(jìn)行跟蹤 具有一定的理論探索意義和實(shí)用價(jià)值

關(guān)鍵詞 多目標(biāo)跟蹤 行人識(shí)別

中圖法分類號(hào) 文獻(xiàn)標(biāo)識(shí)碼A

１ 引言

隨著計(jì)算機(jī)視覺技術(shù)［１］ 的高速發(fā)展，目標(biāo)檢測與跟蹤技術(shù)［２］ 已經(jīng)應(yīng)用到各個(gè)領(lǐng)域中，如自動(dòng)駕駛、智慧交通以及公共安全監(jiān)管等。目標(biāo)跟蹤算法可以分為２ 大類，分別為單目標(biāo)跟蹤［３］ 和多目標(biāo)跟蹤［４］ 。單目標(biāo)跟蹤算法是在每張圖片中只跟蹤一個(gè)目標(biāo)，而多目標(biāo)跟蹤算法則是連續(xù)跟蹤視頻或者圖像幀中的多個(gè)目標(biāo)，多目標(biāo)跟蹤更多的是解決相似度計(jì)算和數(shù)據(jù)關(guān)聯(lián)的問題。２０１６ 年，Ｒｅｄｍｏｎ［５］ 提出了一種Ｏｎｅ?Ｓｔａｇｅ 方法，即ＹＯＬＯ 算法，其雖犧牲了檢測準(zhǔn)度和定位精度，但是檢測速度大幅提高，從而達(dá)到實(shí)時(shí)的目標(biāo)檢測要求。ＳＯＲＴ 算法［６］（ Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄＲｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ）是一個(gè)非常簡單實(shí)用的多目標(biāo)跟蹤算法。在ＳＯＲＴ 算法中，僅僅通過ＩＯＵ 來進(jìn)行匹配，雖然速度極快，但是存在大量身份ＩＤ 互換的現(xiàn)象。ＤｅｅｐＳＯＲＴ 算法［７］ 在ＳＯＲＴ 算法的基礎(chǔ)上引入了級(jí)聯(lián)匹配和匈牙利算法將目標(biāo)軌跡的預(yù)測框與檢測框進(jìn)行了數(shù)據(jù)關(guān)聯(lián)匹配。通過這個(gè)擴(kuò)展，模型能夠更好地應(yīng)對(duì)目標(biāo)被長時(shí)間遮擋的情況，將ＩＤ ｓｗｉｔｃｈ 指標(biāo)降低了４５％。但在實(shí)際場景中，面對(duì)行人目標(biāo)姿態(tài)變化、光照強(qiáng)度低、背景環(huán)境復(fù)雜，以及目標(biāo)間的軌跡交錯(cuò)和遮擋等問題，仍然存在目標(biāo)漏檢、丟失跟蹤以及ＩＤ 易互換的現(xiàn)象。針對(duì)上述問題，本文提出改進(jìn)ＹＯＬＯｖ５ 和ＤｅｅｐＳＯＲＴ 算法。

２ ＹＯＬＯｖ５ 算法

Ｕｌｔｒａｌｙｔｉｃｓ 等提出的ＹＯＬＯｖ５ 模型的性能和檢測準(zhǔn)確度與ＹＯＬＯｖ４ 不相上下， 相較于ＹＯＬＯｖ４，ＹＯＬＯｖ５ 的網(wǎng)絡(luò)結(jié)構(gòu)更加簡單，參數(shù)量也更少，其圖像自適應(yīng)縮放策略和錨框自適應(yīng)策略使ＹＯＬＯｖ５ 無論是訓(xùn)練、預(yù)測還是推理速度都明顯優(yōu)于ＹＯＬＯｖ４。整個(gè)ＹＯＬＯｖ５ 網(wǎng)絡(luò)結(jié)構(gòu)分成４ 部分，即Ｉｎｐｕｔ，Ｂａｃｋｂｏｎｅ，Ｎｅｃｋ，Ｈｅａｄ。

（１）Ｉｎｐｕｔ 輸入端。ＹＯＬＯｖ５ 繼承了ＹＯＬＯｖ４ 所使用的Ｍｏｓａｉｃ 數(shù)據(jù)增強(qiáng)方式，豐富了檢測數(shù)據(jù)集，同時(shí)采用自定義不同長寬錨框的自適應(yīng)錨框機(jī)制，從而實(shí)現(xiàn)了既能增加數(shù)據(jù)集的復(fù)雜度，又能減少ＧＰＵ 的內(nèi)存使用的目標(biāo)。

（２） Ｂａｃｋｂｏｎｅ 主干網(wǎng)絡(luò)。ＹＯＬＯｖ５ｓ 的Ｂａｃｋｂｏｎｅ網(wǎng)絡(luò)是１ 個(gè)由ＣＳＰＤａｒｋｎｅｔ５３ 構(gòu)成的卷積神經(jīng)網(wǎng)絡(luò)，它包含５３ 個(gè)卷積層，并使用了ＣＳＰ（Ｃｒｏｓｓ?Ｓｔａｇｅ ＰａｒｔｉａｌＮｅｔｗｏｒｋｓ）模塊來加快訓(xùn)練和提高準(zhǔn)確性。

（３） Ｎｅｃｋ 頸部網(wǎng)絡(luò)。在ＹＯＬＯｖ４ 的Ｎｅｃｋ 結(jié)構(gòu)中，采用的都是普通的卷積操作，ＹＯＬＯｖ５ 的Ｎｅｃｋ 網(wǎng)絡(luò)使用了“ ＦＰＮ ＋ ＰＡＮ” 結(jié)構(gòu)， 且ＹＯＬＯｖ５ 借鑒了ＣＳＰｎｅｔ 的設(shè)計(jì)思想，將ＹＯＬＯｖ４ 使用的ＣＢＬ 模塊更換為ＣＳＰ２ 結(jié)構(gòu)，從而保留更多特征信息，加強(qiáng)了網(wǎng)絡(luò)特征融合能力。

（４）Ｈｅａｄ 輸出端。Ｈｅａｄ 輸出端是ＹｏＬＯｖ５ 模型中最后一層卷積層，它的作用是將融合后的多尺度特征圖進(jìn)行分類和回歸預(yù)測，得到目標(biāo)的位置、類別和置信度等信息。

３ ＤｅｅｐＳＯＲＴ 算法改進(jìn)

ＤｅｅｐＳＯＲＴ 算法是在整個(gè)ＳＯＲＴ 算法的基礎(chǔ)上進(jìn)行改進(jìn)，其借鑒行人重識(shí)別領(lǐng)域的ＲｅＩＤ 網(wǎng)絡(luò)結(jié)構(gòu)，利用特征提取網(wǎng)絡(luò)與目標(biāo)檢測框中的特征，當(dāng)目標(biāo)因遮擋又重新出現(xiàn)后，可以利用特征提取網(wǎng)絡(luò)的前后特征對(duì)比，重新跟蹤目標(biāo)，從而避免出現(xiàn)ＩＤ 互換現(xiàn)象。但在實(shí)測過程中發(fā)現(xiàn)，ＤｅｅｐＳＯＲＴ 原始特征網(wǎng)絡(luò)在行人重疊時(shí)容易出現(xiàn)ＩＤ 互相切換的現(xiàn)象，以及造成目標(biāo)跟丟的情況。為解決此問題，重構(gòu)ＤｅｅｐＳＯＲＴ 外觀特征提取網(wǎng)絡(luò)模型，在不改變訓(xùn)練速度的基礎(chǔ)上，進(jìn)一步提升ＤｅｅｐＳＯＲＴ 外觀特征提取能力。改進(jìn)外觀特征提取網(wǎng)絡(luò)表如表１ 所列。

４ 實(shí)驗(yàn)及結(jié)果分析

４．１ 改進(jìn)特征提取網(wǎng)絡(luò)訓(xùn)練

本文使用Ｍａｒｋｅｔ?１５０１ 數(shù)據(jù)集對(duì)改進(jìn)的行人重識(shí)別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將訓(xùn)練好的模型導(dǎo)出后用于后續(xù)的實(shí)驗(yàn)，通過記錄每一次迭代的行人外觀模型訓(xùn)練結(jié)果的損失函數(shù)值及誤差值來驗(yàn)證外觀模型的訓(xùn)練效果。特征提取網(wǎng)絡(luò)訓(xùn)練結(jié)果圖如圖１ 所示。

從圖１ 的Ｌｏｓｓ 以及Ｔｏｐ１?Ｅｒｒｏｒ 曲線變化可知前Ｅｐｏｃｈ２０，模型的損失值和Ｔｏｐ１?Ｅｒｒｏｒ 下降較為迅速，在Ｅｐｏｃｈ２０ 之后，Ｌｏｓｓ 值和Ｔｏｐ１?Ｅｒｒｏｒ 錯(cuò)誤率曲線逐漸平緩，當(dāng)模型迭代４０ 次時(shí)，訓(xùn)練集的Ｌｏｓｓ 值和Ｔｏｐ１?Ｅｒｒｏｒ 錯(cuò)誤率趨近于２％ ，驗(yàn)證集的Ｌｏｓｓ 值和Ｔｏｐ１?Ｅｒｒｏｒ 錯(cuò)誤率分別趨近５２％和１５％。在Ｅｐｏｃｈ６０時(shí)模型收斂，此時(shí)該模型能夠較好地提取更深層次的人體外觀特征信息。

４．２ 多目標(biāo)跟蹤算法效果對(duì)比

目標(biāo)跟蹤算法選擇在ＭＯＴ１６ 數(shù)據(jù)集上進(jìn)行測試，選擇ＭＯＴ Ｃｈａｌｌｅｎｇｅ 指標(biāo)作為評(píng)分標(biāo)準(zhǔn)，與其他幾種經(jīng)典跟蹤算法進(jìn)行對(duì)比實(shí)驗(yàn)，并給出了相應(yīng)的實(shí)驗(yàn)結(jié)果。目標(biāo)跟蹤算法實(shí)驗(yàn)對(duì)比如表２ 所列。

４．３ 目標(biāo)跟蹤算法實(shí)驗(yàn)示例分析

選擇ＭＯＴ１６?０２ 和ＭＯＴ１６?０４ 視頻對(duì)改進(jìn)模型進(jìn)行測試。ＭＯＴ?１６?０２ 視頻圖、ＭＯＴ?１６?０４ 視頻圖如圖２、圖３ 所示。

從圖３ 可以看出，該場景行人密集，光線陰暗，背景復(fù)雜，在ＭＯＴ?１６?０２ 視頻經(jīng)過人群短暫交錯(cuò)后，在第４０３ 幀和第４６９ 幀中各行人的ＩＤ 信息仍保持不變；在ＭＯＴ?１６?０４ 視頻中Ｉｄ 為１ 的目標(biāo)男子在視頻從左往右走動(dòng)時(shí)，經(jīng)過燈光的遮擋重新出現(xiàn)，檢測到其ＩＤ 始終沒有發(fā)生改變，并且在Ｉｄ 為７３ 的行人經(jīng)過人群密集處后，檢測到其ＩＤ 依舊為７３。這表明該算法在光線較暗的情況下依舊能夠有效地跟蹤到行人目標(biāo)，并保持他們的ＩＤ 值不變，不易發(fā)生ＩＤ 互換現(xiàn)象。

５ 結(jié)束語

本文在ＹＯＬＯｖ５ 和ＤｅｅｐＳＯＲＴ 算法的基礎(chǔ)上進(jìn)行改進(jìn)，提出結(jié)合ＧＡＭ 注意力機(jī)制， 加強(qiáng)網(wǎng)絡(luò)對(duì)上下文的特征的提取能力，同時(shí)優(yōu)化ＤｅｅｐＳＯＲＴ 的外觀特征提取網(wǎng)絡(luò)，將１２８ 維提升至１ ０２４ 維和采用不同殘差神經(jīng)層加強(qiáng)對(duì)目標(biāo)外觀的提取。在保證精度的前提下，大幅減少行人因重疊導(dǎo)致身份互換現(xiàn)象，最終優(yōu)化后的模型在ＭＯＴＡ 上提高了０．７２９％，ＭＯＴＰ 提高了１．５４１％，ＩＤＳＷ 下降了１３０，足以證明該模型可以快速有效地實(shí)現(xiàn)行人識(shí)別與跟蹤，完成在復(fù)雜場景下的跟蹤任務(wù)。

參考文獻(xiàn)：

［１］ 方佳樂．計(jì)算機(jī)視覺技術(shù)在人工智能領(lǐng)域的應(yīng)用研究［Ｊ］．中國高新科技，２０２１（２０）：４０?４１．

［２］ 王曉燕，韓笑，王雪婷．圖像處理領(lǐng)域運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)綜述［Ｊ］．科學(xué)技術(shù)創(chuàng)新，２０１８（２５）：９７?９８．

［３］ ＬＵ Ｘ，ＬＩ Ｆ，ＴＡＮＧ Ｊ，ｅｔ ａｌ． Ａ ｎｅｗ ｐｅｒｆｏｒｍａｎｃｅ ｉｎｄｅｘ ｆｏｒｍｅａｓｕｒｉｎｇ ｔｈｅ ｅｆｆｅｃｔ ｏｆ ｓｉｎｇｌｅ ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｋａｌｍａｎｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｍｏｄｅｒｎ Ｐｈｙｓｉｃｓ Ｃ，２０２２，３３（９）：１１?２０．

［４］ ＲＥＤＭＯＮ Ｊ，ＦＡＲＨＡＤＩ Ａ．ＹＯＬＯ９０００：Ｂｅｔｔｅｒ，Ｆａｓｔｅｒ，Ｓｔｒｏｎｇｅｒ［Ｊ］．ＣｏＲＲ，２０１６：２４２?２４８．

［５］ 馬琳琳，馬建新，韓佳芳，等．基于ＹＯＬＯｖ５ｓ 目標(biāo)檢測算法的研究［Ｊ］．電腦知識(shí)與技術(shù)，２０２１，１７（２３）：１００?１０３．

［６］ ＢＥＷＬＥＹ Ａ，ＺＯＮＧＹＵＡＮ Ｇ，ＲＡＭＯＳ Ｆ，ｅｔ ａｌ．Ｓｉｍｐｌｅ ｏｎｌｉｎｅａｎｄ ｒｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ ［ Ｃ ］ ／ ／ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＩｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０１６：３４６４?３４６８．

［７］ ＷＯＪＫＥ Ｎ， ＢＥＷＬＥＹ Ａ， ＰＡＵＬＵＳ Ｄ． Ｓｉｍｐｌｅ Ｏｎｌｉｎｅ ａｎｄＲｅａｌｔｉｍｅ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａ Ｄｅｅｐ Ａｓｓｏｃｉａｔｉｏｎ Ｍｅｔｒｉｃ［Ｊ］．ＩＥＥＥ，２０１７，２１（２）：３６４５?３６４９．

作者簡介：

黃振桂（１９９８—），碩士，研究方向：目標(biāo)檢測與跟蹤。