著力目標(biāo)追蹤 打造數(shù)字化獵鷹
——記大連理工大學(xué)信息與通信工程學(xué)院副教授王棟

謝更好

隨著美國(guó)的3DRobotics、法國(guó)的Parrot以及中國(guó)的DJI（大疆創(chuàng)新）等一系列無(wú)人機(jī)龍頭企業(yè)的崛起，無(wú)人機(jī)航拍在軍事及民用領(lǐng)域如軍事偵察、邊境巡邏、城市監(jiān)控、地質(zhì)勘探、災(zāi)情監(jiān)測(cè)等方面的應(yīng)用越來(lái)越頻繁，而計(jì)算機(jī)視覺(jué)技術(shù)作為無(wú)人機(jī)智能化的理論基礎(chǔ)，它的技術(shù)提升和應(yīng)用擴(kuò)展也成了目前很多科學(xué)家一直攻堅(jiān)的科研難題。如今，伴隨社會(huì)各界對(duì)無(wú)人機(jī)航拍技術(shù)的需求與日俱增，長(zhǎng)期堅(jiān)守在計(jì)算機(jī)視覺(jué)和圖像視頻處理領(lǐng)域，特別是在目標(biāo)跟蹤和分類領(lǐng)域的大連理工大學(xué)信息與通信工程學(xué)院副教授王棟，聯(lián)合項(xiàng)目團(tuán)隊(duì)主攻國(guó)家自然科學(xué)基金面上項(xiàng)目——“廣域低幀率航拍場(chǎng)景下在線目標(biāo)跟蹤”，竭力攻克技術(shù)難關(guān)，歷盡風(fēng)雨寒霜，在無(wú)人機(jī)城市安全監(jiān)控、生活模式分析等方面取得一番佳績(jī)，進(jìn)一步推動(dòng)了智能無(wú)人機(jī)監(jiān)控領(lǐng)域的發(fā)展。

王棟在CCF頒獎(jiǎng)典禮上獲獎(jiǎng)

攜初心，在科研路上砥礪前行

初心之于王棟，像海上迷途中的一盞塔燈，它能在迷失航向時(shí)發(fā)出明亮閃爍的光芒，指引他在重要時(shí)刻做出順應(yīng)本心的選擇。本科期間，王棟在學(xué)習(xí)數(shù)字信號(hào)處理的過(guò)程中結(jié)識(shí)了盧湖川教授，并對(duì)盧教授從事的圖像處理方向研究產(chǎn)生了極大的興趣。起初的結(jié)識(shí)許是偶然，但這興趣的由來(lái)卻是天性使然，正是這場(chǎng)貌似命中注定的相遇讓王棟與“目標(biāo)追蹤技術(shù)”開(kāi)始了長(zhǎng)達(dá)數(shù)十年的緣分。循著初始的興趣，2008年，王棟報(bào)考并順利成為盧湖川教授的學(xué)生。5年后博士畢業(yè)時(shí)，王棟在人生岔路口面臨企業(yè)工作和留?？蒲袃蓚€(gè)截然不同的選擇，而他毅然地選擇留校繼續(xù)在盧教授團(tuán)隊(duì)主攻目標(biāo)跟蹤方向研究，誓必將初心踐行到底，始終如一。

在2015—2016年期間，王棟前往美國(guó)天普大學(xué)訪學(xué)，在那里結(jié)識(shí)了來(lái)自天普大學(xué)的凌海濱教授，并受到他的指導(dǎo)。接觸中，他發(fā)現(xiàn)凌海濱教授的研究思路聚焦于如何給該領(lǐng)域帶來(lái)新的見(jiàn)解、提出新的問(wèn)題、做前人未做過(guò)的研究上，這對(duì)于當(dāng)時(shí)專攻精度和速度的王棟來(lái)說(shuō)受益匪淺。在國(guó)外一年里，王棟學(xué)與研并行，他在高空無(wú)人機(jī)場(chǎng)景的跟蹤中取得了一些階段性的實(shí)驗(yàn)結(jié)果，為回國(guó)之后開(kāi)展無(wú)人機(jī)方面的檢測(cè)與跟蹤奠定了基礎(chǔ)。

科研一旦啟航，途中總避免不了風(fēng)浪，當(dāng)下的迫停不是坐待天晴，而是蓄銳養(yǎng)精。2016年下半年回國(guó)之后，王棟繼續(xù)主攻目標(biāo)跟蹤方向的應(yīng)用研究，但他發(fā)現(xiàn)當(dāng)時(shí)目標(biāo)跟蹤技術(shù)的算法精度不高，根本無(wú)法解決行業(yè)痛點(diǎn)問(wèn)題，以至于他此后半年一直困于技術(shù)瓶頸和迷茫期。后來(lái)，隨著在大疆無(wú)人機(jī)上看到應(yīng)用前景，王棟及其團(tuán)隊(duì)也對(duì)近年來(lái)深度視覺(jué)跟蹤方面的研究工作進(jìn)行深入總結(jié)和分析，全面掌握了現(xiàn)有算法進(jìn)展及優(yōu)缺點(diǎn)。通過(guò)深入挖掘深度神經(jīng)網(wǎng)絡(luò)的局部結(jié)構(gòu)，提出局部敏感回歸跟蹤算法，在國(guó)際標(biāo)準(zhǔn)測(cè)評(píng)VOT2017公開(kāi)數(shù)據(jù)集上獲得第一名。而后他們更是提出了聯(lián)合判決性和可靠性學(xué)習(xí)的相關(guān)濾波跟蹤算法，進(jìn)一步提升了跟蹤算法的精度，在國(guó)際標(biāo)準(zhǔn)測(cè)評(píng)OTB2015和VOT2017均取得當(dāng)時(shí)最高精度。王棟及其團(tuán)隊(duì)在深度視覺(jué)跟蹤方面的最新進(jìn)展和突破為之后的多項(xiàng)關(guān)于目標(biāo)跟蹤方面的國(guó)家及省部級(jí)研究課題奠定了堅(jiān)實(shí)基礎(chǔ)。

合力打造數(shù)字化獵鷹

艱澀難懂的科學(xué)理論對(duì)外介紹時(shí)總被該領(lǐng)域的科學(xué)家簡(jiǎn)而言之，以更為貼近生活的理解方式傳遞給科學(xué)圈外的大眾，但越是淺出的講解靠的越是深入的科研實(shí)踐。作為計(jì)算機(jī)視覺(jué)和圖像視頻處理研究的專家，當(dāng)談及計(jì)算機(jī)視覺(jué)時(shí)，王棟先把相機(jī)的攝像頭比作人的眼睛，把連接的電腦或者其他的計(jì)算平臺(tái)比作人的大腦，后又通過(guò)流動(dòng)人群跟蹤和大疆無(wú)人機(jī)的環(huán)繞式拍照兩個(gè)生活應(yīng)用實(shí)例，使其領(lǐng)域的研究?jī)?nèi)容以一種更為通俗易懂的方式呈現(xiàn)出來(lái)。當(dāng)落實(shí)到當(dāng)前的科研實(shí)戰(zhàn)，王棟及其團(tuán)隊(duì)并沒(méi)有將目標(biāo)跟蹤技術(shù)僅僅止步在“人的眼睛”上，而是重點(diǎn)突擊當(dāng)時(shí)在國(guó)內(nèi)外研究均處于起步階段的“廣域低幀率航拍場(chǎng)景下在線目標(biāo)跟蹤”課題，解決由目標(biāo)外觀特征的模糊性及運(yùn)動(dòng)場(chǎng)景的復(fù)雜性帶來(lái)的諸多挑戰(zhàn)，包括目標(biāo)尺寸小、視覺(jué)特征模糊、運(yùn)動(dòng)復(fù)雜、光照陰影變化、背景雜亂等問(wèn)題，合力打造出一只捕捉更快、鎖定更準(zhǔn)、顯示更清的“數(shù)字化獵鷹”。

相關(guān)經(jīng)典及前沿理論是項(xiàng)目實(shí)施的堅(jiān)實(shí)基礎(chǔ)。王棟及其團(tuán)隊(duì)以最前沿的深度學(xué)習(xí)理論為指導(dǎo)，以項(xiàng)目團(tuán)隊(duì)前期在三種模型，包括子空間和稀疏表示模型、部距離度量模型、深度學(xué)習(xí)模型下的在線跟蹤方面的初步研究為基礎(chǔ)，以生成對(duì)抗網(wǎng)絡(luò)模型作為模擬小樣本目標(biāo)及背景的實(shí)踐支撐，由此開(kāi)始研究低分辨率小目標(biāo)的深度學(xué)習(xí)模型、小目標(biāo)訓(xùn)練樣本生成和深度網(wǎng)絡(luò)模型訓(xùn)練、低幀率相似目標(biāo)的時(shí)空語(yǔ)義關(guān)聯(lián)模型，并提出廣域低幀率航拍場(chǎng)景中在線目標(biāo)跟蹤算法。

多年相關(guān)研究經(jīng)驗(yàn)是項(xiàng)目實(shí)施的必要條件，合理的團(tuán)隊(duì)結(jié)構(gòu)和緊密的國(guó)際合作是項(xiàng)目實(shí)施的有力保障。王棟的團(tuán)隊(duì)是由一批有著豐富理論和實(shí)踐知識(shí)儲(chǔ)備的碩博士研究生組成的，他們一直主攻目標(biāo)跟蹤和分類方向的研究，在基于子空間、稀疏表示、局部距離度量方面曾提出了一系列表現(xiàn)優(yōu)異的模型算法，對(duì)于深度視覺(jué)跟蹤算法的綜述和最新突破，為如何利用深度神經(jīng)網(wǎng)絡(luò)建立魯棒外觀模型提供了技術(shù)條件。同時(shí)，王棟及項(xiàng)目團(tuán)隊(duì)與美國(guó)加州大學(xué)Merced分校Ming-Hsuan Yang教授、美國(guó)Temple大學(xué)Haibin Ling教授、香港中文大學(xué)Xiaogang Wang教授等目標(biāo)跟蹤和深度學(xué)習(xí)領(lǐng)域的資深研究人員一直保持著良好的學(xué)術(shù)交流合作，并能及時(shí)獲得最前沿的研究動(dòng)態(tài)和指導(dǎo)。

特色與創(chuàng)新是項(xiàng)目收獲突破性成果的最強(qiáng)證明。針對(duì)廣域場(chǎng)景下小目標(biāo)外觀建模問(wèn)題，他們嘗試創(chuàng)新性地提出融合深度孿生匹配模型和深度特征分類模型的深度目標(biāo)外觀模型，將深度學(xué)習(xí)理論推廣到廣域航拍視頻序列中的在線目標(biāo)跟蹤問(wèn)題上。同樣是廣域場(chǎng)景下小目標(biāo)方向，針對(duì)其訓(xùn)練樣本缺乏有效訓(xùn)練深度模型問(wèn)題，他們嘗試創(chuàng)新性地提出利用生成對(duì)抗網(wǎng)絡(luò)模擬真實(shí)小樣本目標(biāo)并將其嵌入到真實(shí)背景，并離線學(xué)習(xí)適合本項(xiàng)目場(chǎng)景的深度特征。之后，為解決目標(biāo)行動(dòng)軌跡及背景的復(fù)雜性難題，王棟及其團(tuán)隊(duì)著手低幀率視頻序列特性的研究，嘗試創(chuàng)新性地利用多目標(biāo)跟蹤思想來(lái)解決在線單目標(biāo)跟蹤問(wèn)題，并提出時(shí)空語(yǔ)義關(guān)聯(lián)模型來(lái)統(tǒng)一建模目標(biāo)外觀模型和時(shí)空語(yǔ)義模型，推理待跟蹤目標(biāo)的最優(yōu)軌跡。

“數(shù)字化獵鷹打造計(jì)劃”讓當(dāng)時(shí)的國(guó)內(nèi)視覺(jué)目標(biāo)跟蹤領(lǐng)域突破了之前的技術(shù)限制，取得了多次國(guó)際性賽事的重大成果。從2017年到2020年，王棟及其團(tuán)隊(duì)6次在國(guó)際視覺(jué)目標(biāo)跟蹤競(jìng)賽（VOT）中獲得第一名，其中包括VOT長(zhǎng)時(shí)組（VOT2018-LT,VOT2019-LT,VOT2020-LT）三連冠。他們站在巨人的肩膀上，向著科學(xué)的更遠(yuǎn)處眺望，可當(dāng)遠(yuǎn)景別在心頭后，他們又默默低下頭，錘煉出以創(chuàng)新為內(nèi)核的片瓦去搭建更為壯觀的科學(xué)高樓。

將學(xué)習(xí)進(jìn)行到底

所謂學(xué)無(wú)止境，在強(qiáng)調(diào)持久學(xué)習(xí)的同時(shí)也點(diǎn)明了學(xué)習(xí)的環(huán)境不是唯一。對(duì)于王棟來(lái)說(shuō)，學(xué)習(xí)與科研的地點(diǎn)并不僅限于實(shí)驗(yàn)室，工作之“娛”同樣也是學(xué)習(xí)的平臺(tái)。尤其近幾年來(lái)大熱的3D國(guó)漫《秦時(shí)明月》，讓他將“學(xué)”巧妙滲透在個(gè)人的娛樂(lè)活動(dòng)里。在被動(dòng)漫本身的劇情吸引外，“術(shù)業(yè)有專攻”的他將視覺(jué)研究向生活?yuàn)蕵?lè)及興趣領(lǐng)域外延，更關(guān)注動(dòng)畫(huà)制作在圖形和計(jì)算機(jī)視覺(jué)上的進(jìn)展，而當(dāng)下動(dòng)漫視覺(jué)技術(shù)的提高也讓扎根于視覺(jué)技術(shù)領(lǐng)域多年的他備受鼓舞。

所謂學(xué)無(wú)止境，學(xué)習(xí)不僅要躬行實(shí)踐，苦熬此時(shí)燈下，更要高瞻遠(yuǎn)矚，統(tǒng)籌未來(lái)規(guī)劃。王棟基于目前的研究工作，設(shè)想在今后的科研中能與國(guó)內(nèi)相關(guān)的領(lǐng)域?qū)W者共同努力，引領(lǐng)計(jì)算機(jī)視覺(jué)從主攻具體成品向制定領(lǐng)域標(biāo)準(zhǔn)發(fā)展，在未來(lái)做出具有更大話語(yǔ)權(quán)的成果，在企業(yè)合作、公共生活、航天科工方面取得較大的社會(huì)效益。

王棟在個(gè)人學(xué)術(shù)方面一直堅(jiān)守著專業(yè)要求，他在計(jì)算機(jī)視覺(jué)相關(guān)領(lǐng)域具有扎實(shí)的理論基礎(chǔ)和豐富的實(shí)踐經(jīng)驗(yàn)，也不斷更新著知識(shí)的廣度和深度。個(gè)人領(lǐng)域上的自修積淀成集體項(xiàng)目的科研高樓，登上這高樓環(huán)望，在線目標(biāo)跟蹤技術(shù)似獵鷹一般，盡情翱翔在這無(wú)邊藍(lán)天，護(hù)佑著人民安全并予之方便。