多任務學習的車輛結(jié)構(gòu)化信息提取方法①

朱 紅,岑躍峰,王思泰

1(中國電信股份有限公司 浙江分公司 政企客戶事業(yè)部,杭州 310001)

2(浙江科技學院 信息與電子工程學院,杭州 310000)

隨著城市化建設的不斷推進,針對交通視頻的對象行為分析和事件檢測日益受到關(guān)注[1].而交通結(jié)構(gòu)化信息提取技術(shù)[2]作為視頻分析和交通控制的基礎方法,其識別精確度決定了視頻分析的準確率.由于人工智能在近年來的快速發(fā)展,使得目標檢測、目標識別和目標跟蹤等圖像處理技術(shù)在交通領(lǐng)域也得到了廣泛的應用.但基于深度學習的人工智能技術(shù)存在標注樣本需求大,系統(tǒng)算力要求較高等問題,仍對該技術(shù)的推廣造成了較大的影響.因此如何高效利用深度學習仍是當前業(yè)界關(guān)注的熱點之一.

目前,大部分的方法需要將車輛結(jié)構(gòu)化信息提取分為多個子任務進行處理,包括：運動檢測[3-6]、目標檢測[7-12]、目標跟蹤[13-19]、車輛顏色識別[20-25]和車型識別[26-28]等,且各個子任務都有較好的解決方案.因此為了保證系統(tǒng)的準確率,需要利用多個卷積神經(jīng)網(wǎng)絡進行結(jié)構(gòu)化信息進行提取,而多個神經(jīng)網(wǎng)絡的訓練較為繁瑣且各個子任務的樣本準備較為困難,訓練數(shù)據(jù)有限會直接影響網(wǎng)絡特征的有效擬合,導致整體的檢測精度下降.而且多個神經(jīng)網(wǎng)絡的使用也造成了重復的特征提取,嚴重影響了整體的系統(tǒng)的運行效率.將交通結(jié)構(gòu)化信息提取分為多個步驟進行處理,也使得最終結(jié)果的準確率受到各個步驟的準確率影響.

為了同時實現(xiàn)交通圖像中機動車的檢測和屬性識別,中科院的郭少博[29]提出了機動車聯(lián)合檢測和識別方法,實現(xiàn)快速的交通車輛檢測和屬性識別,提高了系統(tǒng)的運行效率.但由于其使用的了雙階段的Faster RCNN網(wǎng)絡[30]作為基礎結(jié)構(gòu),其運行速度較慢,難以滿足實際中的需求.且該方法針對車輛檢測和屬性識別,并未對車輛進行跟蹤,其應用場景有限.與之不同的是,格拉茨技術(shù)大學的Feichtenhofer 等[31]基于FasterRCNN 的雙階段網(wǎng)絡提出了一種結(jié)合目標檢測和目標跟蹤的方法,通過特征和目標的包圍框進行目標跟蹤.該方法同時實現(xiàn)了目標檢測和跟蹤,但由于其基于雙階段的目標檢測算法,在檢測框架上仍有較大的優(yōu)化空間.因此,清華大學的Wang 等[32]將該網(wǎng)絡結(jié)構(gòu)進一步改進,采用基于YOLOv3[33]的基礎網(wǎng)絡結(jié)構(gòu)進行目標檢測和特征提取,結(jié)合卡爾曼濾波和匈牙利算法實現(xiàn)目標跟蹤,且在實時的效率下實現(xiàn)較好的檢測和跟蹤效果.但由于該問題的完整數(shù)據(jù)集較少,其利用行人檢測、行人跟蹤和行人重識別的數(shù)據(jù)集進行訓練和測試.與之不同的是車輛的數(shù)據(jù)集與行人的問題稍有不同,數(shù)據(jù)集在聯(lián)合訓練中還有部分的問題需要解決如車輛檢測和車輛重識別問題訓練樣本的場景不相同等.因此,針對車輛的結(jié)構(gòu)化信息提取仍是一個尚未較好解決的問題.

因此,為解決網(wǎng)絡訓練繁瑣、子任務訓練數(shù)據(jù)有限和網(wǎng)絡特征重復提取等問題,本文采用如下方法：

(1)改進YOLO 層,使多個子任務共享特征提取結(jié)構(gòu).將多個子任務提取特征部分整合在一個統(tǒng)一的網(wǎng)絡backbone,并改進YOLO 層使之同時解決多個任務的輸出為問題.

(2)構(gòu)造多任務學習損失函數(shù).將多個子任務整合在統(tǒng)一的損失函數(shù)之中,利用端到端的網(wǎng)絡訓練,實現(xiàn)多任務網(wǎng)絡的訓練.

(3)融合多種不同結(jié)構(gòu)的數(shù)據(jù)集.根據(jù)現(xiàn)有的公開數(shù)據(jù)集,將不同感受野大小的圖像進行有機融合,并根據(jù)子任務需求對其進行擴充和增廣,對缺失的部分任務的樣本進行補充標注.

1 車輛結(jié)構(gòu)化信息提取神經(jīng)網(wǎng)絡

1.1 系統(tǒng)流程

系統(tǒng)流程圖見圖1所示,主要過程包括：(1)圖像輸入；(2)車輛結(jié)構(gòu)化信息提取網(wǎng)絡提取結(jié)構(gòu)化信息；(3)采用多目標跟蹤方法SORT 實現(xiàn)目標跟蹤.本文以YOLOv3網(wǎng)絡結(jié)構(gòu)為基礎,構(gòu)建一個端到端提取車輛結(jié)構(gòu)化信息的網(wǎng)絡結(jié)構(gòu),實現(xiàn)車輛目標檢測、車牌定位、車輛顏色識別、車型分類和車輛的特征提取,結(jié)合SORT多目標跟蹤方法,可同時實現(xiàn)實時的車輛檢測、跟蹤和車輛結(jié)構(gòu)化信息提取.

圖1 系統(tǒng)流程圖

1.2 車輛結(jié)構(gòu)化信息提取神經(jīng)網(wǎng)絡

YOLOv3 是當前實時目標檢測算法中廣受工業(yè)界歡迎的算法之一,該網(wǎng)絡是YOLOv2 網(wǎng)絡的繼承和發(fā)展,主要調(diào)整了網(wǎng)絡結(jié)構(gòu),增加了多尺度的特征提取結(jié)構(gòu).其采用了Darknet-53 的基礎網(wǎng)絡結(jié)構(gòu),其中包含了53 個卷積層,并結(jié)合了Residual Network 的殘差網(wǎng)絡結(jié)構(gòu),在層與層之間加入了Shortcut 結(jié)構(gòu),使得低層特征在深層網(wǎng)絡中得到保留.該網(wǎng)絡在第83 層、95 層和107 層分別進行特征提取,實現(xiàn)多尺度的目標檢測,在小目標檢測中,召回率有明顯的提高.

本文在YOLOv3 基礎上,修改了YOLO 層,將YOLO層輸出目標類別和目標位置改進為同時輸出車輛特征、車輛位置、車牌位置、車型分類和車輛顏色多個信息,將YOLO 層原本的輸出特征圖大小從(2A+4A)×H×W改進為(2A+4A+4A+2A+D)×H×W,其中A表示該尺度上的錨點模板數(shù)量,D表示1024 維的車輛特征維度,H和W分別表示該尺度上特征圖的高度和寬度.并通過多任務學習損失函數(shù)對多個子任務進行融合.網(wǎng)絡結(jié)構(gòu)見圖2.

圖2 網(wǎng)絡結(jié)構(gòu)圖

改進YOLO 層之后,目標將YOLO 網(wǎng)絡從單純的定位和分類的網(wǎng)絡拓展為多任務輸出的網(wǎng)絡,能同時實現(xiàn)隊中任務的訓練和使用,緩解了車輛結(jié)構(gòu)化信息提取因數(shù)據(jù)量不夠而產(chǎn)生的過擬合問題,且合并了多個子任務,極大的提高了人工神經(jīng)網(wǎng)絡實際應用價值.

1.3 多任務學習損失函數(shù)

本文的損失函數(shù)將多任務學習串聯(lián)在一起,根據(jù)損失函數(shù)將多個子任務實現(xiàn)端到端的網(wǎng)絡訓練,式(1)如下：

其中,Lobj,LCloc,LLloc,Lcol,Ltype,Lemded分別表示前景判斷、車輛定位、車牌定位、車輛顏色、車輛類型和車輛特征的損失函數(shù)；前景判斷、車輛顏色和車輛類型的損失函數(shù)為交叉熵損失函數(shù),該部分網(wǎng)絡后通過Softmax 對類別進行分類：

其中,N表示訓練中batch 的大小,M表示該子任務的類別數(shù),其中前景判斷分為2 類,即前景和背景；車輛顏色分為7 類,即白色、銀色、黃色、紅色、藍色、綠色和黑色；車輛類型分為轎車、載貨汽車、客車、掛車和其他車輛5 種.yjc表示變量0 或1,如果該類別和j的類別相同,則為1,反之則為0.pjc表示樣本j屬于類別c的預測概率.

車輛定位和車牌定位的損失函數(shù)為平滑L1 損失函數(shù),如式(3),式(4)所示：

車輛特征的獲取是一個度量學習的問題,需要考慮樣本數(shù)量和收斂速度,文獻[33] 中對比了三元損失、改進的三元損失和交叉熵損失,發(fā)現(xiàn)相較于其他損失函數(shù),交叉熵損失函數(shù)更適用于多任務學習問題,因此本文中也用交叉熵損失函數(shù)度量車輛特征提取的損失值.提取的目標特征將被輸入到一個全連接層中,并結(jié)合交叉熵損失對其進行訓練.參考文獻[34],Si表示各任務的不確定性,可由訓練學習得到.由于并非所有的樣本都進行了完整的標注,因此需要將樣本未標注部分的標簽設為-1,當訓練時遇到該部分損失函數(shù)計算時,忽略該部分的損失函數(shù)計算.

2 多任務學習訓練數(shù)據(jù)增廣

在多任務學習任務中,收集完整標注的數(shù)據(jù)集較為困難,雖然針對單一任務的相關(guān)數(shù)據(jù)集較多,但其目標大小標注情況都不相同,比如在車輛檢查中,車輛只占整圖中的一小部分,但車輛重識別的樣本中圖像大小即為車輛包圍框的大小,在不加整理的情況下同時訓練兩部分數(shù)據(jù)會對網(wǎng)絡訓練的收斂情況造成較大的影響,尤其是車輛檢測和車輛重識別的數(shù)據(jù)集,其場景大小差別較大.車輛檢測的任務為檢測圖中車輛,并輸出車輛在圖像中的位置,其除了車輛之外,有較多的背景區(qū)域；車輛重識別主要判斷多張圖中的車輛是否為同一車輛,其訓練數(shù)據(jù)為了減少其他的干擾,將車輛目標從原圖像中進行截取,其圖像完全包絡了車輛目標,背景區(qū)域干擾可以忽略不計,在同時訓練上述數(shù)據(jù)集時會極大減緩車輛檢測的定位損失收斂.因此需要對訓練樣本進行增廣和整理,其流程圖見圖3.其主要分為如下幾個部分.

圖3 多任務樣本準備流程圖

(1)收集數(shù)據(jù)集,并將所有的數(shù)據(jù)集按統(tǒng)一的標注格式進行修改.由于本文參考了YOLOv3 的網(wǎng)絡,因此訓練數(shù)據(jù)和YOLOv3 也較為相似,樣本標注為(label,cx/W,cy/H,cw/W,ch/H,type,color,lx/W,ly/H,lw/W,lh/H,No),其中l(wèi)abel,type和color分別表示是否為車輛、車輛類型和車輛顏色的標注,cx和cy分別表示車輛包圍框中心點的橫坐標和縱坐標,W和H表示圖像的寬度和高度,cw和ch表示車輛包圍框的寬度和高度,類似的,lx,ly,lw和lh分別表示車牌包圍框的中心點坐標和車牌包圍框的寬度和高度,No表示在當前序列中車輛的編號.在缺省的標簽上打上-1,在訓練時忽略該標簽的訓練.收集的數(shù)據(jù)集主要包括車輛檢測、車輛類型和車輛重識別的公開數(shù)據(jù)集.

(2)數(shù)據(jù)集整合.在車輛檢測數(shù)據(jù)集中手工挑選部分目標較少的圖像,將圖中的車輛目標抹去,作為背景樣本,并將車輛重識別的樣本在該部分圖像中進行填充,整合成新的車輛重識別數(shù)據(jù)集.該數(shù)據(jù)集在重識別任務中加入了背景干擾,更符合實際場景中情況,也解決了車輛重識別和車輛檢測數(shù)據(jù)集在聯(lián)合訓練時產(chǎn)生的檢測損失收斂緩慢的問題.且車輛重識別數(shù)據(jù)集中除了相同的車輛分為一組之外,還額外標注了車輛顏色信息,可以減少部分車輛顏色的手動標注工作.

(3)數(shù)據(jù)集補充標注.由于數(shù)據(jù)集由各個子任務的數(shù)據(jù)集組成,因此需要手工補充標注部分的數(shù)據(jù),使訓練數(shù)據(jù)更接近實際應用場景.

(4)數(shù)據(jù)增廣.將所有的樣本進行適當?shù)耐敢曌儞Q,并對圖像的飽和度和亮度上增加適當?shù)恼`差擾動,擾動取值范圍設置為當前飽和度和亮度的0.5～1.5.

3 實驗分析

本文結(jié)合了多個車輛相關(guān)的數(shù)據(jù)集,并在整合補充之后,得到了相應的車輛結(jié)構(gòu)化特征提取數(shù)據(jù)集VSFE,其主要由公開車輛檢測數(shù)據(jù)集KITTI、UADETRAC、車輛重識別數(shù)據(jù)集VRID 和部分自己手工收集及標注的數(shù)據(jù),共100000 張圖像,其中包括393468輛車,其中80000 張為訓練集,20000 張為測試集.數(shù)據(jù)集KITTI 是自動駕駛中較為有名的數(shù)據(jù)集,其通過在車輛上安裝多個傳感器進行數(shù)據(jù)集的數(shù)據(jù)獲取和自動標注；數(shù)據(jù)集UA-DETRAC 拍攝于京津冀人行天橋的場景,手動標注了8250 個車輛,詳細標注了車輛編號、車輛位置、車輛類型和車輛方向；車輛重識別數(shù)據(jù)集VRID 是中山大學openData 開放平臺上的車輛重識別數(shù)據(jù)集,其數(shù)據(jù)來源于某城市道路卡口,包含10000張車輛圖像,可用于車輛重識別、車輛品牌精細識別和車輛顏色識別.

本文在為證明算法的有效性分別在公開數(shù)據(jù)集KITTI 和本文提出的數(shù)據(jù)集VSFE 上分別進行實驗,實驗基于Darknet 的神經(jīng)網(wǎng)絡框架實現(xiàn),運行在配有英特爾酷睿i7-7700k CPU 和2 塊1080Ti GPU 的PC 機上.

3.1 KITTI 數(shù)據(jù)集結(jié)果分析

本文方法在VSFE 數(shù)據(jù)集做預訓練,得到預訓練網(wǎng)絡,再將KITTI 數(shù)據(jù)集作為訓練集進行微調(diào).由于KITTI 數(shù)據(jù)集中并不包含本文方法需要的各類標簽,因此需通過額外的數(shù)據(jù)集對其進行補充,實驗結(jié)果見表1.相對于其他方法,本文算法在實驗效果上優(yōu)于其他同類方法,運行效率上略低于YOLOv3,但仍滿足實時性要求.

表1 KITTI 數(shù)據(jù)集結(jié)果比較

因為本文方法(VESNet)較于YOLOv3 檢測網(wǎng)絡需要完成更多的子任務,所以其運行速度會略低于YOLOv3.由于多任務學習使得各個子任務之間的特征能得到有效的交流,已補足數(shù)據(jù)集本身的數(shù)據(jù)不均衡、訓練數(shù)據(jù)有限等問題,因此本文的方法在基礎網(wǎng)絡相同的情況下,較YOLOv3 能提升2.24%實驗效果.

3.2 VSFE 數(shù)據(jù)集實驗分析

由于本文算法VESNet 是一個多任務學習的網(wǎng)絡,為了證明該算法在多任務學習上的效果,需要在相應的數(shù)據(jù)集上進行端到端的訓練,而傳統(tǒng)的車輛重識別數(shù)據(jù)集和車輛檢測數(shù)據(jù)集的感受野存在很大的差異,因此不能將兩種數(shù)據(jù)集同時進行網(wǎng)絡訓練.因此,需要基于本文的數(shù)據(jù)增廣方法,將兩種不同的感受野的數(shù)據(jù)統(tǒng)一到相同大小的感受野之中,實現(xiàn)端到端的網(wǎng)絡訓練.增廣后的數(shù)據(jù)集名為VSFE,實驗結(jié)果見表2.

表2 VSFE 數(shù)據(jù)集結(jié)果比較

在VSFE 數(shù)據(jù)集實驗中,本文方法利用本文提出的多任務學習神經(jīng)網(wǎng)絡VESNet 結(jié)合多目標跟蹤方法SORT 進行車輛的結(jié)構(gòu)化信息提取和多目標跟蹤；多階段方法由幾個部分組成,先通過目標檢測神經(jīng)網(wǎng)絡進行車輛檢測,提取車輛具體位置,再根據(jù)車輛當前位置利用KCF 跟蹤算法[14]進行目標跟蹤,最后再用神經(jīng)網(wǎng)絡對車輛子圖像進行車牌定位、車型分類和顏色識別.由表2可知,本文提出的方法在大部分的子任務處理中都優(yōu)于多階段的方法,且運行時間遠少于多階段方法.在該實驗中,目標跟蹤通過判斷目標自被檢測至最終一幀是否仍在跟蹤,來判斷目標是否跟丟,從而計算跟丟率.

在目標檢測子任務上,本文方法和多階段方法由于都用的是YOLOv3 的基礎網(wǎng)絡結(jié)構(gòu),因此結(jié)構(gòu)較為相近.因此在相同的訓練數(shù)據(jù)情況下,目標檢測的檢測結(jié)果相近,因為多任務學習將多個子任務進行同時訓練,使得網(wǎng)絡的收斂效果更好,因此準確率和召回率略高于單純的YOLOv3 目標檢測網(wǎng)絡.目標跟蹤子任務中,由于本文方法提取了目標特征,并維護了跟蹤隊列,所以即使在中間某一幀未匹配成功,也并不影響后續(xù)的跟蹤結(jié)果,因此效果遠好于依賴單目標跟蹤的多階段方法.而單目標跟蹤方法容易受到目標形變、遮擋等問題的影響,且單目標跟蹤的運行時間受圖像中目標數(shù)量影響,相較而言本文方法運行時間穩(wěn)定,魯棒性更強,尤其適應容易出現(xiàn)目標遮擋的復雜場景.車牌定位子任務中,由于多階段方法利用檢測出車輛的子圖像進行進一步的車牌定位,因此其結(jié)果較好,且因為遠處的車輛車牌較小,使得本文方法會出現(xiàn)部分漏檢的問題,影響了該部分的成績.在車型分類和顏色識別上,多階段方法受到多步驟的誤差累加問題影響,其結(jié)果明顯低于本文的方法.檢測效果圖如圖4所示.

圖4 多任務檢測效果圖

對比本文方法和多階段的車輛結(jié)構(gòu)化信息提取方法,如表2所示,本文方法通過端到端的神經(jīng)網(wǎng)絡計算,結(jié)合快速多目標跟蹤的卡爾曼濾波和匈牙利算法實現(xiàn)相鄰幀之間的目標跟蹤配對,僅需要25.5 ms 便完成了一幀圖像的檢測、跟蹤和結(jié)構(gòu)化信息提??；而多階段的方法檢測、結(jié)構(gòu)化特征提取和目標跟蹤分離開來,分為3 步進行計算,其運行時間也由3 部分組成,即目標檢測時間(20.6 ms)、結(jié)構(gòu)化特征提取時間(23.2 ms)和目標跟蹤時間(平均20.7 ms).其中,特征提取部分進行了多次的重復計算,使得計算量遠高于本文提出的方法.再者,使用多次單目標跟蹤算法完成多目標跟蹤任務,會在圖像中存在多個跟蹤目標時,大量占用計算機資源,不利于系統(tǒng)穩(wěn)定,其魯棒性較差.在多階段方法中,前一階段方法的準確率直接對后一階段的效果有明顯的影響,其誤差會隨著階段增多而不斷累積,影響最終結(jié)果.

此外,本文中的數(shù)據(jù)增廣方法使得本文的方法能較好地適應場景中光照變化的情況,如夜間的車輛檢測問題,也能有較為準確的檢測結(jié)果,如圖5所示.收到光照變化影響,夜間車輛顏色檢測存在一定的誤差,但其他車輛結(jié)構(gòu)化信息提取仍有較好的實驗結(jié)果.

圖5 夜間車輛結(jié)構(gòu)化信息提取

當圖像中存在多輛車輛同時進行檢測跟蹤時,本方法依然能實現(xiàn)較好的檢測跟蹤效果,如圖6所示.圖中大部分的車輛都能較好的完成檢測和特征提取,但由于輸入圖像大小有限,部分過于小的目標仍存在丟失的情況,尤其是遠處車輛的車牌位置.在場景中車輛間會出現(xiàn)相互遮擋的情況下,本文方法利用車輛前后幀特征進行對應的車輛匹配,使其在遮擋之后仍然能重新被跟蹤到,能較好地用于實際的視頻分析應用之中.

圖6 多車輛場景檢測效果圖

4 結(jié)論與展望

針對車輛結(jié)構(gòu)化特征提取中存在的重復特征提取、過程誤差累加和訓練樣本有限的問題,本文提出了端到端的車輛結(jié)構(gòu)化特征提取網(wǎng)絡.網(wǎng)絡基于YOLOv3進行了改進,通過多任務學習損失函數(shù)將車輛檢測、車輛特征提取、車輛顏色識別、車輛類型識別和車牌定位任務整合在同一網(wǎng)絡之中,在檢測車輛的同時同步輸出相應的屬性.在結(jié)合多目標跟蹤之后,可對視頻中的車輛同時進行檢測跟蹤,在智慧交通領(lǐng)域有著廣泛的應用.

考慮到車輛的各種數(shù)據(jù)集存在不兼容的問題,本文提出了數(shù)據(jù)整合和增廣的方法,在不增加標注工作量的情況下,通過將車輛檢測數(shù)據(jù)集和其他數(shù)據(jù)集進行組合,實現(xiàn)數(shù)據(jù)整合和增廣.在本文中,車輛跟蹤基于車輛位置和車輛特征實現(xiàn),需要在網(wǎng)絡之后增加多目標跟蹤方法SORT 實現(xiàn)目標跟蹤,未來希望能將目標跟蹤部分整合到網(wǎng)絡中,實現(xiàn)真正的端到端車輛結(jié)構(gòu)化特征提取.