基于關(guān)鍵點(diǎn)檢測(cè)的交通監(jiān)控相機(jī)標(biāo)定方法

肖子遙，朱肖磊，熊鑫州

（201620 上海市 上海工程技術(shù)大學(xué) 機(jī)械與汽車工程學(xué)院）

0 引言

實(shí)現(xiàn)目標(biāo)的空間定位是智能交通系統(tǒng)的關(guān)鍵能力，然而高精度定位傳感器價(jià)格昂貴，例如基于激光的設(shè)備或微波多普勒雷達(dá)?？紤]到視覺傳感器分辨率和成像質(zhì)量的提升，基于計(jì)算機(jī)視覺和多幾何視圖相結(jié)合的空間定位解決方案極具成本效益。然而，監(jiān)控?cái)z像機(jī)通常放置在難以接近的位置，并且缺乏標(biāo)準(zhǔn)化的校準(zhǔn)過程[1]。雖然目前可以較準(zhǔn)確地估計(jì)攝像機(jī)的外部參數(shù)，但缺乏一種可靠的監(jiān)控?cái)z像機(jī)內(nèi)部參數(shù)的估計(jì)方法，導(dǎo)致一些基于已知圖形尺寸[1-5]的外參標(biāo)定方法不可用，而其他基于消失點(diǎn)的標(biāo)定方法[6-8]通常對(duì)相機(jī)內(nèi)參數(shù)有很強(qiáng)的假設(shè)，從而限制了校準(zhǔn)精度的進(jìn)一步提高。

本文提出了一種通用的交通監(jiān)控場(chǎng)景內(nèi)參數(shù)自動(dòng)標(biāo)定方法（Automatic Calibration of Internal Parameters,ACIP），該方法結(jié)合不同的外部參數(shù)估計(jì)方法實(shí)現(xiàn)相機(jī)全標(biāo)定。相機(jī)標(biāo)定涉及估計(jì)2 種類型的相機(jī)參數(shù)：相機(jī)內(nèi)參(如相機(jī)焦距、畸變系數(shù))與相機(jī)外參（旋轉(zhuǎn)矩陣 R 和平移矩陣 T）。目前，大多數(shù)交通攝像機(jī)標(biāo)定方法對(duì)內(nèi)部參數(shù)都有很強(qiáng)的假設(shè)，例如攝像機(jī)主點(diǎn)在圖像的中心，攝像機(jī)的像素?zé)o畸變[9]，或者一些方法假設(shè)攝像機(jī)已在實(shí)驗(yàn)室校準(zhǔn)或相機(jī)參數(shù)已知[5]，但這些條件對(duì)于已大規(guī)模部署完成的交通相機(jī)來說是暴力或不現(xiàn)實(shí)的[10]。

針對(duì)以上問題，本文專注于自動(dòng)估計(jì)交通攝像機(jī)內(nèi)部參數(shù)。首先通過YOLOv4[11]來檢測(cè)車輛；其次通過改進(jìn)Res-Net18[12]構(gòu)建全卷積網(wǎng)絡(luò)FCN來估計(jì)車牌的關(guān)鍵點(diǎn)位置；接下來，ACIP 利用Levenberg-Marquardt 算法[13,14]將已知車牌尺寸與圖像車牌坐標(biāo)對(duì)應(yīng)求解相機(jī)內(nèi)參；最終，通過現(xiàn)有的自動(dòng)或手動(dòng)相機(jī)外參估計(jì)方法對(duì)相機(jī)進(jìn)行全面標(biāo)定，并進(jìn)行了對(duì)比試驗(yàn)。系統(tǒng)流程圖如圖1 所示。

圖1 基于關(guān)鍵點(diǎn)檢測(cè)的交通相機(jī)標(biāo)定流程圖Fig.1 Diagram of traffic camera calibration based on key point detection pipeline

1 基于YOLOv4 車輛檢測(cè)

本文使用目標(biāo)檢測(cè)的SOTA 算法YOLOv4 用于車輛檢測(cè)，其包括骨干網(wǎng)絡(luò)CSPDarknet53，頸部網(wǎng)絡(luò)SPP 及PAN-Net，頭部網(wǎng)絡(luò)YOLOv3 三部分。其網(wǎng)絡(luò)架構(gòu)如圖2 所示。

圖2 YOLOv4 網(wǎng)絡(luò)框架圖Fig.2 YOLOv4 network architecture diagram

在主干網(wǎng)絡(luò)中，相較于原始DarkNet53，YOLOv4 引入了CSP 模塊，其將基礎(chǔ)層的特征映射劃分為兩部分，再通過跨層次結(jié)構(gòu)將其合并，減少了推理計(jì)算的梯度信息重復(fù)，使其網(wǎng)絡(luò)輕量化的同時(shí)保持準(zhǔn)確性。此外，主干網(wǎng)絡(luò)還使用了Dropblock 以及Mish 激活函數(shù)，對(duì)網(wǎng)絡(luò)的正則化及泛化能力進(jìn)行優(yōu)化。

在頸部網(wǎng)絡(luò)中，YOLOv4 主要采用了SPP 模塊與FAN+PAN 模塊。其中，SPP 模塊使用的最大池化卷積核大小為k={1×1，5×5，9×9，13×13}，將不同池化的特征結(jié)果串聯(lián)在一起輸出，有效地增加了不同尺度的感受野。相較于YOLOv3 單純地采用FPN 層，YOLOv4 額外串聯(lián)了2 個(gè)PAN 結(jié)構(gòu)組成特征金字塔。此時(shí)，F(xiàn)PN 層自頂向下輸出強(qiáng)語義特征，而特征金字塔結(jié)構(gòu)自底向上輸出強(qiáng)定位特征，從而對(duì)不同的特征進(jìn)行聚合，提高了檢測(cè)效果。

本研究在上海松江區(qū)8 個(gè)交通路口搜集標(biāo)注了2 000 張不同監(jiān)控視角的車輛圖片，并根據(jù)車型將標(biāo)注數(shù)據(jù)分為4 類(car，truck，bus，lorry)。在訓(xùn)練模型階段中，使用在VOC 數(shù)據(jù)集上訓(xùn)練過的預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)；在數(shù)據(jù)輸入階段，使用mosaic 數(shù)據(jù)增強(qiáng)，以提高模型的泛化能力。此外，為了跳出局部最優(yōu)解，學(xué)習(xí)率使用余弦退火策略。

2 車牌關(guān)鍵點(diǎn)檢測(cè)

在交通場(chǎng)景中，傳統(tǒng)的基于標(biāo)準(zhǔn)圖案的標(biāo)定對(duì)象（如棋盤格）不易獲取和放置，但車牌在同一個(gè)行政區(qū)域內(nèi)有相同的標(biāo)準(zhǔn)，所以其是交通場(chǎng)景中相機(jī)校準(zhǔn)的天然圖案。例如，中國汽車牌照尺寸為440×140 mm（小型車車牌）、440×220 mm（大型車車牌）。一旦YOLOv4 檢測(cè)出已知型號(hào)的車輛，即將檢測(cè)到的車輛區(qū)域作為感興趣區(qū)域(ROI)，并通過建立基于ResNet-18 改進(jìn)的全卷積網(wǎng)絡(luò)來回歸車牌4 個(gè)角在 ROI 區(qū)域中的位置。

ResNet-1 是最為經(jīng)典的分類網(wǎng)絡(luò)之一，雖然其網(wǎng)絡(luò)結(jié)構(gòu)較為輕量化，但經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，對(duì)于回歸特征明顯的車牌關(guān)鍵點(diǎn)等任務(wù)來說已經(jīng)足夠。對(duì)于識(shí)別車牌其4 個(gè)角點(diǎn)的任務(wù)，將最后一個(gè)全連接層更改為卷積核大小為1×1 的全卷積層，其輸出長度為9（第一個(gè)輸出對(duì)應(yīng)車牌的類別），隨后每兩個(gè)輸出對(duì)應(yīng)車牌x，y 圖像位置的一個(gè)關(guān)鍵點(diǎn)。

本文使用在 ImageNet 數(shù)據(jù)集上訓(xùn)練得到的預(yù)訓(xùn)練模型提取圖像的淺層特征。對(duì)相機(jī)參數(shù)任務(wù)，需具有已知幾何信息的標(biāo)定對(duì)象。本研究從上海高速公路和街道監(jiān)控中收集車輛數(shù)據(jù)，并手動(dòng)注釋了1 500 個(gè)車牌位置（4 個(gè)車牌關(guān)鍵點(diǎn))和類型用以訓(xùn)練。對(duì)于每個(gè)注釋圖像，實(shí)驗(yàn)中使用以下圖像增強(qiáng)方法生成 8 個(gè)圖像，包括原始圖像、2 次隨機(jī)旋轉(zhuǎn)0～60°之間任意角度、通過改變圖像的亮度、對(duì)比度、飽和度和色調(diào)來獲得 5 種隨機(jī)色彩空間，即提供了總共 12 000 張用于車牌關(guān)鍵點(diǎn)檢測(cè)的圖像。

3 交通相機(jī)標(biāo)定

3.1 攝像機(jī)模型

在描述交通攝像頭標(biāo)定之前，首先介紹針孔攝像頭模型。相機(jī)是3D 世界和2D 圖像之間的一種映射，針孔相機(jī)模型是應(yīng)用最廣泛的一種。

將圖像平面由 MN 平面表示，世界坐標(biāo)系（WCS）由XYZ 空間表示。針孔相機(jī)模型使用式（1）描述像素位置（m，n）及其在 WCS 坐標(biāo)中的對(duì)應(yīng)位置：

式中：s——任意比例因子；（cx，cv）——主點(diǎn)在MN 平面上的偏移值；fx，fv——相機(jī)沿X 軸和Y 軸的焦距。

R 和 T 是相機(jī)的旋轉(zhuǎn)和平移矩陣，式（1）可以用矩陣表示法簡寫為：

相機(jī)標(biāo)定問題是估計(jì) C、R 和 T 的問題。相機(jī)矩陣 C 僅取決于相機(jī)(而不取決于其位置或方向)，而 R 和 T 表示相機(jī)的位置和方向，因此C 被稱為相機(jī)的內(nèi)在參數(shù)，而 R 和 T 被稱為相機(jī)的外在參數(shù)。本文的主要工作重點(diǎn)是利用相關(guān)技術(shù)估計(jì)相機(jī)內(nèi)部參數(shù)，然后使用Perspective-n-Point(PnP)技術(shù)手動(dòng)或自動(dòng)外部參數(shù)估計(jì)方法來標(biāo)定外參。

3.2 基于車牌關(guān)鍵點(diǎn)相機(jī)標(biāo)定

車牌關(guān)鍵點(diǎn)檢測(cè)將產(chǎn)生大量用于校準(zhǔn)的校準(zhǔn)牌照點(diǎn)對(duì)。不失一般性，我們假設(shè)車牌平面在世界坐標(biāo)系的Z=0 上，用ri和t 表示旋轉(zhuǎn)和平移矩陣的第i 列。從式（1）可得：

因?yàn)閆=0，所以世界坐標(biāo)可簡化為[X Y 1]T，車牌的角點(diǎn)坐標(biāo)對(duì)應(yīng)的世界坐標(biāo)與一個(gè)單應(yīng)性矩陣H 相關(guān)，沿用式（2）的記法：

給定已知尺寸車牌的像素坐標(biāo)，可以計(jì)算出單應(yīng)矩陣的精確解，記為H=[h1，h2，h3]，則有

使用式（4），消除比例因子s，得到

H 是具有8 個(gè)獨(dú)立未知元素的齊次矩陣。由式（6）可知，車牌每個(gè)角可以提供2 個(gè)約束（u、X、Y 的對(duì)應(yīng)關(guān)系和v、X、Y 的對(duì)應(yīng)關(guān)系），因此當(dāng)車牌提供4 個(gè)角點(diǎn)時(shí)，就可以得到圖片對(duì)應(yīng)的單應(yīng)矩陣H。對(duì)式（3）進(jìn)行移位變換，有H=λ[r1r2r3]。

其中λ是一個(gè)任意標(biāo)量。利用r1和 r2正交可得：

由式（7）、式（8）可得，給定一個(gè)單應(yīng)性，可以獲得對(duì)固有參數(shù)的2 個(gè)約束。使用張正友的方法[15]，當(dāng)單應(yīng)矩陣H ≥ 3 時(shí)，通常會(huì)有一個(gè)唯一的解 B 和比例因子。可以計(jì)算所有相機(jī)內(nèi)在參數(shù)和λ。令B=A-TA-1，推導(dǎo)得

當(dāng)檢測(cè)到的車牌超過 3 個(gè)時(shí)，假設(shè)其中每個(gè)車牌角點(diǎn)被獨(dú)立且均勻分布的噪聲破壞。使用Minpack[13]中實(shí)現(xiàn)的 Levenberg-Marquardt 算法最小化式（10）的非線性問題，從而使用最大似然估計(jì)值修改獲得的內(nèi)部參數(shù)：

其中，（A，Ri，ti，Mi）是點(diǎn)Mi在圖像 i 中的投影，旋轉(zhuǎn) R 由3 個(gè)參數(shù)的向量參數(shù)化，它與 r 的關(guān)系由 Rodrigues 公式[7]得出。

至此，已經(jīng)估計(jì)獲得監(jiān)控相機(jī)的內(nèi)部參數(shù)。假設(shè)道路是平坦的，可以使用手動(dòng)或自動(dòng)的外部參數(shù)估計(jì)方法。當(dāng)監(jiān)控場(chǎng)景比較簡單時(shí)，比如高速公路，可以使用消失點(diǎn)法校準(zhǔn)外部參數(shù)[7,9]；當(dāng)監(jiān)控場(chǎng)景復(fù)雜時(shí)，可以通過求解Perspective-n-Point 問題估計(jì)外部參數(shù)。例如通過道路上靜態(tài)物體的幾何特征，如獲取真實(shí)世界坐標(biāo)以及 n ≥4 個(gè)不同點(diǎn)的對(duì)應(yīng)圖像坐標(biāo)，然后使用EPnP[15]方法估計(jì)外部參數(shù)。

圖像平面到三維坐標(biāo)系再投影到特定平面（道路）可以使用式（1）改寫公式：

4 實(shí)驗(yàn)分析

為了評(píng)估ACIP 的內(nèi)部參數(shù)估計(jì)的準(zhǔn)確性和結(jié)合2 種外部參數(shù)估計(jì)方法（基于消失點(diǎn)和PnP）的完全校準(zhǔn)效果，本實(shí)驗(yàn)收集了不同交通路口的場(chǎng)景，以進(jìn)一步探索不同校準(zhǔn)方法組合的影響。圖3 顯示了所收集的場(chǎng)景數(shù)據(jù)集示例。

圖3 在 P1 場(chǎng)景中手動(dòng)測(cè)量道路平面標(biāo)記之間距離的示例Fig.3 An example of manually measuring distances between road plane markers in P1 scene

圖3中，水平（豎直）方向上的虛線是第1個(gè)（第2 個(gè)）消失點(diǎn)方向的水平線，四邊形是距離測(cè)量標(biāo)記的示例，黑點(diǎn)是實(shí)際坐標(biāo)測(cè)量點(diǎn)，用于距離測(cè)量誤差估計(jì)。

下文介紹類似場(chǎng)景下的交通攝像頭標(biāo)定方法，并將這些方法定義如下：

ManualCalib（Checkerboard）：采用張正友提出的方法[14]作為標(biāo)準(zhǔn)的內(nèi)參標(biāo)定方法。相機(jī)在理想條件下用棋盤格校準(zhǔn)后，將其與EPnP 方法結(jié)合作為本研究中校準(zhǔn)方法的基準(zhǔn)；

ACIP：本文相機(jī)參數(shù)標(biāo)定方法。

為了研究結(jié)合 ACIP 對(duì)基于消失點(diǎn)的方法(那些對(duì)相機(jī)內(nèi)部參數(shù)進(jìn)行強(qiáng)制假設(shè)的方法)的影響，比較了具有代表性的手動(dòng)和自動(dòng)消失點(diǎn)估計(jì)方法進(jìn)行校準(zhǔn)：

ManualVP：利用道路上已知的距離，根據(jù)He和Yung 的方法[7]測(cè)量消失點(diǎn)并校準(zhǔn)相機(jī)。對(duì)于具有多個(gè)消失點(diǎn)方向的平行線段，使用 Levenberg-Marquardt 算法進(jìn)行消失點(diǎn)的最大似然估計(jì) (MLE)；

ManualScale：比例尺是通過手動(dòng)測(cè)量道路標(biāo)記到第1 個(gè)消失點(diǎn)得到的。它通過式（10）計(jì)算，比例尺計(jì)算為一系列端點(diǎn)之間的實(shí)際距離與消失點(diǎn)的比值的平均值。像素點(diǎn)距離（方向沿著消失點(diǎn)的方向）：

4.1 車牌角點(diǎn)準(zhǔn)確性

ACIP 利用DNNs 來識(shí)別車牌的4 個(gè)關(guān)鍵角點(diǎn)，并通過這些關(guān)鍵角點(diǎn)與對(duì)應(yīng)車型的實(shí)際車牌尺寸匹配來計(jì)算校準(zhǔn)相機(jī)參數(shù)。但是來自DNN 的注釋可能出錯(cuò)。為了進(jìn)一步分析DNN 的性能，按照DNN評(píng)估的標(biāo)準(zhǔn)做法將人工注釋的車牌數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。在中間層采用BN，全連接層采用Dropout 正則化，防止模型過擬合。用于訓(xùn)練和驗(yàn)證數(shù)據(jù)集共2 000 張，采集于中國上海高速與街道監(jiān)控,其中包含姿態(tài)元數(shù)據(jù)和車牌4 個(gè)角點(diǎn)的注釋。圖4 為Loss 訓(xùn)練時(shí)的收斂圖，在epoch到150 左右時(shí)，模型在驗(yàn)證集上已收斂。圖5 為模型對(duì)測(cè)試車輛的關(guān)鍵點(diǎn)推理圖，注意觀察車牌角點(diǎn)部分，已經(jīng)達(dá)到手工注釋的效果。

圖4 車牌關(guān)鍵點(diǎn)檢測(cè)的訓(xùn)練驗(yàn)證損失Fig.4 Training verification loss of key point detection of license plate

圖5 測(cè)試數(shù)據(jù)中的推理示例Fig.5 Infer examples in test data

4.2 交通相機(jī)標(biāo)定誤差估計(jì)

得到車牌關(guān)鍵點(diǎn)后，將其車牌規(guī)格與其匹配，相機(jī)內(nèi)參便被標(biāo)定。通過分析其在世界坐標(biāo)系中地平面上的距離重投影誤差，可以估計(jì)標(biāo)定的準(zhǔn)確度。令dreal為測(cè)試路面上所測(cè)點(diǎn)對(duì)的實(shí)際距離，dreproj為2D 圖像對(duì)應(yīng)點(diǎn)對(duì)投影到地平面上估計(jì)的距離。對(duì)每個(gè)實(shí)際與估計(jì)的點(diǎn)對(duì)，可以計(jì)算其歸一化誤差為

由此，定義標(biāo)定的均方根誤差為

式中：N ——所有測(cè)試點(diǎn)對(duì)的數(shù)量。

RMSE 提供了評(píng)估這種校準(zhǔn)方法準(zhǔn)確度的指標(biāo)?；跇?biāo)準(zhǔn)圖形+EPnP 的手動(dòng)校準(zhǔn)方法和基于ACIP+ManualVP+ManualScale 仍然存在重投影錯(cuò)誤。誤差的主要來源有2 個(gè)：（1）標(biāo)注誤差，在匹配圖像上的道路測(cè)量點(diǎn)和測(cè)量地面實(shí)況時(shí)引入的隨機(jī)誤差。（2）估計(jì)方法本身的誤差，計(jì)算場(chǎng)景消失點(diǎn)和EPnP 方法本身的誤差。這些誤差反映在圖6 中。首先，實(shí)驗(yàn)室條件下的標(biāo)定方法組合ManualCalib（Checkerboard）+EPnP的RMSE 為1.50%，可以作為校準(zhǔn)基準(zhǔn)；其次，ACIP+EPnP 作為一種半自動(dòng)校準(zhǔn)方法，在工作量很小的情況下，比相同交通場(chǎng)景下手工標(biāo)定方法ManualVP+ManualScale 的RMSE僅高0.14%，可見其有效性。最后，將 ACIP 測(cè)量的相機(jī)參數(shù)作為先驗(yàn)知識(shí)加入到基于消失點(diǎn)的標(biāo)定方法中。ACIP+ManualVP+ManualScale 的組合方法比ManualVP+ManualScale 的RMSE 低0.38%，證 明ACIP 對(duì)基于消失點(diǎn)標(biāo)定方法的效果進(jìn)行了提升。

圖6 ACIP+EPnP 準(zhǔn)確度與2 種手動(dòng)標(biāo)定方法的對(duì)比Fig.6 ACIP+EPnP accuracy comparison with two manual calibration methods

其中，橫坐標(biāo)P1—P3 為3 種不同的測(cè)試場(chǎng) 地（舉例，圖3為P1場(chǎng)景），C1—C3 為不同的交通相機(jī)。地面真值校準(zhǔn)的距離誤差（Manual calibration（Checkboard）+EPnP）在 所有攝像機(jī)與場(chǎng)景中的平均RMS 誤差為1.50%，ACIP+ManualVP+ManualScal 為2.45%，直接使用ManualVP+ManualScal 的平均誤差為2.83%，ACIP+EPnP 的平均誤差為2.97%。

5 結(jié)語

本文的研究為已部署的交通相機(jī)提供了系統(tǒng)的無接觸式快速標(biāo)定方法，并與現(xiàn)有交通相機(jī)標(biāo)定方法進(jìn)行了橫向比對(duì)，其大大提高了交通相機(jī)的標(biāo)定效率，且在相同場(chǎng)景下，僅略高于手動(dòng)標(biāo)定的誤差0.14%，而將估計(jì)出的內(nèi)參信息作為先驗(yàn)知識(shí)提供給基于消失點(diǎn)的標(biāo)定方法后，減少了該類方法0.38%的重投影誤差，驗(yàn)證了該標(biāo)定方法的可行性。