雙粒度光流流形學(xué)習(xí)的刮刷總成擺桿擺幅檢測

鄭思凡 王衛(wèi)星 何占華 梁子裕 陳平平

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116；2.黎明職業(yè)大學(xué) 智能制造工程學(xué)院，福建 泉州 362000；3.長安大學(xué) 信息工程學(xué)院，陜西 西安 710064；4.福建慧舟信息科技有限公司，福建 福州 350003；5.黎明職業(yè)大學(xué) 科技處，福建 泉州 362000)

近年來隨著機器視覺、模式識別等技術(shù)的不斷成熟以及運輸組織改變與車輛高速重載新要求的提出，車輛運行故障動態(tài)檢測系統(tǒng)(Running Trouble of Freight Car Detection System，TFDS)[1]成為交通部大力推廣的一套自動安檢標(biāo)準(zhǔn)系統(tǒng)，從而為機器視覺在交通運輸智能化領(lǐng)域的應(yīng)用奠定了基礎(chǔ)、指明了方向。文獻[2]首次提出了基于圖像灰度映射、邊緣檢測、Hough變換等經(jīng)典視覺算法代替肉眼來實現(xiàn)對機械擺桿故障的識別、定位和分割，但停留在靜態(tài)的尺寸配合及幾何形態(tài)方面，未對擺桿的運動特性做進一步定量故障視覺檢測研究；另一方面，雖然TFDS[1]在鐵路運輸方面對解決列車大密度開行與克服人工列檢效率低等方面發(fā)揮了重要作用，但在公路運輸方面，客運汽車安全例檢智能信息化水平依然具有較大的發(fā)展空間，作為TFDS在公路系統(tǒng)的一個延伸，為了加強地理分布較為分散的客運日趟故障安全例檢站的信息化與智能化管理，本研究擬側(cè)重解決客運汽車日趟安檢的一個重要內(nèi)容——在復(fù)雜玻璃背景下對車輛刮水器擺桿擺幅的視覺檢測，改進基于等長軌跡稀疏子空間聚類的運動分割算法。

從運動目標(biāo)檢測目的考慮，當(dāng)前較為成熟的算法有基于目標(biāo)特征提取建模的生成式目標(biāo)跟蹤算法，如增量學(xué)習(xí)(Incremental Learning for Robust Visual Tracking，IVT)、自適應(yīng)結(jié)構(gòu)局部稀疏表觀(Adaptive Structural Local Sparse Appearance Model，ALSA)、加速近端梯度L1范數(shù)跟蹤(L1 Tracker Using Accelerated Proximal Gradient Approach，L1APG[3])、視頻跟蹤分解(Visual Tracking Decomposition，VTD)、采樣跟蹤器(Tracking by Sampling Trackers，VTS[4- 6])等；以及前景實時在線訓(xùn)練分類器的判別式跟蹤算法，如核循環(huán)結(jié)構(gòu)跟蹤(Circulant Structure of Tracking-by-Detection with Kernels，CSK)、色度空間跟蹤(Coloring Visual Tracking CN)、核相關(guān)濾波(Kernelized Correlation Filters，KCF)、判別尺度空間跟蹤器(Discriminatiive Scale Space Tracker，DSST)、 時空上下文跟蹤(Spatio-Temporal Context Learning，STC)、特征融合自適應(yīng)核相關(guān)濾波(A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration，SAMF[7- 9])等。但是上述各算法都是基于塊狀窗口區(qū)域進行特征提取，對于刮水器擺桿這種細長型幾何外形并不合適，因此筆者考慮由光流場出發(fā)，通過軌跡聚類這種自底向上的方式來檢測擺桿運動。當(dāng)前基于光流軌跡的運動分割有兩類：一類是以SFM(Structure From Motion)[10]三維重建理論為基礎(chǔ)，將不同運動剛體軌跡聚類到2～4維的低維超平面子空間里，代表性算法有廣義主成分分析(Generalized Principal Component Analysis，GPCA)、局部子空間相似度聚類(Local Subspace Affinity，LSA)、低秩分解(Low Rank Representation，LRR)、低秩子空間聚類(Low Rank Subspace Clustering，LRSC)、多段學(xué)習(xí)(Multi-Stage Learning，MSL[11])、稀疏子空間聚類(Sparse Subspace Clustering，SSC[12])等，其中SSC性能最優(yōu)；另外一類是以類內(nèi)類間相似度比最大的流形假定為基礎(chǔ)，對稠密變分光流軌跡時空相似度進行譜聚類為架構(gòu)的運動分割算法(如文獻[13- 15])。幾何上看，擺桿各自的軌跡呈線性關(guān)系分屬不同線性子空間，同步運動擺桿的軌跡則共處于仿射子空間，因此可以采用稀疏子空間聚類方法分割不同擺桿，但是SSC等子空間聚類分割算法要求軌跡等長，而雨刮擺動過程中，其邊緣會因與玻璃背景中黑色的物體(如頂上雨蓬)融合而造成部分軌跡中斷，同時因為光照不同使得擺桿不同部位的軌跡起始點并不完全相同。這樣直接采用SSC算法進行分割的軌跡將過于稀疏，導(dǎo)致隨機抽樣一致性(Random Sample Consensus，RANSAC)擬合的擺桿位置有較大誤差，另一方面，稠密光流軌跡譜聚類在構(gòu)建軌跡時空相似度矩陣時，考慮的是軌跡共有時間段局部速度及位移的相似性，相隔較遠的軌跡因相似度低往往聚類為不同類別，導(dǎo)致擺桿兩端出現(xiàn)過分割現(xiàn)象。

為此，在綜合兩類軌跡聚類優(yōu)缺點后，本研究提出了一種雙粒度光流流形學(xué)習(xí)的汽車刮水器運動分割算法，先將完整的等長擺桿光流軌跡作為粗粒度特征光流軌跡進行稀疏子空間聚類，獲得可靠的種子樣本；然后通過提高空間采樣率得到稠密細粒度大位移(Large Displacement Optical Flow，LDOF[16])變分光流后，再與粗粒度光流構(gòu)建軌跡時空相似度流形拓撲圖，并在圖上將種子軌跡樣本鄰接節(jié)點標(biāo)簽離散值分布凸松弛為高斯隨機場連續(xù)值分布后，利用調(diào)和函數(shù)進行半監(jiān)督標(biāo)簽值擴散，從而獲得被聚類為同一標(biāo)簽值的稠密的擺桿光流特征點；最后通過對軌跡縱坐標(biāo)極值所在的幀的光流特征點分別進行逐次RANSAC直線擬合，以獲得主擺桿的擺角從而完成雨刮運動的定量檢測。

1 LDOF變分光流定義及采集

LDOF是 Ochs等[16]為解決傳統(tǒng)KLT光流因局限于結(jié)構(gòu)張量較大的角點導(dǎo)致光流過于稀疏而提出的大位移稠密變分光流，LDOF將求解每一個像素在下一幀圖像的最佳位移w=(u，v)值轉(zhuǎn)化為求解如下泛函能量值：

(1)

另外，為了正則化光流場，使之分段光滑，定義平滑項如下：

(2)

E(u，v)=EData+αESmooth

(3)

其中：α>0為正則化參數(shù)，u與v為待優(yōu)化的目標(biāo)位移。為了避免陷入局部最優(yōu)，上述泛函對應(yīng)歐拉-拉格朗日方程必須在不同尺度空間求解，即以2為基數(shù)下采樣3次，先在分辨率最低的尺度空間獲取位移解的終值，作為下一層分辨率較高的解初值層層修正細化，最終求得全局最優(yōu)解。因此對于高速運動雨刮，文中采用浙江大華技術(shù)股份有限公司出廠的分辨率為720 p、幀率為60幀/s的DH-IPC-HF5210-I高速槍型相機進行采集，以保證下一幀移動位移在分辨率最低的尺度空間范圍內(nèi)。另外，為了保證實時性，軟件上可以采用OpenCV3.4集成的Nvidia GPU加速版的BroxOpticalFlow類完成計算。

為了保證獲取足夠數(shù)量等長軌跡作為后續(xù)半監(jiān)督學(xué)習(xí)的種子樣本，在SSC聚類前應(yīng)先將低對比度的雨刮背景反色為霧狀再通過暗通道去霧濾波環(huán)節(jié)[17]來增強雨刮作為前景的對比度，效果如圖1所示。

(a)去霧前

(b)去霧后

Fig.1 Rendering of enhancing contrast through dehazing in dark channel

2 刮刷總成的機構(gòu)及擺桿運動獨立性分析

由SFM[10]理論可知，在仿射相機模型的條件下，剛體各像素運動軌跡坐標(biāo)構(gòu)成的矩陣可以分解為運動矩陣與形狀矩陣的乘積。其中運動矩陣由相機的內(nèi)外校正參數(shù)與每一幀剛體相對相機的位姿(旋轉(zhuǎn)與平移)構(gòu)成；形狀矩陣形成剛體外形點云分布，同一剛體的點云軌跡因為共享同一個相機的位姿矩陣而處于同一個線性空間，相機的位姿矩陣在SE(3)連續(xù)李群流形里，其秩小于等于4，所以各剛體軌跡均位于不同的4維超平面流形里。但是文獻[12]指出，如果不同剛體存在同步運動，則位姿矩陣自由度產(chǎn)生坍縮使得子空間存在部分重疊，因此下面從雨刮的四連桿機構(gòu)運動機理分析其軌跡獨立性。

當(dāng)前客運車輛較常用的刮水器總成結(jié)構(gòu)由兩部分四連桿組成，如圖2所示。

圖2 刮水器連桿結(jié)構(gòu)

其中L1、L2、L3、L4構(gòu)成并聯(lián)搖擺桿機構(gòu)，L5、L6、L7構(gòu)成主刮曲柄擺桿系統(tǒng)；并聯(lián)搖擺桿機構(gòu)是Grashof連桿的一種特例，起到同步輸入動桿與輸出桿速度和相位的作用。根據(jù)矢量運算原理，文獻[18]得到主刮擺桿的角速度如下：

(4)

其中，θ為對應(yīng)連桿與x軸夾角，ω為相應(yīng)角速度，同理主刮連桿角速度如下：

(5)

其中，l1，l2，l3的含義同文獻[18].

由圖2可見，由于驅(qū)動桿鉚接的位置不同，左右擺桿角速度并不相同，因此左右擺桿運動在這種情況下線性獨立，但是在實踐中發(fā)現(xiàn)，對于小型客車，會存在由嚴(yán)格同步雙搖桿驅(qū)動的刮水器結(jié)構(gòu)，如圖3所示[19]。

圖中連桿A、B、C、D構(gòu)成平行雙搖桿，由曲柄EF驅(qū)動，因此左右擺桿軌跡位姿旋轉(zhuǎn)分量相同，使得二者在3維仿射空間里存在部分子空間重疊。所以對于同步擺桿的運動分割存在左右擺桿軌跡聚類標(biāo)識互相交錯，出現(xiàn)小型客車雨刮擺桿擬合誤差較大現(xiàn)象。

圖3 同步雙搖桿刮水器結(jié)構(gòu)

3 光流軌跡分布及直接SSC聚類局限性分析

圖4 刮水器總的光流軌跡分布

由圖4可見，因為背景的復(fù)雜性，整體密度與長短分布不均，為得到滿幅擺動等長軌跡作為聚類種子，在上述軌跡集合中提取長度大于48幀的軌跡如圖5所示。

圖5 粗粒度光流軌跡分布

則余下的不等長軌跡可作為細粒度軌跡用于標(biāo)簽擴散，其分布如圖6所示。

圖6 細粒度光流軌跡分布

定義上述粗粒度光流長度48幀為F，則按照文獻[12]提出的SSC算法，將上述長度為F的粗粒度光流軌跡每個點坐標(biāo)按照先橫坐標(biāo)后縱坐標(biāo)次序排列為矩陣的每一列，每列前F行為橫坐標(biāo)，后F行為縱坐標(biāo)，各列構(gòu)成自表達字典并按照下式逐列求其他各列對本列的線性表達系數(shù)矩陣C：

(6)

s.t.Y=YC+E，

diag(C)=0，

CT1=1。

其中：C為N×N自表達系數(shù)矩陣，N為軌跡數(shù)；Y為2Q×N軌跡集合矩陣，Q為幀數(shù)；E為誤差矩陣；F是Frobenius范數(shù)；λ為權(quán)衡參數(shù)，用以平衡軌跡誤差與解的稀疏性及泛函的凸性，在此取0.01。為采用并行運算提高運算速度，文獻[12]也提供了此優(yōu)化函數(shù)的ADMM(交替方向乘子法)算法實現(xiàn)，通過引入兩個拉格朗日乘子后以并行線程的方式輪流對5個優(yōu)化變量優(yōu)化迭代以解得矩陣C。

將矩陣C看為各軌跡所在子空間相似度進行譜聚類，取任一軌跡y坐標(biāo)極值作為滿幅擺動所在幀，可得如圖7所示的聚類結(jié)果。

圖7 粗粒度光流直接SCC聚類擬合結(jié)果

Fig.7 Direct SSC clustering and line fitting results of coarsE- granularity optical flow

由圖7可見，SSC準(zhǔn)確標(biāo)識了左右擺桿，但由于過于稀疏，經(jīng)過RANSAC直線擬合后左右刮刷總成(即主擺桿與副擺桿)均出現(xiàn)較大的角度誤差，于是下面將細粒度光流一并考慮，并構(gòu)建時空相似度圖，以借助半監(jiān)督標(biāo)簽擴散算法完成軌跡進一步稠密的分割提取。

4 雙粒度光流流形學(xué)習(xí)的原理及實現(xiàn)

依前述分析，文中構(gòu)建兩種粒度光流相似度拓撲圖，為了充分表達軌跡時空兩方面的相似度以區(qū)分交叉與相向運動，下面采用文獻[20]提出的軌跡位移與速度共有區(qū)間的統(tǒng)計值的RBF函數(shù)值來衡量軌跡的相似度，軌跡平均偏移距離與速度如下：

(7)

(8)

可得兩條軌跡總的時空相似度距離為

dvelocity(Ti，Tj)]

(9)

則d(Ti，Tj)的RBF熱核映射wi，j即為拓撲圖邊的權(quán)值，按照相似度高的節(jié)點標(biāo)簽應(yīng)盡可能一致的流形聚類假定原則可構(gòu)造標(biāo)簽擴散目標(biāo)泛函如下：

(10)

其中：yi、yj為節(jié)點i、j標(biāo)簽值。

將上述樣本種子標(biāo)簽作為泛函邊界條件后，問題可轉(zhuǎn)化為離散狀態(tài)下馬爾科夫隨機場對標(biāo)簽的最大后驗概率(MAP)的估計問題，如下式所示：

p(y)∝exp(-E(y))|yL=ξ

(11)

為了避免NP問題，文獻[21]將標(biāo)簽離散取值凸松弛為種子標(biāo)簽yl=ξ約束的條件連續(xù)分布的高斯隨機場：

(12)

其中：fU為待求標(biāo)簽平均值；Δ為拉氏矩陣，按照種子與非種子分塊定義如下：

(13)

將離散型變量y松弛為連續(xù)變量f后將上述帶邊界條件的二次型泛函(式(10))看為狄利克雷積分離散化形式并對f求其歐拉-拉格朗日方程可得：

Δf=0

(14)

可見f的解即為調(diào)和函數(shù)，將式(13)分塊定義帶入式(14)可得待求標(biāo)簽值如下：

fU=-(ΔUU)-1ΔULyL

(15)

為方便矩陣運算，對標(biāo)簽值進行hot-one編碼，經(jīng)過軌跡長度與位移閾值篩選后只剩下左右擺桿兩個剛體的軌跡，因熱核RBF函數(shù)帶寬的取值與各軌跡位移與速度的方差有關(guān)，考慮到左右擺桿機械上是由同一電機驅(qū)動，故在此統(tǒng)一取熱核RBF函數(shù)帶寬σ為1.2，鄰接半徑ε為20像素，Ncut的K-mean聚類超參數(shù)k為2，最后可得標(biāo)簽擴散后的稠密分割結(jié)果及相應(yīng)擬合結(jié)果，如圖8所示。

由圖8可見，擺桿的擬合精度與主擺桿擺角的準(zhǔn)確度均得到提高，可以分別得到準(zhǔn)確的主擺桿與刮刷總成的擬合直線。

在擺角的計算中，考慮到擬合的直線數(shù)目是已知的，因此這里并不需要采用象Hough變換或能量標(biāo)簽值最優(yōu)的PEARL[22]算法去檢測直線數(shù)目后擬合，而是通過取較小的擬合誤差(10像素)來避免主擺桿與副擺桿被擬合為同一條直線，即采用序列RANSAC的方式對雙粒度運動分割得到的點集逐次去除已擬合好的點集，順次得到左右主擺桿與副擺桿擬合直線。

圖8 雙粒度流形學(xué)習(xí)后聚類結(jié)果

Fig.8 Clustering result after two granularity manifold learning

為了簡化計算，根據(jù)安檢需要，這里只計算擺動過程中擺角極大端處的斜率的反正切值，最小擺角統(tǒng)一默認(rèn)為0，求得夾角如圖8中的θ1與θ2所示，其中θ2為斜率取絕對值后反正切得到，基準(zhǔn)線取圖中x軸。

綜合前述，文中算法步驟如下。

輸入：車輛靜止后雨刮擺動2 s視頻片段、鄰接半徑ε、RBF帶寬σ、聚類數(shù)目K、粗粒度光流軌跡長度L、前后光流方向一致性閾值H；

輸出：在任何一幀的稠密軌跡標(biāo)識散點圖。

步驟1 以設(shè)定的空間采用率求各采樣像素結(jié)構(gòu)張量Jρ，取大于張量閾值像素變分光流LDOF[16]，在生成的光流flo文件中對各光流采樣點位置進行前后光流方向一致性檢查，保留相鄰幀大于一致性閾值H的flo光流，小于閾值H的位置重新初始化為新軌跡起點參與下一輪光流采集與方向一致性檢查，最終將所有幀的flo文件同一位置小于閾值H的各光流連線形成同一條軌跡保存在軌跡元胞數(shù)組元素中；總體上看，不同位置的光流則因遮擋或背景情況不同形成長度不一的軌跡群，這個軌跡群可相應(yīng)保存在總體的軌跡元胞數(shù)組中。

步驟3 將所有軌跡作為節(jié)點，按照式(7)-(9)計算各節(jié)點在鄰接半徑ε內(nèi)邊權(quán)值wi，j，建立ε-NN近鄰矩陣。

步驟4 對標(biāo)簽進行hot-one矢量編碼并按照式(15)計算非種子標(biāo)簽的編碼值，因為hot-one矢量編碼將標(biāo)簽指示的類別值映射到“1”所在的腳標(biāo)位置，因此可將計算出來的非種子標(biāo)簽的編碼矢量最大值分量的腳標(biāo)位置作為本軌跡的聚類標(biāo)簽值輸出。

步驟5 取兩類種子軌跡y坐標(biāo)極值所在幀的散點圖逐次進行RANSAC直線擬合和相關(guān)擺角計算。

5 算法時間復(fù)雜度分析

由上述算法步驟4及式(15)可以看出，雙粒度標(biāo)簽擴散在求解時僅僅需要運行1次的逆陣與矩陣乘法運算，并不需要迭代，其時間復(fù)雜度遠低于單粒度的ADMM算法，為方便定量分析比較單粒度的SSC算法與文中提出的雙粒度SSC運動分割算法的時間復(fù)雜度，這里假定軌跡數(shù)目為n，軌跡均為滿幅等長且長度為p(即聚類數(shù)據(jù)維度)，迭代次數(shù)為T，下面通過ADMM的迭代過程分析其時間復(fù)雜度。

因式(6)的自表達系數(shù)矩陣對角線元素表示元素自身相似度，為方便迭代更新，將對角線元素設(shè)置為0并作為輔助矩陣A引入，并以λe與λz分別表示稀疏誤差系數(shù)與數(shù)據(jù)重構(gòu)誤差系數(shù)，則目標(biāo)函數(shù)可轉(zhuǎn)化為

(16)

s.t.A=C-diag(C)，

AT1=1。

為保證目標(biāo)函數(shù)嚴(yán)格凸性，增加兩個懲罰項及懲罰系數(shù)ρ，可將原目標(biāo)函數(shù)進一步轉(zhuǎn)化為如下形式：

(17)

s.t.A=C-diag(C)，

AT1=1。

C+diag(C)))

(18)

式中：C，E，A為優(yōu)化變量；δ，Δ為拉格朗日乘子變量。ADMM算法對這兩組變量交替輪流優(yōu)化如下：

(λzYTY+ρI+ρ11T)A(k+1)=λzYT(Y-E(k))+

ρ(11T+C(k))-1δ(k)T-Δ(k)

(19)

(20)

(21)

δ(k+1)=δ(k)+ρ(A(k+1)T1-1)

(22)

Δ(k+1)=Δ(k)+ρ(A(k+1)-C(k+1))

(23)

可以看出，式(20)-(23)僅包含矩陣加減運算，可以對矩陣元素直接運算，因此ADMM算法的迭代過程主要計算集中在式(19)的矩陣A求逆及YTY的矩陣乘法，二者的時間復(fù)雜度為O(n3+n2p)，空間復(fù)雜度為n2，考慮迭代次數(shù)T，則其總的復(fù)雜度為O(Tn3+Tn2p)。

另一方面，假設(shè)在n條軌跡中抽取m條軌跡作為種子，并以鄰接半徑無窮大建立ε-NN近鄰矩陣，則雙粒度算法最大的時間復(fù)雜度為：O(Tm3+Tm2p)+O(n2p)+O((n-m)3+(n-m)2p)。

由上述分析可見，因雙粒度算法在降階SSC后并不需要迭代，在m?n的情況下可顯著降低時間復(fù)雜度。不過，m的最小值必須受子空間正確恢復(fù)條件限制，即[12]：

(24)

6 客運站測試視頻的同步采集與算法測試結(jié)果比較

6.1 光流軌跡中斷處理及時空域的選取

為了方便批量精確采集雨刮臂的刮動周期所在時間范圍、減少運算量，將上述算法模塊經(jīng)過ocx封裝后并以回調(diào)函數(shù)體的形式嵌入客運站的車輛跟蹤模塊進行同步，當(dāng)車輛跟蹤模塊檢測到車輛停止在安檢地溝停止線附近2 s后以30幀/s的幀率啟動光流采集60幀圖像作為光流采集總的時間范圍。

如前所述，在光流采集中，通過反色去霧提高對比度，通過提高幀率使軌跡連續(xù)光滑并保證種子軌跡稠密度，但在實踐中，環(huán)境照度及玻璃雨篷深色背景等仍然會使采集到的光流軌跡出現(xiàn)中斷現(xiàn)象，同一條軌跡經(jīng)過算法“步驟1”的前后一致性檢查后，在黑色背景區(qū)域?qū)⒈桓魯酁槎鄺l較短軌跡，如圖9所示。

圖9 軌跡中斷現(xiàn)象及軌跡時間段選取

Fig.9 Discontinuity phenomenon of trajectory and it’s frame period selection

由圖9可見，在60幀滿幅擺動中，并不存在滿幅長度的軌跡，因此文中提出雙粒度分割算法只能在滿幅擺動的頭尾端提取較短的粗粒度光流來進行SSC聚類獲取種子標(biāo)簽，如圖9中，算法將粗粒度軌跡長度由正常環(huán)境照度情況下的48降為15以獲得足夠數(shù)量的種子，并從中提取y均值最大的軌跡(如圖中A、B)覆蓋的時間幀作為所有待SSC聚類光流軌跡的采集時間段。

另外，為了避免車燈亮暗變化生成的虛假光流對擺桿光流的影響，系統(tǒng)運行前需要事先采集客運站各車型的車牌、擋風(fēng)玻璃、各車燈等視覺檢測部位的坐標(biāo)錄入數(shù)據(jù)庫，作為每輛車配準(zhǔn)前的坐標(biāo)信息，當(dāng)有車輛進站準(zhǔn)備安檢時，車牌識別模塊將根據(jù)識別出的車牌從數(shù)據(jù)庫調(diào)出上述坐標(biāo)重新配準(zhǔn)得到新的坐標(biāo)，每次配準(zhǔn)需要的單應(yīng)性(Homography)矩陣，則由本車輛事先采集好的車牌及車身logo等面板特征的SIFT描述子與當(dāng)前進站停止后讀取的一幀圖像相應(yīng)面板匹配生成，最后得到實際場景擋風(fēng)玻璃的坐標(biāo)范圍作為光流的采集空間區(qū)域，從而避免車燈亮暗變化的干擾。整體同步采集及坐標(biāo)配準(zhǔn)軟件界面如圖10所示。

圖10 刮動同步采集及坐標(biāo)配準(zhǔn)界面

Fig.10 Software interface for video synchronous acquisition and image registration

6.2 測試結(jié)果比較

綜合上述，為了區(qū)分不同環(huán)境照度導(dǎo)致玻璃反光對刮刷擺桿光流結(jié)構(gòu)張量的影響，并同時比較單、雙粒度兩種算法對于各種光照與車型的總的準(zhǔn)確率，本研究在客運站取4種不同車型及6種環(huán)境照度共153車次，分別統(tǒng)計擬合誤差與擺角誤差，其中環(huán)境照度由距離擋風(fēng)玻璃0.5m處利用照度計測量玻璃背景為天空區(qū)域的反光亮度值(如圖9黃色區(qū)域所示)獲得，并在不同天氣條件下(晴天、陰天、多云、雨天與霧天)以185 lux為間隔均分為6個區(qū)段統(tǒng)計測試結(jié)果。單粒度算法測量結(jié)果取自直接對軌跡長度為15的SSC聚類擬合結(jié)果，并將SSC聚類后再進行半監(jiān)督標(biāo)簽擴散后的擬合結(jié)果作為雙粒度測量結(jié)果進行比較，基準(zhǔn)值由人工標(biāo)定，可得兩種算法測量誤差如表1所示。

由表1可知，單粒度聚類擬合的誤差均值比雙粒度高出17.8百分點，這是由于單粒度聚類擬合時因樣本點過于稀疏而使主擺桿與副擺桿擬合時存在重疊造成的。

另外，在擬合距離閾值取10像素、迭代次數(shù)100的約束情況下兩種算法的RANSAC直線擬合誤差分布如表2所示。

表1 各車型在不同照度下的擺角檢測誤差

綜合表1、表2可見，隨著環(huán)境照度的提高，擬合與擺角檢測精確率均有所提高，這是因為玻璃反光量增加提高了擺桿前景對比度，這樣減少了軌跡中斷現(xiàn)象使得粗粒度種子軌跡數(shù)目增加，同時因前景特征點結(jié)構(gòu)張量增加也增加了總體軌跡的數(shù)目與稠密度?？傮w上看，雙粒度算法在擬合和擺角檢測二者的誤差均不超過15%，工程上可以作為刮水器是否擺動滿幅的判斷依據(jù)。另外，小型客車的擬合誤差與擺角誤差均高于其他車型，這是前文第2節(jié)分析提到的，因為同步雨刮左右擺桿的軌跡處于同一個仿射空間造成的混疊以及采樣密度所致。根據(jù)式(24)可知在工程上仍然可以通過提高軌跡的稠密度一并解決。

7 結(jié)語

針對擺桿細長型單色的機械構(gòu)件，提出了一種通過光流軌跡聚類的至下而上的運動分割算法。該算法利用的半監(jiān)督流形學(xué)習(xí)架構(gòu)克服了兩種粒度軌跡聚類算法的缺點——利用粗粒度SSC聚類種子標(biāo)簽的橋梁作用，很好地克服了細粒度軌跡譜聚類的過分割的缺陷，利用細粒度提供的拓撲信息又可以克服粗粒度的稀疏缺陷。在半監(jiān)督機器學(xué)習(xí)成為研究熱點的今天，本架構(gòu)提供了一個很好的研究空間。在實踐中本算法并不要求在采集的時間段里光流軌跡都滿幅且等長，而僅僅需要這些軌跡存在不同粒度的差別及具有一定長度的種子軌跡即可，因此算法在運動分割中具有廣泛的應(yīng)用范圍，同時本算法對擺幅的檢測同樣適用于對各種儀表盤表針的視覺監(jiān)控，具有工業(yè)應(yīng)用價值。在軟件實現(xiàn)方面，本算法可以封裝成ocx插件供其他前端軟件模塊(如車輛跟蹤、車牌識別、經(jīng)由車牌SIFT匹配的單應(yīng)矩陣對車燈坐標(biāo)的配準(zhǔn)及亮度變化檢測等)以回調(diào)函數(shù)的形式進行同步并構(gòu)成一個大的信息化軟件系統(tǒng)與客運公司本身的調(diào)度系統(tǒng)及運管局的公路電子運政綜合執(zhí)法系統(tǒng)對接，因而也具有在交通運輸信息系統(tǒng)的推廣價值。