基于事件相機(jī)的雨滴檢測(cè)算法

楊君宇，董 巖，龍鎮(zhèn)南，楊 新，韓 斌*

（1.華中科技大學(xué) 機(jī)械科學(xué)與工程學(xué)院，武漢 430074；2.廣東省智能機(jī)器人研究院，廣東 東莞 523000）

0 引言

在執(zhí)行定位、跟蹤、目標(biāo)檢測(cè)等視覺(jué)任務(wù)時(shí)，多采用視覺(jué)傳感器獲取環(huán)境信息。然而視覺(jué)圖像易受到極端環(huán)境影響，如雨天中被雨滴覆蓋的圖像會(huì)出現(xiàn)模糊、對(duì)比度下降、場(chǎng)景變形泛白、背景物體被雨滴完全遮擋等問(wèn)題［1-3］。近些年來(lái)，隨著人工智能［4-5］、無(wú)人駕駛［6］等技術(shù)的快速發(fā)展，雨滴檢測(cè)與圖像除雨逐漸成為計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究課題。

傳統(tǒng)基于幀的相機(jī)（Frame-based Camera）受制于采樣頻率，無(wú)法獲取雨滴連續(xù)的下落過(guò)程，這使基于圖像或視頻流的除雨算法無(wú)法有效利用雨滴下落的時(shí)間信息，難以取得較好的除雨效果。

事件相機(jī)（Event Camera）是一種受生物啟發(fā)的新型傳感器［7］。與以恒定頻率拍攝圖像的傳統(tǒng)相機(jī)不同，事件相機(jī)每個(gè)像素點(diǎn)獨(dú)立地感受光強(qiáng)變化，并在某一像素的亮度變化超過(guò)閾值時(shí)輸出一個(gè)事件（Event），這種特性使它非常適用于捕獲和分析高速運(yùn)動(dòng)的目標(biāo)，并能夠與傳統(tǒng)相機(jī)融合實(shí)現(xiàn)目標(biāo)檢測(cè)［8］和跟蹤［9-10］等任務(wù)。使用事件相機(jī)可高效獲取雨滴運(yùn)動(dòng)造成的像素亮度變化，且完整獲取雨滴下落過(guò)程中的連續(xù)圖像，更好地進(jìn)行雨滴區(qū)域檢測(cè)（如圖1）。

圖1 基于事件相機(jī)的雨滴檢測(cè)Fig.1 Event camera based rain detection

本文采用事件相機(jī)進(jìn)行雨滴檢測(cè)工作，主要工作如下：

1）通過(guò)分析雨滴的運(yùn)動(dòng)學(xué)特性與光學(xué)特性，從理論上推導(dǎo)了事件相機(jī)視野下的雨滴事件生成模型；

2）基于雨滴事件生成模型，提出一種基于雨滴事件時(shí)空關(guān)聯(lián)性的雨滴檢測(cè)算法，能計(jì)算出每個(gè)事件是雨滴的概率；

3）提出基于檢測(cè)正確率與誤檢率的雨滴事件檢測(cè)評(píng)價(jià)標(biāo)準(zhǔn)。在不同場(chǎng)景與運(yùn)動(dòng)模式下進(jìn)行實(shí)驗(yàn)，驗(yàn)證了本文提出的雨滴檢測(cè)算法的有效性；

4）構(gòu)建并發(fā)布一個(gè)事件相機(jī)下雨數(shù)據(jù)集，并人工對(duì)雨滴的位置進(jìn)行標(biāo)注［11］，以促進(jìn)事件相機(jī)相關(guān)領(lǐng)域的研究。

1 相關(guān)工作

1.1 視頻除雨算法

Garg 等［1-2］通過(guò)分析雨滴的運(yùn)動(dòng)特征和光學(xué)特征，提出第一個(gè)針對(duì)視頻的雨滴識(shí)別算法，但是該方法在大雨環(huán)境下不能穩(wěn)定清除雨條紋，且無(wú)法區(qū)分雨滴和攝像機(jī)附近快速運(yùn)動(dòng)的物體；Zhang 等［3］在Garg 等［1-2］工作的基礎(chǔ)上，引入K均值聚類(lèi)算法，在大雨環(huán)境下也能取得較好的檢測(cè)效果，檢測(cè)準(zhǔn)確率仍然很高，不足之處在于計(jì)算過(guò)程中對(duì)時(shí)間求平均值，容易使背景圖像變得模糊。為了解決這一問(wèn)題，Park等［12］采用卡爾曼濾波，使圖像質(zhì)量得到增強(qiáng)。Bekkerman等［13］引入斑點(diǎn)跟蹤算法，通過(guò)斑點(diǎn)檢測(cè)尋找雨滴下落過(guò)程中形成的雨條紋，并通過(guò)斑點(diǎn)的形狀區(qū)分雨滴與非雨滴。這一方法在降雨不大，沒(méi)有形成雨滴重疊時(shí)，有良好的識(shí)別效果。Bossu 等［14］使用基于高斯混合模型（Gaussian Mixture Model，GMM）的平滑分段先驗(yàn)算法，使背景的運(yùn)動(dòng)和相機(jī)本身的運(yùn)動(dòng)均可以得到處理。Barnum 等［15-16］從雨條紋出現(xiàn)的頻率和時(shí)空統(tǒng)計(jì)規(guī)律出發(fā)，得到了一個(gè)基于模糊高斯模型（Blurred Gaussian Model，BGM）的雨條紋識(shí)別算法，但該算法只能處理降雨不大的場(chǎng)景。

近年來(lái)，機(jī)器學(xué)習(xí)、深度學(xué)習(xí)開(kāi)始被廣泛地應(yīng)用于雨滴識(shí)別與去除工作。Kim 等［17］通過(guò)支持向量機(jī)（Support Vector Machine，SVM）評(píng)估每個(gè)像素點(diǎn)是否屬于雨條紋，與其他方法相比，這一處理方法需要提供額外的降雨視頻作為訓(xùn)練集以達(dá)到良好的識(shí)別效果。Chen 等［18］使用超像素對(duì)視頻進(jìn)行分割，然后以超像素為基本單元，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）實(shí)現(xiàn)雨條紋的去除。與傳統(tǒng)方法相比，這一工作在處理大降雨量與不透明障礙物場(chǎng)景時(shí)，準(zhǔn)確率大幅提升。Liu 等［19］則采用了循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）作為處理工具，對(duì)視頻中的雨條紋進(jìn)行分類(lèi)與識(shí)別。

1.2 圖像除雨算法

Xu 等［20-21］和Hou 等［22］基于雨條紋的光學(xué)性質(zhì)，首先制作一張無(wú)雨的基準(zhǔn)圖片，然后以這張圖片為標(biāo)準(zhǔn)，通過(guò)導(dǎo)向?yàn)V波來(lái)識(shí)別出與雨滴、雪花有關(guān)的像素點(diǎn)；Zheng 等［23］將有雨圖像分解為高頻和低頻部分，利用雨滴的動(dòng)力學(xué)特征設(shè)計(jì)多引導(dǎo)濾波器，從而實(shí)現(xiàn)圖像除雨；Fu 等［24］通過(guò)形態(tài)成分分析（Morphological Component Analysis，MCA）將除雨問(wèn)題轉(zhuǎn)化為圖像分解問(wèn)題，通過(guò)字典學(xué)習(xí)和稀疏編碼，將分解出的含雨圖像分解為雨條紋和背景兩部分，疊加背景部分與上一步驟分解出的不含雨圖像即可得到除雨后的圖像。近年來(lái)，基于先驗(yàn)信息的圖像除雨算法［25-27］開(kāi)始得到廣泛關(guān)注，先用先驗(yàn)信息給出一個(gè)原圖像與目標(biāo)圖像之間的約束條件，再通過(guò)優(yōu)化算法求解得到除雨后的目標(biāo)圖像。

Eigen 等［28］率先使用CNN 去除圖像中附著在窗戶(hù)和鏡頭上的雨滴，但這一方法并不適用于空中的雨條紋。Fu等［29］設(shè)計(jì)了一種基于RNN 的網(wǎng)絡(luò)結(jié)構(gòu)DerainNet，通過(guò)學(xué)習(xí)大量含雨圖像和相對(duì)應(yīng)的不含雨圖像之間的關(guān)系，最后應(yīng)用于目標(biāo)降雨圖像，實(shí)現(xiàn)除雨并輸出除雨后的圖像。Yang等［30］在構(gòu)建降雨的物理模型時(shí)，考慮大氣層的漫反射與透射，得到一個(gè)全新的物理模型，并采用RNN 作為處理工具，通過(guò)多次循環(huán)達(dá)到良好的除雨效果，并在此基礎(chǔ)上進(jìn)一步提出了增強(qiáng)版本［31］。丁宇陽(yáng)等［32］以光場(chǎng)圖像作為除雨對(duì)象，利用光場(chǎng)圖像不同于普通2D 圖像，能記錄三維場(chǎng)景的豐富結(jié)構(gòu)信息等特點(diǎn)，提出一種基于長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡(luò)的光場(chǎng)圖像去雨算法。

2 基于事件相機(jī)的雨滴檢測(cè)算法

2.1 雨滴的物理特征

雨滴接近地表時(shí)的運(yùn)動(dòng)速度由雨滴的大小決定［2］。不考慮風(fēng)的影響，理想情況下最終速度豎直向下，大小可近似表示為：

其中：v0為雨滴下落的最終速度大??；ρ為雨滴密度；g為重力加速度；d為雨滴直徑；μ為空氣粘滯系數(shù)。

雨滴水平方向上的速度u與豎直方向上的速度v的比值以及雨條紋的傾斜角θ滿(mǎn)足以下關(guān)系［15］：

其中：f為相機(jī)焦距；z為雨滴與相機(jī)鏡頭間的距離。

將t時(shí)刻圖像中沒(méi)有雨滴覆蓋的區(qū)域稱(chēng)為背景區(qū)域（記作?bg），有雨滴覆蓋的區(qū)域稱(chēng)為前景區(qū)域（記作?fg），對(duì)應(yīng)的圖像灰度值（intensity）分別記為Ib(x，t)，Ir(x，t)，真實(shí)物理世界的輻射值（radiance）記為L(zhǎng)b(x，t)，Lr(x，t)。為保證簡(jiǎn)潔性，在不產(chǎn)生歧義的情況下，后文省略(x，t)。此時(shí)有［33］：

其中：F、Δt分別為相機(jī)光圈、曝光時(shí)間；zm為距離閾值，即當(dāng)雨滴與鏡頭距離為zm時(shí)恰好覆蓋一個(gè)像素。完整圖像灰度值記為I(x，t)，為前景區(qū)域與背景區(qū)域的疊加，即：

φ(x，t)表示前景區(qū)域的示性函數(shù)：

定義雨滴造成的灰度值增量Irb(x，t)：

2.2 雨滴事件生成模型

與傳統(tǒng)相機(jī)的工作模式不同，事件相機(jī)當(dāng)且僅當(dāng)某個(gè)像素點(diǎn)的亮度變化累計(jì)達(dá)到一定閾值時(shí)，會(huì)輸出一個(gè)數(shù)據(jù)，即一個(gè)“事件”。t時(shí)刻，圖像上位于x處的像素點(diǎn)的亮度變化ΔI的絕對(duì)值達(dá)到閾值C時(shí)，相機(jī)會(huì)記錄下一個(gè)事件e?(x，t，p)，此時(shí)：

其中，p∈{ +1，-1} 表示事件的極性。對(duì)于極短的時(shí)間Δt，有：

假設(shè)極短時(shí)間內(nèi)輻照恒定，雨滴在靜止相機(jī)下的像素速度為vr，相機(jī)運(yùn)動(dòng)時(shí)相機(jī)像素運(yùn)動(dòng)速度為vc，可以得出：

可見(jiàn)，降雨場(chǎng)景下的事件由雨滴運(yùn)動(dòng)產(chǎn)生的亮度變化、相機(jī)運(yùn)動(dòng)時(shí)雨滴覆蓋區(qū)域內(nèi)產(chǎn)生的亮度變化、相機(jī)運(yùn)動(dòng)時(shí)背景區(qū)域內(nèi)產(chǎn)生的亮度變化共同生成。當(dāng)場(chǎng)景中沒(méi)有雨滴時(shí)，式（17）退化為：

式（17）即經(jīng)典事件相機(jī)事件生成模型［33］。由此可見(jiàn)，本文提出的雨滴事件生成模型符合最基本的事件生成模型，且為事件生成模型的擴(kuò)展。

2.3 雨滴事件概率計(jì)算方法

將事件相機(jī)一段時(shí)間內(nèi)拍攝的事件數(shù)據(jù)流記為ξ=，定義事件ek的時(shí)空窗口（Spatial-Temporal Window）為(Sx，Sy，T)［34］，包含該事件發(fā)生前T時(shí)間內(nèi)坐標(biāo)與該事件像素坐標(biāo)x方向上距離小于Sx，y方向上距離小于Sy的全部事件的集合，即：

其中，{e1，e2，…，eM}按時(shí)間順序由前到后排列，(Sx，Sy，T)為時(shí)空窗口大小。

1）雨滴事件基本假設(shè)。綜合前文對(duì)雨滴運(yùn)動(dòng)特征與光學(xué)特征的討論，給出以下基本假設(shè)。

假設(shè)1 圖像中，雨滴近似勻速直線(xiàn)運(yùn)動(dòng)，且豎直方向上速度分量朝向圖像下方，水平方向位移與豎直方向位移比值滿(mǎn)足式（3）。

假設(shè)2 雨滴是連續(xù)的，一個(gè)雨滴事件附近一定尺寸時(shí)空窗口內(nèi)發(fā)生的下一個(gè)事件有極大的概率仍為雨滴造成。

2）雨滴事件關(guān)聯(lián)性。對(duì)于事件相機(jī)中先后發(fā)生的兩個(gè)事件ei、ej，用Corr(ei，ej)表示兩個(gè)事件由同一個(gè)雨滴產(chǎn)生的關(guān)聯(lián)性，取決于時(shí)空關(guān)聯(lián)性、極性關(guān)聯(lián)性和速度關(guān)聯(lián)性。

時(shí)空關(guān)聯(lián)性記為γ1(ei，ej)。根據(jù)假設(shè)1，若事件位于事件ei和ej所確定的時(shí)空窗口STWej(Sx，Sy，T)中，則認(rèn)為這兩個(gè)事件具有時(shí)空關(guān)聯(lián)性，即：

極性關(guān)聯(lián)性記為γ2(ei，ej)。由雨滴的光學(xué)特征與式（9），同一個(gè)雨滴形成的兩個(gè)雨滴事件的極性一致，即：

3）雨滴事件概率計(jì)算。本文通過(guò)一個(gè)新事件和上一個(gè)位于新事件時(shí)空口STWek(2Sx，2Sy，2T)內(nèi)的前一事件，判斷新事件是雨滴造成的概率。若兩個(gè)事件符合雨滴事件關(guān)聯(lián)性，則新事件有一定概率是雨滴；同時(shí)，若前一事件是雨滴的概率越大，則新事件也有較大的概率是雨滴造成。為此，雨滴事件概率由雨滴事件關(guān)聯(lián)性和前一事件的雨滴概率共同決定，即事件ek是雨滴事件概率P(ek)為：

其中，α為平衡前一時(shí)刻事件雨滴概率與兩事件雨滴事件關(guān)聯(lián)性的權(quán)重，也可以視為雨滴事件概率在時(shí)間上的傳遞，因此稱(chēng)α為雨滴概率傳遞系數(shù)。雨滴概率傳遞系數(shù)可以充分利用事件相機(jī)拍攝雨滴在時(shí)間上是連續(xù)的這一特性，有效提升了雨滴檢測(cè)的準(zhǔn)確率。

本文算法計(jì)算出了每個(gè)像素發(fā)生的事件是雨滴的概率，充分利用了事件相機(jī)的數(shù)據(jù)異步、不依賴(lài)圖像的特性。完整的雨滴事件檢測(cè)算法如算法1 所示。

算法1 基于事件相機(jī)的雨滴檢測(cè)算法。

輸入 事件流數(shù)據(jù)ξ，α，參數(shù)Sx，Sy，T；

3 實(shí)驗(yàn)與結(jié)果分析

3.1 事件相機(jī)降雨數(shù)據(jù)集

本文使用Prophesee Gen4［35］事件相機(jī)進(jìn)行數(shù)據(jù)采集，芯片分辨率為1 280×720，鏡頭焦距為5 mm，視角（Field of View，F(xiàn)oV）為82°，相機(jī)參數(shù)設(shè)置見(jiàn)表1。

表1 相機(jī)參數(shù)設(shè)置Tab.1 Camera parameter setting

在不同場(chǎng)景與相機(jī)運(yùn)動(dòng)模式下，采用metavision player 錄制多段降雨數(shù)據(jù)，并將數(shù)據(jù)拆分成多段持續(xù)時(shí)間30 ms 的數(shù)據(jù)序列。從每個(gè)場(chǎng)景和相機(jī)運(yùn)動(dòng)模式隨機(jī)選取100 個(gè)序列，構(gòu)建事件相機(jī)降雨數(shù)據(jù)集［11］。場(chǎng)景與運(yùn)動(dòng)模式具體如下。

1）static100：包含100 個(gè)相機(jī)靜止且場(chǎng)景中無(wú)運(yùn)動(dòng)物體時(shí)的降雨數(shù)據(jù)序列。相機(jī)固定在三腳架上，拍攝無(wú)運(yùn)動(dòng)物體的場(chǎng)景。除噪聲外，事件相機(jī)數(shù)據(jù)全部由雨滴下落造成。

2）dynamic100：共包含100 個(gè)相機(jī)靜止且場(chǎng)景中有運(yùn)動(dòng)物體的降雨數(shù)據(jù)序列。使用固定在三腳架的相機(jī)拍攝有行人和車(chē)輛來(lái)往的道路，此時(shí)相機(jī)將同時(shí)記錄下由雨滴運(yùn)動(dòng)和背景物體運(yùn)動(dòng)形成的事件，如行人、車(chē)輛、樹(shù)葉等。

3）moving100：共包含100 個(gè)相機(jī)運(yùn)動(dòng)時(shí)的降雨數(shù)據(jù)序列。手持相機(jī)隨機(jī)晃動(dòng)，此時(shí)相機(jī)與場(chǎng)景發(fā)生相對(duì)運(yùn)動(dòng)狀態(tài)，產(chǎn)生大量的事件。

3 種場(chǎng)景與運(yùn)動(dòng)模式下獲取的事件如圖2（a）所示。相機(jī)靜止場(chǎng)景（static100 與dynamic100）每個(gè)序列平均事件數(shù)（ev/seq）較少，且所有序列之間，事件數(shù)的標(biāo)準(zhǔn)差（var）也較小；而相機(jī)運(yùn)動(dòng)時(shí)（moving100）產(chǎn)生的事件顯著增加。完整事件相機(jī)降雨數(shù)據(jù)集基本統(tǒng)計(jì)情況見(jiàn)表2。

表2 事件相機(jī)降雨數(shù)據(jù)集的基本統(tǒng)計(jì)信息Tab.2 Basic statistics of rainfall datasets based on event camera

圖2 降雨數(shù)據(jù)集場(chǎng)景與標(biāo)注Fig.2 Scenes and labeling of rainfall datasets

為了得到雨滴事件的真實(shí)位置，人工對(duì)雨滴進(jìn)行標(biāo)注。本文通過(guò)繪制每個(gè)數(shù)據(jù)序列的時(shí)間表面圖（Time-Surface Graph）［36］，將圖中按時(shí)間發(fā)生顏色漸變的線(xiàn)條認(rèn)為是雨條紋，采用最小外接矩形框標(biāo)注出雨滴條紋的位置并記錄矩形框的坐標(biāo)，如圖2（b）所示。

3.2 雨滴檢測(cè)評(píng)價(jià)方法與實(shí)驗(yàn)結(jié)果

由于針對(duì)傳統(tǒng)目標(biāo)檢測(cè)的評(píng)價(jià)指標(biāo)無(wú)法直接作用于事件相機(jī)數(shù)據(jù)，本文對(duì)傳統(tǒng)圖像目標(biāo)檢測(cè)的評(píng)價(jià)指標(biāo)進(jìn)行了范式轉(zhuǎn)化。當(dāng)雨滴概率大于某一閾值P0時(shí)，將該事件對(duì)應(yīng)的像素標(biāo)記為雨滴；反之標(biāo)記為非雨滴。參考文獻(xiàn)［37］，采用檢測(cè)正確率（True Positive Rate，TPR）和誤檢率（False Positive Rate，F(xiàn)PR）評(píng)價(jià)雨滴檢測(cè)的有效性，用RTP、RFP表示。

正確率為被檢測(cè)出的雨條紋數(shù)與標(biāo)記出的真實(shí)雨條紋數(shù)的比值：

其中：N0表示標(biāo)注出雨條紋的總數(shù)量，即標(biāo)注出的矩形框數(shù)目；N1表示所有記錄下的矩形框中，被檢測(cè)為雨條紋的矩形框的數(shù)量，若雨滴標(biāo)注框內(nèi)檢測(cè)出的雨滴事件數(shù)大于標(biāo)注的矩形框高度的1/10，則認(rèn)為該矩形框代表的雨條紋被檢出。

誤檢率為誤檢雨滴事件數(shù)與所有標(biāo)記為雨滴事件數(shù)的比值，認(rèn)為誤檢雨滴事件為所有不在雨滴標(biāo)注矩形框內(nèi)的事件：

其中，n1為準(zhǔn)確檢出雨滴事件的數(shù)量，n2為誤檢雨滴事件的數(shù)量。具體計(jì)算方式如下：

其中：card{?}表示集合中元素的數(shù)目；GT表示所有被標(biāo)注出的矩形框內(nèi)部的事件的集合。

由于事件相機(jī)數(shù)據(jù)量較大，難以實(shí)現(xiàn)逐像素人工標(biāo)注，且憑肉眼無(wú)法嚴(yán)格準(zhǔn)確區(qū)分雨滴造成的事件與背景物體造成的事件，所以采用雨滴最小矩形框進(jìn)行標(biāo)注是一種平衡了工作量與準(zhǔn)確性的方法，這種標(biāo)注方法也直接導(dǎo)致了評(píng)價(jià)時(shí)，正確率采用雨滴條紋數(shù)量而誤檢率采用像素?cái)?shù)量進(jìn)行計(jì)算。兩個(gè)指標(biāo)雖然存在不一致，但仍不失為一種有效的雨滴檢測(cè)評(píng)價(jià)方法。

3.3 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)中將雨滴概率傳遞系數(shù)α設(shè)置為0.8，時(shí)空窗口設(shè)置為(4 px，10 px，2 000 μs)。在不同的概率閾值P0下，正確率和誤檢率變化趨勢(shì)如圖3。

圖3 TPR和FPR在不同概率閾值下的變化曲線(xiàn)Fig.3 Changing curves of TPR and FPR under different possibility thresholds

可以看出，當(dāng)概率閾值P0從0.1 到1 逐漸增加時(shí)，檢測(cè)的正確率不斷下降，同時(shí)誤檢率也下降。當(dāng)概率閾值P0設(shè)置為0.6 時(shí)，三種場(chǎng)景的檢測(cè)正確率可達(dá)95%以上；static100與dynamic100 上的誤檢率低于2%與5%；而moving100 由于存在大量背景數(shù)據(jù)，誤檢率接近20%。當(dāng)概率閾值P0超過(guò)0.6 時(shí)，檢測(cè)正確率顯著下降而誤檢率沒(méi)有明顯改善，因此概率閾值P0設(shè)置為0.6 比較合適。3 類(lèi)場(chǎng)景的檢測(cè)結(jié)果如圖4 所示，可以看出本文算法有效檢出了雨滴造成的事件。

圖4 三類(lèi)場(chǎng)景下的雨滴檢測(cè)結(jié)果Fig.4 Rain detection results in three scenes

3.4 時(shí)空窗口對(duì)檢測(cè)的影響

本文的雨滴檢測(cè)算法需要選取每個(gè)事件的時(shí)空窗口，因此時(shí)空窗口的大小影響了雨滴檢測(cè)的結(jié)果。本節(jié)探究時(shí)空窗口對(duì)檢測(cè)結(jié)果的影響，實(shí)驗(yàn)中設(shè)置α=0.8，P0=0.6 不變，改變時(shí)空窗口(Sx，Sy，T)的大小。根據(jù)式（3），決定時(shí)空窗口相關(guān)參數(shù)時(shí)有Sx：Sy=0.4，因此僅探究Sx與T的影響。3 類(lèi)場(chǎng)景下，不同空間窗口參數(shù)Sx與時(shí)間窗口參數(shù)T對(duì)應(yīng)的正確率、誤檢率如表3 所示。

當(dāng)空間窗口參數(shù)Sx取4 px，時(shí)間窗口T取2 000 μs 時(shí)，本文算法在static100 和dynamic100 上達(dá)到了最高的正確率和較低誤檢率?？臻g窗口和時(shí)間窗口參數(shù)減小時(shí)，雖然在一定程度上降低了誤檢率，但正確率下降嚴(yán)重；反之，空間窗口和時(shí)間窗口參數(shù)增加時(shí)，正確率的提升有限但誤檢率大幅增加；同時(shí)可以看出moving100 的正確率和誤檢率易受時(shí)空窗口大小的影響，需要根據(jù)實(shí)際的任務(wù)需求選取合適的參數(shù)。

3.5 算法的局限性

從3.3 和3.4 節(jié)可以看出，本文算法在相機(jī)靜止時(shí)可以取得不錯(cuò)的檢測(cè)效果，而相機(jī)運(yùn)動(dòng)時(shí)正確率有所降低。這是因?yàn)橄鄼C(jī)運(yùn)動(dòng)時(shí)產(chǎn)生大量的數(shù)據(jù)導(dǎo)致了雨滴事件關(guān)聯(lián)性的降低與雨滴概率傳遞的失敗，同時(shí)不規(guī)則的運(yùn)動(dòng)造成部分背景事件不可避免地符合了雨滴事件的關(guān)聯(lián)性假設(shè)，因此也造成誤檢率顯著上升。本文團(tuán)隊(duì)將進(jìn)一步改善算法，提升在不同相機(jī)運(yùn)動(dòng)模式下雨滴檢測(cè)效果。

4 結(jié)語(yǔ)

本文分析了雨滴的動(dòng)力學(xué)與光學(xué)特征，建立了雨滴的事件生成模型，該模型為經(jīng)典事件生成模型的擴(kuò)展。提出一種基于事件關(guān)聯(lián)性的雨滴檢測(cè)算法與評(píng)價(jià)事件數(shù)據(jù)雨滴檢測(cè)準(zhǔn)確率的評(píng)價(jià)指標(biāo)，在真實(shí)數(shù)據(jù)上驗(yàn)證了算法在不同相機(jī)運(yùn)動(dòng)方式和靜態(tài)動(dòng)態(tài)場(chǎng)景下的有效性，并對(duì)相關(guān)參數(shù)的影響進(jìn)行了分析。由于事件相機(jī)的輸出無(wú)需等待傳統(tǒng)相機(jī)的曝光，算法能夠在獲取傳統(tǒng)相機(jī)圖像前精準(zhǔn)預(yù)測(cè)雨滴在圖像中的覆蓋區(qū)域，從而簡(jiǎn)化現(xiàn)有圖像除雨算法的計(jì)算量，提高圖像除雨速度。作者將進(jìn)一步探究事件相機(jī)與傳統(tǒng)相機(jī)融合的除雨方法，旨在實(shí)現(xiàn)移動(dòng)機(jī)器人平臺(tái)的實(shí)時(shí)除雨。