一種復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法及FPGA 實(shí)現(xiàn)*

歐明敏，易 金，武 義

（福州大學(xué)，福建 福州 350108）

0 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)[1]作為計(jì)算機(jī)視覺領(lǐng)域的重要研究方向，涉及圖像處理、模式識(shí)別以及人工智能等學(xué)科。實(shí)時(shí)準(zhǔn)確的檢測(cè)到運(yùn)動(dòng)目標(biāo)是關(guān)鍵，也是目標(biāo)跟蹤和識(shí)別的前提條件。運(yùn)動(dòng)目標(biāo)檢測(cè)廣泛應(yīng)用于安全監(jiān)控、智能交通、人機(jī)交互以及視覺導(dǎo)航等領(lǐng)域[2-3]。目前，運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要包括幀間差分法、背景差分法和光流法[4-5]。

基于視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)，國內(nèi)外眾多學(xué)者對(duì)其進(jìn)行了大量研究。文獻(xiàn)[6]中，王旭等人提出基于改進(jìn)的視覺背景提取算法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，通過動(dòng)態(tài)調(diào)整像素點(diǎn)在空間的傳播速率以提高鬼影消除的速度，經(jīng)過分析像素點(diǎn)的區(qū)域信息調(diào)整匹配閾值，在一定程度上克服了動(dòng)態(tài)背景帶來的干擾，但沒有考慮到低照度等復(fù)雜環(huán)境下圖像對(duì)比度差、噪聲多的情況，且算法采用計(jì)算機(jī)實(shí)現(xiàn)運(yùn)行效率低、實(shí)時(shí)性差。文獻(xiàn)[7]中，Zhang C 等人分析了傳統(tǒng)混合高斯模型背景差分法對(duì)慢速運(yùn)動(dòng)目標(biāo)檢測(cè)的局限性，考慮了目標(biāo)的空間連續(xù)性，提出結(jié)合前景匹配機(jī)制和短期穩(wěn)定性測(cè)度的方法。該方法能夠在背景相對(duì)簡(jiǎn)單的環(huán)境中有效檢測(cè)運(yùn)動(dòng)緩慢的目標(biāo)，但檢測(cè)精度受動(dòng)態(tài)背景特別是光照的影響較大，在低照度等復(fù)雜環(huán)境下誤檢率高。

針對(duì)復(fù)雜環(huán)境下特別是低照度環(huán)境下視頻圖像呈現(xiàn)對(duì)比度低、噪聲大以及層次感弱等難以有效檢測(cè)其中的運(yùn)動(dòng)目標(biāo)的問題，考慮到視頻圖像數(shù)據(jù)量大，對(duì)于復(fù)雜算法的處理難以保證其實(shí)時(shí)性，本文提出一種FPGA 實(shí)現(xiàn)的復(fù)雜環(huán)境下的目標(biāo)檢測(cè)方法。利用FPGA 可并行計(jì)算的特點(diǎn)，采用流水線技術(shù)對(duì)圖像數(shù)據(jù)進(jìn)行算法處理，實(shí)時(shí)性優(yōu)勢(shì)顯著。該方法采用CLAHE 算法[8]對(duì)視頻圖像中的亮度分量進(jìn)行處理，提高了圖像的對(duì)比度，增強(qiáng)了層次感，同時(shí)有效降低了圖像噪聲。它采用改進(jìn)的背景差分法提取運(yùn)動(dòng)目標(biāo)并對(duì)背景構(gòu)建模型，完成了背景的自適應(yīng)更新。針對(duì)背景差分法中閾值選取不當(dāng)易導(dǎo)致目標(biāo)提取不完整的問題，本文對(duì)差分圖像采用OTSU算法[9]確定最優(yōu)閾值并應(yīng)用于下一幀處理，從而有效區(qū)分了目標(biāo)和背景，最后經(jīng)過形態(tài)學(xué)處理得到了完整的運(yùn)動(dòng)目標(biāo)。

1 檢測(cè)算法原理

1.1 算法流程

首先，對(duì)采集的視頻圖像進(jìn)行去噪處理，調(diào)整對(duì)比度以提高像素灰度值的動(dòng)態(tài)范圍。其次，提取運(yùn)動(dòng)目標(biāo)，去除存在的噪聲孤立點(diǎn)，并填充目標(biāo)中的空洞。對(duì)現(xiàn)有圖像增強(qiáng)和目標(biāo)檢測(cè)算法進(jìn)行分析與研究，提出一種FPGA 實(shí)現(xiàn)的復(fù)雜環(huán)境下的目標(biāo)檢測(cè)方法。本文的運(yùn)動(dòng)目標(biāo)檢測(cè)流程如圖1 所示。

圖1 本文的運(yùn)動(dòng)目標(biāo)檢測(cè)方法流程

1.2 限制對(duì)比度直方圖均衡

數(shù)字圖像的直方圖描述了整幅圖像中不同灰度級(jí)的像素個(gè)數(shù)，體現(xiàn)的是灰度值在圖像中的分布規(guī)律。在低照度環(huán)境下，基于直方圖均衡算法[10]可以改善圖像質(zhì)量，增強(qiáng)對(duì)比度。CLAHE 算法在傳統(tǒng)直方圖均衡算法的基礎(chǔ)上改進(jìn)而來，克服了傳統(tǒng)算法在對(duì)整幅圖像進(jìn)行對(duì)比度增強(qiáng)時(shí)導(dǎo)致的局部細(xì)節(jié)缺失問題，適用于低照度下的圖像增強(qiáng)。

CLAHE 算法主要包含以下4 個(gè)步驟。

（1）圖像子塊劃分。根據(jù)圖像的分辨率，自適應(yīng)劃分為大小相等的圖像子塊。

（2）限制對(duì)比度直方圖統(tǒng)計(jì)。首先設(shè)置一個(gè)合適的裁剪值，然后分別對(duì)圖像子塊進(jìn)行直方圖統(tǒng)計(jì)，比較子塊中每一個(gè)灰度級(jí)的統(tǒng)計(jì)值與裁剪值，把超過裁剪值的部分平均分配至整個(gè)灰度區(qū)間上。

（3）灰度值映射。根據(jù)限制對(duì)比度直方圖的統(tǒng)計(jì)結(jié)果，對(duì)每一個(gè)灰度級(jí)進(jìn)行累積直方圖統(tǒng)計(jì)，最終通過式（1）的映射函數(shù)得到映射后的灰度值。

式中，S(xj)為像素級(jí)k的像素個(gè)數(shù)；W和H分別為圖像寬和高的像素個(gè)數(shù)；L為灰度級(jí)個(gè)數(shù)；Tk為灰度級(jí)xk經(jīng)映射后的新灰度級(jí)。

（4）灰度值重構(gòu)。若每一個(gè)子塊中的像素其灰度值直接采用該子塊的映射值，則整幅圖像將會(huì)呈現(xiàn)塊狀效應(yīng)，應(yīng)采用線性插值運(yùn)算解決這一問題。

1.3 目標(biāo)檢測(cè)

通過研究主要的運(yùn)動(dòng)目標(biāo)檢測(cè)算法發(fā)現(xiàn)，背景差分法克服了幀間差分法所提取的目標(biāo)存在“空洞”的問題，可以完整地提取出運(yùn)動(dòng)目標(biāo)。與光流法相比，背景差分法計(jì)算量小且實(shí)時(shí)性強(qiáng)，適合于FPGA 硬件實(shí)現(xiàn)。因此，本文采用背景差分法檢測(cè)運(yùn)動(dòng)目標(biāo)。

設(shè)I(x,y)和B(x,y)分別為視頻的當(dāng)前幀圖像和背景幀圖像，像素點(diǎn)(x,y)的差分結(jié)果為：

式中，T為閾值。若差分結(jié)果大于T，則該像素點(diǎn)判定為目標(biāo)，否則判定為背景。

由于光照變化或某些干擾目標(biāo)長(zhǎng)時(shí)間停留于背景中，若不進(jìn)行背景更新，那么之后的檢測(cè)結(jié)果將不準(zhǔn)確。因此，本文采用基于前景檢測(cè)的背景更新策略自適應(yīng)更新背景，即通過判斷前景檢測(cè)的結(jié)果自適應(yīng)更新背景。背景更新模型為：

式中，Bk(x,y)為更新后的背景圖像；Bk-1(x,y)為上一幀的背景圖像；σ為更新速率系數(shù)，控制場(chǎng)景以一定的速率成為背景，值越大，目標(biāo)融入背景的速度越快。

1.4 最大類間方差

背景差分法得到的差分圖像通常含有目標(biāo)和噪聲信息。此時(shí)，閾值的選取至關(guān)重要。傳統(tǒng)的閾值選取方式是根據(jù)經(jīng)驗(yàn)確定的，閾值是固定不變的。當(dāng)環(huán)境發(fā)生變化時(shí)，傳統(tǒng)方式的分割效果不理想，抗干擾能力弱。

OTSU 算法是一種無參調(diào)控、自動(dòng)尋優(yōu)的圖像分割方法，原理簡(jiǎn)單，計(jì)算高效，分割效果顯著，在圖像分割領(lǐng)域得到了廣泛應(yīng)用。因此，本文提出將OTSU 算法應(yīng)用于閾值選取。首先將當(dāng)前幀的差分圖像進(jìn)行OTSU 算法處理，得到使目標(biāo)和噪聲方差最大時(shí)的閾值，然后將該閾值應(yīng)用于下一幀的背景差分法中。該方法可以根據(jù)環(huán)境的變化自適應(yīng)確定閾值。

OTSU 算法的基本思路如下。設(shè)初始分割閾值為T，將圖像分為目標(biāo)和背景兩部分。令圖像像素點(diǎn)總數(shù)為N，其中屬于目標(biāo)的像素點(diǎn)個(gè)數(shù)為N0，平均灰度值為μ0；屬于背景的像素點(diǎn)個(gè)數(shù)為N1，平均灰度值為μ1。這兩部分像素占整幅圖像的比例分別為η0和η1，計(jì)算公式如下：

總平均灰度值為：

目標(biāo)與背景的方差為：

將式（5）帶入式（6），得到方差的等價(jià)公式：

通過不斷迭代計(jì)算，得到使目標(biāo)和噪聲方差取得最大時(shí)的閾值。

2 算法的FPGA 實(shí)現(xiàn)

本文以FPGA 作為核心處理器。目標(biāo)檢測(cè)方法的硬件結(jié)構(gòu)如圖2 所示，由6 個(gè)功能模塊組成——灰度變換模塊、中值濾波模塊、CLAHE 算法模塊、背景差分及更新模塊、OTSU 算法模塊和形態(tài)學(xué)處理模塊組成。

圖2 FPGA 目標(biāo)檢測(cè)方法硬件結(jié)構(gòu)

2.1 中值濾波模塊

圖像傳感器采集的圖像難免存在噪聲，降低了圖像質(zhì)量。中值濾波可以很好地濾除孤立的噪聲，改善畫質(zhì)。本文采用5×5 矩陣窗口實(shí)現(xiàn)快速中值濾波，如圖3 所示。首先對(duì)矩陣窗口的每一行進(jìn)行排序得到最大值、中值和最小值；其次，對(duì)排序結(jié)果進(jìn)行列排序，得到第一列中的最小值、第二列中的中值和第三列中的最大值；最后，對(duì)排序結(jié)果進(jìn)行一次行排序，最終得到5×5 矩陣窗口的中值。

圖3 快速中值濾波過程

2.2 CLAHE 算法模塊

CLAHE 算法模塊的FPGA 實(shí)現(xiàn)分為圖像子塊劃分、限制對(duì)比度直方圖統(tǒng)計(jì)以及灰度值映射與重構(gòu)3 個(gè)部分。

2.2.1 圖像子塊劃分

本文采集的圖像分辨率為640×480，根據(jù)比值大小可將圖像平均分為12 個(gè)子塊，每塊的大小為160×160。在視頻行信號(hào)有效期間，通過對(duì)像素進(jìn)行計(jì)數(shù)得到像素的橫坐標(biāo)。在場(chǎng)信號(hào)有效期間，對(duì)行信號(hào)進(jìn)行計(jì)數(shù)得到像素的縱坐標(biāo)。這樣即可判斷當(dāng)前像素所屬的圖像子塊，并將該子塊的標(biāo)志信號(hào)置高。

2.2.2 限制對(duì)比度直方圖統(tǒng)計(jì)

以圖像子塊1 為例，限制對(duì)比度直方圖統(tǒng)計(jì)采用如圖4 所示的狀態(tài)機(jī)實(shí)現(xiàn)，其他子塊與之一致。

圖4 限制對(duì)比度直方圖統(tǒng)計(jì)狀態(tài)機(jī)

當(dāng)行信號(hào)有效時(shí)，狀態(tài)機(jī)從IDLE 狀態(tài)跳轉(zhuǎn)至Hist_Statistics 狀態(tài)，在此狀態(tài)根據(jù)像素所在的圖像子塊進(jìn)行直方圖統(tǒng)計(jì)，并將統(tǒng)計(jì)結(jié)果以灰度值為地址存儲(chǔ)于位寬為16、深度為8 的雙口RAM（RAM1）中。當(dāng)檢測(cè)到場(chǎng)信號(hào)的下降沿時(shí)，狀態(tài)機(jī)跳轉(zhuǎn)至Threshold_Limit 狀態(tài)，在該狀態(tài)對(duì)直方圖進(jìn)行裁剪。遍歷子塊的整個(gè)灰度級(jí)，若某些灰度的直方圖統(tǒng)計(jì)值高于設(shè)定的閾值，將超過的部分累加存儲(chǔ)于GLOBAL 寄存器中。遍歷完整個(gè)灰度級(jí)后，狀態(tài)機(jī)轉(zhuǎn)至Excess_Redistri 狀態(tài)，在此狀態(tài)下將GLOBAL寄存器中的數(shù)據(jù)平均分配至整個(gè)灰度級(jí)上，從而完成限制對(duì)比度直方圖統(tǒng)計(jì)，同時(shí)狀態(tài)機(jī)跳轉(zhuǎn)至Clear_RAM2 轉(zhuǎn)態(tài)，在此狀態(tài)下清空RAM2 中的數(shù)據(jù)為存儲(chǔ)累積直方圖做準(zhǔn)備。

在CDF_Statistics 狀態(tài)中，需要完成累積直方圖統(tǒng)計(jì)。本文采用一個(gè)雙口RAM（RAM2）用于儲(chǔ)存子塊的累積直方圖。首先，讀取RAM1 中地址0 的數(shù)據(jù)并寫入RAM2 中地址0 對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)空間；其次，將RAM2 地址加1，同時(shí)以新地址讀取RAM1 中的數(shù)據(jù)并加上RAM2 中上一地址對(duì)應(yīng)的數(shù)據(jù)，共同寫入RAM2 中新地址對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)空間。以此類推，完成子塊中整個(gè)灰度級(jí)的累積直方圖統(tǒng)計(jì)，之后將狀態(tài)機(jī)轉(zhuǎn)至Clear_RAM1，并清空RAM1中的數(shù)據(jù)為下次直方圖統(tǒng)計(jì)做準(zhǔn)備。

2.2.3 灰度值映射與重構(gòu)

在行場(chǎng)信號(hào)有效期間，根據(jù)當(dāng)前像素所在的圖像子塊，從該子塊的RAM2 中取出以當(dāng)前灰度值為地址的數(shù)據(jù)即對(duì)應(yīng)的累積直方圖，后根據(jù)式（1）計(jì)算映射后的灰度值，并根據(jù)像素所在的位置執(zhí)行不同的重構(gòu)策略。如圖5 所示，與圖像子塊劃分類似，本文將像素所在的位置分為Corner、Edge 和Center 共3 個(gè)部分。其中，Corner 部分由4 個(gè)大小為80×80 的正方形組成；Edge 部分由2 個(gè)大小為480×80 和2 個(gè)大小為80×320 的矩形組成；Center部分由6 個(gè)大小均為160×160 的正方形組成。

圖5 像素位置劃分

（1）當(dāng)像素位于Corner 部分時(shí)，以Co1區(qū)域?yàn)槔叶戎貥?gòu)值為子塊1 的灰度映射值Tk(1)，即：

（2）當(dāng)像素位于Edge 部分時(shí)，以Ed1區(qū)域?yàn)槔?，灰度重?gòu)值的計(jì)算公式為：

式中，l1=y-3/2h，l2=H-1/2h-y。

（3）當(dāng)像素位于Center 部分時(shí)，以Ce2區(qū)域?yàn)槔叶戎貥?gòu)值的計(jì)算公式如下：

2.2.4 目標(biāo)檢測(cè)模塊

由于背景差分法需要緩存一幀背景圖像，若使用外部DDR 存儲(chǔ)，則可以減少FPGA 內(nèi)部資源。但是，考慮到DDR 控制的復(fù)雜性和程序的可移植性，同時(shí)FPGA 內(nèi)部RAM 資源充足，本文采用一個(gè)位寬為8、深度為307200 的雙口RAM（RAM3）緩存背景圖像。與灰度變換實(shí)現(xiàn)類似，背景更新也采用先放大后縮小的方法處理，以避免浮點(diǎn)數(shù)的計(jì)算。

針對(duì)背景差分法中閾值的選取，本文采用OTSU 算法自適應(yīng)確定閾值?？紤]到FPGA 具有優(yōu)異的并行處理能力，本文在背景差分法中插入流水線結(jié)構(gòu)進(jìn)行OTSU 算法的處理。對(duì)于差分圖像，在該圖像的行場(chǎng)信號(hào)有效期間進(jìn)行灰度直方圖統(tǒng)計(jì)，并將統(tǒng)計(jì)結(jié)果分別存儲(chǔ)于256 個(gè)位寬為16 的寄存器中。在差分圖像的場(chǎng)信號(hào)消隱期間，對(duì)目標(biāo)和噪聲的類間方差進(jìn)行迭代計(jì)算，找到使目標(biāo)和噪聲的類間方差取得最大時(shí)的閾值。為了加快閾值確定的速度，可以根據(jù)實(shí)際環(huán)境增大閾值的初始值和減小閾值的最大值。融合OTSU 算法和背景差分法的目標(biāo)檢測(cè)模塊的實(shí)現(xiàn)結(jié)構(gòu)，如圖6 所示。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)選用Xilinx 公司的XC7A200T FPGA 芯片作為核心處理器，工作頻率為200 MHz，圖像傳感器選用OmniVision 公司的OV5640 Sensor，HDMI編碼芯片選用Silion 公司的SiT9134 chip，最高支持1080 P@60 Hz 視頻輸出。

圖6 目標(biāo)檢測(cè)模塊結(jié)構(gòu)

為了驗(yàn)證在復(fù)雜環(huán)境下特別是低照度環(huán)境下本文提出的檢測(cè)方法的有效性，在室外光線較暗的環(huán)境中做驗(yàn)證實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7 所示。其中，圖7（a）～圖7（f）依次為原始背景幀、原始當(dāng)前幀、經(jīng)CLAHE 算法處理后的背景幀、經(jīng)CLAHE 算法處理后的當(dāng)前幀、未經(jīng)CLAHE 算法處理檢測(cè)到的運(yùn)動(dòng)目標(biāo)和經(jīng)CLAHE算法處理后檢測(cè)到的運(yùn)動(dòng)目標(biāo)。

圖7 復(fù)雜環(huán)境下運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

從實(shí)驗(yàn)結(jié)果可知，在低照度等復(fù)雜環(huán)境下，圖像噪聲被放大，傳統(tǒng)的背景差分法得到的差分圖像中噪聲與目標(biāo)由于灰度值接近而無法根據(jù)固定閾值檢測(cè)出完整的運(yùn)動(dòng)目標(biāo)。本文提出的方法可以有效降低圖像噪聲，提高圖像的對(duì)比度，擴(kuò)大差分圖像中目標(biāo)與噪聲的灰度差，能夠根據(jù)環(huán)境的變化自適應(yīng)確定背景差分法中的閾值。結(jié)果表明，在低照度等復(fù)雜環(huán)境下提取的運(yùn)動(dòng)目標(biāo)輪廓完整清晰。

整個(gè)工程采用Verilog 硬件描述語言編寫，在Vivado 2018.2 軟件中完成綜合、編譯以及功能仿真，最后在本文所搭建的硬件平臺(tái)上實(shí)現(xiàn)。FPGA 資源占用情況如表1 所示。

表1 FPGA 資源使用情況

可見，本文提出的運(yùn)動(dòng)目標(biāo)檢測(cè)方法硬件實(shí)現(xiàn)所消耗的資源總體較少，但其中的BRAM 資源占用較多，這是因?yàn)樵谠O(shè)計(jì)背景差分模塊時(shí)未采用外置的DDR3 而是使用雙口RAM 緩存一幀背景圖像。

4 結(jié)語

本文提出了一種基于FPGA 實(shí)現(xiàn)的復(fù)雜環(huán)境下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，充分利用FPGA 可并行處理能力，采用模塊化思想，運(yùn)用流水線技術(shù)進(jìn)行硬件實(shí)現(xiàn)，同時(shí)在室外復(fù)雜環(huán)境下進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，提出的檢測(cè)方法可以在復(fù)雜環(huán)境下有效檢測(cè)出運(yùn)動(dòng)目標(biāo)。