基于Hi3559A 平臺的地物分割目標檢測方法并行設計

丁鑫，孟祥，田小林

（1.中國電子科技集團第二十七研究所，河南 鄭州 450047；2.西安電子科技大學人工智能學院，陜西 西安 710000）

基于嵌入式平臺的紅外小目標檢測算法由于移植性和實時性的要求都比較高，一直都是紅外探測設備研究熱點之一。針對無人機等“低慢小”目標的探測，尤其在低空復雜背景下，低慢小目標迅速靠近時，極大地增加了紅外探測設備檢出目標的難度。為了能準確檢測到此類目標，各國學者提出了多種算法。文獻[1]利用形態(tài)學濾波算法抑制圖像背景，并且結(jié)合圖像的均值和梯度，抑制閾值分割后圖像的噪聲干擾。文獻[2]利用中心域與鄰域?qū)Ρ榷?，通過提高原始圖像的對比度來剔除虛假目標。文獻[3]利用高通濾波先抑制背景噪聲，然后利用邊緣檢測算子提取疑似目標，最后統(tǒng)計鄰域特征抑制雜波干擾。文獻[4]利用高通濾波抑制背景噪聲，通過統(tǒng)計局部區(qū)域的天空等背景和目標的灰度特征來剔除假目標。文獻[5]利用局部逆熵的方法來提高圖像的質(zhì)量，并利用同組濾波器來抑制噪聲。文獻[6]利用改進的粒子群算法避免陷入局部最優(yōu)，通過均方差修正預測的權(quán)值來檢測目標。文獻[7]利用低慢小目標特性，采用掃描線填充算法和自適應閾值分割的策略剔除假目標。

對于嵌入式設備來說，由于資源有限，很多解決“低慢小”目標探測的方法不容易在嵌入式設備中實現(xiàn)[8]。ARM+FPGA 設計的紅外小目標跟蹤系統(tǒng)[9]通過ARM 來處理核心算法，F(xiàn)PGA 用于圖像的預處理和視頻輸入輸出，這種系統(tǒng)設計方法極大降低了研發(fā)難度。

文中通過地物分割方法，將目標所在區(qū)域和建筑物、山峰等地面所在區(qū)域進行分割，利用分割得到的異型區(qū)域來剔除引導濾波檢測算法[10]的誤檢情況。將該算法移植到Hi3559A 平臺的ARM 核上，首先需要燒寫內(nèi)核，安裝交叉編譯環(huán)境，采用多線程和ARM 架構(gòu)中的NEON 指令集[11]并行技術(shù)，將大型的矩陣運算拆分，將算法中重復計算的部分采用多線程處理，并對Opencv 中的函數(shù)使用并行技術(shù)進行進一步加速，最后通過編譯器等的優(yōu)化，實現(xiàn)了復雜背景條件下紅外小目標的高幀頻檢測的嵌入式移植。

1 算法框架與實現(xiàn)

1.1 地物分割

地物分割首先使用Canny 算子計算出邊緣，接著利用邊緣點和非邊緣點在每一列的特征找到地物線的最高點，最后對一些奇異點進行修正處理，得到一個異形區(qū)域[12]。具體來說，將邊緣點作為每一列的分界點處理，在邊緣點的上下各找n個點。假設邊緣點在第y行，則分別選擇第y-k行到第y行、第y+1 行、第y+k行數(shù)據(jù)，比較兩個區(qū)域內(nèi)的平均灰度差；接著選擇與y相鄰的兩點y-1，y+1，依次比較長度為k的兩個區(qū)域的平均灰度差，在y行的上下各選擇n/2 個邊緣點，共選擇n個這樣的邊緣點，計算得到一個平均灰度差最大的點，作為分界點；將該分界點所在的行與該分界點對應的這一列所在的邊緣點的行數(shù)進行比較，如果分界點所在行與邊緣點的行的差值小于某個閾值（這里設為100），也認為是奇異點，對其進行刪除。

1.2 引導濾波

使用引導濾波算法進行背景抑制，引導濾波算法是假定圖像中任意一點可以由其鄰域的像素點進行線性表示，并且對該點周圍的所有點求平均作為該點的值的一種濾波算法，算法原理如式（1）所示：

其中，Ii表示輸入圖I在i點的像素值，wk表示以k為窗口半徑，使用ak和bk進行線性變換的系數(shù)，qi為濾波后的圖像q在i點的像素值。利用線性回歸方程，使得濾波后的圖像q和輸入圖像P之間的差值最小，如式（2）所示：

其中，ε為平滑系數(shù)，采用最小二乘法求解得到ak和bk：

式中，|w|為窗口wk中像素點的數(shù)量，μk和分別為圖像I在窗口wk處的平均值和方差，pk是圖像P在窗口wk的均值。得到ak和bk之后即可求得濾波后的圖像q。

1.3 剔除假目標

將原圖與引導圖相減，得到引導差值圖。對于紅外探測設備來說，由于地雜波的影響[13]，引導差值圖會檢測出大量地雜波的虛景[14]，因此，通過地物分割方法，將異型區(qū)域內(nèi)的目標剔除。采用自適應閾值分割方法，將異型區(qū)域內(nèi)的值置為0，異型區(qū)域以外的值如果滿足要求，則置為1。自適應閾值通過均值求得，均值的計算是地物線以上部分的所有點的和除以圖像的面積：

其中，f(i,j)表示原圖，G(i,j)表示引導圖，m×n表示圖像面積。自適應閾值計算如下：

其中，nl和σ均為常數(shù)，nl=140，σ=0.1。

最終的二值圖可以表示為：

其中，h(i,j)表示最終的二值圖，ik表示異形區(qū)域的行的臨界點，jk表示異形區(qū)域的列的臨界點。

1.4 算法移植

Hi3559A 開發(fā)平臺是一款基于Hi3559AV100 芯片的開發(fā)板，集成了雙核A73 和雙核A53，支持雙精度浮點運算，使得功耗和性能達到平衡[15]。MPP 是海思提供的圖像處理軟件平臺，主要完成視頻的輸入輸出和視頻處理以及拼接等功能，并且提供了豐富的API 接口供開發(fā)者使用。MPP 主要包括以下模塊：VI、VPSS、VO、VENC、VDEC。MPP 處理流程如圖1 所示。首先通過交叉編譯，得到lib 動態(tài)鏈接庫，將lib 鏈接庫添加到海思開發(fā)板中，在Linux 操作系統(tǒng)中使用cmake 腳本，將頭文件和lib 動態(tài)鏈接庫添加進來，進行交叉編譯，將得到的可執(zhí)行文件放入開發(fā)板中運行。文中使用VI 模塊進行相機數(shù)據(jù)采集，VPSS 模塊進行圖像處理操作，將得到的lib 文件放入其中，VO 模塊輸出圖像并通過HDMI 進行輸出結(jié)果的字符顯示。

圖1 MPP處理流程圖

2 多線程處理和并行設計

2.1 多線程處理

對于異型區(qū)域剔除虛景點，考慮到Hi3559AV100芯片有四個ARM 核，因此設計一個四線程并行的架構(gòu)，將整幅圖像分為四部分，每一部分處理對應的異型區(qū)域。由于矩陣中的每一個點做閾值分割都相對獨立，因此將矩陣平均分成四份，可以極大提高了矩陣運算的效率。多線程處理異型區(qū)域圖如圖2所示。

圖2 多線程處理異型區(qū)域圖

為了提高算法的運行速度，將算法拆分，將矩陣乘法運算利用Hi3559A 平臺的多核ARM 進行多線程處理。fmean(I,r)表示使用r×r大小的濾波器對圖像I 做盒式濾波，ε為平滑因子，防止求得的a過大，這里a表示引導濾波的線性系數(shù)矩陣。I為原圖，P為引導圖，q為濾波后的圖像。mean、corr、var、cov 分別表示均值、相關性、方差和協(xié)方差。如圖3 所示，在Hi3559A 平臺的MPP 模塊中，利用兩個線程分別計算兩組不相關的矩陣數(shù)據(jù)，一組為fmean(I,r)和fmean(P,r)，另一組為fmean(a,r)和fmean(b,r)。

圖3 引導濾波算法流程圖

2.2 NEON技術(shù)

NEON 技術(shù)是一種SIMD（單指令多數(shù)據(jù)）結(jié)構(gòu)，提供了自動向量化、NEON 內(nèi)聯(lián)函數(shù)優(yōu)化、匯編語言優(yōu)化、函數(shù)庫優(yōu)化的模式[16]。文中采用NEON 內(nèi)聯(lián)函數(shù)進行優(yōu)化，無需第三方庫編譯，可移植性更好。

矩陣求和主要涉及加法運算，如果使用原始的for 循環(huán)，速度無法滿足要求，而使用Opencv 的sum函數(shù)，依然有優(yōu)化的空間。文中使用NEON 技術(shù)，對float32 類型的加法運算進行加速，相比于Opencv 的sum 函數(shù)，速度上有了進一步的提高。使用四個32位浮點型數(shù)求矩陣的和，利用空間換時間的思想，降低了算法的復雜度。使用NEON 內(nèi)聯(lián)函數(shù)計算的主要步驟如下：

1）使用vldlq_f32 函數(shù)從Mat 類型的圖像中加載四個像素的數(shù)據(jù)；

2）使用vaddq_f32 函數(shù)同時將四個像素數(shù)據(jù)添加到128 位寄存器中；

3）使用vget_low_f32 函數(shù)和vget_high_f32 函數(shù)將128 位寄存器切成兩個64 位寄存器；

4）使用vadd_f32 函數(shù)對兩個64 位寄存器內(nèi)的數(shù)求和。

3 實驗結(jié)果與分析

文中采用無人機作為目標，以城市低空實驗的數(shù)據(jù)作為實驗來源，將檢測算法移植并部署到Hi3559A平臺上，使用采集的三種不同類型的城市背景的圖像50 余張，采用局部信噪比和背景抑制因子以及檢測概率三組參數(shù)來對提出的算法和經(jīng)典的Top-hot算法、LCM 算法（Local Contrast Method）、雙邊濾波算法進行定量比較。

采用四種算法的紅外圖像信噪比和背景抑制因子的對比如表1 所示。其中，BSF 為背景抑制因子。

表1 幾種檢測算法的性能對比

從表1 可以看出，文中提出的基于地物分割的引導濾波算法在背景抑制上相比于其他算法有一定的優(yōu)勢，并且基于地物分割的引導濾波算法相比雙邊濾波，細節(jié)處理更好，算法的可移植性更高。

采用四種算法的檢測概率和虛警率對比如表2所示。

表2 幾種檢測算法的檢測率和虛警率對比

從表2 可以看出，基于地物分割的引導濾波算法的最大優(yōu)勢在于明顯降低圖像的虛警率，在檢測概率上也有比較大的提升，能夠大大提高搜索目標的效率。對于高幀頻光電探測設備來說，虛警率的降低有助于航跡關聯(lián)和目標匹配。

從圖4 引導濾波算法仿真結(jié)果可以看出，對于地物復雜背景，使用引導濾波進行背景抑制極易出現(xiàn)假目標，并且無法通過面積和長寬比以及灰度差進行篩選，因此通過地物分割策略，在決策時對地物分割線（如圖5 所示）以下的目標進行篩選，如圖6所示，剔除虛假目標后即可得到最終真實目標。

圖4 引導濾波（一）

圖5 地物分割線（一）

圖6 基于地物分割的引導濾波（一）

文中方法不僅可以對建筑物以上的無人機進行有效檢測，還可以對高低建筑物之間的無人機通過地物分割的引導濾波方法進行檢測（如圖7-9所示），而傳統(tǒng)的基于直線分割策略的引導濾波方法無法剔除虛假目標。如圖7 所示，使用地物分割的引導濾波算法依然能夠有效提取目標，如果只采用海天線等直線提取策略，則無法解決在高低兩個建筑物之間的無人機檢測問題。通過地物分割將地物線以下的異形區(qū)域進行分割（如圖8 所示），將該區(qū)域內(nèi)檢測出來的目標當成假目標處理，如圖9 所示，通過基于地物分割的引導濾波策略得到最終兩個建筑物之間的“低慢小”目標。

圖7 引導濾波（二）

圖8 地物分割線（二）

圖9 基于地物分割的引導濾波（二）

由于地物的特征相對固定，只需將該方位角度和俯仰角度的地物區(qū)域燒寫進程序，當需要地物分割時再進行開啟，因此地物分割部分不考慮時間的優(yōu)化問題，文中主要分析和試驗了引導濾波和自適應閾值分割部分的檢測算法優(yōu)化。

由表3 可以看出，引導濾波優(yōu)化和異型區(qū)域分割分別采用二線程和四線程進行加速，分別得到1.70 和3.22 的加速比；求矩陣均值和矩陣均值的平方和采用NEON 技術(shù)，能夠得到1.69 的加速比?？倳r間經(jīng)過優(yōu)化已經(jīng)能在10 ms 內(nèi)完成引導濾波算法優(yōu)化并最終檢測出目標，說明了使用Hi3559AV100芯片經(jīng)過優(yōu)化可以在100 Hz 頻率下完成目標檢測。

表3 各模塊優(yōu)化前后運行效率對比表

4 結(jié)論

文中首先在復雜背景并且有地物干擾的情況下，提出了一種地物分割的算法，該算法先通過Canny算子得到地物的邊緣，用邊緣點和非邊緣點在每一列的特征找到地物線的最高點，最后對一些奇異點進行修正處理，得到一個異形區(qū)域，將異形區(qū)域用于計算閾值，將地物部分可能出現(xiàn)的假目標舍棄，減少了虛警率。文中還提出將該算法移植到嵌入式設備中，采用多線程處理和NEON 技術(shù)加速算法中的矩陣運算，最終實現(xiàn)了在10 ms 內(nèi)對640×512 分辨率大小圖像的處理。下一步將進一步優(yōu)化算法，調(diào)整不同的算法和參數(shù)來應對不同的場景。