基于Hough-Harris 的消音壁頂點(diǎn)檢測

李國旺，李英，馬韻琪，夏晨旭

（長春理工大學(xué) 光電工程學(xué)院，長春 130022）

消音壁領(lǐng)域中頂點(diǎn)檢測是關(guān)鍵任務(wù)之一，其頂點(diǎn)在圖像處理中可認(rèn)為是角點(diǎn)，而角點(diǎn)一般定義為兩條邊的交點(diǎn)，是圖像中重要的結(jié)構(gòu)信息之一，在圖像處理領(lǐng)域中有著關(guān)鍵性作用。目前對角點(diǎn)定義的數(shù)學(xué)公式不具有普遍性，根據(jù)不同領(lǐng)域內(nèi)針對檢測的角點(diǎn)需求不同，其表達(dá)方式也不一樣，例如圖像亮度變化劇烈的點(diǎn)和圖像邊緣曲線的曲率局部極大值點(diǎn)等。目前角點(diǎn)檢測的方法主要分為兩種：基于灰度強(qiáng)度變化檢測和基于邊緣輪廓檢測[1]。由于基于灰度強(qiáng)度變化的檢測算法簡單、實(shí)時和穩(wěn)定性高，因此被廣泛應(yīng)用。

基于灰度強(qiáng)度變化的角點(diǎn)檢測主要通過圖像局部灰度值的變化判斷角點(diǎn)。在1977 年，Moravec[2]提出Moravec 角點(diǎn)檢測，在圖像上通過二值矩形窗口滑動尋找最小灰度值變化的最大值；1988年受Moravec思想啟發(fā)，Harris和Stephens[3]提出Harris 角點(diǎn)檢測，利用自相關(guān)矩陣求出特征值，來確 定 響 應(yīng) 函數(shù)；1997 年Smith 和Brady[4]提出SUSAN（Smallest Univalue Segment Assimilating Nucleus）角點(diǎn)檢測，利用像素領(lǐng)域的圓形模板，判斷此點(diǎn)是否屬于USAN 區(qū)域，進(jìn)而判斷是否為角點(diǎn)；1998 年Trajkovic 和Hedley[5]提 出FAST 角點(diǎn)檢測，觀察某點(diǎn)領(lǐng)域內(nèi)經(jīng)過該點(diǎn)的任意直線上的灰度變化情況，計算出水平和垂直方向灰度變化值，構(gòu)建角點(diǎn)度量函數(shù)判斷是否為角點(diǎn)。近年來，國內(nèi)外科研人員也基于上述方法作出了一些改進(jìn)，例如：2006 年Rosten 和Drummond[6]提出了高速角點(diǎn)檢測算子，利用機(jī)器學(xué)習(xí)加速角點(diǎn)檢測；2012 年Bongjoep 等人[7]利用自適應(yīng)于圖像的結(jié)構(gòu)張量檢測角點(diǎn)，提高Harris 算法的檢測準(zhǔn)確率；2013 年He 等人[8]在SUSAN 算法的基礎(chǔ)上，提出角點(diǎn)預(yù)檢測減少偽角點(diǎn)，減少計算量；2014 年Qiao 等人[9]提出了一種改進(jìn)的Harris亞像素點(diǎn)檢測算法，提高了對含有噪聲圖像角點(diǎn)檢測的準(zhǔn)確性；2017 年盧偉家等人[10]提出在Harris 算法中加入一種加權(quán)系數(shù)自適應(yīng)的均值濾波，提高精確度和檢測速度的同時減少偽角點(diǎn)的檢測；2016 年王冠群等人[11]提出一種基于高斯變換的多尺度SUSAN 角點(diǎn)檢測方法，解決了傳統(tǒng)SUSAN 算法在單一尺度下檢測角點(diǎn)的缺陷；2017 年Wang 等 人[12]針 對Harris 算 法 選 取 合適閾值的問題，提出一種迭代閾值的自適應(yīng)Harris 角點(diǎn)檢測方法；2017 年劉妍等人[13]提出一種基于SAR-FAST 角點(diǎn)檢測算法，以檢測點(diǎn)為圓心，選擇合適半徑，根據(jù)圓周上進(jìn)行滑動窗口檢測，檢測出的角點(diǎn)穩(wěn)定性和重復(fù)性好；2020 年周偉等人[14]提出一種改進(jìn)的Harris 角點(diǎn)檢測，結(jié)合多邊形逼近方法提取目標(biāo)輪廓拐角頂點(diǎn)；2021年 苗 榮 慧 等 人[15]利 用Harris 算 法 和RANSAC 去除誤匹配點(diǎn)，實(shí)現(xiàn)圖像精準(zhǔn)匹配。

綜上所述，對圖像檢測角點(diǎn)的方法眾多，都是對其檢測角點(diǎn)坐標(biāo)準(zhǔn)確率、精準(zhǔn)性、去偽角點(diǎn)或適應(yīng)性進(jìn)行改進(jìn)。但是，這些方法大多數(shù)適應(yīng)自身領(lǐng)域，對其他領(lǐng)域并沒有較好的普遍適應(yīng)性，目前消音壁毀傷評估還處于人工評估階段，并沒有對其頂點(diǎn)檢測的方法。由于毀傷后造成消音壁邊緣產(chǎn)生畸變，上述方法并不適用消音壁的頂點(diǎn)檢測。因此，本文提出一種基于Hough-Harris 的消音壁頂點(diǎn)檢測方法。首先，對圖像進(jìn)行霍夫直線檢測，以擬合直線后得到的角點(diǎn)作為基點(diǎn)；然后，再通過Harris 算法檢測出消音壁邊緣上存在的角點(diǎn)；最后，利用基點(diǎn)以及基點(diǎn)步長為10 領(lǐng)域內(nèi)的角點(diǎn)構(gòu)建回歸方程，采用基于高斯的最小二乘法求出最小誤差，進(jìn)行消音壁頂點(diǎn)預(yù)測。將Hough 算法、Harris 算法檢測出的角點(diǎn)以及本文算法預(yù)測出的角點(diǎn)與真實(shí)角點(diǎn)進(jìn)行對比分析，計算坐標(biāo)偏差，同時計算IoU（Intersection over Union）指標(biāo)，驗(yàn)證本文提出的算法檢測角點(diǎn)更符合真實(shí)角點(diǎn)，能提高角點(diǎn)檢測準(zhǔn)確性，減少后續(xù)毀傷評估、三維重建等工作任務(wù)中計算的誤差。

1 消音壁頂點(diǎn)檢測

無人機(jī)拍攝消音壁獲取圖像時，因?yàn)榕臄z時會產(chǎn)生抖動，獲取的圖像也并不是一副單獨(dú)消音壁塊，周圍還有其他部分消音壁塊。消音壁后續(xù)的毀傷評估不是對整體結(jié)構(gòu)進(jìn)行打包式評估，而是對具體的毀傷部分進(jìn)行局部毀傷評估。因此，需要對圖像進(jìn)行頂點(diǎn)檢測，通過檢測出的頂點(diǎn)進(jìn)行幾何校正，將消音壁塊從圖像中分離出來。

1.1 霍夫直線檢測

霍夫變換（Hough Transform）由Hough[16]于1962年首次提出，1972 年Duda 和Hart[17]將 此 方法推廣使用。到目前為止，霍夫變換是圖像檢測幾何形狀的基本方法之一，其變換思想是兩個不同坐標(biāo)空間之間的相互轉(zhuǎn)化，將一個空間中相同的曲線或直線一一映射到另一個空間的一個點(diǎn)上形成峰值。霍夫直線檢測（Hough Line Detection）具有連接不連續(xù)線段的特點(diǎn)，可以用于消音壁塊的邊框檢測，坐標(biāo)轉(zhuǎn)換過程如圖1 所示。

圖1 坐標(biāo)轉(zhuǎn)換過程

其中，直角坐標(biāo)系中的直線表示為：

式中，k是直線的斜率；b是直線的偏置。而直角坐標(biāo)系中點(diǎn)A的坐標(biāo)為(x0,y0)，經(jīng)過點(diǎn)A的直線有無數(shù)條，這些經(jīng)過該點(diǎn)的直線稱為一簇直線，該簇直線表示為：

因?yàn)閤0和y0為固定值，不同取值的k和b代表經(jīng)過點(diǎn)(x0,y0)的不同直線，可以將方程變換為：

此時，可以將x-y空間中過點(diǎn)A(x0,y0)的一簇直線轉(zhuǎn)換為參數(shù)空間k-b中的一條直線。同理，再在x-y空間內(nèi)增加點(diǎn)B(x1,y1)，映射為參數(shù)空間中另一條直線，兩條直線的交點(diǎn)反映射到x-y空間中為經(jīng)過A和B的一條直線，如圖2 所示。

圖2 多參數(shù)轉(zhuǎn)換圖

由此看出，經(jīng)過上述轉(zhuǎn)換后，直角坐標(biāo)系中x和y變?yōu)閰?shù)空間中斜率和偏置，此時的直線也轉(zhuǎn)換為過點(diǎn)(b0,k0)的直線簇。但是當(dāng)直角坐標(biāo)系x-y中的直線垂直于x軸，其參數(shù)k為無窮大，參數(shù)空間將不能表示直角坐標(biāo)系x-y中的直線。因此，將直角坐標(biāo)系x-y轉(zhuǎn)換為極坐標(biāo)系，此時包含表示直線的所有范圍，極坐標(biāo)形式如式（4）所示：

其中，r為原點(diǎn)到直線的距離；θ為原點(diǎn)到直線垂直距離的交點(diǎn)與橫軸的夾角。此時圖像空間上的每一個點(diǎn)對應(yīng)極坐標(biāo)系上的一條正弦曲線。直角坐標(biāo)系轉(zhuǎn)換到極坐標(biāo)的過程如圖3 所示。

圖3 轉(zhuǎn)換過程

霍夫直線檢測就將圖像中的直線轉(zhuǎn)換到參數(shù)空間（極坐標(biāo)系）中的點(diǎn)，通過參數(shù)空間中曲線的交點(diǎn)反過來求出圖像空間的直線。將圖像灰度化后進(jìn)行Canny 邊緣檢測和形態(tài)學(xué)處理，由于消音壁邊框產(chǎn)生了畸變，利用霍夫直線檢測邊框?yàn)橐恍┻B續(xù)線段，檢測線段映射到原圖上的結(jié)果如圖4 所示，其中圖4（a）和圖4（b）為消音壁樣圖。

圖4 霍夫直線檢測消音壁

檢測出消音壁四周邊框上的線段后，由于線段僅為部分邊框且不連續(xù)，需要對邊框上的線段進(jìn)行直線擬合，將擬合后的直線兩兩相交的交點(diǎn)作為消音壁頂點(diǎn)，交點(diǎn)坐標(biāo)映射到原圖的結(jié)果如圖5 所示。

圖5 擬合直線后的角點(diǎn)

1.2 Harris 角點(diǎn)檢測

Harris 角點(diǎn)檢測算法的思想即用一個滑動窗口在圖像上進(jìn)行滑動時，會產(chǎn)生三種情況，在平坦區(qū)域、在邊緣區(qū)域和在角點(diǎn)區(qū)域，如圖6 所示。在平坦區(qū)域滑動時，窗口內(nèi)灰度值變化相對平緩；在邊緣區(qū)域滑動時，窗口內(nèi)灰度值會沿某一方向（X軸或者Y軸）產(chǎn)生相對較大的波動；窗口在角點(diǎn)區(qū)域滑動時，X軸和Y軸方向都會產(chǎn)生較大波動。

圖6 窗口在不同區(qū)域上的移動

滑動窗口在圖像上平移后產(chǎn)生灰度變化的相關(guān)性用SSD（Sum of Squared Difference）計算，SSD 越大，相關(guān)性越差，中心點(diǎn)越有可能為角點(diǎn)，其數(shù)學(xué)表達(dá)式為：

其中，u和v為窗口偏移量；x和y為窗口內(nèi)像素坐標(biāo)位置；I(x,y)為在(x,y)坐標(biāo)下的像素值。對I(x+u,y+v)進(jìn)行一階泰勒展開為：

代入式（5）中，由于局部移動量[u,v]較小，變化矩陣形式近似為：

其中，自相關(guān)矩陣M表達(dá)式為：

通過自相關(guān)矩陣M可以求出該矩陣特征值λ1和λ2，利用這兩個特征值確定角點(diǎn)檢測響應(yīng)函數(shù)R為：

式中，k為錯誤角點(diǎn)響應(yīng)抑制常數(shù)，取值范圍一般為0.04～0.06。本文Harris 角點(diǎn)檢測采用核大小為5 × 5 的滑動窗口進(jìn)行檢測特征值λ1和λ2，計算出角點(diǎn)響應(yīng)函數(shù)R來判斷該點(diǎn)是否是角點(diǎn)，檢測出消音壁的角點(diǎn)結(jié)果如圖7 所示。

圖7 Harris 檢測的角點(diǎn)

1.3 Hough-Harris 角點(diǎn)檢測

霍夫直線檢測消音壁，能快速定位消音壁四周邊緣直線，擬合直線后求得的四個交點(diǎn)為消音壁大致的四個頂點(diǎn)。但是，由于消音壁經(jīng)過毀傷后四周邊框產(chǎn)生了畸變，霍夫直線檢測的直線并不能準(zhǔn)確地表達(dá)消音壁四周邊緣，而產(chǎn)生畸變后的邊緣也不能被一條直線完整的檢測到，本文霍夫直線檢測后擬合的直線是通過消音壁與消音壁之間的距離產(chǎn)生的縫隙，擴(kuò)大了直線檢測的范圍，所以，通過霍夫直線檢測出的角點(diǎn)進(jìn)行透射變換后，消音壁圖像四周存在大量縫隙，較為嚴(yán)重的影響后續(xù)對消音壁毀傷評估等操作。Harris 算法能相對準(zhǔn)確地檢測出消音壁四個頂點(diǎn)，能有效避免大量縫隙并行透射到消音壁圖中，但是，檢測出的角點(diǎn)中存在大量偽角點(diǎn)，這些偽角點(diǎn)并不是需要的，而且計算機(jī)也無法自主判斷。

綜上所述，霍夫直線檢測和Harris 角點(diǎn)檢測針對消音壁頂點(diǎn)檢測時，不能滿足精度和準(zhǔn)確需求。因此，本文提出了一種Hough-Harris 角點(diǎn)檢測方法，以霍夫直線檢測的交點(diǎn)PL為基點(diǎn)，Harris 檢測的角點(diǎn)PH為自變量，建立回歸模型，構(gòu)建回歸方程，基于高斯提出的最小二乘法求參數(shù)，其PL與PH關(guān)系表達(dá)式為：

其中，Py為PH與PL縱坐標(biāo)差值；Px為PH與PL橫坐標(biāo)差值；β0為偏置；β1為斜率；ε為Px與Py之間的線性關(guān)系外的隨機(jī)因素，即誤差項(xiàng)。回歸方程表達(dá)式為：

對于每個角點(diǎn)PH：

由于誤差服從高斯分布，則：

將式（12）代入式（13）可得：

則似然函數(shù)為：

對似然函數(shù)取對數(shù)后：

化簡后，求出最佳公式為：

將式（17）代入回歸方程（11）中，求偏導(dǎo)后求解可得：

獲取回歸方程后，以霍夫直線檢測的交點(diǎn)為原點(diǎn)，相鄰的兩個交點(diǎn)方向?yàn)樽鴺?biāo)方向，構(gòu)建參數(shù)空間，原點(diǎn)到對角交點(diǎn)的方向?yàn)轭A(yù)測真實(shí)角點(diǎn)的方向。為方便計算，將參數(shù)空間映射到直角坐標(biāo)系中，與回歸方程的交匯處為預(yù)測的角點(diǎn)。回歸方程的計算選取距離原點(diǎn)步長不超過10 個像素點(diǎn)的Harris 檢測出的角點(diǎn)，而且在參數(shù)空間一、三象限內(nèi)的角點(diǎn)。

2 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)硬件環(huán)境為：Intel Core i7-7700H CPU；內(nèi)存為16 GB；64 位Windows10 操作系統(tǒng)。軟件實(shí)施平臺為Visual Studio 2019，消音壁部分全景圖如圖8 所示。

圖8 消音壁部分全景圖

選取圖4 驗(yàn)證本文Hough-Harris 角點(diǎn)檢測算法性能，其中，圖4（a）和圖4（b）為消音壁樣圖，圖5（a）和圖5（b）為霍夫直線檢測的角點(diǎn)圖，圖7（a）和圖7（b）為Harris 角點(diǎn)檢測圖，分別求出Hough、Harris 和Hough-Harris 算法檢測出的角點(diǎn)坐標(biāo)，與真實(shí)值進(jìn)行對比。結(jié)果如表1、表2 所示。

表1 樣圖一檢測角點(diǎn)坐標(biāo)（單位：像素）

表2 樣圖二檢測角點(diǎn)坐標(biāo)（單位：像素）

根據(jù)表1 和表2 可知，圖像中Harris 檢測出的角點(diǎn)個數(shù)根據(jù)響應(yīng)函數(shù)選取的閾值T變化而不同：閾值T越小，角點(diǎn)響應(yīng)越強(qiáng)烈，獲取的角點(diǎn)也越多；閾值T越大，角點(diǎn)響應(yīng)越微弱，檢測出的角點(diǎn)也越少。閾值T大小的選取影響角點(diǎn)檢測個數(shù)，同時，也影響計算機(jī)運(yùn)算時間，每個角點(diǎn)響應(yīng)都需要計算，閾值選取過小時，會產(chǎn)生大量偽角點(diǎn)，大量增加了計算機(jī)運(yùn)算負(fù)荷。因此，本文選取閾值T為85，在能檢測出角點(diǎn)的同時，減少偽角點(diǎn)的出現(xiàn)，提高計算機(jī)計算性能。樣圖二的Harris 檢測出的角點(diǎn)較多，本文僅選取離基點(diǎn)歐氏距離最近的前8 個角點(diǎn)進(jìn)行驗(yàn)證?；舴蛑本€檢測角點(diǎn)、Harris 檢測角點(diǎn)和本文算法檢測角點(diǎn)與真實(shí)角點(diǎn)偏差對比分析，本文算法檢測的角點(diǎn)普遍靠近原點(diǎn)，結(jié)果如圖9 所示。

圖9 角點(diǎn)偏差分析

從表3 可以看出，Hough 算法的PLx和PLy偏差最大，本文算法的PLHx和PLHy偏差最小。然后，利用各種算法檢測出的角點(diǎn)，計算四邊形面積，通過IoU 計算評估算法，IoU 計算的是“預(yù)測的邊框”和“真實(shí)的邊框”的交疊率，即他們的交集和并集的比值。理想情況下比值為1，即完全重疊。IoU 計算過程如圖10 所示，計算結(jié)果如表3所示。

圖10 IoU 原理

表3 IoU 結(jié)果對比分析

由表3 可知，樣圖一和樣圖二通過Hough 算法檢測角點(diǎn)形成面積的IoU 為93.37%和96.02%；通過Harris 算法檢測角點(diǎn)形成面積的IoU 為95.82%和96.51%；而本文算法檢測形成的IoU 能達(dá)到98.13%和98.71%。本文算法檢測的IoU 比Hough 算法和Harris 算法檢測的IoU 分別高4.76%、2.69% 和2.31%、2.20%。因此，本文算法檢測消音壁角點(diǎn)更接近真實(shí)值，透射變換后圖像如圖11 所示。

圖11 校正后的消音壁

3 結(jié)論

為了更精確地檢測出消音壁四個頂點(diǎn)，本文提出一種基于Hough-Harris 的消音壁頂點(diǎn)檢測算法。本文算法以Hough 算法檢測的角點(diǎn)為基點(diǎn)，以基點(diǎn)自身步長在10 以內(nèi)Harris 算法檢測的角點(diǎn)為樣本點(diǎn)，構(gòu)建回歸方程，基于高斯提出的最小二乘法求解最小誤差，能有效去除Harris 算法檢測的偽角點(diǎn)，預(yù)測出消音壁四個頂點(diǎn)坐標(biāo)。實(shí)驗(yàn)結(jié)果表明，本文算法預(yù)測頂點(diǎn)坐標(biāo)與真實(shí)頂點(diǎn)坐標(biāo)偏差量都小于Hough 算法和Harris 算法檢測出的角點(diǎn)；本文算法的IoU 評估指標(biāo)高達(dá)98%以上，高于Hough 算法和Harris 算法的IoU 指標(biāo)。因此，本文算法能較精確地檢測出消音壁頂點(diǎn)的同時，也有助于提高后續(xù)對消音壁毀傷評估、三維重建等工作任務(wù)的精度。