半稠密光流法的圖像跟蹤匹配算法

余曉毅 宋濤 衛(wèi)排鋒 馬愛萍

摘? 要：針對(duì)傳統(tǒng)光流法圖像特征缺失、邊界及遮擋等處容易導(dǎo)致目標(biāo)跟蹤質(zhì)量降低或丟失的問題，提出一種半稠密光流法實(shí)現(xiàn)圖像特征的穩(wěn)定跟蹤。首先計(jì)算出圖像中像素梯度變化較大的像素區(qū)域;其次利用時(shí)變圖像灰度的時(shí)空梯度函數(shù)來計(jì)算像素的速度矢量，進(jìn)而實(shí)現(xiàn)像素區(qū)域的跟蹤;最后將狀態(tài)向量作為剔除跟蹤失敗的依據(jù)，保留跟蹤質(zhì)量?jī)?yōu)良的像素區(qū)域。結(jié)果表明，該算法能有效地提高圖像特征跟蹤能力，保證圖像中重要信息不丟失，同時(shí)保證運(yùn)算速率。

關(guān)鍵詞：光流法;半稠密;圖像處理;特征跟蹤

中圖分類號(hào)：TP391? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2096-1472（2021）-04-22-04

Abstract： Traditional optical flow method tends to cause poor quality or loss of target tracking in areas of image feature missing， boundary and occlusion. In view of this problem， this paper proposes a semi-dense optical flow method to achieve stable tracking of image features. First， pixel area with great gradient changes in the image is calculated. Secondly， pixel velocity vector is calculated by spatiotemporal gradient function of time-varying image gray in order to realize pixel area tracking. Finally， state vector is used as a basis for removing tracking failure and pixel area with good tracking quality is retained. Results show that the proposed algorithm can effectively improve image feature tracking ability and ensure important information in the image and calculation rate.

Keywords： optical flow method; semi-dense; image processing; feature tracking

1? ?引言（Introduction）

圖像匹配作為計(jì)算機(jī)視覺的基礎(chǔ)算法十分重要，傳統(tǒng)的圖像匹配主要分為兩類：一類是基于特征點(diǎn)的方法[1]，另一類是基于灰度不變假設(shè)[2]。基于特征點(diǎn)的圖像匹配方法主要有SIFT[3-4]、SURF[5]以及高效的ORB[6-7]特征提取算法。特征點(diǎn)法總體計(jì)算量大，耗時(shí)長(zhǎng)?；诨叶炔蛔兗僭O(shè)的圖像匹配方法主要以光流法為主。目前主要的光流法可以分為兩類：一類是以Lucas-Kanade（LK）[8]光流法為代表的稀疏光流法，另一類是以Horn-Schunck（HS）[9]光流法為代表的稠密光流法。由于LK光流法中只對(duì)特征點(diǎn)進(jìn)行追蹤，丟掉圖像中大量的有用信息，容易導(dǎo)致特征不足[10]。HS光流法主要以整幅圖像作為特征跟蹤的依據(jù)，存在計(jì)算量較大、耗時(shí)較長(zhǎng)等問題。

針對(duì)光流法中存在的問題，本文提出一種半稠密光流法的圖像跟蹤匹配算法。根據(jù)圖像中的梯度變化，選取梯度值較大區(qū)域作為光流法跟蹤的目標(biāo)，保留跟蹤質(zhì)量?jī)?yōu)良的像素區(qū)域。該算法相較于LK光流法能有效地提高特征跟蹤能力，保證圖像中重要信息不丟失，同時(shí)提高運(yùn)算速率。

2? 半稠密光流法原理（Principle of semi-dense optical flow method）

2.1? ?半稠密光流算法流程

光流法是一種提取速度快、性能良好的算法。但是目前主流的光流法均存在一定缺陷。LK光流法能快速實(shí)現(xiàn)特征提取及跟蹤，但是只提取了圖像的特征點(diǎn)，而舍棄了圖像中其他重要的信息，導(dǎo)致LK光流法獲得的數(shù)據(jù)在后續(xù)的處理中只能獲得稀疏性質(zhì)的結(jié)果。HS光流法需要對(duì)整幅圖像進(jìn)行光流法處理，耗費(fèi)計(jì)算資源，同時(shí)需要耗費(fèi)大量時(shí)間。

本文提出的半稠密光流法的圖像跟蹤匹配算法能在最大程度保留圖像信息的同時(shí)提高運(yùn)算速率，減少運(yùn)算時(shí)間，是一種快速、準(zhǔn)確、穩(wěn)定的圖像匹配算法，流程如圖1所示。

2.2? ?半稠密區(qū)域選取

半稠密區(qū)域選取主要以灰度梯度的變化作為選取依據(jù)，將灰度變化較大的區(qū)域選取出來作為特征區(qū)域。具體實(shí)現(xiàn)流程如下：

（1）首先遍歷源圖像灰度圖中的各個(gè)像素，剔除遍歷像素中位置處于邊緣10像素范圍以內(nèi)的灰度點(diǎn)。

（2）構(gòu)造一個(gè)二維向量，用于存儲(chǔ)選取的每個(gè)像素周圍相鄰像素間的灰度變化值。其中每個(gè)像素周圍灰度變化值由公式（1）計(jì)算獲得：

其中表示原圖灰度，表示梯度向量，表示像素坐標(biāo)。

（3）設(shè)置閾值，判斷灰度梯度向量的二范數(shù)是否大于閾值。當(dāng)梯度向量二范數(shù)大于閾值時(shí)，保留特征區(qū)域，作為光流法跟蹤的特征區(qū)域;反之剔除該區(qū)域，計(jì)算下一區(qū)域。

2.3? ?光流算法原理

在輸入的數(shù)據(jù)中，我們可以認(rèn)為相鄰幀之間的圖像是存在對(duì)應(yīng)關(guān)系的，根據(jù)這些對(duì)應(yīng)關(guān)系，我們可以計(jì)算出幀間的運(yùn)動(dòng)信息，從而實(shí)現(xiàn)對(duì)圖像特征的追蹤。光流法主要取決于三個(gè)條件：相鄰幀圖像間灰度不變假設(shè)、幀間圖像時(shí)間連續(xù)性假設(shè)以及空間一致性假設(shè)。假設(shè)為圖像點(diǎn)在時(shí)刻的圖像灰度，經(jīng)過時(shí)間像素點(diǎn)移動(dòng)位移為，那么此時(shí)的灰度值為。根據(jù)泰勒公式將其展開可以得到：

由于光流法是基于灰度不變假設(shè)，因此得到灰度關(guān)系為：

所以得到的約束方程。

由于其基于灰度不變?cè)恚虼水?dāng)相機(jī)運(yùn)動(dòng)過快時(shí)，會(huì)導(dǎo)致灰度變化較大，特征點(diǎn)跟蹤丟失。所以引入高斯金字塔分層來改進(jìn)光流法，采用由粗到細(xì)的匹配策略來對(duì)光流進(jìn)行估計(jì)。高斯金字塔模型如圖2所示。

假設(shè)同一尺度下的兩張圖像的灰度分別為和。選取圖像的一點(diǎn)，那么在圖像中存在追蹤點(diǎn)，其中為像素點(diǎn)的幀速。選定一個(gè)大小為和的矩形窗口，將像素點(diǎn)幀速的最小化函數(shù)定義為：

根據(jù)圖2構(gòu)造的迭代金字塔模型，通過降采樣的迭代跟蹤實(shí)現(xiàn)最小化函數(shù)的求值。

3 實(shí)驗(yàn)結(jié)果及分析（Experimental results and analysis）

為了驗(yàn)證本文半稠密光流法的有效性，主要使用標(biāo)準(zhǔn)數(shù)據(jù)集中圖片，分別采用ORB特征點(diǎn)法和本文算法、LK光流法和本文算法在圖像信息提取量與耗時(shí)上進(jìn)行對(duì)比分析。根據(jù)實(shí)驗(yàn)如圖3所示。

其中圖3（a）、圖3（c）、圖3（e）表示三組圖像分別采用ORB特征匹配的結(jié)果，圖3（b）、圖3（d）、圖3（f）分別表示采用半稠密光流法實(shí)現(xiàn)圖像跟蹤結(jié)果。通過三組圖像匹配實(shí)驗(yàn)結(jié)果可以看出，ORB特征點(diǎn)法雖然能進(jìn)行圖像匹配，但是只能保存特征點(diǎn)的信息，無法保存圖像信息。同時(shí)我們也可以看出，ORB特征點(diǎn)匹配存在大量的誤匹配點(diǎn)。而本文算法結(jié)果可以看出，圖像中包含了大量有用信息，保證了圖像信息最大化地保留，同時(shí)也保證了圖像特征的穩(wěn)定高效跟蹤。

在以上三組圖像跟蹤實(shí)驗(yàn)中，提取ORB特征點(diǎn)法與本文算法的數(shù)據(jù)如表1所示。根據(jù)表1分析可知：采用本文算法進(jìn)行特征跟蹤的數(shù)目是ORB特征點(diǎn)法檢測(cè)數(shù)目的幾十倍以上，證明本文算法能很好地保留圖像信息。同時(shí)可以看出，本文算法在計(jì)算每組圖像每一個(gè)特征區(qū)域時(shí)耗時(shí)分別為0.1624 ms、0.193 ms、0.175 ms，ORB特征點(diǎn)法在計(jì)算每組圖像每一個(gè)特征點(diǎn)時(shí)耗時(shí)分別為0.74 ms、0.78 ms、0.74 ms?？梢姳疚乃惴ㄔ谶\(yùn)行速度上遠(yuǎn)遠(yuǎn)快于ORB特征點(diǎn)法。

將半稠密光流法與LK光流法進(jìn)行圖像匹配效果對(duì)比，結(jié)果如圖4所示。

其中圖4（a）、圖4（c）、圖4（e）分別表示LK光流法實(shí)現(xiàn)圖像跟蹤結(jié)果，圖4（b）、圖4（d）、圖4（f）分別表示半稠密光流法實(shí)現(xiàn)圖像跟蹤結(jié)果。通過三組圖像匹配實(shí)驗(yàn)結(jié)果可以看出，LK光流法能較好地實(shí)現(xiàn)特征跟蹤，但是只能提取圖像中的特征點(diǎn)，無法保留圖像中有用的信息。而本文算法結(jié)果可以看出，圖像中包含了大量有用信息，保證了圖像信息最大化地保留，同時(shí)也保證了圖像特征的穩(wěn)定高效跟蹤。在以上三組圖像跟蹤實(shí)驗(yàn)中，提取LK光流法與本文算法數(shù)據(jù)如表2所示。

根據(jù)表2分析可知：采用本文算法進(jìn)行特征跟蹤的數(shù)目是LK光流法檢測(cè)數(shù)目的幾倍以上，證明本文算法能很好地保留圖像信息。采用本文算法進(jìn)行特征跟蹤時(shí)，圖像特征丟失率均處于較低水準(zhǔn)，證明本文算法相較于LK光流法具有更好的穩(wěn)定性和更高的跟蹤質(zhì)量。根據(jù)表格分析耗時(shí)情況可以看出，根據(jù)圖像對(duì)光流跟蹤總耗時(shí)和檢測(cè)特征點(diǎn)數(shù)目可計(jì)算LK光流法三組平均每一個(gè)特征點(diǎn)時(shí)耗時(shí)分別為0.256 ms、0.1066 ms、0.135 ms。本文算法在部分場(chǎng)景下運(yùn)算速度高于LK光流法，在其他場(chǎng)景下運(yùn)算速度同LK光流法也不相上下。

綜上分析可知：本文算法整體性能優(yōu)異，能在保證運(yùn)算速率的前提下，充分提取圖像中的有用信息，同時(shí)實(shí)現(xiàn)穩(wěn)定的特征跟蹤。

4? ?結(jié)論（Conclusion）

采用LK光流法進(jìn)行特征跟蹤時(shí)，圖像中大量有用信息都被丟失，容易導(dǎo)致后續(xù)處理過程中圖像信息不足。同時(shí)特征跟蹤穩(wěn)定性較差，容易造成特征丟失。采用ORB特征點(diǎn)算法進(jìn)行特征匹配時(shí)不僅會(huì)丟失大量圖像信息，同時(shí)由于要計(jì)算特征描述子，需要耗費(fèi)大量的時(shí)間。本文針對(duì)以上問題提出了半稠密光流法的圖像跟蹤匹配算法，該算法將LK光流法中FAST角點(diǎn)檢測(cè)替換為圖像灰度梯度檢測(cè)，通過對(duì)梯度較大的圖像區(qū)域?qū)崿F(xiàn)光流法跟蹤，能有效地保留圖像中的有用信息，同時(shí)提高圖像中特征區(qū)域的匹配質(zhì)量，保證運(yùn)算速率。通過與ORB特征點(diǎn)、LK光流法的對(duì)比實(shí)驗(yàn)，我們可以得出：該算法能有效提高特征跟蹤能力，保證圖像中重要信息不丟失，同時(shí)保證算法的運(yùn)算速率以及穩(wěn)定性。

參考文獻(xiàn)（References）

[1] LIU Y， CAO J Z， XU Z H， et al. Improvement of image matching algorithm based on gray correlation[J]. Journal of Applied Optics， 2007， 11（1）：68-73.

[2] ZHONG W B， NING X B， WEI C J. A fingerprint matching algorithm based on relative topological relationship among minutiae[C]. International Conference on Neural Networks and Signal Processing. IEEE， 2008：225-228.

[3] LOWE D G. Object recognition from local scale-invariant features[C]. Proceedings of the Seventh IEEE International Conference on Computer Vision. IEEE， 1999：1-8.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004， 60（2）：91-110.

[5] BAY H， TUYTELAARS T， GOOL L V. SURF： Speeded up robust features[C]. European Conference on Computer Vision. Springer-Verlag， 2006：404-417.

[6] RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF[C]. 2011 International Conference on Computer Vision. IEEE， 2012：2564-2571.

[7] 曾慶化，陳艷，王云舒，等.一種基于ORB的快速大視角圖像匹配算法[J].控制與決策，2017，32（12）：2233-2239.

[8] LUCAS B D， KANADE T. An iterative image registration technique with an application to stereo vision[C]. Proceedings of the 7th International Joint Conference on Artificial Intelligence. Morgan Kaufmann， 1981：121-130.

[9] BRUHN A， WEICKERT J， SCHNORR C. Lucas/kanade meets horn/schunck： Combining local and global optic flow methods[J]. International Journal of Computer Vision， 2005， 61（3）：211-231.

[10] 盧勝男，李小和.結(jié)合雙向光流約束的特征點(diǎn)匹配車輛跟蹤方法[J].交通運(yùn)輸系統(tǒng)工程與信息，2017，17（4）：76-82.

作者簡(jiǎn)介：

余曉毅（1977-），男，碩士，講師.研究領(lǐng)域：圖像處理，機(jī)器學(xué)習(xí).

宋? 濤（1987-），男，博士，副教授.研究領(lǐng)域：人體姿態(tài)識(shí)別，圖像三維重建.

衛(wèi)排鋒（1974-），女，本科，副教授.研究領(lǐng)域：信號(hào)分析，數(shù)據(jù)處理.

馬愛萍（1978-），女，本科，副教授.研究領(lǐng)域：大數(shù)據(jù)，人工智能.