基于機(jī)器視覺的河水表面流速估計

馮 全，張彥洪，趙曉剛

?

基于機(jī)器視覺的河水表面流速估計

馮 全1，張彥洪2，趙曉剛1

（1. 甘肅農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，蘭州 730070；2. 甘肅農(nóng)業(yè)大學(xué)水利水電學(xué)院，蘭州 730070）

為了解決河水流速的視頻測量需要投擲浮標(biāo)、效率低等問題，提出了基于機(jī)器視覺的河水表面流速測量方法。采用高清攝像機(jī)拍攝河水流動視頻，捕捉河水流動時表面產(chǎn)生的波浪運(yùn)動。為了凸顯這些細(xì)微的水面運(yùn)動，利用幀差法計算運(yùn)動顯著性圖。提取相鄰2幀顯著性圖的SURF特征點(diǎn)，通過特征點(diǎn)匹配法找出相鄰2幀的匹配點(diǎn)，將匹配點(diǎn)間的距離作為特征點(diǎn)在2幀圖像間的運(yùn)動距離。計算了多幀圖像間特征點(diǎn)運(yùn)動距離的直方圖，該直方圖具有單峰特征；通過對直方圖進(jìn)行曲線擬合準(zhǔn)確地找到峰值對應(yīng)的距離，將其作為最優(yōu)的運(yùn)動距離。最后結(jié)合幀間時間和根據(jù)小孔成像原理導(dǎo)出的速度公式估計出河水表面流速。為了驗證該方法的有效性，用流速儀和該方法進(jìn)行了對比試驗。結(jié)果表明，該方法具有精度好、穩(wěn)定性高和運(yùn)算速度快的優(yōu)點(diǎn)。在低、中速河流速度估計時，該方法最大變異系數(shù)為1.63%，與流速儀測量結(jié)果的最大相對誤差僅為3.12%。對2組數(shù)據(jù)的一致性分析表明，2組數(shù)據(jù)的皮爾遜相關(guān)系數(shù)和斯皮爾曼相關(guān)系數(shù)分別為0.998和0.990，顯示了該方法的速度估計值與流速儀實測值有良好的一致性。與已有的圖像處理方法相比，不僅更為準(zhǔn)確，而且耗時更短。研究可為用其他機(jī)器視覺處理算法估計復(fù)雜水面和高速水流提供參考。

河流；速度；視頻；SURF特征；水流；幀差

0 引 言

人眼通過觀察河水表面紋理細(xì)節(jié)的運(yùn)動變化，可以察覺到水的流動，有經(jīng)驗的水文工作者甚至可以較精確地估計出河水的流速。流速測量是水文監(jiān)測的重要工作之一，目前的流速測量依賴于各種儀器。常用的河水流速測量方法主要分為3類[1-4]：第1類是傳統(tǒng)的流速儀測量法，其主要原理是通過水流帶動旋槳轉(zhuǎn)動，記錄旋槳轉(zhuǎn)速，通過一定的映射關(guān)系可算出流速；第2類是通過聲學(xué)多普勒效應(yīng)來測量流速，主要用于測量船，存在著設(shè)備和人力投入大、成本高的問題；第3類是非接觸式，如微波多普勒測速儀，適合于測量流速較高的河水。近年來，一些研究者采用基于視頻處理的流速測量方法[5-6]，如文獻(xiàn)[6]通過跟蹤水流視頻中浮標(biāo)的運(yùn)動軌跡，結(jié)合攝像機(jī)標(biāo)定來計算流速。但該類方法需要投擲浮標(biāo)，無法對流速進(jìn)行不間斷實時監(jiān)測。

傳統(tǒng)模擬攝像機(jī)分辨率不高，加之要受到電磁傳輸干擾、A/D轉(zhuǎn)換、D1畫面的合成反交錯等視頻損傷，使得圖像細(xì)節(jié)紋理丟失嚴(yán)重。用此類攝像機(jī)拍攝的流水視頻中，流水運(yùn)動產(chǎn)生的細(xì)節(jié)變化在視頻上往往觀察不清，因此傳統(tǒng)的方法需要借助浮標(biāo)或者示蹤子，通過觀察浮標(biāo)的運(yùn)動才能在圖像中分析流水的運(yùn)動。近年來，數(shù)百萬乃至千萬分辨率的高清數(shù)字?jǐn)z像機(jī)在運(yùn)動檢測和目標(biāo)跟蹤方面應(yīng)用越來越多，目前主要用于車輛違章抓拍[7-12]和行人跟蹤[8-17]方面。借助高分辨率的攝像機(jī)也能較好地觀測到水面波動的紋理細(xì)節(jié)，特別是含有泥沙的河水，水流表面運(yùn)動模式比較明顯。本文在利用高清攝像頭拍攝序列圖像（視頻）的基礎(chǔ)上，提出了基于機(jī)器視覺的非接觸河水表面流速估計方法，通過在運(yùn)動顯著性圖像上提取關(guān)鍵點(diǎn)的SURF特征來描述河水流動過程中產(chǎn)生波動的運(yùn)動特征，然后通過特征點(diǎn)匹配的方法找到對應(yīng)的運(yùn)動點(diǎn)，計算出這些特征點(diǎn)的運(yùn)動距離，以此估計水面的實際運(yùn)動速度。

1 測量原理

攝像機(jī)最常用的模型是小孔成像模型。在該模型中，景物通過攝像機(jī)光軸中心投射到成像平面，如圖1所示，采用三參數(shù)模型時，景物點(diǎn)（,,）投影到成像平面為成像點(diǎn)（,），再轉(zhuǎn)換為圖像點(diǎn)（p, p），則[18]：

式中1=，是成像平面到圖像平面的放大系數(shù),為攝像機(jī)焦距；(p0,p0)是光軸中心在成像平面的交點(diǎn)的圖像坐標(biāo)。式（1）中的3個參數(shù)可以通過攝像機(jī)標(biāo)定得到[18]。

注：為景物點(diǎn)，為其在圖像平面的像點(diǎn)，為攝像機(jī)焦距。

Note:,anddenote object point, image point and focal length, respectively.

圖1 小孔成像原理

Fig.1 Principle of pinhole imaging

由文獻(xiàn)[18]可知，當(dāng)景物點(diǎn)在垂直于光軸的景物平面時（該平面平行于圖像平面），景物平面的一點(diǎn)從1(1,1,)運(yùn)動到2(2,2,)時，在圖像平面上對應(yīng)點(diǎn)從1(p1,p1)運(yùn)動到2(p2,p2)，其關(guān)系滿足：

在測量河水表面流速時,攝像機(jī)鏡頭垂直于水面,水面可視為一平面。通過測量流水視頻中的特征點(diǎn)的運(yùn)動速度、水面到攝像機(jī)距離以及參數(shù)1可估計出河水表面的實際流速。

2 基于視頻的表面流速估計

文獻(xiàn)[19]采用模板匹配的方法來估計流速，需要先在前一幀圖像上提取大小合適的區(qū)域作為模板以便在后一幀圖像上進(jìn)行模板匹配。但這種方法提取的模板數(shù)量和匹配上的區(qū)域數(shù)量較少，水面波動較大、流速較高時流速估計的偏差與方差都比較大。而本文提取圖像的局部特征點(diǎn)來匹配，在各種流速的視頻上均能提取出更多數(shù)量特征點(diǎn)，匹配點(diǎn)數(shù)量也較多；本文還采用特征點(diǎn)運(yùn)動距離的眾數(shù)而不是距離平均來求流速。這些措施使得流速估計結(jié)果更加可靠。圖2給出了本方法估計河水表面流速時的流程圖。

圖2 河水表面流速估計的流程圖

2.1 運(yùn)動幀差圖

車輛或行人運(yùn)動檢測時，運(yùn)動目標(biāo)和背景差異非常大，因為作為背景的路面或建筑是不動的，且顏色、形狀與待檢的運(yùn)動目標(biāo)也有很大差別。但在河流表面，水面作為整體是一起運(yùn)動的，在完全平靜而清澈的水面，視覺幾乎無法察覺出水的運(yùn)動。只有在河水有一定含沙量且水流運(yùn)動不穩(wěn)定，能夠形成一定波浪，它們與周圍均勻水面對光照有反射差異時，才能通過視覺感知水的流動，從而判斷流速。波浪與周圍均勻水面屬于同一物質(zhì)，很多情況下，即便是在高清攝像機(jī)拍攝圖像中其差異也不是很明顯，圖3a和3b分別給出了這樣的例子（視頻的一幀原圖和對應(yīng)的灰度圖）。這種情形給從河面圖像中檢測運(yùn)動特征點(diǎn)造成了很大困難，如圖3d中計算SURF特征點(diǎn)時，只能找到很稀疏的若干點(diǎn)，造成在相鄰幀上進(jìn)行特征點(diǎn)匹配時數(shù)量太少，無法魯棒地估計運(yùn)動速度。本文的解決思路是利用波浪運(yùn)動造成連續(xù)2幀圖像的差異放大運(yùn)動區(qū)域，生成運(yùn)動幀差圖。設(shè)視頻中當(dāng)前幀為I（灰度圖，=1,2,…），前一幀為I-1，則時刻的運(yùn)動幀差圖M計算如下：

（3）

式中2、3為預(yù)設(shè)系數(shù)，1為預(yù)設(shè)閾值。通過給2設(shè)置大于1的值，可給予運(yùn)動顯著區(qū)域的像素較大的系數(shù)，突出運(yùn)動部位。

圖3 SURF特征點(diǎn)的提取與匹配實例

2幀圖像相減后，對于視覺無法感知運(yùn)動的均勻水面，其對應(yīng)值接近于0；對于視覺可以感知的運(yùn)動波浪，由于連續(xù)2幀圖像中其位置不同，其對應(yīng)值較大。這種差異的增大為后續(xù)魯棒地提取更多數(shù)量的特征點(diǎn)提供了基礎(chǔ)。圖3c是在圖3b上計算出的運(yùn)動幀差圖，可以看出圖中對應(yīng)于原圖，運(yùn)動的波浪部分被很好地凸顯出來。

2.2 運(yùn)動特征點(diǎn)的提取與匹配

在機(jī)器視覺的文獻(xiàn)中已經(jīng)提出來很多特征點(diǎn)（關(guān)鍵點(diǎn)）的提取方法以及特征描述方法[20]，如SIFT描述子[21]、SURF描述子[22]、GIST算子[23]等。其中SURF是機(jī)器視覺中一種常用的局部特征描述算子[24-26]，用來描述某點(diǎn)周圍空間的特征，將特征表述為一個特征向量，具有對圖像縮放、旋轉(zhuǎn)、甚至仿射變換保持不變性的圖像局部特征描述算子的特點(diǎn)。試驗表明SURF特征描述算子能很好地描述河流運(yùn)動所產(chǎn)生的波紋，并且計算速度快。故本文在運(yùn)動顯著性圖中提取特征點(diǎn)的SURF特征描述算子來表示運(yùn)動特征，基本計算步驟如下：

1）通過Hessian矩陣，找出圖像上的特征點(diǎn)；

2）構(gòu)建尺度空間，定位特征點(diǎn)；

3）基于Harr小波提取特征點(diǎn)描述子。

圖3f給出了相鄰運(yùn)動顯著圖上特征點(diǎn)匹配的例子，其中2個有連線的點(diǎn)表示一對匹配點(diǎn)，可以看到出現(xiàn)了部分長距離匹配點(diǎn)，顯然這是錯誤的匹配。為了進(jìn)一步提高匹配的可靠性，還應(yīng)考慮運(yùn)動的空間約束。因為流水的速度通常并不很快，圖像中的特征點(diǎn)在有限時間內(nèi)的運(yùn)動位移是有限的，因此m的對應(yīng)點(diǎn)m位置只能出現(xiàn)在其周圍一定空間內(nèi)。這樣，可根據(jù)預(yù)先設(shè)定的空間約束條件進(jìn)一步刪除部分錯誤匹配的點(diǎn)。若記d=|m-m|為2匹配點(diǎn)的坐標(biāo)距離，則它們之間的空間約束條件為：2≤d≤3，2和3為預(yù)設(shè)的閾值，其值與流速、圖像分辨率、攝像機(jī)高度等有關(guān)，在本文的試驗條件下，2和3分別為設(shè)定為5和100像素，能滿足濾去部分誤匹配點(diǎn)，而基本不會丟掉正確匹配點(diǎn)的要求。圖3g給出了在空間約束條件下計算出的匹配情況，可以看出效果比圖3f好，更符合人的視覺感知。

河面中常有一些漂浮物，可以近似為剛體，在運(yùn)動跟蹤時起到了示蹤子的作用，其運(yùn)動形態(tài)比波浪更好檢測。圖3h給出了有漂浮物時運(yùn)動點(diǎn)匹配的例子。

2.3 表面流速的估計

在相鄰2幀運(yùn)動顯著性圖上可以找到多對運(yùn)動匹配點(diǎn)，每對點(diǎn)的運(yùn)動距離并不相同，說明各點(diǎn)速度并不相同，這反映了攝像機(jī)視場內(nèi)河面各點(diǎn)運(yùn)動并不是一致的。此外，從圖3g也可以看出，在2幀運(yùn)動顯著性圖上找到的匹配點(diǎn)對在視場中分布并不均勻，它們能否代表整個視場的流速并不確定。但是如果在一段時間內(nèi)將多幀圖像上的匹配點(diǎn)對累積繪制在1張圖上，則可以看出視場中匹配點(diǎn)對是基本均勻分布的，圖4繪制了某段視頻多幀運(yùn)動顯著性圖上的匹配點(diǎn)對的累積分布情形。為了得到可靠的流速，本文并不計算單個特征點(diǎn)在2幀之間的速度，而是求視場內(nèi)河面一段時間的平均流速的最優(yōu)估計。即按照2.2節(jié)的方法估計出（試驗中取100）幀運(yùn)動顯著性圖以及所有相鄰2幀上匹配特征點(diǎn)的最優(yōu)運(yùn)動距離后*后，在圖像上平均流速的最優(yōu)估計值*為

注：圖中的大方框區(qū)域是對小方框區(qū)域的放大。

Note: In the figure, the large box area is an enlargement of the small box area.

圖4 多幀運(yùn)動顯著圖上SURF特征點(diǎn)累積分布圖

Fig.4 Accumulated distribution of SURF features through multiple maps of motion saliency

為了得到*，以運(yùn)動距離為橫軸，落在某段距離范圍內(nèi)的點(diǎn)對數(shù)為縱軸，進(jìn)行直方圖統(tǒng)計。發(fā)現(xiàn)一段時間內(nèi)各特征點(diǎn)對的運(yùn)動距離密集分布在一定范圍內(nèi)，直方圖通常呈現(xiàn)單峰分布，接近于正態(tài)分布。圖5繪出了在某段河流視頻中連續(xù)100幀運(yùn)動顯著性圖上的相鄰圖匹配點(diǎn)位移－頻次直方圖，橫坐標(biāo)的單位是像素。本文取直方圖中峰值處對應(yīng)的橫坐標(biāo)距離為運(yùn)動距離的最優(yōu)估計，這相當(dāng)于采用距離的眾數(shù)作為估計依據(jù)。對大量直方圖的觀察發(fā)現(xiàn)，雖然大部分直方圖呈單峰性，但會出現(xiàn)下面的3種情形：1）部分直方圖的偏度不為0；2）有些直方圖峰值處較為平坦；3）有些可能出現(xiàn)相鄰雙峰。此外受直方圖坐標(biāo)橫軸統(tǒng)計間隔精度影響，即便是單峰，也不能在直方圖上對峰值處準(zhǔn)確定位。為了解決以上問題，本文采用了曲線擬合，即計算出直方圖后，再用如下高斯曲線對其進(jìn)行擬合：

式中為匹配特征點(diǎn)的運(yùn)動距離（像素），()表示對直方圖的擬合高斯曲線，為其標(biāo)準(zhǔn)差，是其高度。

通過曲線擬合得到運(yùn)動距離最優(yōu)估計*后，代入式（4）可計算出視頻中特征點(diǎn)的平均運(yùn)動速度，也就是圖像上流速的估計值。再利用式（2）和攝像機(jī)參數(shù)可以計算實際流速。由于運(yùn)動距離是相對位移，且本文不考慮運(yùn)動方向，故河水表面平均流速*（m/s）估計公式可簡化為：

*=*/1（6）

式中為攝像機(jī)鏡頭到水面距離，m。

圖5 距離直方圖示例

3 案例及結(jié)果分析

3.1 試驗設(shè)備及參數(shù)設(shè)置

試驗中視頻采集使用的攝像機(jī)為佳能公司EOS1200D，鏡頭采用EF 75-300 mm Ⅲ，拍攝視頻的圖像尺寸為1920×1088像素，幀率為25。視頻圖像處理過程是在惠普筆記本上完成（Intel i5-5200U CPU，@2.20 GHz，2 201 MHz，雙核，4 GB內(nèi)存，windows10操作系統(tǒng)），算法運(yùn)行環(huán)境是matlab 2016a。水流測量儀型號為LS1206B型旋漿式流速儀（生產(chǎn)廠家：北京宏信恒測科技有限公司），涉水測量方式為側(cè)桿安裝，液晶屏讀數(shù)，測速范圍0.05～8 m/s，相對誤差的絕對值≤5%，全線相對均方差的絕對值≤1.5%。

試驗中參數(shù)1需要通過攝像機(jī)標(biāo)定計算得到。2取1.5，3設(shè)置為1，即對運(yùn)動顯著區(qū)域的像素值給予一定放大，而對于非顯著性區(qū)域的像素值則保持原值。為了選擇合適的閾值1，本文在8次試驗拍攝的視頻中隨機(jī)挑選8幀圖像，對人工判斷圖像中沒有明顯運(yùn)動的區(qū)域進(jìn)行截圖，計算出這些截圖的像素平均標(biāo)準(zhǔn)差=1.04，將1設(shè)置為3。由于試驗中攝像機(jī)高度距水面實際距離大約在2～3 m之間，在設(shè)定的不同焦距下，從視頻計算出的運(yùn)動顯著性圖中，特征點(diǎn)在2幀之間運(yùn)動距離的眾數(shù)基本在20～60像素，簡單地將空間約束條件的2個閾值設(shè)為：2=5像素，3=100像素，以濾除部分違反空間約束的錯誤匹配點(diǎn)對。

3.2 河流速度測試與數(shù)據(jù)分析

為驗證本方法的有效性，從2016年7月—2017年10月間的晴朗天氣條件下，在黃河蘭州段的河口至七里河黃河大橋之間的不同地點(diǎn)，拍攝了8段不同流速的水流視頻，流速范圍從低速到中速，并用流速儀同步測量了視場中心的流速作為基準(zhǔn)。選擇視場中各點(diǎn)水流方向一致、穩(wěn)定的河面進(jìn)行拍攝，河面沒有漩渦和耀斑。攝像機(jī)固定在倒L型懸臂的頂端，支架高度1.8 m，拍攝時支架固定于岸邊，鏡頭光軸垂直于水面，攝像機(jī)距離水面的實際高度用懸臂上的鉛垂線測定，用0.4 m×0.4 m的輕質(zhì)方框?qū)z像機(jī)進(jìn)行標(biāo)定[18]。測量時，每隔1 min用流速儀記錄1次攝像機(jī)視場中央的流速，共測10次。流速儀完全浸沒于水中但盡量接近水面。為了不干擾攝像機(jī)視場，每次測量完，迅速將流速儀拽離。用于流速估計的視頻只取水面沒有流速儀的部分。視頻序列圖像分析時，每100幀運(yùn)動顯著性圖計算1次流速，即每4 s輸出1次估計值；每1 min為1個周期，輸出15個估計值；10 min為1次完整測量，得到150個流速估計值。表1給出了8次測量中流速儀和本文的視頻測量結(jié)果的對比。本文方法測定的8種流速值與流速儀測定值的相對誤差（RE，見表1）在1.39%～3.12%之間，2組測定結(jié)果比較接近。本文方法的最大CV為1.63%，可見流速估計法數(shù)據(jù)分散性小、精密度高。在本文的測試范圍內(nèi)，隨著流速的加快，本方法的相對偏差和標(biāo)準(zhǔn)差有所增大的趨勢。這可能與下述原因有關(guān)：1）流速儀測量的是單點(diǎn)流速，而本文是面流速的整體估計，兩者之間本來有一定偏差。2）隨著流速增大，水面波動增大，不穩(wěn)定現(xiàn)象有所加劇，水面各點(diǎn)速度不同，導(dǎo)致標(biāo)準(zhǔn)差增加。

文獻(xiàn)[30]采用模板匹配的方法來估計流速，需要先在前一幀圖像上提取大小合適的區(qū)域作為模板以便在后一幀圖像上進(jìn)行模板匹配。表1給出了文獻(xiàn)[30]和本文方法的比較，本文流速估計的CV和RE分別為1.46%和2.09%，而文獻(xiàn)[30]分別為2.63%和2.88%，本文方法比文獻(xiàn)[30]的方法分別減小了44.5%和26.9%。而在計算耗時方面，在本文計算的環(huán)境下，8次流速估計的平均時間為1.35 s，只有文獻(xiàn)[30]（平均耗時30.3 s）的4.4%。本文方法與文獻(xiàn)[30]相比有以下的優(yōu)點(diǎn)：1）后者對作為模板的區(qū)域大小有一定要求，區(qū)域太大匹配速度慢，太小則不夠穩(wěn)定，故提取出的模板數(shù)量和匹配上的區(qū)域數(shù)量都較少，對于水面波動較大、流速較高時流速估計的偏差與方差都比較大；而本文方法是提取圖像的局部特征點(diǎn)來匹配，在各種流速的視頻上均能提取出更多數(shù)量特征點(diǎn)，匹配點(diǎn)數(shù)量也較多，故估計效果更加魯棒。2）基于特征點(diǎn)的匹配比基于區(qū)域的模板匹配方法計算復(fù)雜度要小，這導(dǎo)致本文方法的計算速度得到了較大的提升，基本實現(xiàn)了流速的實時估計。3）后者對模板運(yùn)動距離求平均來估計流速，對于有偏的距離分布，這種方法不夠合理；本文對特征點(diǎn)運(yùn)動距離直方圖進(jìn)行高斯曲線擬合后取高斯曲線的中心值作為最優(yōu)運(yùn)動距離，這相當(dāng)于取多特征點(diǎn)運(yùn)動距離的眾數(shù)，更容易與流速儀的單點(diǎn)測量結(jié)果匹配。以上措施使得本文流速估計結(jié)果更加可靠，在表1的各項比較指標(biāo)中，本文方法均優(yōu)于文獻(xiàn)[30]。

表1 流速儀與視頻測量結(jié)果對比

注：流速儀流速為10 min測得流速的平均值；RE為估計值與流速儀測定值的相對誤差；運(yùn)動速度指圖像平面上估計出的平均運(yùn)動速度。

Note: Speed measured by current meter is average over 10 min; RE is relative error between estimator by this study and literature and that measured by current meter; Motion speed is the mean by the image plane.

注：r1為皮爾遜相關(guān)系數(shù)，r2為斯皮爾曼相關(guān)系數(shù)，D為一致性限度，P為Bland-Altman回歸顯著性分析P值。

此外，本文還對文獻(xiàn)[6]的浮子跟蹤法的流速估計進(jìn)行了試驗，該方法采用卡爾曼濾波法跟蹤浮子的軌跡，用若干幀間浮子的運(yùn)動距離除以時間得到速度。試驗條件和標(biāo)定方法同前，為簡單起見，本文用乒乓球代替浮子從攝像機(jī)鏡頭下漂過，重復(fù)5次，每次先用流速儀測得視場中心的流速，然后從視場外投擲乒乓球，使其自然漂入視場。試驗中，選擇從乒乓球完全進(jìn)入視場對應(yīng)的一幀到正要離開視場的那一幀來計算運(yùn)動距離。流速儀5次實測的平均流速是0.315 m/s。本文算法的平均估計流速是0.319 m/s，變異系數(shù)為1.06%，與實測值的相對誤差為1.27%；浮子法估計平均流速是0.321 m/s，變異系數(shù)為2.73%，與實測值的相對誤差為1.90%。在浮子法測速試驗中，無法控制每次測量時乒乓球的漂流路徑，而乒乓球的不同漂流路徑上的流速與視場中心流速差異會導(dǎo)致誤差及變異系數(shù)增大。

本文雖然是對河水表面流速進(jìn)行估計，其原理同樣適用于明渠。但河水和明渠條件有所不同，通常河水?dāng)y帶泥沙量較多，濁度較大，水的波動比較明顯，便于提取特征點(diǎn)。對于濁度類似的明渠，本方法有一定的實用性，但有些明渠中水較為清澈，肉眼難以觀察明顯波動，本文方法可能不適用。在以后研究中可以就什么濁度下的水流可以用本方法進(jìn)行探討，將本方法應(yīng)用于明渠水流的測定。

4 結(jié) 論

傳統(tǒng)的視頻河水表面流速估計需要投擲示蹤子來指示水流，費(fèi)時費(fèi)力，無法連續(xù)測量。本文采用高清攝像機(jī)捕捉河水流動時水面波動紋理的細(xì)節(jié)，通過計算視頻的2幀圖像之差獲得運(yùn)動顯著性圖，突出波動水紋的細(xì)節(jié)。在運(yùn)動顯著性圖上計算特征點(diǎn)的SURF特征描述算子后，對前后2幀圖像的特征點(diǎn)進(jìn)行匹配，以獲得特征點(diǎn)的運(yùn)動距離；在獲得大量運(yùn)動數(shù)據(jù)后，采用統(tǒng)計方法估計出視頻中特征點(diǎn)的最優(yōu)運(yùn)動速度，再聯(lián)合攝像機(jī)標(biāo)定來測算河水表面的實際流速。通過試驗發(fā)現(xiàn)：本文方法的估計流速與流速儀實測結(jié)果相比，最大相對誤差僅為3.12%，最大變異系數(shù)1.63%；采用多種一致性分析方法的得出本文的估計結(jié)果與實測值具有良好的一致性；與現(xiàn)有河水流速的視頻估計方法相比，本文估計精度提高，計算時間僅為對比方法的4.4%。以上說明本文流速估計精度高，數(shù)據(jù)的一致性好，計算速度快。與傳統(tǒng)方法相比，本方法的優(yōu)點(diǎn)是不需要投擲浮標(biāo)，可實現(xiàn)實時、連續(xù)測量，人力和設(shè)備成本低。

受條件限制，本文只在黃河蘭州段部分河道上進(jìn)行了試驗，流速數(shù)據(jù)采集也只涵蓋了低速到中速，對水面狀態(tài)選擇也有一定限制，如要求水流平穩(wěn)，無耀斑和漩渦。這些限制條件主要為了減少噪聲和程序的處理難度。不穩(wěn)定水面上的耀斑，可在多幀圖像中的某些區(qū)域來回閃動，會被程序誤作為特征點(diǎn)；而水面漩渦內(nèi)各點(diǎn)速度和方向都不相同，與無漩渦處的流速也不相同，可能在運(yùn)動距離直方圖上形成多個峰，而本文只擬合單峰，故可能導(dǎo)致曲線擬合時出現(xiàn)較大誤差。但試驗初步表明，本文提出的水流速度測量方法在受限條件下可以獲得較高精度的測量結(jié)果，這為進(jìn)一步采用其他機(jī)器視覺處理算法估計復(fù)雜水面和高速水流提供了參考。

[1] 盛森芝. 流速測量技術(shù)[M]. 北京：北京大學(xué)出版社, 1987.

[2] 王俊，熊明. 水文監(jiān)測體系創(chuàng)新及關(guān)鍵技術(shù)研究[M]. 北京：中國水利水電出版社，2015.

[3] 于建華，楊勝勇，潘妮. 水文信息采集與處理[M]. 北京：中國水利水電出版社，2015.

[4] 王俊，陳松生，趙昕. 中美水文測驗比較研究[M]. 北京：科學(xué)出版社，2017.

[5] 王興奎，禹明忠，李丹勛, 等. 大范圍表面流速場的圖像處理系統(tǒng)及其同步實時測量方法: ZL 00130291. 4[P]. 2001-03-28.

[6] 韓予皖. 基于視頻處理的河水流速監(jiān)測系統(tǒng)設(shè)計[D]. 太原：太原理工大學(xué), 2013. Han Yuwan. Velocity of River Flow Monitoring System Based on Video Processing[D]. Taiyuan: Taiyuan University of Technology, 2013. (in Chinese with English abstract)

[7] Cucchiara R, Piccardi M, Mello P. Image analysis and rule-based reasoning for a traffic monitoring system[J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(2): 119－130.

[8] Schoepflin T, Dailey D. Dynamic camera calibration of roadside traffic management cameras for vehicle speed estimation[J]. IEEE Transactions on Intelligent Transportation Systems, 2003, 4(2): 90－98.

[9] Collins R T, Liu Y X, Leordeanu M. Online selection of discriminative tracking features [J]. IEEE Transaction on Pattern Anlysis and Machine Intelligence, 2005, 27(10): 1631－1643.

[10] 支晨蛟，唐慧明. 基于視頻角點(diǎn)特征匹配的車速檢測方法[J]. 計算機(jī)工程，2013，39(12)：176－180. Zhi Chenjiao, Tang Huiming. Vehicle speed detection method based on video corner feature matching [J]. Computer Engineering, 2013, 39(12): 176－180. (in Chinese with English abstract)

[11] Tran D, Yuan J, Forsyth D. Video event detection: From subvolume location to spatiotemporal path search [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(2): 404－416.

[12] 朱周. 復(fù)雜環(huán)境下基于視頻的車輛跟蹤算法研究[D]. 南京：東南大學(xué)，2015. Zhu Zhou. Research on Video Based Vehicle Tracking Algorithm in Complex Environment [D]. Nanjing: Southeast University, 2015. (in Chinese with English abstract)

[13] Munder S, Schnorr C, Gavrila D M. Pedestrian detection and tracking using a mixture of view-based shape-texture models[J]. IEEE Transactions on Intelligent Transportation Systems, 2008, 9(6): 333－343.

[14] Dollár P, Wojek C, Schiele B, et al. Pedestrian detection: an evaluation of the state of the art[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743－761.

[15] 蘇松志，李紹滋，陳淑媛，等. 行人檢測技術(shù)綜述[J]. 電子學(xué)報，2012，40(4)：814－820. Su Songzhi, Li Shaozi, Chen Shuyuan, et al. A survey on pedestrian detection[J]. Acta Electronica Sinica, 2012, 40(4): 814－820. (in Chinese with English abstract)

[16] 呂敬欽. 視頻行人檢測及跟蹤的關(guān)鍵技術(shù)研究[D]. 上海：上海交通大學(xué)，2013. Lü Jingqin. Research on Important Issues of Video Pedestrian Detection and Tracking [D]. Shanghai: Shaihai Jiao Tong University, 2013. (in Chinese with English abstract)

[17] 文嘉俊. 運(yùn)動目標(biāo)檢測及其行為分析研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué), 2015. Wen Jiajun. Research on Moving Object Detection [D]. Haerbin: Haerbin Institute of Technology, 2015. (in Chinese with English abstract)

[18] 徐德，譚民，李原. 機(jī)器人視覺測量與控制[M]. 第3版. 北京：國防工業(yè)出版社，2016.

[19] Tuytelaars T, Mikolajczyk K. Local invariant feature detectors: A survey [J]. Computer Graphics and Vision, 2007, 3(3): 177－280.

[20] Lowe D G. Distinctive image features from scale-invariant key points [J]. International Journal of Computer Vision, 2004, 60(2): 91－110.

[21] Bay H, Ess A, Tuytelaars T, et al. Speeded up robust features [J]. Computer Vision and Image Understanding, 2008, 110(3): 346—359.

[22] Oliva A, Torralba A. Modeling the shape of the scene: A holistic representation of the spatial envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145—175.

[23] 張志斌，趙帥領(lǐng)，羅錫文，等. 基于SURF算法的綠色作物特征提取與圖像匹配方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(14)：172—178. Zhang Zhibin, Zhao Shuailing, Luo Xiwen, etc. . Matching method of green crops based on SURF feature extraction [J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 172－178. (in Chinese with English abstract)

[24] 羅天健，劉秉瀚. 融合特征的快速SURF配準(zhǔn)算法[J]. 中國圖象圖形學(xué)報，2015，20(1)：95—103. Luo Tianjian, Liu Binghan. Fast SURF key-points image registration algorithm by fusion features [J]. Journal of Image and Graphics, 2015, 20(1): 95—103. (in Chinese with English abstract)

[25] 鄧集洪，魏宇星. 基于局部特征描述的目標(biāo)定位[J]. 光電工程，2015，42(1)：58—64. Deng Jihong, Wei Yuxing. Location of object based on local feature descriptor [J]. Opto-Electronic Engineering , 2015, 42(1): 58—64. (in Chinese with English abstract)

[26] Bunce C. Correlation, agreement, and Bland-Altman analysis: Statistical analysis of method comparison studies [J]. Am J Ophthal, 2009, 148(1): 4—6.

[27] 李鎰沖，李曉松. 兩種測量方法定量測量結(jié)果的一致性評價[J]. 現(xiàn)代預(yù)防醫(yī)學(xué)，2007，34(17)：3263—3266. Li Yichong, Li Xiaosong. Evaluation on different assessment methods of consistency of quantitative measurements [J]. Modern Preventive Medicine, 2007, 34(17): 3263—3266. (in Chinese with English abstract)

[28] Zaki R, Bulgiba A, Ismil N. Testing the agreement of medical instruments: overestimation of bias in the Bland-Altman analysis [J]. Prev Med, 2013, 57(3): S80—82.

[29] Shao Jun. Mathematical Statistics Second Edition [M]. NewYork: Springer, 2009.

[30] 趙曉剛，馮全，王書志. 一種基于幀間差分與模板匹配的河水表面流速測量方法[J]. 計算機(jī)應(yīng)用與軟件，2017，34(9)：68－71. Zhao Xiaogang, Feng Quan, Wang Shuzhi. Measuring surface velocity of river flow based on images of frame difference and template matching[J]. Computer Applications and Software, 2017, 34(9): 68－71. (in Chinese with English abstract)

Estimation of surface speed of river flow based on machine vision

Feng Quan1, Zhang Yanhong2, Zhao Xiaogang1

(1.730070,; 2.730070,)

The wave represents the motion of river flow. The surface speed of river can be estimated through motion analysis for the wave. In the paper, a method was proposed based on computer vision to estimate the surface speed of river directly. The method tried to capture the motion of wave caused by flowing river from the video. However, even taken by HD camera, the contrast between moving waves and even surface in an image is still not obvious since they are homogeneous and all moved as a whole. In order to enlarge details of the motion of waves, the map of motion saliency was calculated by the way of frame difference method. In the map, the key points were extracted and characterized by SURF features. These key points represented the most salient positions of waves. Through the point matching algorithm, a key point in one map and its counterparts in next map were searched. The correspondence between the 2 matched points indicated the motion of wave in the video and the distance between them was computed. In principle, with this distance and the parameters of camera, we could estimate the immediate speed of flow. However, the distance was noisy essentially. For robust and accurate estimation, we estimated the average speed instead of immediate speed. So, we calculated the histogram of the distances during the period of time. We found that most of these histograms appeared as uni-modal distribution. However, there existed some histograms which appeared with 2 adjacent peaks, or appeared with a flat peak. This resulted in the difficulty for estimation of distance accurately. To address the problem, we utilized the Gaussian curve to fit the histogram. The peak of the fitted curve could be searched accurately and its corresponding distance was viewed as the optimal estimation of average distance. Finally, with the speed formula derived from pinhole model, the optimal distance and the time between 2 maps, we could estimate the average surface speed of the river flow. To validate the availability of the proposed method, we compared the speeds estimated by our method with the baselines measured by the current meter. In our experimental setting, we selected gently surface for measurement task, without whirlpool and reflection. We conducted 8 measurements, with the speeds being limited between low and middle range. The experimental results showed that maximal relative error of speed between ours and the baseline was 3.12% while the min relative error only 1.39%, indicating good accuracy of our method. The min and max coefficient of variation was 1.04% and 1.63% respectively, showing high reliability. The correlation coefficients of Pearson and Spearman between our estimators and measured values were respectively 0.998 and 0.990. Bland-Altman regressionis 0.16, higher than 0.05 and in Bland-Altman scatter plot, most of points fell into the limits of agreement. These results showed that the flow speed estimated by our method had a good consistency with the baselines. In addition, our method was compared to the image processing method by previous literatures, the results showed that the time consumption was shortened by our study, which was only 4.4% of that of the literature, indicating that our method is faster than the previous method. In sum, this study provides an effective method for the estimation of flow speed of rivers with complex background.

rivers; speed; video; SURF feature; flow; frame difference

10.11975/j.issn.1002-6819.2018.19.018

TP391.41

A

1002-6819(2018)-19-0140-07

2018-02-04

2018-08-10

國家自然基金資助項目（61461005）；甘肅省水利廳科技計劃項目（201776）

馮 全，四川隆昌人，教授，博士，研究方向：計算機(jī)視覺，農(nóng)業(yè)工程。Email：fquan@sina.com

馮 全，張彥洪，趙曉剛.基于機(jī)器視覺的河水表面流速估計[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(19)：140－146. doi：10.11975/j.issn.1002-6819.2018.19.018 http://www.tcsae.org

Feng Quan, Zhang Yanhong, Zhao Xiaogang. Estimation of surface speed of river flow based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(19): 140－146. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.19.018 http://www.tcsae.org