田間圖像拼接中重復信息量對拼接效果的影響

馬兆敏 吳健玥 胡波 黃玲

摘 要：為研究圖像拼接時兩幅圖像中重復部分大小對拼接效果及擴展的視角范圍的影響，對影響拼接的重復信息量進行量化，并提出通過對拼接圖進行分割后的結(jié)果來評價拼接是否理想.實驗結(jié)果表明，圖像重復信息量占原圖比例約為1/4以上時圖像組能獲得理想的田間拼接圖像，為農(nóng)藥噴灑自動化中針對整個地塊作出合理噴灑決策提供研究基礎.

關(guān)鍵詞：圖像拼接；SIFT算法；圖像分割；重復信息量

中圖分類號：TP391.4 文獻標志碼：A

0 引言

農(nóng)藥自動化噴灑中引入機器視覺技術(shù)獲取田間信息，并進一步對這些信息進行利用已成為精準農(nóng)業(yè)的研究熱點.而攝像機拍攝到的單幅圖像區(qū)域是有限的，這需要將多幅圖像拼接起來.圖像拼接即是指將兩張或兩張以上具有部分重復信息的圖像經(jīng)過一定的運算后疊加生成一張視角范圍更大的合成圖像，在農(nóng)業(yè)中的應用已越來越廣[1-3].

圖像拼接時要利用兩張圖像中的重復信息進行運算，而兩張圖像中重復信息區(qū)域大，可能提取到的匹配特征點會多，拼接成功的概率就高些，但這會使拼接后擴大的視角有限，兩者存在矛盾.本文通過實驗研究，量化兩攝像機獲得圖像的重復部分的大小，并以拼接圖像分割后是否有利于識別為標準評價拼接效果.

研究中基于尺度不變特征變換（Scale-invariant feature transform，SIFT）算法是比較常用的拼接算法，許多研究者通過改進特征點的提取或匹配獲得拼接效果更佳的圖像[4-5].本文的實驗研究將基于SIFT算法對田間圖像進行拼接.由此得到影響田間拼接時圖像重復信息大小對拼接效果的影響參數(shù)，為之后的識別和定位圖像中的目標做準備.

1 田間圖像拼接中影響參數(shù)的研究方法

1.1 田間圖像采集系統(tǒng)

田間拼接圖像采集系統(tǒng)主要由計算機和雙目攝像機及輔助支架件等構(gòu)成.拼接的圖像來自于兩個攝像機，其中兩個攝像機的目距為x；攝像機相對地面的距離為h.采集系統(tǒng)在安裝時應盡量使兩攝像機的光軸平行.

1.2 圖像重復信息量的定義

進行圖像拼接時需要兩圖中存在部分重復信息.本文通過保持雙目攝像機在同一水平高度，調(diào)整目距x，從而獲得不同重復信息量的圖像組.當x變小時，即兩攝像機靠近，獲取到的圖像組的重復信息增大；當x變大時，即兩攝像機遠離，采集到的圖像組的重復信息減小.本文將兩圖像組中的重復信息量化，采用目測的方式觀察圖像中重復信息的區(qū)域面積，即重復信息量，以重復信息量占整幅圖的比例t表示.如圖2為重復信息量比例較大的兩幅原圖，目測其重復信息量比例約占整幅圖的1/3.如圖3為重復信息量比例較小的兩幅原圖，目測重復信息量比例約為1/5.

1.3 田間圖像拼接方法

在研究田間圖像拼接中重復信息量對拼接效果影響時采用基于尺度特征點的圖像拼接技術(shù).該技術(shù)包括4個部分：

1）田間圖像獲取.文中被拼接圖像來自于兩枚攝像機，在種植的蔬菜田間進行圖像獲取.拍攝系統(tǒng)如圖1所示.

2）田間圖像特征點的提取. 采用2004年Low提出的改進的SIFT算法提取特征點. 主要包括4個步驟[6]：Step 1尺度空間極值點檢測，獲得尺度不變性.由相鄰尺度高斯差分核與輸入圖像卷積而生成.

D（x，y，？滓）=I（x，y）（G（x，y，k？滓）-G（x，y，？滓））=L（x，y，k？滓）-L（x，y，？滓） （1）

式中：D——高斯差分核，（x，y）——圖像空間坐標，？滓——尺度空間因子，G——尺度可變高斯函數(shù)，k——相鄰尺度比率，I——輸入圖像，L——I與高斯核的卷積.

Step 2 對粗特征點過濾和精確定位以去除低對比度點和邊緣響應點.去除邊緣響應的方法為：

式中：H——2×2的Hessian矩陣，Trace（H）——H的跡，Det（H）——H行列式的值，r——x和y方向梯度比值.

若滿足式（2），則為非邊緣點.

Step 3 計算特征點的描述信息.（x，y）處梯度的模值和公式分別為：

m（x，y）=（L（x+1，y）-L（x-1，y））2+（L（x，y+1）-L（x，y-1））21/2（3）

？茲（x，y）=arctan （4）

L的尺度為每個關(guān)鍵點各自所在的尺度.

Step 4 生成描述特征點的特征向量.

SIFT算法能夠在大量的信息中快速準確的找到特征點，而且即使圖像的內(nèi)容較少也能找到大量的SIFT特征，以提高圖像特征點匹配的準確性.

3）田間圖像特征點匹配.采用引導互匹配及投票過濾兩種技術(shù)提高匹配精度.

4）田間圖像的配準.為了提高田間圖像配準的精度，選用RANSAC算法對提取到的特征點進行篩選和匹配以及建立擬合模型.RANSAC算法能夠?qū)χ疤崛〕鰜淼拇罅刻卣鼽c實現(xiàn)篩選與匹配的操作，是一種在海量的數(shù)據(jù)信息中隨機抽取樣本，選擇有效樣本，去掉無用樣本，并根據(jù)有效樣本建立模型，生成相關(guān)的關(guān)系變換矩陣H的算法.要提高該算法的概率就必須增加迭代的次數(shù)，為了在較少步驟內(nèi)迭代收斂到較為精確真實的圖像間變換矩陣H，本文使用了Leven-berg-Marquardt非線性最小化迭代算法.算法中只要能夠產(chǎn)生變換矩陣H就視為田間圖像拼接成功.

1.4 拼接后田間圖像的評價

農(nóng)藥噴灑區(qū)域的確定是在田間對象識別的基礎上完成的，即田間對象識別的好壞決定著噴灑參數(shù)的確定，而對象的識別是以圖像分割結(jié)果為基礎.這里用拼接圖分割后的結(jié)果進行識別來評價圖像拼接是否理想.

目前，圖像分割方法在各領域中得到了很多應用[7-9]，特別是在農(nóng)業(yè)領域的應用中得到不斷的總結(jié)[10].選用超綠特征的閾值分割方法對田間綠色目標進行分割是較常見的方法[11-14].

本文采用超綠特征下的閾值分割方法對拼接成功的圖像進行處理，由目測分割結(jié)果判斷拼接圖像是否具有能夠識別的效果，從而給出拼接結(jié)果是否理想的評價.

1.5 重復信息量對田間圖像拼接影響的處理流程

本文的田間圖像拼接中影響參數(shù)的評價算法流程主要包括6個步驟，如圖4所示.

2 田間實驗及結(jié)果分析

2.1 田間圖像獲取

選用大恒DH-HV3151UC（分辨率：2 048×1 536）攝像機兩枚；主頻為2.53 GHz內(nèi)存為2 GB的計算機采集圖像.在實驗室調(diào)試鏡頭離地距離h為60 cm.在廣西某高校教職工家屬區(qū)菜地內(nèi)進行圖像采集.根據(jù)目測量化重復信息量比例t，將t大概量化為5個等級，由1/2到1/6變化，共采集6組田間圖像組，其中1/6有兩組.

2.2 田間圖像拼接結(jié)果圖

按照1.3的田間拼接方法對田間圖組進行拼接，圖5、圖6所示分別為圖2（t約為1/3）、圖3（t約為1/5）的拼接結(jié)果圖，由圖可以看出兩圖組都可以完成拼接，形成拼接圖.這兩組田間原始圖像在一定程度上都產(chǎn)生了相對角度的旋轉(zhuǎn)并完成拼接，對此也體現(xiàn)了改進SIFT算法較其他算法的優(yōu)勢，即該算法能夠在保證圖像中點的特征不變的情況下對圖像進行旋轉(zhuǎn)、縮放等變換，從而更好地實現(xiàn)田間圖像的拼接和加大田間圖像拼接成功的可能性.對比圖5、圖6發(fā)現(xiàn)，重復信息量比例高的圖進行拼接時旋轉(zhuǎn)較小.原圖為2 048×1 536像素，拼接圖5的像素為2 977×1 820，而拼接圖6的像素為6 272×1 937.

2.3 拼接后的分割結(jié)果

采用基于超綠特征的閾值分割算法對田間圖像的拼接圖進行分割，其中閾值通過最大類間方差法求得.圖7、圖8分別為圖5、圖6的分割結(jié)果.

從圖7、圖8可知，較為集中的黑色區(qū)域為作物，圖7中能較好的看出植株輪廓，兩個植株的外輪廓均變形很小，和分割圖上的噪聲有明顯的差別；而圖8拼接接縫處的一株植株的輪廓中有拉伸、旋轉(zhuǎn)現(xiàn)象，葉片比未拼接前區(qū)域變大，而原圖中的一株植株，變形非常厲害，已無法識別出原植株外形特征，且分割噪聲差別較小.這是由于圖8的原圖在拼接過程中產(chǎn)生較大的旋轉(zhuǎn)，其得到的分割圖像雖然能夠?qū)ψ魑锵袼卮笾碌膱D像位置進行判斷，但植株的外形特征變化很大，對之后作物的識別工作會產(chǎn)生誤差或錯誤.所以，這種效果的分割圖像不具備識別價值，此拼接圖的拼接效果不理想.

2.4 實驗結(jié)果

對實驗中的6組提取特征點數(shù)、特征匹配對和拼接結(jié)果進行統(tǒng)計，如表1所示.其中，能夠生成變換矩陣H的即為拼接成功，能從分割圖中識別出目標對象的即評價為拼接效果理想.

表1中，通過數(shù)據(jù)統(tǒng)計和拼接效果的記錄比較可知：當t減少到1/4時，圖像可以拼接并能夠得到理想有效的圖像；當t為1/5時，圖像雖然能夠進行拼接，但是其效果不理想，沒有使用的價值；當t減少到1/6時，圖像拼接失敗.圖像拼接過程中拼接時間也不同，圖像重復信息量比例高，特征點的提取和匹配所耗費的時間會相對縮短，如處理4的運行時間相對處理1的運行時間要長得多.而文獻[1]中針對大約2 m長的玉米行向拆分圖像序列，共使用24幅圖片，利用相鄰兩幅圖像出現(xiàn)的重復區(qū)域，將序列圖像中的這些圖像合成一幅植株行向頂視圖.

3 結(jié)束語

本文采用雙目系統(tǒng)采集田間圖像，并基于尺度特征點的圖像拼接技術(shù)實現(xiàn)對其進行拼接；實驗中量化了兩幅圖像中的重復信息量比例，并通過對拼接后的圖像進行分割來判斷其拼接效果.總結(jié)如下：

1）實驗表明拼接圖組需要有重復信息量比例不少于1/4時才能獲得較為理想且有效的拼接圖像；

2）被拼接圖像來自于兩個攝像機，裝配田間圖像采集系統(tǒng)時，很難保證兩攝像機的光軸完全平行，存在一定安裝誤差，此安裝誤差對于實驗中的重復信息量比例的量化影響很大；

3）實驗只對采集到的6組圖像進行拼接分析，實驗樣本較少，且對于參數(shù)的量化描述還不夠準確，會造成實驗結(jié)果誤差；

4）實驗中還存在許多不定因素沒有量化，故還需要大量的圖像以及具體的參數(shù)來進一步完善拼接影響因素的研究.

參考文獻

[1] 王傳宇，郭新宇，肖伯祥，等.基于圖像拼接的苗期玉米植株缺失數(shù)量自動測量方法[J].農(nóng)業(yè)工程學報，2014，30（12）：148-153.

[2] 賈慶宇，劉晶淼，謝艷兵.基于Matlab的玉米根系圖像拼接、根系提取分析系統(tǒng)[J].中國農(nóng)學通報，2014，30（3）：98-102.

[3] 李盛輝，田光兆，姬長英，等.自主導航農(nóng)業(yè)車輛的全景視覺多運動目標識別跟蹤[J].農(nóng)業(yè)機械學報，2015，46（1）：1-7.

[4] 翟優(yōu)，曾巒，王少軒.自適應對比度閾值SIFT算法研究[J].計算機測量與控制，2011，19（11）： 2798-2800，2806.

[5] 蓋進偉，韓燮.一種基于特征點匹配的圖像拼接方法研究[J].計算機測量與控制，2012，20（3）： 836-837，851.

[6] 張凱，耿長興，張二鵬，等.溫室環(huán)境下紅掌圖像拼接算法[J].農(nóng)業(yè)機械學報，2013， 44（4）：223-227.

[7] 閆夏，譚光興，林川.基于免疫聚類算法的MRI膝關(guān)節(jié)圖像分割[J].廣西科技大學學報，2015， 26（1）：70-74.

[8] 曹月花，羅文廣.基于DSP的直線特征提取算法[J].廣西科技大學學報，2016，27（1）：14-18，25.

[9] 薛圣利，蔡啟仲，楊海林，等.基于OpenCV的火車票識別算法[J].廣西科技大學學報，2016，27（2）： 46-51.

[10] 刁智華，王會丹，魏偉.機器視覺在農(nóng)業(yè)生產(chǎn)中的應用研究[J].農(nóng)機化研究， 2014（3）：206 -211.

[11] 劉瑞琪，曹乃文.雜草圖像分割中分割特征的研究[J].安徽農(nóng)業(yè)科學，2011，39（30）：18978，18992.

[12] 刁智華，王歡，宋寅卯，等.復雜背景下棉花病葉害螨圖像分割方法[J].農(nóng)業(yè)工程學報，2013，29 （5）：147-152.

[13] 袁媛，李淼，陳晟，等.復雜背景黃瓜葉部病害圖像分割方法[J].農(nóng)業(yè)機械學報，2013，44 （10）：233-237.

[14] L？譫PEZ-GRANADOS F，TORRES-S？魣NCHEZ J，SERRANO-P？魪REZ A，et al.Early season weed mapping in sunflower using UAV technology： variability of herbicide treatment maps against weed thresholds[J].Precision Agriculture，2016，17（2）：183-199.

Effects of the repeat value in the field image on image mosaic

MA Zhao-min， WU Jian-yue， HU Bo， HUANG Ling*

（School of Electric and Information Engineering， Guangxi University of Science and Technology，

Liuzhou 545006， China）

Abstract： Image stitching is necessary due to the limited coverage area of single field image. And the size of repeated part of two images will affect mosaic result. In this paper， the repeat area is quantified. The evaluation method of mosaic result is put forward. We judge whether the object is beneficial recognition after segmentation of mosaic image. The experimental results show that ideal mosaic image can be obtained when the ratio of repeat area accounts for more than a quarter of the original image. This will provide research foundation for making reasonable decision of the automation pesticide spraying for the whole plot.

Key words： image mosaic； SIFT algorithm； image segmentation； repeat area

（學科編輯：黎 婭）