匹配點云結(jié)合HSI色彩分量的無人機RGB影像信息提取方法

楊 栩，朱大明，楊潤書，左小清，謝文斌，付志濤

?研究速報?簡報?

匹配點云結(jié)合HSI色彩分量的無人機RGB影像信息提取方法

楊 栩1，朱大明1※，楊潤書2，左小清1，謝文斌2，付志濤1

（1. 昆明理工大學國土資源工程學院，昆明 650093；2. 云南省地礦測繪院，昆明 650217）

無人機通常搭載可見光波段傳感器獲取紅-綠-藍（Red-Green-Blue，RGB）影像，由于無人機RGB影像波段較少，影像的地物信息提取存在一定難度。該研究提出了一種匹配點云結(jié)合色調(diào)-飽和度-亮度（Hue-Saturation-Intensity，HSI）空間色彩分量的無人機RGB影像信息提取方法。首先以飽和度分量和紅光波段構(gòu)造了飽和度與紅光比值指數(shù)，再結(jié)合可見光波段差異植被指數(shù)以及由匹配點云獲得的地形特征對研究區(qū)正射影像進行分類。試驗結(jié)果表明，本文方法的總體分類精度達到了91.11%，Kappa系數(shù)為0.895，證明匹配點云結(jié)合HSI空間色彩分量的方法提取無人機RGB影像信息是可行的，提取結(jié)果具有較高精度。相較于基于光譜特征的傳統(tǒng)方法，該文方法引入匹配點云可以簡單高效地提取影像中高程差異明顯的地物，同時，結(jié)合HSI色彩分量能夠有效彌補無人機RGB影像光譜特征較少的不足。

無人機；遙感；光譜分析；匹配點云；RGB影像；HSI顏色空間；信息提取

0 引 言

從無人機紅-綠-藍（Red-Green-Blue，RGB）影像中提取植被信息的技術目前已經(jīng)逐步成熟，利用可見光波段的反射信息構(gòu)建的植被指數(shù)被大量應用[1-4]。例如，可見光波段差異植被指數(shù)（Visible-band Difference Vegetation Index，VDVI）、歸一化綠藍差異指數(shù)（Normalized Green-Blue Difference Index，NGBDI）、歸一化綠紅差異指數(shù)（Normalized Green-Red Difference Index，NGRDI）等[5-7]?；诳梢姽獠ǘ螛?gòu)建的植被指數(shù)能夠?qū)崿F(xiàn)植被信息的高精度提取，然而，對于其余地物的提取，僅利用植被指數(shù)是遠遠不夠的。HSI顏色空間中的色彩分量能夠表達地物色調(diào)、亮度及飽和度信息，將HSI色彩分量引入無人機遙感影像信息提取中可以彌補無人機遙感影像波段較少（僅包含紅、綠、藍3個可見光波段）的劣勢。

近年來，影像匹配點云開始應用于無人機遙感影像信息提取。影像匹配點云（以下簡稱匹配點云）是將無人機飛行過程中所拍攝的大量高重疊度影像進行密集匹配而獲得的一種過程數(shù)據(jù)，廣泛應用于三維建模中[8-9]。通過匹配點云結(jié)合濾波算法[10-12]可快捷高效地獲得高精度數(shù)字表面模型（Digital Surface Model，DSM）[13]、數(shù)字高程模型（Digital Elevation Model，DEM）以及歸一化數(shù)字表面模型（normalized Digital Surface Model，nDSM）。

目前，基于匹配點云對無人機RGB影像進行信息提取的相關文獻較少。王燕燕等[10]以及李瑩等[14]均對不同種類植被進行提取，且都能達到較高的精度，而其余光譜特征相近的地物提取精度還有進一步提升的空間，另外，研究區(qū)域的地物種類也相對較為單一。

本研究綜合考慮匹配點云數(shù)據(jù)和HSI色彩分量的優(yōu)勢，嘗試將匹配點云數(shù)據(jù)和HSI色彩分量相結(jié)合，提出一種匹配點云結(jié)合HSI色彩分量的無人機RGB影像信息提取方法，對無人機遙感技術應用于土地覆蓋類型識別與提取上的發(fā)展提供參考作用。

1 材料與方法

1.1 數(shù)據(jù)來源

研究區(qū)位于云南省文山州丘北縣（104°29′10″E，24°01′48″N），地形情況復雜，地物種類包括草地、樹木、水泥地、建筑、河流、裸地、耕地、水體8個類別。數(shù)據(jù)來源為大疆精靈Phantom 4 Pro無人機（深圳市大疆創(chuàng)新科技有限公司，中國）拍攝的低空影像，拍攝時間為2018年10月11日。無人機搭載1英寸CMOS傳感器，鏡頭有效像素2 000萬，光圈范圍2.8～11，焦距為24 mm。影像中無云影、煙霧、大面積反光、污點等缺陷。對航拍影像利用三維實景建模軟件Context Capture進行數(shù)據(jù)預處理，生成分辨率為0.03 m的研究區(qū)RGB正射影像，并標記出各類別的樣本點分布情況（圖1）。

1.2 研究方法

1.2.1 影像匹配點云

獲取影像匹配點云的過程，主要是利用運動恢復結(jié)構(gòu)（Structure From Motion, SFM）算法通過特征檢測、特征匹配、矩陣計算、三維重建及參數(shù)優(yōu)化5個步驟進行三維點云重建，得到稀疏的三維點云[15-16]。然而，稀疏的三維點云在表達地表物信息時往往達不到較高的精度[17]。本文通過多視圖聚簇/基于面片模型（Cluster Multi-View Stereo/Patch-based Multi-View Stereo, CMVS/PMVS）密集匹配算法進一步獲得高密度和高精度的密集匹配點云。

1.2.2 數(shù)字高程模型（DEM）、數(shù)字表面模型（DSM）和歸一化數(shù)字表面模型（nDSM）生成

在密集點云中，提取地面點的過程稱為濾波，本研究采用布料模擬濾波（Cloth Simulation Filtering，CSF）方法[18-19]得到研究區(qū)的地面點（圖2a）。對地面點和整體點云進行不規(guī)則三角網(wǎng)插值得到DEM（圖2b）和DSM。DSM中包含了諸如建筑物、樹木等高于地面的地物信息，而DEM描述的是地表形態(tài)，不包含高于地表的信息。因此，二者的差值可以反映地物的絕對高程信息，即歸一化數(shù)字表面模型（normalized Digital Surface Model，nDSM）（圖2c）。

1.2.3 可見光波段植被指數(shù)

無人機RGB影像僅含有紅、綠、藍3個可見光波段，NDVI無法運用于此類影像的信息提取。因此，本研究選用在RGB影像信息提取中具有代表性的可見光波段差異植被指數(shù)（Visible-band Difference Vegetation Index，VDVI）進行植被與非植被的劃分，其計算如式（1）所示。

式中、、分別為紅、綠、藍3個波段的像元亮度值（Digital Number，DN）。

1.2.4 飽和度與紅光比值指數(shù)（SRRI）及其擴展指數(shù)的構(gòu)造方法

為了探究不同地物在RGB和HSI顏色空間中的差異，在研究區(qū)影像中隨機選取240個對象作為樣本，其中各地物的樣本數(shù)量為耕地43，建筑22，裸地39，河流24，水體2，水泥地37，草地23，樹木50（樣本點分布如圖1所示）。分別統(tǒng)計各樣本紅、綠、藍3個波段和色調(diào)、飽和度、亮度3個色彩分量的均值，并繪制各地物3個波段的DN值柱狀圖和HSI分量值柱狀圖，結(jié)果如圖3所示。

由圖3可知，裸地的紅光波段DN值為該地物在紅、綠、藍3個波段的最大值（圖3a），飽和度值同樣是HSI空間中的最大值（圖3b），并且，對于不同地物，紅光波段與飽和度的比值具有明顯差異。由于HSI空間中的3個分量值均為0～1，而紅、綠、藍3個波段的DN值均為0～255，為了使紅光波段與飽和度的比值不至于過小，故將HSI空間中的3個分量值擴大100倍，使其均值范圍在0到100之間。各地物的特征均值如下：建筑為0.156、水泥地為0.048、耕地為0.136、草地為0.394、裸地為0.178、河流為0.054、樹木為0.597、水體為0.294。裸地與其他地物的特征值有著明顯差異，因此，本研究基于紅光波段和飽和度分量構(gòu)建了飽和度與紅光比值指數(shù)（Saturation-Red Ratio Index，SRRI）用于裸地的提取，其計算如式（2）所示。

河流與裸地具有相似的可見光光譜特征，區(qū)別在于河流的紅光波段標準差比其他地物大。因此，將SRRI指數(shù)與紅光波段的標準差相乘即可得到SRRI的擴展指數(shù)，記為SRRI·σ，用以區(qū)別含泥沙水體（即本研究區(qū)中的河流）與裸地，其計算如式（3）所示。

式中σ為紅光波段值的標準差。

1.2.5 飽和度與紅光比值指數(shù)（SRRI）的裸地提取性能驗證

改進型土壤調(diào)整植被指數(shù)（Modified Soil-Adjusted Vegetation Index，MSAVI）可以消除土壤對植被提取的影響，相比于目前常用的植被指數(shù)，該指數(shù)對裸地的識別效果相對較好[20]。通過分析SRRI指數(shù)與MSAVI指數(shù)的相似性可以驗證SRRI指數(shù)的可行性。本研究利用相關性分析方法，對MSAVI指數(shù)和SRRI指數(shù)進行回歸分析，并計算決定系數(shù)（coefficient of determination，2）。同時，利用MSAVI指數(shù)和SRRI指數(shù)的提取結(jié)果結(jié)合人工判讀結(jié)果，繪制受試者工作特征（Receiver Operating Characteristic，ROC）曲線，并計算曲線下面積（Area Under Curve，AUC）定量評價SRRI指數(shù)的優(yōu)劣。其中，ROC曲線越靠近縱軸、越遠離橫軸表示指數(shù)的提取效果越好；AUC值越接近1，代表指數(shù)的分類性能越好。

1.2.6 提取結(jié)果的精度評定

遙感影像分類后，需要對分類結(jié)果進行可信度的檢核，即精度評價[21]。本研究通過用戶精度（User Accuracy，UA）、生產(chǎn)者精度（Producer Accuracy，PA）、總體精度（Overall Accuracy，OA）和Kappa系數(shù)4個指標進行精度評價，其計算如式（4）～式（7）所示。

式中X為類地物正確分類的像元數(shù)，X表示分類圖中類地物的總像元數(shù)，X表示驗證樣本中類地物的總像元數(shù)，為地物類別數(shù)，為所有地物的總像元數(shù)。

2 結(jié)果與分析

2.1 飽和度與紅光比值指數(shù)（SRRI）的裸地提取驗證結(jié)果

本研究以GF-2衛(wèi)星的多光譜影像作為驗證影像，對MSAVI指數(shù)和SRRI指數(shù)進行裸地提取試驗，影像來源于地理空間數(shù)據(jù)云站點（http://www.gscloud.cn）。利用ArcGIS平臺的創(chuàng)建隨機點工具，在驗證影像中隨機選取60個對象作為樣本點（圖4a），并進行MSAVI值和SRRI值的相關性分析，得到2為0.739，表明兩指數(shù)具有一定相關性（圖 4b）。根據(jù)SRRI指數(shù)和MSAVI指數(shù)的ROC曲線可知（圖4c），兩條曲線非常接近且形態(tài)差異較小，可判斷SRRI指數(shù)和MSAVI指數(shù)對裸地的提取效果基本相當。曲線下面積（AUC）值分別為0.950和0.938，驗證結(jié)果表明SRRI指數(shù)具有一定的裸地識別能力。

利用閾值法分別計算MSAVI指數(shù)和SRRI指數(shù)的閾值，并對裸地進行提取，結(jié)果如圖5。通過MSAVI指數(shù)提取結(jié)果、SRRI指數(shù)提取結(jié)果與真彩色驗證影像進行對比可知，MSAVI指數(shù)在提取出裸地的同時，部分建筑物和水體也被提取，而SRRI指數(shù)提取結(jié)果中，則有少部分光譜信息與裸地相近的耕地被錯分。精度評價的計算結(jié)果顯示，SRRI指數(shù)的總體分類精度（OA=97.31%）略高于MSAVI指數(shù)的總體精度（OA=94.08%）。由于SRRI指數(shù)的構(gòu)建中僅涉及到紅、綠、藍3個波段，故該指數(shù)可以應用于RGB遙感影像的裸地信息提取。

2.2 地物提取結(jié)果

本研究通過建立提取規(guī)則對草地、樹木、水泥地、建筑、河流、裸地、耕地、水體8個類別進行分類。首先利用VDVI指數(shù)將植被與非植被進行區(qū)分，通過閾值法計算出VDVI≥0.04的部分為植被，反之為非植被。無人機RGB正射影像中的建筑具有光譜、紋理特征復雜的特點，從影像中提取建筑信息并不容易。然而，匹配點云的引入可以提供大量的地表形態(tài)特征，即利用nDSM可以簡單快速地對非植被地物中的建筑信息進行提取，避免了復雜的光譜計算以及紋理分析。通常而言，標準建筑物高度一般不低于2.8 m，且高程分布均勻[22]，為保證建筑信息的有效提取，本文將nDSM≥2.4 且nDSM的標準差（nDSM）≤0.7的非植被信息歸類為建筑。河流通常處于低洼地帶，因此在利用SRRI·σ指數(shù)設定閾值的同時還需對DEM進行限制。裸地的提取則需利用SRRI指數(shù)，通過對SRRI和SRRI·σ指數(shù)的閾值分析可知，裸地的提取規(guī)則為SRRI>0.17且SRRI·σ>1。對于耕地和水體的提取，除了利用光譜特征和地形特征之外，還需利用語義特征中像元到直線的距離（）。其原理是通過任意2個坐標點確定1條直線，設置一定的半徑值對直線兩邊半徑范圍內(nèi)的對象進行分類，半徑范圍外的對象不受影響，由于研究區(qū)耕地分布集中，故利用該特征可實現(xiàn)耕地的有效提取。波段值標準差能夠反映波段值的離散程度，標準差越小數(shù)值分布越穩(wěn)定，因此水體的提取還需對藍波段標準差（σ）進行限制。水泥地的光譜特征同樣與研究區(qū)內(nèi)部分耕地、裸地和河流相似，其提取過程需要在除植被及建筑之外的地物均提取出之后進行，根據(jù)閾值分析結(jié)合目視判讀，SRRI·σ≤2.41的區(qū)域均為水泥地。草地和樹木都屬于植被，二者之間的區(qū)別在于nDSM不同，nDSM直接反映植被的高度。因此，通過分析植被地物的nDSM值分布可知，僅設置nDSM≤0.15即可提取出草地，反之則為樹木。各地物的具體提取規(guī)則如表1所示。

表1 各地物提取規(guī)則

注：σ為藍光波段值的標準差；nDSM為歸一化數(shù)字表面模型值的標準差；為像元與某直線的距離；VDVI為可見光波段差異植被指數(shù)。

Note: σis the standard deviation of the blue band value; σnDSMis the standard deviation of thenormalized Digital Surface Model (nDSM) value;is the distance between the pixel and a certain line; VDVI is Visible-band Difference Vegetation Index (VDVI)..

2.3 提取結(jié)果精度評價

依據(jù)以上規(guī)則（表1），對研究區(qū)的8類地物進行提取（圖6）。結(jié)果顯示，建筑物與河流的提取結(jié)果基本正確，植被（樹木和草地）與非植被的區(qū)分效果良好。裸地、耕地、水泥地3種地物之間存在不同程度的混淆，其原因是影像拍攝期間為作物收割時期，此時耕地的光譜特征在可見光波段接近水泥地的光譜特征，導致了少數(shù)耕地對象的錯分。同時，在裸地、耕地、植被相互交錯的地區(qū)，本研究提出的方法可以有效識別出3類地物。就整體性而言，各類地物提取結(jié)果的整體性較好，錯分地物多為零散對象，基本不存在大面積錯分的現(xiàn)象。

為定量評價本研究所提出方法的提取效果，通過研究區(qū)內(nèi)的240個樣本（圖1），計算各地物提取結(jié)果的生產(chǎn)者精度、用戶精度、總體精度和Kappa系數(shù)（表2）。觀察表2可知，河流的提取結(jié)果用戶精度最高，其提取過程中運用了由匹配點云獲得的DEM特征，但部分地區(qū)的匹配點云精度較低，導致少數(shù)對象的高程發(fā)生突變，因此少量零散對象被錯分為河流。nDSM是區(qū)分草地和樹木的關鍵特征，根據(jù)精度評定結(jié)果，0.15這一閾值的設定能夠?qū)崿F(xiàn)草地的正確提取。然而，研究區(qū)中存在少量紫葉李，因其葉片顏色特殊（呈紫紅色）而導致光譜特征與裸地類似，因此少量樹木被錯分為裸地。裸地的提取結(jié)果生產(chǎn)者精度達到了90.92%，用戶精度達到了84.23%，提取效果較好。

表2 研究區(qū)地物提取結(jié)果的精度評價

總體而言，研究區(qū)中各地物的總體提取精度為91.11%，Kappa系數(shù)為0.895，且所有類別的生產(chǎn)者精度和用戶精度均達到84%以上。其中，生產(chǎn)者精度和用戶精度最高的分別是草地和河流，達到了100%和99.15%，體現(xiàn)了匹配點云和HSI色彩分量在無人機RGB影像信息提取中的重要作用，本研究提出的方法是可行的。

3 結(jié) 論

本研究針對無人機RGB影像，發(fā)展了一種匹配點云結(jié)合HSI色彩分量對影像進行精細分類的方法，通過匹配點云獲取數(shù)字表面模型（Digital Surface Model，DSM）、數(shù)字高程模型（Digital Elevation Model，DEM）以及歸一化數(shù)字表面模型（normalized Digital Surface Model，nDSM），并結(jié)合飽和度分量與紅光波段構(gòu)建的指數(shù)對云南省丘北縣的正射影像進行信息提取試驗，得到如下結(jié)論：

1）由匹配點云獲取的高分辨率DEM、DSM和nDSM提供了豐富的高程信息，在提取建筑、樹木、草地以及河流4類地物信息時均被作為關鍵特征，這4類地物的生產(chǎn)者精度（Producer Accuracy，PA）均超過87%，用戶精度（User Accuracy，UA）均超過89%。匹配點云的引入，可以在不借助紋理特征以及復雜光譜分析的條件下，快速高效地提取影像中高程差異明顯的地物。

2）由紅光波段均值、標準差與HSI顏色空間中飽和度分量構(gòu)造的飽和度與紅光比值指數(shù)（Saturation-Red Ratio Index，SRRI）及其擴展指數(shù)能夠?qū)β愕匾约耙蚝心嗌扯尸F(xiàn)硬木色的水體（即本文中的河流）具有較高的識別能力。裸地提取結(jié)果的PA和UA分別為90.92%和84.23%，河流提取結(jié)果的PA和UA分別為92.54%和99.15%

3）通過對提取結(jié)果及精度評價的分析，本研究提出的匹配點云結(jié)合HSI色彩分量的分類方法可運用于無人機RGB影像的地物信息提取中，彌補了無人機RGB影像僅有紅、綠、藍3個可見光波段特征的不足，提取結(jié)果的總體精度達91.11%，Kappa系數(shù)達0.895，證明了該方法的有效性。

本研究所提出的方法旨在將匹配點云和HSI色彩分量引入無人機RGB影像信息提取中，從而提高無人機RGB影像信息提取的精度。研究過程中構(gòu)建的SRRI指數(shù)及其擴展指數(shù)的作用在于突出紅光波段與飽和度比值之間的差異，以達到有效區(qū)分研究區(qū)中裸地和河流的目的，對于指數(shù)是否存在通用性閾值，擬進一步探究與驗證。HSI色彩分量應用于RGB影像中可構(gòu)造出大量的適用于不同環(huán)境情況的指數(shù)，不局限于本文所構(gòu)造的兩個指數(shù)。在本文指數(shù)構(gòu)造過程中，僅涉及HSI顏色空間中的飽和度分量，下一步研究中，還將會重點考慮色調(diào)與亮度分量是否在影像信息提取中具有重要價值。

[1] Zhang C B, Yang S T, Zhao C S, et al. Topographic data accuracy verification of small consumer UAV[J]. Journal of Remote Sensing, 2018, 22(1): 185-195.

[2] 楊栩，朱大明，楊潤書，等. 一種提取不透水面的可見光波段遙感指數(shù)[J]. 農(nóng)業(yè)工程學報，2020，36(8)：127-134.

Yang Xu, Zhu Daming, Yang Runshu, et al. A visible-band remote sensing index for extracting impervious surfaces[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(8): 127-134. (in Chinese with English abstract)

[3] 李德仁，李明. 無人機遙感系統(tǒng)的研究進展與應用前景[J]. 武漢大學學報：信息科學版，2014，39(5)：505-513.

Li Deren, Li Ming. Research advance and application prospect of unmanned aerial vehicle remote sensing system[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513. (in Chinese with English abstract)

[4] Bryson M, Reid A, Ramos F, et al. Airborne vision‐based mapping and classification of large farmland environments[J]. Journal of Field Robotics, 2010, 27(5): 632-655.

[5] 汪小欽，王苗苗，王紹強，等. 基于可見光波段無人機遙感的植被信息提取[J]. 農(nóng)業(yè)工程學報，2015，31(5)：152-159.

Wang Xiaoqin, Wang Miaomiao, Wang Shaoqiang, et al. Extraction of vegetation information from visible unmanned aerial vehicle images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 152-159. (in Chinese with English abstract)

[6] 楊柳，陳延輝，岳德鵬，等. 無人機遙感影像的城市綠地信息提取[J]. 測繪科學，2017，42(2)：59-64.

Yang Liu, Chen Yanhui, Yue Depeng, et al. Information extraction of urban green space based on UAV remote sensing image[J]. Science of Surveying and Mapping, 2017, 42(2): 59-64. (in Chinese with English abstract)

[7] 毛智慧，鄧磊，賀英，等. 利用色調(diào)—亮度彩色分量的可見光植被指數(shù)[J]. 中國圖象圖形學報，2017，22(11)：1602-1610.

Mao Zhihui, Deng Lei, He Ying, et al. Vegetation index for visible-light true-color image using hue and lightness color channels[J]. Journal of Image and Graphics, 2017, 22(11): 1602-1610. (in Chinese with English abstract)

[8] 楊潤書，蘇建平，馬燕燕，等. 云南首次大面積利用低空無人機進行航攝及1∶2 000 DOM的制作[J]. 地礦測繪，2014，30(1)：1-4.

Yang Runshu, Su Jianping, Ma Yanyan, et al. A large area of aerial photography images being first obtained using low-altitude UAV in Yunnan and production of 1: 2 000 DOM[J]. Surveying and Mapping of Geology and Mineral Resources, 2014, 30(1): 1-4. (in Chinese with English abstract)

[9] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[10] 王燕燕，于海洋. 基于傾斜攝影綜合SVM與模糊規(guī)則的城市不透水面信息提取[J]. 地理與地理信息科學，2018，34(6)：20-26.

Wang Yanyan, Yu Haiyang. Urban impervious surface extraction by integrating SVM and fuzzy rules based on oblique photography[J]. Geography and Geo-Information Science, 2018, 34(6): 20-26. (in Chinese with English abstract)

[11] Su W, Sun Z P, Zhao D L, et al. Hierarchical moving curved fitting filtering method based on LiDAR data[J]. Journal of Remote Sensing, 2009, 13(5): 827-839.

[12] Zhang W M, Qi J B, Wan P, et al. An easy-to-use airborne LiDAR data filtering method based on cloth simulation[J]. Remote Sensing, 2016, 8(6): 501-522.

[13] 馮飛，馮建輝，趙艷艷. 無人機影像密集匹配方法[J]. 遙感信息，2016，31(5)：122-125.

Feng Fei, Feng Jianhui, Zhao Yanyan. UAV image matching about dense point based on SIFT[J]. Remote Sensing Information, 2016, 31(5): 122-125. (in Chinese with English abstract)

[14] 李瑩，于海洋，王燕，等. 基于無人機重建點云與影像的城市植被分類[J]. 國土資源遙感，2019，31(1)：149-155.

Li Ying, Yu Haiyang, Wang Yan, et al. Classification of urban vegetation based on unmanned aerial vehicle reconstruction point cloud and image[J]. Remote Sensing for Land & Resources, 2019, 31(1): 149-155. (in Chinese with English abstract)

[15] 王志勝. 無人機影像密集匹配點云的濾波方法研究[D]. 成都：成都理工大學，2018.

Wang Zhisheng. Research on Filtering Method of UAV Image-Dense Matching Point Cloud[D]. Chengdu: Chengdu University of Technology, 2018. (in Chinese with English abstract)

[16] 楊陽. 基于雙目視覺的運動恢復結(jié)構(gòu)[D]. 成都：電子科技大學，2016.

Yang Yang. Structure from Motion Based on Binocular Vision[D]. Chengdu: University of Electronic Science and Technology of China, 2016. (in Chinese with English abstract)

[17] 姚富山. 無人機影像匹配點云的處理與應用[D]. 鄭州：解放軍信息工程大學，2017.

Yao Fushan. The Processing and Application of UAV Image Matching Point Cloud[D]. Zhengzhou: PLA Information Engineering University, 2017. (in Chinese with English abstract)

[18] Guan H Y, Li J, Yu Y T, et al. DEM generation from lidar data in wooded mountain areas by cross-section-plane analysis[J]. International Journal of Remote Sensing, 2014, 35(3): 927-948.

[19] 張昌賽，劉正軍，楊樹文，等. 基于LiDAR數(shù)據(jù)的布料模擬濾波算法的適用性分析[J]. 激光技術，2018，42(3)：410-416.

Zhang Changsai, Liu Zhengjun, Yang Shuwen, et al. Applicability analysis of cloth simulation filtering algorithm based on LiDAR data[J]. Laser Technology, 2018, 42(3): 410-416. (in Chinese with English abstract)

[20] 張?zhí)碛樱趿?，曾攀麗，? 基于MSAVI-SI特征空間的瑪納斯河流域灌區(qū)土壤鹽漬化研究[J]. 干旱區(qū)研究，2016，33(3)：499-505.

Zhang Tianyou, Wang Ling, Zeng Panli, et al. Soil salinization in the irrigated area of the Manas River Basin based on MSAVI-SI feature space[J]. Arid Zone Research, 2016, 33(3): 499-505. (in Chinese with English abstract)

[21] 楊永可，肖鵬峰，馮學智，等. 大尺度土地覆蓋數(shù)據(jù)集在中國及周邊區(qū)域的精度評價[J]. 遙感學報，2014，18(2)：453-475.

Yang Yongke, Xiao Pengfeng, Feng Xuezhi, et al. Comparison and assessment of large-scale land cover datasets in China and adjacent regions[J]. Journal of Remote Sensing, 2014, 18(2): 453-475. (in Chinese with English abstract)

[22] 趙翠曉，陳曦，楊遼，等. 數(shù)字表面模型的建筑物容積率提取[J]. 測繪科學，2017，42(5)：94-99.

Zhao Cuixiao, Chen Xi, Yang Liao, et al. Extraction of floor area ratio based on DSM[J]. Science of Surveying and Mapping, 2017, 42(5): 94-99. (in Chinese with English abstract)

Method for extracting UAV RGB image information based on matching point cloud and HSI color component

Yang Xu1, Zhu Daming1※, Yang Runshu2, Zuo Xiaoqing1, Xie Wenbin2, Fu Zhitao1

(1.,,650093,;2.,650217,)

Unmanned Aerial Vehicle (UAV) remote sensing can be widely used to capture large-scale high overlapping and high spatial resolution images from the ground in a low-cost way. However, the UAV Red-Green-Blue (RGB) images are usually obtained, because the UAV sensors can only contain the wavebands with the visible light range, such as the red, green, and blue. It is difficult to extract the feature information from the UAV RGB images because of the fewer wavebands. Taking the UAV RGB orthophoto image as the research object, an image extraction was proposed to integrate the point cloud matching with the Hue-Saturation-Intensity (HSI) color component. Firstly, the high overlapping ground images were acquired by UAV, thereby constructing the point cloud matching using dense matching, where a digital surface model was generated. Then, the ground points and non-ground points in the study area were obtained by a cloth simulation filtering. Specifically, the ground points were interpolated to generate the digital elevation model. As such, a normalized digital surface model was obtained via the difference between the digital surface model and digital elevation model. Secondly, a saturation-red ratio index was established to extract the bare land using the color components of HSI color space and visible light bands. A bare land extraction was then carried out to verify the model. Thirdly, the expansion index was constructed by multiplying the formula of saturation-red ratio index by the standard deviation of the red band to extract the water with the sediment. Finally, two models and three indexes were achieved to classify the UAV RGB orthophoto images in the study area, including the digital elevation model, the normalized digital surface model, the visible-band difference vegetation index, the saturation-red ratio index, and the expansion index. Afterwards, an experiment was then carried out to verify the extraction model. The results showed that the saturation-red ratio index presented a higher accuracy in the bare land extraction from the UAV RGB images. The normalized digital surface model performed better to obtain the key feature that distinguished from the trees and grasslands using the matching of point cloud interpolation. Furthermore, the river and bare land were successfully extracted, using the saturation-red ratio and the expansion index under the HSI color components, while the digital elevation model features that obtained from the point cloud matching. The overall accuracy of the rule-based classification was 91.11%, where the Kappa coefficient was 0.895. In the classification, the highest producer’s accuracy and user’s accuracy were the grass and rivers, which reached 100% and 99.15%, respectively. Moreover, there was an outstanding elevation difference in the high-precision digital elevation model, digital surface model, and normalized digital surface model. Additionally, the saturation-red ratio and expansion indexes were composed of the visible light band and the color component of saturation, particularly for the extraction of bare land and sand water. Consequently, it can be feasible to combine the point cloud matching and the color components of the HSI color space in the extraction of UAV RGB orthophoto image information.

UAV; remote sensing; spectrum analysis; matching point cloud; RGB image; HSI color space; information extraction

楊栩，朱大明，楊潤書，等. 匹配點云結(jié)合HSI色彩分量的無人機RGB影像信息提取方法[J]. 農(nóng)業(yè)工程學報，2021，37(22)：295-301.doi：10.11975/j.issn.1002-6819.2021.22.034 http://www.tcsae.org

Yang Xu, Zhu Daming, Yang Runshu, et al. Method for extracting UAV RGB image information based on matching point cloud and HSI color component[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(22): 295-301. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.22.034 http://www.tcsae.org

稿日期：2020-11-02

2021-11-04

國家自然科學基金(41961053)

楊栩，博士生，研究方向為遙感影像信息提取、無人機攝影測量。Email：jkllvbnm950707@163.com

朱大明，博士，副教授，研究方向為3S集成、土地規(guī)劃。Email：634617255@qq.com

10.11975/j.issn.1002-6819.2021.22.034

TP753；P231

A

1002-6819(2021)-22-0295-07