SBSM對開放環(huán)境下多色葉片RGB圖像背景的精確分離

趙羨波， 林國健， 林志華， 曾文龍， 胡正平， 包可翔， 陳義強， 張 佩

(1.福建中煙工業(yè)有限責任公司，福建 廈門 361000；2.福建省煙草公司 龍巖市公司，福建 龍巖 364000；3.福建省煙草公司漳州市公司，福建漳州 363000；4.江蘇省氣象局，江蘇 南京 210008)

隨著智慧農業(yè)的高速發(fā)展，采用彩色圖像信息反映植物品質[1-2]或植物內在生理生化指標[3]是植物表型學無損測量的一個研究熱點，而獲取精準的葉色信息是采用彩色圖像定量描述葉片表型特征的前提[4]。通過圖像采集設備獲取葉片圖片后，必須先對原始圖片進行背景分離處理，將目標葉片和背景干擾物體進行分離后再進行葉色信息的提取分析[1-5]。現(xiàn)有計算機自動背景分離方法需要使用特定拍攝條件 (黑箱拍攝等)[6]，且多用于分離綠色或單色葉片，但存在背景陰影分離不充分[7]和處理效率較慢[8]等問題。在實際生產中，葉片雜色多色情況較為普通且復雜。一些多色植物〔如紫背天葵(GynurabicolorDC)、彩葉草(PlectranthusscutellarioidesL., R.Br.)〕或植物受病蟲危害〔如大麥條紋病(DrechsleragramineaRabenh., Shoem.)〕會導致部分植物葉片整體呈多色狀態(tài)，且葉面的不同顏色呈點狀、條紋和塊狀分布等，其分布區(qū)域也各不相同。目前，大部分研究人員實驗室和戶外等開放環(huán)境下采集葉片圖像時未配置或使用圖像采集箱，只能將采集的葉片平放在試驗臺或較為平整的地面(一般會墊上純色絨布)進行圖像采集。臺面較為粗糙或顏色不均會導致圖像背景產生大量噪音，影響其分離算法的精準度；加之開放環(huán)境使用的光源一般為方向單一的點源光(自然光線或者照明燈管)，如果目標葉片葉面扭曲即會產生大面積陰影，導致算法產生誤判，致使背景陰影分離不充分[6-7]。如何在實驗室或品質分級臺等開放環(huán)境下進行自動、快速和精準地分離多色葉片圖像背景，已成為制約大樣本植物葉色參數(shù)提取的一個難點。

目前，計算機圖像背景分離方式主要有人工分離法[9]、邊緣檢測法[10-13]、通道差值法[7,11,14-16]、顏色閾值法[5,13,17-19]和最大類間方差法(OTSU)[5,8,10]等，其中，通道差值法和顏色閾值法需要與邊緣檢測法組合成為復合法[5,11,13]使用才能較好地完成對葉片的識別和切割。人工分離法以人眼識別，并利用Photoshop 7.0等輔助進行分離，雖然精度高、對目標葉片葉色及背景顏色無特殊要求等優(yōu)點，但是其處理效率低，所以才產生各種自動識別方法。邊緣檢測法對背景噪音和干擾較為敏感，對于背景顏色復雜且有陰影的圖像處理效果很不理想。顏色閾值法采用事先設定好的顏色閾值(如RGB色彩模型中某個通道的色階值或HSV色彩模型中的色調值)為區(qū)間；通道差值法采用事先設定好的通道差值組合(如R-B、R-G、R+B-G等)等對圖像進行減法處理，通過多次試驗得到圖像對比度最大的組合，并以此為依據(jù)進行背景分離；顏色閾值法和通道差值法單獨使用時，對圖片的要求條件非?？量蹋越洺Ｅc邊緣檢測法結合成復合方法使用；2個方法能夠較好地分離純色葉片，但對具有大面積雜色或者混色的葉片切割效果仍然較差。OTSU無需事先設定閾值，采用最大類間方差法原理，以原圖像中前景和背景差別最大的類間方差為閾值，并以此對圖像進行二值化處理，進而實現(xiàn)對目標圖像和背景的分離；OTSU對圖像多峰干擾及目標大小十分敏感，對具有大面積雜色或者混色的葉片切割效果較差，僅對類間方差為單峰的圖像(純色葉片)產生較好的分離效果；同時，該方法要求背景必須與葉片主體顏色有較大色差。

在HSV色彩模型中，飽和度(Saturation)是一個重要的參數(shù)，其是反映色彩的鮮艷程度。飽和度與物體表面反色光譜的選擇性程度有關，其值取決于該色中含色成分和消色成分(灰色)的比例，含色比例越高，飽和度越大。各種單色光飽和度最高，而完全不飽和的顏色，如黑白之間的各種灰色，飽和度較低。為此，以HSV色彩模型為基礎，以背景圖像與主體葉片飽和度不同為分離依據(jù)，綜合飽和度篩選、邊緣檢測[10,20]和面積篩選[21]等方法，提出圖像飽和度背景分離法(Saturation Background Segregate Method，簡稱SBSM)，研究SBSM與現(xiàn)有4種圖像背景分離方法在開放環(huán)境下對多色葉片的處理效果，旨在探明高效、精確、方便、適用范圍廣的葉片RGB圖像自動化背景分離方法，以期為實驗室及戶外等開放環(huán)境下精確地將背景與目標葉片分離提供依據(jù)。

1 材料與方法

1.1 材料

1.1.1 多色葉片 選擇9種類型，每種類型采集5片葉，共計45片葉，均采自福建省龍巖市龍津湖公園(117.023011°E，25.068662°N)。采集時間為2019年11月16日10:00-13:30，采集葉片用吸水紙擦干表面水分及灰塵，各類型多色葉片狀況見表1。

表1 不同類型多色葉片狀況

1.1.2 試驗臺 圖像采集試驗臺為長300 cm、寬100 cm、離地高度80 cm的長方形桌臺，臺面為灰白色啞光磨砂材質。

1.1.3 數(shù)碼相機 CANON EOS-550D高分辨率照相機，日本佳能公司。

1.1.4 燈管 雷士品牌2支20 W條狀白色LED燈管(色溫為5 000 K)，市購。

1.2 方法

1.2.1 圖像采集 照明光源用LED燈管懸掛位置位于平臺1/4和3/4處，臺面光線均勻；在距離臺面120 cm處用三腳架固定數(shù)碼相機進行垂直拍攝。采集時間為2019年11月16日13:30-15:00。圖像采集時，將葉片保持自然舒展狀態(tài)放入鏡頭中央，采用M檔無閃光拍攝，ISO值為400，光圈f/5.6，曝光時間為1/60 s，焦距39 mm，白平衡設為自動，原始數(shù)字圖像分辨率為5 184×3 456。

1.2.2 手動背景分離及顏色信息提取 采用Photoshop 7.0中的顏色魔棒工具及磁性邊緣索套工具對葉片圖像進行手工背景分離，并用其自帶的圖像信息直方圖獲取目標圖像的Red通道色階均值作為基準值，用于分離精準度比較。

1.2.3 計算機圖像背景分離 計算機自動化背景分離方法主要通過MATLAB2016R(簡稱MATLAB)實現(xiàn)，主要有以下幾種方法。

1) 邊緣檢測法(C1)。將圖片轉為灰度圖，進行分層小波消噪及全局閥值消噪；而后運用edge函數(shù)canny算子進行邊緣檢測，并對背景分離后的圖像進行膨脹操作，填補邊緣縫隙及圖像內部空隙，最后利用菱形結構元素對圖像進行平滑及中值濾波處理。采用循環(huán)算法將原圖與所得到的圖像進行比對，將黑色部分(即背景)予以去除，保留部分即為目標葉片，將處理后的圖像保存為jpg格式。

2) 通道差值法(C2)。分別讀取葉片RGB圖像的Red、Blue和Green通道圖像，采用imsubtract函數(shù)進行圖像減法操作(即R-G、G-B和R-B 3種組合)，找到處理后圖像對比度最大的組合后，再進一步去除圖像邊緣對象，然后按C2方法進行操作。

3) 顏色閾值法(C3)。將RGB圖像轉化為HSV圖像，以事先設定的色調閾值(即H值，當H值為0.167時，圖像顯示為黃色，當H值為0.333時，圖像顯示為綠色，因此H值區(qū)間為0.167～0.333，將區(qū)間外的圖像明度(即V值)調整為0，而后將其轉化為灰度圖像，然后按C2方法進行操作。

4) OTSU(C4)。將圖片轉化為雙精度數(shù)組后，通過graythresh函數(shù)獲得其最優(yōu)閾值，然后以此為閾值對圖片進行二值化處理。采用循環(huán)算法將原圖與所得到的圖像進行比對，將黑色部分(即背景)予以去除，保留部分即為目標葉片，將處理后的圖像保存為jpg格式。

1.2.4 圖像飽和度背景分離法(SBSM)操作步驟 SBSM主要通過MATLAB實現(xiàn)，處理后的圖像均保存為jpg格式，操作步驟： 1) 將目標葉片根據(jù)研究所提供的圖像采集方法進行拍攝得到原始圖像(圖1a)；2) 將RGB圖像轉化為HSV圖像，以飽和度0.2(即S值)為界限，將小于界限的圖像明度(即V值)調整為0，并轉化為灰度圖(圖1b)；3) 用edge函數(shù)canny算子對圖像邊緣進行檢測提取后得到的圖像(圖1c)；4) 對圖像進行膨脹操作并填補邊緣縫隙(圖1d)；5) 對空隙填充并采用菱形結構元素對圖像進行平滑(圖1e)；6) 將平滑后的圖像經中值濾波去除冗余信息(圖1f)；7) 將中值濾波后的圖像進行二值化處理后進行連通域面積篩選，去除小面積的雜質及碎片(圖1g)；8) 采用循環(huán)算法將原圖與面積篩選后的圖像進行比對，將黑色部分予以去除(即背景)，保留部分即為目標葉片(圖1h)。

1.3 葉色參數(shù)的提取

研究采用MATLAB對背景分離處理后的圖像進行參數(shù)提取。葉色參數(shù)均以彩色圖片Red通道的色階均值作為數(shù)據(jù)比較、分析對象。主要操作步驟如下：讀取目標圖像Red通道每個像素色階，運用全循環(huán)算法檢索記錄圖像中非黑部分像素點的索引碼，將其組合為新的色階數(shù)組，并通過double函數(shù)將其轉化為雙精度數(shù)組，最后運用Mean函數(shù)獲取圖像Red通道的色階均值。

1.4 多色葉片圖像背景分離的精準度

采用C1～C4及SBSM 5種方法對45張葉片進行背景分離處理，而后采用葉色參數(shù)提取方法獲取處理圖像的Red通道色階均值，并計算其分離精準度。

分離精N表示不同背景分離方法處理圖像的Red通道色階均值，M為目標圖像的Red通道色階的基準值。如果某個處理對圖像的分離精準度<0.00%，則將此精準度記為0.00%。

1.5 數(shù)據(jù)處理

采用Excel 2013對數(shù)據(jù)進行處理與分析。

2 結果與分析

2.1 不同方法對多色葉片圖像背景分離效果的差異

從圖2看出，邊緣檢測法(C1)、通道差值法(C2)、顏色閾值法(C3)、OTSU法(C4)和SBSM對多色葉片圖像背景分離效果存在差異，總體看，C1～C4傳統(tǒng)方法無法滿足多色葉片圖像背景分離需要，SBSM能夠較好地實現(xiàn)開放環(huán)境下多色葉片圖像背景的分離。

2.1.1 邊緣檢測法(C1) C1分離多色葉片圖像背景時，均保留了較大面積的圖像背景(圖2-C1類型1～9)，且C1還會錯誤將類型3葉片與背景顏色相近的、淡黃色條紋部分進行分離，造成葉片破損(圖2-C1類型3)。其原因是C1受背景噪音的干擾較大，無法對背景進行精確地去除。

2.1.2 通道差值法(C2) C2對背景去除效果優(yōu)于C1，分離效果較好，背景面積保留較少(圖2-C2類型1～9)，但C2會錯誤將類型2葉片黃色斜紋及類型7葉面紅色部分識別為背景進行分離，導致葉片圖像破損(圖2-C2類型2和類型7)。

2.1.3 顏色閾值法(C3) C3能較好地分離背景，對背景去除效果與C2相近，背景面積保留較少(圖2-C3類型1～9)，但C3會將類型2、類型3、類型4和類型9這4種葉片葉面黃色或紅色部分作為背景進行分離，導致葉片圖像破損(圖2-C3類型2～4和類型9)。

2.1.4 OTSU法(C4) C4背景去除效果優(yōu)于C1、C2和C3，背景面積保留極少，葉緣清晰(圖2-C4類型1～9)，但C4會將類型2、類型3、類型8和類型9這4種葉片葉面黃色部分作為背景進行分離，導致葉片圖像破損(圖2-C4類型2～3和類型8～9)。

2.1.5 SBSM SBSM背景去除效果與C4相近，背景面積保留極少，葉緣清晰(圖2-SBSM類型1～9)，同時，SBSM對9種類型葉片均能較好地保留葉面部分，未出現(xiàn)錯誤去除現(xiàn)象，葉片圖像分離完整。

2.2 不同方法對多色葉片圖像背景分離的精準度

從表2看出，不同方法對多色葉片圖像背景分離的單葉平均用時和精準度差異較大。平均單葉用時：不同方法為2.15～12.34 s，其中，C1用時最長，為12.34 s；C3其次，為7.17 s；C4最短，為2.15 s。平均精準度，不同方法為25.00%～97.19%，其中，SBSM最高，為97.19%；C4其次，為78.27%；C1最低，為25.00%。總體看，SBSM除3號樣品分離的精準度為84.07%外，其余樣品分離的精準度均達96%以上，其對多色葉片圖像背景分離的精準度最優(yōu)，較C1、C2、C3和C4分別提高72.19%、32.14%、27.46%和18.92%。

表2 不同方法對多色葉片圖像背景分離的單葉平均用時與精準度

3 結論與討論

葉色是反映植株內在生理生化指標及器官變化的最主要外在特征之一，通過RGB圖像對葉色進行定量描述是快速檢測判斷植物生長態(tài)勢的有效手段。目前，圖像自動背景分離的傳統(tǒng)方法主要有邊緣檢測法、通道差值法、色調閾值法和OTSU等，其對綠色或者純色葉片圖像的背景分離效果均較好，而對多色葉分離效果欠佳；同時，傳統(tǒng)方法還受到圖像采集條件的制約，在實驗室、戶外等開放環(huán)境中，無法精確地將背景與目標葉片進行分離，進而導致葉色參數(shù)提取出現(xiàn)誤差。NEILSON等[22-24]采用高光譜、多光譜、數(shù)碼成像圖像等手段進行圖像采集，并取得較好的成效。數(shù)碼圖像由于其低廉的成本、精準的信息、方便的操作而備受青睞。在葉色信息獲取的已有研究中，主要集中在特殊采集環(huán)境的單色葉方面[25]。在處理這類葉片時常用邊緣檢測法，其以圖像中目標對象與背景間灰度發(fā)生急劇變化的區(qū)域為邊界進行分離，用圖像灰度分布的梯度作為區(qū)分閾值。閾值越低，能夠檢測出的邊線越多，結果越易受圖片噪音的影響，并且越容易從圖像中挑出不相關的特性；閾值過高，將會遺失細的或者短的線段。邊緣檢測法對背景灰度干擾較為敏感，要求背景不能有較大的灰度變化區(qū)域，否則無法將目標圖像與背景進行有效區(qū)分。因此，在使用該類方法時，一般要求采用黑箱采集目標圖像。

為了解決灰度干擾問題，一般采用復合方法，即先采用某種方法大致分離目標對象和背景，然后再采用邊緣檢測法對目標對象進行精確分離。常用通道差值法和顏色閾值法2種復合方法。研究結果表明，在開放式的環(huán)境下，2種方法能夠比較好地解決背景噪音的干擾，但是對葉面扭曲引起的陰影和葉面雜色的區(qū)分效果不理想。通道差值法對葉面扭曲產生的葉片陰影(類型7和類型8)處理效果欠佳，顏色閾值法需要事先根據(jù)不同葉片顏色設定色調閾值，對大面積雜色葉(類型2和類型9)及整體非黃綠顏色的葉片(類型4)處理效果較差，對葉面扭曲產生的葉片陰影(類型7和類型8)處理效果也不理想。2種復合方法對開放環(huán)境下的多色葉總體分離精準度較差。

OTSU無需事先設定閾值，采用最大類間方差法原理，以原圖像中前景和背景差別最大的類間方差為最佳閾值，以此對圖像進行二值化處理，進而實現(xiàn)對目標圖像和背景的分離。OTSU對圖像多峰干擾及目標大小十分敏感，其僅對類間方差為單峰的圖像(純色葉片)分離效果較好；當目標與背景的大小比例懸殊時，或圖像呈現(xiàn)雙峰或多峰(具有大面積雜色或者混色的葉片)時分離效果欠佳。研究結果表明，OTSU處理速度最快，對葉片陰影分離效果良好，總體分離精準度較高，對單一葉色的葉片處理效果很好，對有大面積雜色葉片(類型2～3和類型9)或葉緣與背景有相近顏色的葉片(類型3)處理效果較差。SBSM是基于葉片與臺面色彩飽和度的不同作為分離依據(jù)，由于葉色一般飽和度均較高(>0.4)，而臺面飽和度較低(<0.2)，因此，無需根據(jù)目標葉色的不同而調整參數(shù)，操作簡便，整體處理速度適中；同時，SBSM也能較好地解決因葉面扭曲造成的葉片陰影問題(陰影飽和度較臺面更低)，葉片陰影去除充分，對單色葉、雜色葉、多色葉的處理效果均最佳，綜合表現(xiàn)好。在分離精確度方面，SBSM對各種葉片的分離精確度均與手動PS進行背景分離后的基準值差異較小，表明SBSM適用范圍廣，可在開放環(huán)境下對各種多色葉進行精確的分離。

SBSM成功解決了以往研究中圖像采集需黑箱取樣、背景分離不充分和目標圖像過度分離等問題，可在開放環(huán)境下采集到較為精準的葉片圖像，且無需進行參數(shù)調整即可對不同顏色各種類型的雜色葉、多色葉背景進行分離處理。通過算法的固化該方法已實現(xiàn)了全過程自動化，在試驗室條件下，可實現(xiàn)大量植物葉色數(shù)碼圖像的采集及背景分離處理，極大地減少了植物顏色表型測量、分析所需時間，且排除人為因素對測量結果的干擾，提升大樣本表型葉色數(shù)據(jù)獲取的準確率及處理效率，降低高通量表型獲取障礙；所獲取的精確數(shù)據(jù)可幫助研究人員在各種試驗室條件下建立外觀顏色表型性狀與植物體內生理生化的關聯(lián)[26]，從而更好地解釋植物外觀表型及適應性的生理基礎。