基于計算機視覺技術的檳榔核中心檢測方法研究

摘 要：在檳榔的自動化加工工藝中去核與點鹵是非常重要的環(huán)節(jié)，為提高生產(chǎn)效率，需要準確檢測出檳榔核中心的位置，才能高效地實現(xiàn)檳榔的去核與點鹵。針對目前檳榔自動化生產(chǎn)過程中檳榔內(nèi)輪廓檢測效率不高、檢測結(jié)果適用性差等問題，提出了一種基于計算機視覺技術的檳榔核中心自動化檢測方法。采集到的檳榔圖片經(jīng)過預處理后，采用自適應閾值分割的方法獲取檳榔的前景信息并檢測檳榔的邊緣信息，在此基礎上根據(jù)檳榔橢圓形狀的代數(shù)描述計算出檳榔核中心位置坐標。結(jié)果表明，該方法可以精確檢測出不同背景下多種形貌的檳榔核中心位置，在擺盤的檳榔圖片中，檳榔核中心位置的檢出率為100%，平均檢測時間為0.39 ms，檢測效果良好。

關鍵詞：計算機視覺；檳榔核中心檢測；canny邊緣檢測；形態(tài)學運算

中圖分類號：TP391 文獻標識碼：A 文章編號：1674-0033（2024）04-0043-07

引用格式：李杰，張樂.基于計算機視覺技術的檳榔核中心檢測方法研究[J].商洛學院學報，2024，38（4）：43-49.

A Study on Betel Nut Kernel Center Detection Method Based on Computer Vision Technology

LI Jie， ZHANG Le

（College of Electronic Information and Electrical Engineering， Shangluo University， Shangluo" 726000， Shaanxi）

Abstract：" In the automated processing of betel nuts， the processes of dehusking and dipping are crucial. To enhance production efficiency， it is imperative to accurately detect the position of the betel nut kernel center， enabling efficient dehusking and dipping. Addressing the issues of low efficiency in contour detection and poor applicability of detection results in the current automated production process of betel nuts， a computer vision-based method for automated detection of betel nut kernel centers is proposed. Betel nut images collected are preprocessed， and the foreground information of the betel nut is obtained through adaptive threshold segmentation. The edge information of the betel nut is then detected， based on which the coordinates of the betel nut kernel center are calculated using algebraic descriptions of the betel nut's elliptical shape. Results indicate that the method can accurately detect the kernel center positions of betel nuts with various shapes under different backgrounds. In the betel nut images with varying orientations， the detection accuracy of the recall factor is 100%， with an average detection time of 0.39 ms， demonstrating excellent detection performance.

Key words： computer vision; areca nut core center detection; canny edge detection; morphological operation

檳榔是熱帶地區(qū)廣泛種植的一種經(jīng)濟作物，其果實中含有豐富的生物堿，具有一定的藥用價值，在檳榔的去核與點鹵加工過程中，需要精確地檢測出檳榔的核中心位置，這對于提升產(chǎn)品質(zhì)量和加工效率至關重要。目前我國關于檳榔的研究主要集中在檳榔的分級和識別檢測等方面。舒軍等[1]設計了一個基于YOLACT++深度學習算法的檳榔檢測模型，將改進的Res2Net[2]模塊加入到模型中，有效提升了檳榔分級的準確率。許月明等[3]根據(jù)提取出的檳榔形狀、紋理等特征，將主成分分析法和支持向量機應用于檳榔的分級檢測中，檳榔級別識別的正確率達到了90.38%。李志臣等[4]設計了一種基于卷積神經(jīng)網(wǎng)絡的檳榔分級方法，將優(yōu)化的SCNN應用于網(wǎng)絡模型中，將檳榔分級的準確率提升到98.05%。趙夢軍等[5]設計了基于細粒度和特征參數(shù)的檳榔檢測算法，在提取的局部特征中加入了空間注意力機制，檳榔識別的準確率達到94.5%。朱澤敏等[6]提出了一種基于語義分割的檳榔內(nèi)輪廓檢測方法，將淺層特征與深層特征進行融合得到最終的識別模型，該方法對檳榔輪廓識別的準確率達到98.79%。代云等[7]提出了一種基于YOLOv3[8]模型的檳榔檢測方法，利用多尺度檢測尺寸對模型進行改進，可以實現(xiàn)在復雜環(huán)境下檳榔的快速檢測。余錦淼等[9]將獲取的高精度檳榔3D點云信息與檳榔圖像進行融合，完成檳榔的姿態(tài)識別與定位，在定位精度與穩(wěn)定性方面表現(xiàn)良好。綜上所述，目前研究檳榔的檢測較多，但總體上偏向于檳榔的分級研究和識別研究，在檳榔內(nèi)輪廓的檢測算法中存在檢測效率不高、適用性差等問題，對于檳榔的生產(chǎn)加工中檳榔去核、點鹵過程中核中心位置的檢測研究較少。鑒于此，本文利用計算機視覺技術在已有基礎上展開研究，探索快速、精準檢測出檳榔核中心位置坐標的方法，為檳榔去核、點鹵工藝中存在的關鍵問題提供解決方案。

1" 算法總體設計

在檳榔核中心檢測中最本質(zhì)的問題是在提取出檳榔最真實的邊緣后利用相關算法計算出核中心位置的坐標。受到拍攝環(huán)境和檳榔形狀不規(guī)則的影響，在獲取檳榔的邊緣信息時會出現(xiàn)邊緣不真實、噪聲多且大的問題，為檳榔真實邊緣的提取帶來了困難。因此，針對檳榔核中心檢測最關鍵的問題在于如何得到檳榔圖像最真實的邊緣及計算檳榔核中心在圖像中的坐標。為解決這種問題，本文設計一種基于計算機視覺技術的檳榔核中心檢測方法。該方法可以利用拍攝的二維檳榔圖片快速、精準地獲取到檳榔的邊緣信息，并根據(jù)邊緣信息計算出檳榔核中心在圖像中的坐標。算法的總體設計如圖1所示。

1.1 算法流程

算法流程主要分為三部分：先對采集到的檳榔圖像進行預處理，得到檳榔的灰度化圖像。然后對灰度化的檳榔圖片進行圖像分割處理，得到二值化的檳榔圖像。再根據(jù)二值化的檳榔圖像提取出檳榔最真實的邊緣信息，利用邊緣信息計算出檳榔的核中心位置坐標，得到最終結(jié)果。

1.2 圖像預處理

先采用伽馬變換[10]對采集到的檳榔圖像進行增強以提高圖像的對比度，利用灰度化加權平均法對圖像進行灰度化處理，再使用高斯濾波得到降噪后的檳榔灰度化圖像。

1.3 檳榔邊緣信息提取

在得到檳榔的灰度化圖像后，采用自適應閾值分割[11]的方法對圖像進行閾值分割，利用形態(tài)學方法和面積計算的方法去除掉多余的前景噪聲，從而得到真實的檳榔前景圖像信息。在得到檳榔真實的前景圖像信息后，利用Canny邊緣檢測算法[12]提取出檳榔的邊緣信息，并根據(jù)邊緣信息畫出最小外接矩形以識別檳榔。

1.4 核中心位置計算

根據(jù)檳榔最小外接矩形四條邊中心點位置的坐標求解檳榔邊緣所對應的橢圓參數(shù)，對此橢圓求解中心即可得到檳榔的核中心位置坐標。

2" 檳榔核中心檢測算法

2.1 檳榔圖像預處理

在采集到檳榔圖像后要對圖像進行預處理，檳榔圖像采集的環(huán)境較為復雜，采集的圖像對比度不明顯，需要對圖像進行增強以突出檳榔的主要信息。由于伽馬變換方法具有簡單、適用性強等特性，本文采用伽馬變換對圖像進行增強，其函數(shù)表達式：

s=crγ（1）

其中，s和r分別為輸出圖像像素信息和輸入圖像像素信息，c和γ為變換參數(shù)，該方法通過對圖像中檳榔區(qū)域進行壓縮、對其他區(qū)域進行拉伸以實現(xiàn)圖像的增強。

為提升檢測效率，便于圖像的后續(xù)處理，需要對圖像進行灰度化處理，本文采用加權平均法實現(xiàn)圖像的灰度化。加權平均法是圖像灰度化中常用的方法之一，能夠在保留圖像的主要信息的情況下將彩色圖像轉(zhuǎn)換為灰度圖像。其原理是根據(jù)彩色圖像每個像素點的RGB值按照設定好的比例進行加權處理，得到一個灰度值，其表達式：

H=0.299×R+0.587×G+0.114×B（2）

圖像灰度化處理后存在一些噪聲，如果不去除會對后續(xù)圖像分割的準確性產(chǎn)生影響，由于噪聲較小且不連續(xù)，本文采用高斯濾波的方法。具體過程：用一個制定的模板掃描圖像中每一個像素點，類似于神經(jīng)網(wǎng)絡模型的卷積過程，用模板內(nèi)像素的加權平均灰度值代替中心點像素的值，實現(xiàn)對噪聲的濾除，其表達式：

Ig f （x，y）=（3）

其中，Wx，y表示模板的鄰域，wd為空間距離相似度權重因子。

圖2（a）是檳榔原圖，經(jīng)過伽馬變換、灰度化處理、高斯濾波等處理得到的灰度圖如圖2（b）所示。

2.2 檳榔圖像分割

為了從檳榔圖像中提取出檳榔的邊緣信息，必須對圖像進行分割，將檳榔所在區(qū)域視為前景，其余區(qū)域視為背景，根據(jù)檳榔圖像預處理結(jié)果，將檳榔前景信息從背景中分割開。本文采用自適應閾值分割的方法對檳榔圖像進行閾值分割，與全閾值圖像分割方法相比，自適應閾值中的每一個像素點的閾值不是固定的，通常根據(jù)周圍鄰域內(nèi)的像素值來確定，將鄰域內(nèi)圖像像素點進行加權平均計算得到，閾值像素值較高的區(qū)域圖像分割的閾值會較高一些，像素值低的區(qū)域圖像分割的閾值會小一些，采用這種方法處理的圖像效果會更加明顯。

在對圖像進行閾值分割后會有一些小的孔洞和連通區(qū)域存在。這些小孔洞和連通區(qū)域會對檳榔的識別定位產(chǎn)生影響，對于小孔洞，采用形態(tài)學的方法能較好地去除掉這些小孔洞。本文采用開運算的方法，即先腐蝕運算后膨脹運算，其公式如式（4）和式（5）所示，膨脹會使目標區(qū)域擴大了一點，而腐蝕運算會使目標區(qū)域縮小一點，在對分割后的檳榔圖像進行開運算后，可以在不改變原有目標區(qū)域大小的情況下去除掉小孔洞。

AB={Z|（B）Z?A（4）

AB={Z|（）Z∩A≠?}（5）

如圖3（a）所示，灰度圖經(jīng)過閾值分割與形態(tài)學運算后仍存在比較大的連通區(qū)域，用普通的方法很難去除掉，故本文設計基于面積計算的方法去除較大的連通區(qū)域。計算分割后圖像中所有連通區(qū)域的面積，設定一個面積閾值，面積較小連通區(qū)域的像素值設定與背景一樣，通過設置合適的面積閾值，使圖像中僅有檳榔的前景目標信息，如圖3（b）所示。

在獲取到完整的檳榔前景圖像后，需要得到檳榔的邊緣信息。目前邊緣檢測的方法有多種，而基于Canny邊緣檢測算子的檢測方法因其算法簡潔、實時性好、邊緣檢測精度高等特點受到人們的青睞。具體步驟：

1）高斯濾波

選用高斯函數(shù)表達式：

S（x，y）=exp（-）（6）

將高斯分布函數(shù)與原圖卷積運算得到：

H（x，y）=S（x，y）×I（x，y）（7）

2）計算梯度的幅值和方向

x（i， j）=[l（i， j+1）-l（i， j）+l（i+1， j+1）-l（i+1， j）]/2

（8）

?（i， j）=[l（i， j）-l（i+1， j）+l（i， j+1）-l（i+1， j+1）]/2

（9）

（i， j）=（10）

θ（i， j）=arctan [ ] [ ]（11）

所求得梯度的幅值和方向分別為 （i， j）和θ（i， j）。

3）非極大值抑制

通過非極大值抑制將邊緣檢測中弱小的邊緣去除，使多余的邊緣消失。

4）雙閾值檢測和連接邊緣

選用高低兩個閾值來檢測強邊緣和弱邊緣，并對不連續(xù)的邊緣進行連接。

如圖4（a）所示，在提取到檳榔真實的邊緣后，繪制出檳榔的最小外接矩形以識別檳榔，其結(jié)果如圖4（b）所示。

2.3 檳榔核中心位置檢測

檳榔的邊緣信息與橢圓類似，因此只要求出檳榔的邊緣所對應橢圓的中心位置坐標就可求出檳榔的核中心位置坐標。對于橢圓的代數(shù)描述：

Ax2+Bxy+Cy2+Dx+Ey+F=0（12）

選取檳榔外接矩形邊上中心的幾個點代入式（12）求取橢圓的系數(shù)，根據(jù)式（13）和式（14）求取橢圓的中心位置坐標xc和yc：

xc=（13）

yc=（14）

圖5（a）是檳榔原圖，在經(jīng)過圖像預處理、圖像分割、核中心位置檢測等過程后，可以識別檳榔并計算出其對應橢圓的中心位置坐標，該坐標即為檳榔的核中心位置坐標，檢測結(jié)果如圖5（b）所示。

3" 試驗結(jié)果與分析

3.1 檳榔檢測

為驗證基于計算機視覺技術的檳榔核中心檢測方法的有效性，針對不同背景下采集到的多種形貌的檳榔進行檢測試驗，檢測結(jié)果如圖6所示。

圖6中的（d）（e）（f）分別是圖6中的（a）（b）（c）的檢測結(jié)果，可以看出在白色背景下，由于檳榔像素與背景像素的對比度較大，在進行閾值分割時能夠提取較為完整的檳榔邊緣信息。圖6中的（j）（k）分別是圖6中的（g）（h）的檢測結(jié)果，可以看出對于黑色背景下切開的檳榔，由于切口處的像素值與背景像素值的對比度比較明顯，獲取檳榔的邊緣信息也比較完整。如圖6中的（i）和（l）所示，相較于白色背景，對于未切開的多目標檳榔，黑色背景下提取的檳榔邊緣信息存在失真的情況，這是由于黑色背景與未切開檳榔像素的對比度較小，在進行閾值分割時較難分割出完整的檳榔前景信息，進行邊緣提取時也容易將檳榔表面的紋理當作真實的邊緣，使得獲取檳榔的邊緣信息存在失真的情況，但在這種情況下仍能精準地識別檳榔并檢測出檳榔的核中心位置。從圖6可以看出，無論在白色背景還是黑色背景下，基于計算機視覺技術的檳榔核中心核檢測方法都能識別出任意形貌的檳榔并檢測出檳榔的核中心位置在圖像中的坐標。

3.2 檳榔檢測效率分析

為驗證基于計算機視覺技術的檳榔核中心檢測方法在實際生產(chǎn)過程中的適用性，本文對擺盤后的檳榔進行了試驗，結(jié)果如圖7所示。圖7（a）為裝盤后的檳榔原圖，圖7（b）為裝盤后的檳榔核中心位置的檢測結(jié)果，從圖7（b）可以看出，基于計算機視覺技術的檳榔核中心檢測方法能夠識別出圖7（a）中的80顆檳榔并檢測出每顆檳榔的核中心位置。為進一步驗證基于計算機視覺技術的檳榔核中心檢測方法的檢測效果，針對擺盤后的檳榔進行了6次試驗，每次擺盤的檳榔數(shù)目都不同，并對檳榔識別精度、核中心位置檢出率、檢測效率等方面進行分析，結(jié)果如表1所示。

從表1的檳榔識別檢測參數(shù)統(tǒng)計可以看出，基于計算機視覺技術的檳榔核中心檢測方法，在檳榔的識別精度與核中心位置檢出率方面均達到100%，檢測時間控制在0.45 ms以內(nèi)，檢測效果較好，能夠滿足實際工業(yè)生產(chǎn)需求。

4" 結(jié)論

針對檳榔去核、點鹵工藝中核中心位置檢測困難的問題，本文提出了一種基于計算機視覺技術的檳榔核中心位置檢測方法，對采集到的圖像進行預處理、閾值分割、邊緣檢測等操作，根據(jù)檳榔橢圓形狀的代數(shù)描述計算出檳榔核中心位置坐標。研究發(fā)現(xiàn)，基于計算機視覺技術的檳榔核中心檢測方法可以快速、精準地識別檳榔并檢測出檳榔的核中心位置坐標，檢測效果較好，可以滿足實際工業(yè)生產(chǎn)需求。在未來的工作中，計劃在檳榔擺放角度等信息開展檢測研究，為檳榔自動化擺盤工藝中存在的問題提供解決方案。

參考文獻：

[1]" 舒軍，王祥，舒心怡.基于YOLACT++的檳榔檢測算法研究[J].湖北工業(yè)大學學報，2022，37（4）：29-35.

[2]" YANG C， WANG X Z， YAO L N， et al. Attentional gated Res2Net for multivariate time series classification[J].Neural Processing Letters，2022，55（2）：1371-1395.

[3]" 許月明，蔡健榮，龔瑩輝.基于計算機視覺的檳榔分級研究[J].食品與機械，2016，32（8）：91-94，102.

[4]" 李志臣，凌秀軍，李鴻秋.基于卷積神經(jīng)網(wǎng)絡的檳榔分級方法研究[J].中國農(nóng)機化學報，2023，44（10）：194-200，230.

[5]" 趙夢軍.關于細粒度和特征參數(shù)的檳榔品相分級算法研究[D].長沙：湖南大學，2022：10-49.

[6]" 朱澤敏，張東波，張瑩，等.基于語義分割的檳榔內(nèi)核輪廓檢測[J].計算技術與自動化，2019，38（4）：105-112.

[7]" 代云，盧明，何婷，等.基于改進型YOLO的密集環(huán)境下檳榔果實的快速識別方法[J].食品與機械，2023，39（4）：83-88.

[8]" SUN S N， HAN L S，WEI J， et al. ShuffleNetv2-YOLOv3： a real-time recognition method of static sign language based on a lightweight network[J].Signal， Image and Video Processing，2023，17（6）：2721-2729.

[9]" 余錦淼，吳靜靜.基于結(jié)構光3D視覺的檳榔姿態(tài)識別與定位系統(tǒng)[J].激光與光電子學進展，2023，60（16）：331-341.

[10] 胡茄乾，何超群，龔翼飛，等.基于融合伽馬變換全卷積神經(jīng)網(wǎng)絡的火星地貌分割方法[J].上海航天（中英文），2023，40（1）：11-18.

[11] 尹震宇，尹聰，張飛青，等.結(jié)合自適應閾值與動態(tài)ROI的地標線檢測方法[J].小型微型計算機系統(tǒng)，2024，45（2）：345-350.

[12] FAHEEM Z B， ISHAQ A， RUSTAM F， et al. Image watermarking using least significant bit and canny edge detection[J].Sensors，2023，23（3）：1210-1210.