2022 年山西農(nóng)谷番茄小鎮(zhèn)溫室串番茄果實數(shù)據(jù)集

宋國柱，石巖，王建，景超，羅改芳，孫勝，王曉麗，李一諾

1.山西農(nóng)業(yè)大學軟件學院，山西太谷 030801

2.山西農(nóng)業(yè)大學園藝學院，山西太谷 030801

3.中國農(nóng)業(yè)科學院農(nóng)業(yè)信息研究所，北京 100081

4.中國農(nóng)業(yè)科學院國家南繁研究院，海南三亞 572024

引 言

我國是設(shè)施農(nóng)業(yè)面積最大的國家。2020 年我國設(shè)施蔬菜種植面積達6150 萬畝，其中番茄種植面積達1157.2 萬畝，占設(shè)施蔬菜種植總面積的18.82%[1]。番茄采摘主要依靠人工完成，采摘費用為1.05×104 元/hm2，占生產(chǎn)總成本的33%～50%[2]，勞動力投入占整個種植環(huán)節(jié)中的50%～70%[3]。

隨著農(nóng)業(yè)從業(yè)人口減少、規(guī)模化工廠化種植盛行，人工采摘難滿足市場需求，嚴重制約我國番茄產(chǎn)業(yè)發(fā)展。番茄采摘機器人可提高生產(chǎn)力，緩解勞動力不足，降低勞動強度，改善舒適性，降低成本，促進經(jīng)濟效益提升，且有助于實現(xiàn)農(nóng)業(yè)規(guī)模化、多樣化、精準化生產(chǎn)，加速智能化設(shè)施農(nóng)業(yè)發(fā)展。然而，番茄果實的快速高精度識別是提升機器人效率、可靠運行的關(guān)鍵技術(shù)。

山東農(nóng)業(yè)大學李天華等[4]提出了一種基于YOLO v4 與HSV 相結(jié)合的識別方法，以實現(xiàn)自然環(huán)境下成熟期番茄的準確識別。實驗將16%作為成熟期番茄識別算法的占比，其準確率為94.77%，從深度相機到檢測到第一個目標番茄的時間為1.48 s。孫碧玉[5]提出了一種基于改進Cascade RCNN 網(wǎng)絡(luò)的番茄果實目標檢測技術(shù)，結(jié)果表明該技術(shù)可以準確地識別番茄果實，同時針對有遮擋的番茄提出了改進ENet 網(wǎng)絡(luò)的成熟番茄串圖像語義分割技術(shù)，為后續(xù)采摘點定位的研究提供了基礎(chǔ)。

本文從研發(fā)具備采摘收獲番茄功能的采摘機器人出發(fā)，通過拍攝、整理、篩查、標注、訓練、驗證測試等環(huán)節(jié)建立了能為機器學習建模提供訓練、驗證及測試樣本的串番茄圖像數(shù)據(jù)集。此次公開的數(shù)據(jù)集在不同時間段，從不同角度，使用不同型號手機對串番茄進行了多角度、多方位拍攝，為番茄采摘機器人視覺系統(tǒng)的高精度識別及可靠運行提供數(shù)據(jù)支撐，同時可供目標檢測識別、采摘點定位、產(chǎn)量預測、數(shù)字孿生等研究領(lǐng)域的研究者使用。

1 數(shù)據(jù)采集和處理方法

串番茄數(shù)據(jù)集的獲取過程主要涉及圖像數(shù)據(jù)的拍攝、整理、篩查、標注、訓練、驗證及測試等環(huán)節(jié)。

1.1 數(shù)據(jù)采集方法

為便于分析串番茄的特性及提高訓練模型的魯棒性，采用多設(shè)備、多角度、多方位等進行圖像數(shù)據(jù)采集。圖像采集使用iPhone 13 Pro Max、華為P30、華為Nova 5z 及OPPO A91 手機進行拍攝，其分辨率最小為2736×3648 像素，最大為3000×4000 像素，同時設(shè)定拍攝方案為：

（1）以過串番茄果實且平行番茄壟、垂直地面的平面為基準面；

（2）正對串番茄果實以夾角10°、45°、90°、135°、170°各拍攝一張，如圖1（a）所示；

圖1 拍攝示意圖Figure 1 Shooting diagram

（3）正對基準面45°俯視串番茄、往前繞串番茄45°、往后繞串番茄45°各拍攝一張，如圖1（b）所示。

通過拍攝方案實現(xiàn)每串番茄拍攝8 張一套的圖像數(shù)據(jù)。除了根據(jù)拍攝方案進行拍攝外，還拍攝了空白對比圖像。所有圖像均是在自然光照環(huán)境下拍攝的串番茄，也未經(jīng)過任何后期處理。

1.2 數(shù)據(jù)處理方法

對拍攝的圖像進行整理，剔除不符合要求的圖像，如抖動導致圖像模糊不清等，最終得到3665張圖像。

使用LabelImg 開源軟件對串番茄圖像果實進行標注，標注存儲格式為yolo 支持的TXT 文檔，其標注方案為：

（1）一串番茄中果實全紅或有1～2 顆果實帶黃但不顯示綠色則標注為成熟（mature），其余串番茄則標注為未成熟（raw）；

（2）串番茄被枝蔓或葉遮擋，但能明顯看出已成熟，則標注成熟被遮擋（cover）；

（3）只標注圖像中最近一壟上的串番茄，后面的不標注，對于圖像中過遠或過小的串番茄也不進行標注。

1.3 數(shù)據(jù)驗證方法

對整理、篩查及標注出的3665 張圖像按訓練集、驗證集及測試集進行隨機分類，其比例為訓練集:驗證集:測試集=8:1:1，使用yolo 工具對其進行訓練、驗證及測試，實驗結(jié)果的各項性能指標均有不同程度的提升，表明該串番茄數(shù)據(jù)集真實有效。

2 數(shù)據(jù)樣本描述

串番茄圖像數(shù)據(jù)樣本為番茄維納果，采集于山西省晉中市太谷區(qū)范村鎮(zhèn)格子頭村山西農(nóng)谷番茄小鎮(zhèn)。該地屬于山西田森杜氏番茄科技有限公司番茄生產(chǎn)基地，目前有15 萬平方米的全環(huán)境智能控制玻璃溫室種植環(huán)境。

數(shù)據(jù)樣本采集日期為2022 年7 月23 日至2022 年8 月10 日，分別在晴天、陰天，在不同時間段（早晨、上午、中午、下午和黃昏），從不同光位（順光、逆光、頂光），使用不同型號手機對串番茄進行了多角度、多方位拍攝，經(jīng)過整理共篩選出3665 張圖像，其大小為5.31 GB。

串番茄圖像數(shù)據(jù)存放在images 文件夾，使用LabelImg 軟件標注生成的TXT 文件（含類別和anchor 的坐標）存放在labels 文件夾。

不同時間段（早晨、上午、中午、下午和黃昏）拍攝的串番茄圖像如圖2 所示。

圖2 不同時間段拍攝的串番茄圖像Figure 2 Images of cluster tomato taken in different time periods

順光、逆光、頂光等不同光位拍攝的串番茄圖像如圖3 所示。

圖3 不同光位拍攝的串番茄圖像Figure 3 Images of cluster tomato taken at different light levels

不同角度、不同方位拍攝的串番茄圖像如圖4 所示。

圖4 不同角度、不同方位拍攝的串番茄圖像Figure 4 Images of cluster tomato taken from different angles and directions

3 數(shù)據(jù)質(zhì)量控制和評估

串番茄圖像數(shù)據(jù)采集于玻璃溫室，培訓后按規(guī)定要求進行圖像拍攝，保證了圖像數(shù)據(jù)的真實性和可靠性。采用高清手機對串番茄進行圖像拍攝，并在特定時間內(nèi)完成圖像拍攝任務(wù)，圖像格式為標準的JPG 格式。

在圖像整理篩查過程中，采用人工核準的方式控制圖像數(shù)據(jù)質(zhì)量。在人工核準過程中，因抖動導致圖像模糊，及其他原因?qū)е聢D像不清晰等，則認為圖像數(shù)據(jù)不符合標準，對其進行刪除，對曝光過度或不足導致顏色過明、過暗的圖像不做任何加工并予以保留。

對所有圖像標注人員進行培訓，建立統(tǒng)一的標注規(guī)范，督促其在標注過程中及時進行自查，全部數(shù)據(jù)標注完成后標注人員之間相互校對，對不規(guī)范的圖像標注進行二次修正。

數(shù)據(jù)質(zhì)量控制和評估流程如下：

（1）篩查階段：開展初始數(shù)據(jù)合理性篩查，對異常圖像進行刪除操作；之后開展圖像標注工作，在此基礎(chǔ)上進行第二次合理性篩查，發(fā)現(xiàn)問題及時校對，并完成串番茄數(shù)據(jù)集質(zhì)量評定。

（2）審查階段：對串番茄圖像及其標注數(shù)據(jù)進行合理性抽查，抽樣比例不小于30%。

（3）驗證階段：對數(shù)據(jù)集按一定比例隨機進行分類，使用yolo 工具對數(shù)據(jù)集進行訓練測試，根據(jù)各項指標的結(jié)果，對串番茄數(shù)據(jù)質(zhì)量進行有效評估。

4 數(shù)據(jù)價值

串番茄數(shù)據(jù)集為番茄采摘機器人的目標檢測識別研究提供了數(shù)據(jù)支撐，便于進行更深度的學習訓練，還可以構(gòu)建適用于番茄不同成熟度的卷積神經(jīng)網(wǎng)絡(luò)模型，以進一步精準實現(xiàn)串番茄產(chǎn)量預測及成熟度采摘判定等研究。

串番茄圖像數(shù)據(jù)集是提升番茄采摘機器人視覺系統(tǒng)識別精度的基礎(chǔ)數(shù)據(jù)，是提高番茄采摘效率及可靠運行的基礎(chǔ)保障，為后續(xù)相關(guān)的研究提供數(shù)據(jù)支撐。

數(shù)據(jù)作者分工職責

宋國柱（1977—），男，山西榆次人，碩士研究生，副教授，研究方向為番茄采摘機器人相關(guān)技術(shù)。主要承擔工作：論文撰寫及數(shù)據(jù)采集技術(shù)指導。

石 巖（1997—），女，山西山陰縣人，在讀碩士研究生，研究方向為目標檢測識別。主要承擔工作：論文撰寫、數(shù)據(jù)采集整理、篩查、標注及驗證。

王 建（1998—），女，內(nèi)蒙古烏蘭察布市化德縣人，在讀碩士研究生，研究方向為目標檢測識別。主要承擔工作：數(shù)據(jù)整理、篩查及標注。

景 超（1992—），男，山西長治人，在讀博士研究生，講師，研究方向為模式識別。主要承擔工作：指導串番茄圖像標注。

羅改芳（1993—），女，山西朔州人，碩士研究生，助教，研究方向為模式識別。主要承擔工作：培訓并指導研究生進行圖像拍攝。

孫 勝（1977—），男，吉林榆樹人，博士研究生，教授，研究方向為番茄育種及栽培技術(shù)。主要承擔工作：番茄基地相關(guān)工作協(xié)調(diào)及番茄成熟度判定。

王曉麗（1982—），女，河北石家莊人，博士研究生，助理研究員，主要研究方向為科學數(shù)據(jù)管理。主要承擔工作：數(shù)據(jù)整理和論文撰寫。

李一諾（2001—），女，山西襄垣人，在讀大學本科生。主要承擔工作：串番茄圖像標注。