农业病虫害数据集与算法——调研整理

整理自博客

农业病虫害研究图库

陈雷；袁媛.农业病虫害研究图库.(V1).中国科学院合肥物质科学研究院[创建机构],2021-10-27.国家基础学科公共科学数据中心[发布机构],CSTR:16666.11.nbsdc.feoakuia;http://resolve.pid21.cn/CSTR:16666.11.nbsdc.feoakuia

下载链接：仅有一些病虫害样本可供下载。

AI Studio

 该网站上有很多网友上传的数据集。

跳转链接：AI Studio

 AI Challenger 数据集

 AI Challenger 2018竞赛的数据，是农作物叶子图像的数据集，标注图片5万张，包含10种植物(苹果、樱桃、葡萄、柑桔、桃、草莓、番茄、辣椒、玉米、马铃薯)的27种病害，合计61个分类(按“物种-病害-程度”分)。

下载链接：病虫害分类数据集 - 飞桨AI Studio

Plant-Village数据集

 54303张健康和病害图片，分为39个类别。

下载链接：Data for: Identification of Plant Leaf Diseases Using a 9-layer Deep Convolutional Neural Network - Mendeley Data

苹果叶部病理图像 

苹果叶部病害图像数据集包含5类常见的苹果叶部病害：花叶病、锈病、灰斑病、斑点落叶病、褐斑病。共有20000余张图像

下载链接：苹果叶部病理图像 - 飞桨AI Studio

水稻叶片病害数据集 

 5932张图片，4类水稻叶片病害，包括白叶枯病、稻瘟病、东格鲁病、褐斑病。

下载链接：Rice Leaf Disease Image Samples - Mendeley Data

小麦病害数据集 LWDCD 2020 

12000张照片，其中9个病害类别和1个健康类别。

下载链接：https://drive.google.com/drive/folders/1OHKtwD1UrdmhqxrpQEeF_X_pqKotxRGD（部分数据集）

IP102数据集

用于目标分类与检测任务的农作物病虫害数据集，102个虫害类别，含了水稻、玉米、小麦、甜菜、苜蓿、葡萄、柑橘 、芒果共8种作物的75000 多幅图像，大约19000 幅图像添加了用于目标检测的边界框。

下载链接：https://drive.google.com/drive/folders/1svFSy2Da3cVMvekBwe13mzyx38XZ9xWo

---

整理自综述

 图像分类

        根据分类网络方法完成任务的不同，可以将分类网络细分为三个类：使用网络作为特征提取器，使用网络直接进行分类，使用网络进行病变定位。

使用网络作为特征提取器

        Hasan等人利用从DCNN模型中提取的特征输入到SVM，对九种不同类型的水稻病害进行识别和分类，准确率达到97.5%。

使用网络直接进行分类 

         Tenmozhi等人提出了一种有效的深度CNN模型，并使用迁移学习来微调预训练模型。在三个公共昆虫数据集上对昆虫物种进行分类，准确率分别为 96.75%、97.47% 和 95.97%。

        Fang等人在植物病虫害检测中使用了ResNet50。 使用focus loss function代替标准的交叉熵损失函数，采用Adam优化方法识别叶片病害等级，准确率达到95.61%。

        Nagasubramanian等人使用新的三维深度卷积神经网络（DCNN）和显著图可视化方法识别健康和受感染的大豆茎腐病样本，分类准确率达到 95.73%。

        Picon等人提出了一种 CNN 架构来识别 5 种作物中的 17 种疾病，该模型缓解了数据不平衡的问题，平均平衡精度为0.98。

使用网络进行病变定位

根据实现手段的不同，又可以进一步分为滑动窗口、热图和多任务学习网络三种形式。 

• 滑动窗口

         最简单的方法，但准确率不太行。

  • 热图

           Dechant等人训练 CNN 来生成热图，显示玉米病害图像中每个区域的感染概率，使用热图对整个图像进行分类，将每个图像分类为包含或不包含受感染的叶子。 在运行时，为一张图像生成一张热图大约需要 2 分钟，而对一组（三个）热图进行分类只需不到一秒的时间。实验表明，在测试数据集上的准确率为 96.7%。

            Wiesner-Hanks等人使用热图法获得玉米病害的准确轮廓区域，该模型可以从无人机采集的图像中准确描绘低至毫米级的病变，准确率达到 99.79%。

    • 多任务学习网络

             Ren等人构建了一个反卷积引导的VGNet（DGVGNet）模型来识别容易被阴影、遮挡和光强干扰的植物叶片病害。 反卷积用于引导 CNN 分类器将注意力集中在真实的病变部位。测试结果表明，疾病类别识别准确率为99.19%，病变分割像素准确率为94.66%，模型在遮挡、弱光等环境下具有良好的鲁棒性。

目标检测

         目标检测是最接近传统意义上的植物病虫害检测的任务，其目的是获取对象的准确位置和类别信息。基于深度学习的病虫害检测网络可以分为：以Faster R-CNN为代表的two-stage网络； 以SSD和 YOLO为代表的one-stage网络。 两个网络的主要区别在于two-stage网络需要首先生成一个可能包含病变的候选框（proposal），然后进一步执行目标检测过程。相比之下，one-stage 网络直接使用网络中提取的特征来预测病变的位置和类别。

Two-stage网络 

         Ozguven等人提出了一种Faster R-CNN结构，通过改变CNN模型的参数来自动检测甜菜叶斑病。训练和测试了 155 张图像，该方法的总体正确分类率为95.48%。

        Zhou等人提出了一种基于FCM-KM和Faster R-CNN融合的快速水稻病害检测方法。3010幅图像应用结果表明：稻瘟病、白叶枯病、纹枯病的检测准确率和时间分别为96.71%/0.65 s、97.53%/0.82 s和98.26%/0.53 s。

One-stage网络

       基于SSD和YOLO的网络很难上90%。

图像分割 

         分割网络将植物病虫害检测任务转换为病灶和正常区域的语义甚至实例分割，不仅对病变区域进行了精细划分，而且还获得了位置、类别和相应的几何属性（包括长度、宽度、面积、轮廓、中心等）。分割网络大致可以分为：全卷积网络（FCN）和Mask R-CNN。

FCN 

         FCN首先使用卷积对输入图像的特征进行提取和编码，然后通过反卷积或上采样将特征图像逐渐恢复到输入图像的大小。根据FCN网络结构的不同，病虫害分割方法可分为conventional FCN、U-net和SegNet。

• conventional FCN

          Wang等人提出了一种基于全卷积神经网络的玉米叶片病害分割新方法，解决了传统计算机视觉易受不同光照和复杂背景影响的问题，分割精度达到96.26。

          Wang等人提出了一种基于改进FCN的病虫害分割方法。该方法利用卷积层从输入的玉米叶片病变图像中提取多层特征信息，通过反卷积操作恢复输入图像的大小和分辨率，准确率达到了95.87%。

  • U-Net

           Lin等人使用基于U-net的卷积神经网络对自然环境中采集的50片黄瓜白粉病叶片进行分割。与原始 U-net 相比，在每个卷积层后面增加了一个批归一化层，使得神经网络对权重初始化不敏感。实验表明，基于 U-net 的卷积神经网络可以在像素级上准确分割黄瓜叶片上的白粉病，平均像素精度为96.08%，优于现有的 K-means、Random-forest 和GBDT 方法。U-net方法可以在复杂背景下分割病灶区域，在样本较少的情况下仍具有较好的分割精度和分割速度。

    • SegNet

             Kerkech等人提出了一种无人机的图像分割方法,使用SegNet对可见光和红外图像（每个范围的480个样本）进行分割，以识别四个类别：阴影、地面、健康和有症状的葡萄藤。该方法对葡萄藤和叶子的检测率分别为92%和87%。

Mask R‑CNN

        Stewart等人训练了一个Mask R-CNN模型来分割无人机图像中的玉米北方叶枯病（NLB）病变。 经过训练的模型可以准确地检测和分割单个病变。 在 IOU 阈值为 0.50 时，平均准确率为0.96。(Stewart E L, Wiesner-Hanks T, Kaczmar N, et al. Quantitative phenotyping of Northern Leaf Blight in UAV images using deep learning[J]. Remote Sensing, 2019, 11(19): 2209.)无人机收集，植物病理学家标注：CyVerse Data Commons

用于训练和验证 Mask R-CNN 模型的代码：GitHub - GoreLab/NLB_Mask-RCNN

        Wang等人使用了两个不同的模型，Faster R-CNN 和 Mask R-CNN，其中 Faster R-CNN 用于识别番茄病害的类别，Mask R-CNN 用于检测和分割番茄病害的位置和感染区域的形状。结果表明，所提出的模型可以快速准确地识别出11类番茄病害，并划分感染区域的位置和形状。Mask R-CNN对各类番茄病害的检出率高达99.64%。

---

一些数据集汇总

数据集	采集环境	链接
PlantVillage-Dataset：14个作物品种，26种病害，50,000 张植物病害图像	在一个简单的背景上分离的叶子	https://github.com/spMohanty/PlantVillage-Dataset
稻叶病害数据集，三类病害：细菌性叶枯病、褐斑病和叶黑穗病，每类有 40 张图像	在阳光直射下以白色背景拍摄	https://archive.ics.uci.edu/ml/datasets/Rice+Leaf+Diseases
植物病害症状图像数据库(PDDB): 21种植物，171种疾病，2326张图像	大田	https://www.digipathos-rep.cnptia.embrapa.br/
新植物病害数据集（增强型）：87K rgb 健康和病害作物叶片图像， 38个类别	在一个简单的背景上分离的叶子	https://www.kaggle.com/vipoooool/new-plant-diseases-dataset/
背景图像数据集（DAGS）：来自 PlantVillage 数据集的 38 个疾病类别和一个来自斯坦福的背景类	网络	https://github.com/MarkoArsenovic/DeepLearning_PlantDiseases
18222张图像标注了105,705个北方叶枯病(NLB)病变	大田	https://osf.io/p67rz/
来自水稻、玉米、大豆、甘蔗和棉花作物的 40 类昆虫	大田	https://www.nbair.res.in/insectpests/pestsearch.php
17624张200GB水稻、小麦、玉米的高质量JPG图片数据	大田	/
PlantDoc数据集:共2598个数据，涵盖13种植物和多达17类疾病	大田	https://github.com/pratikkayal/PlantDoc-Object-Detection-Dataset
玉米北叶枯病(NLB)数据集	大田	https://bisque.cyverse.org/client_service/browser?resource=/data_service/dataset
3651张苹果叶片病害图像	大田	/
IP102:害虫识别数据库，75000张图片，102个类别	大田	https://github.com/xpwu95/IP102
8种常见的番茄害虫图像数据库	网络	https://data.mendeley.com/datasets/s62zm6djd2/1

其他 

Tomato Diseases and Pests Detection Based on Improved Yolo V3 Convolutional Neural Network （The datasets analyzed in this article are not publicly available. Requests to access the datasets should be directed to liu_jun860116@wfust.edu.cn.）

CropDeep: The Crop Vision Dataset for Deep-Learning-Based Classification and Detection in Precision Agriculture（CropDeep 数据集可通过电子邮件从通讯作者处获得。）

CropDeep，与许多现有的计算机数据集相比：（1）由非计算机视觉研究人员出于明确目的而收集的；(2) 包括31种常见温室作物， (3) 数据集中部分类别间具有较高相似度；(4)包含一些作物整个生长周期的状态。